Vegye figyelembe a következő forgatókönyvet.

hogy

Beiratkozott a világhírű egyetem által kínált Massive Open Online Course-ra (MOOC).

Négy hét szilárd munka után befejezte első munkáját, és leült egy esszét benyújtani. A besorolásra benyújtott esszék második részében az eredmény úgy tűnik, kijelenti, hogy esszéje kevesebb, mint a csillagok erőfeszítése.

De lehet, hogy az esszét nem látták az emberek, ehelyett kizárólag egy számítógépes rendszer értékelte, összehasonlítva az esszét az adatbázisban szereplő esszémintával.

Az EdX, a Harvard Egyetem és a Massachusetts Institute of Technology által alapított nonprofit MOOC szolgáltató az év elején bevezette az automatizált esszé besorolási képességet a szoftverfrissítésekben.

De vajon automatizált osztályozási rendszereket kell-e használni az esszékhez? És mennyire jók ezek a rendszerek is?

MOOC jelenségek

A MOOC-ok körüli bőség tavaly elérte a pálya lázát. A MOOC-kat eredetileg rangos amerikai egyetemek vitték el hozzánk - amelyek ugyanazt a tartalmat kínálják, amelyet a hallgatók fizettek, mindenki számára ingyenesen.

Az ausztrál egyetemek hamarosan a fedélzetre ugrottak, és gyorsan követték a hazai MOOC platformokat.

Az ausztrál iskolák és egyetemek évek óta automatizált osztályozási rendszereket használnak többszörös és igaz tesztekhez.

De az edX egy lépést tett előre a mesterséges intelligencia technológiájával az esszék osztályába - ennek a megközelítésnek az alapján még ellentmondásos lépést kell megtenni.

Anant Agarwal, az EdX elnöke ebben a hónapban a New York Times-nak elmondta, hogy „az azonnali kiértékelő szoftver hasznos pedagógiai eszköz lenne, amely lehetővé tenné a hallgatók számára, hogy teszteket tegyenek és esszéket írhassanak újra és újra, és javítsák válaszaik minőségét. Az esszék értékelésére szolgáló mesterséges intelligencia technológiáknak "különböző előnyei voltak a hagyományos tantermi rendszerrel szemben, ahol a diákok gyakran napokat vagy heteket várnak az osztályzatokra".

Robot szintezők

Az írásos válaszokat kiértékelő automatizált osztályozási rendszerek az 1960-as évek óta léteznek, amikor az első nagyszámítógépeket bevezették.

A New York Times beszámolója szerint négy amerikai állam (Louisiana, Észak-Dakota, Utah és Nyugat-Virginia) ma már automatizált esszé-osztályozási rendszereket alkalmaz a középiskolákban, és bizonyos esetekben a szoftvert biztonsági másolatként használják az emberi értékbecslők ellenőrzésének biztosítására.

Az esszé automatizált kiértékelése egy olyan rendszeren alapul, amelyet a manuálisan pontozott esszék példáinak sorozata képez ki. Ezután tanulni fognak a többi hallgatói esszéhez adott esszepéldákból és eredményekből, és elemzést tartalmaznak a kifejezések, kulcsszavak, mondatok és bekezdések felépítésének mutatóiról.

Az automatizált vizsgálati osztályozási rendszerek finomhangolhatók, hogy az emberek kiértékeljék a beküldött esszék egy részhalmazát. Ez azonban korlátozza az automatizált osztályozási rendszer azon képességét, hogy azonnali eredményeket és visszajelzéseket nyújtson.

A mesterséges intelligencia technológiája ezután beléphet a folyamatba, hogy kifinomultabbá tegye a folyamatot, felhasználva az emberek által megjelölt esszékből nyert ismereteket.

Tud-e egy számítógép valóban értékelni egy esszét?

A mesterséges intelligencia technológiák automatizált osztályozási rendszerekben való használata általában nem elfogadott. Az online oktatási szervezetek nemrégiben tett lépései a mesterséges intelligencia-technológiák felhasználására a nagy tétű tesztek során aggodalmat keltettek az egyetemeken.

Ez az érdeklődés egy online petícióval tetőzött az esszék gépi értékelése ellen, amelyet az érdeklődő tudósok és kutatók egy csoportja indított el ebben az évben. Eddig több mint 3600 aláírás gyűlt össze, köztük olyan magas rangú értelmiségiektől, mint Noam Chomsky.

A petíció honlapján található nyilatkozat szerint "a számítógépek nem tudnak olvasni". Nem tudják mérni a hatékony írásbeli kommunikáció alapjait: többek között a pontosság, az érvelés, a bizonyítékok megfelelősége, a jó érzék, az etikai hozzáállás, a meggyőző érvelés, az értelmes szervezés, az egyértelműség és az igazmondás.

Les Perelman, az MIT kutatója nagyon kritikusan viszonyul az automatizált osztályozási rendszerekhez, és kritikát fogalmazott meg a mesterséges intelligencia technológiát alkalmazó csúcstechnológiáról az automatizált vizsgálati osztályozási rendszerekben.

Perelman kijelenti, hogy „az egymásnak megfelelő emberi osztályosok teljesítményének összehasonlítása a differenciált pontszámnak megfelelő gépekkel még mindig utal arra, hogy az emberi osztályozók lényegesen megbízhatóbbak lehetnek, mint a gépek.

2012 júniusában Perelman értelmetlen esszét nyújtott be az Egyesült Államok Oktatási Tesztelő Szolgálatához (ETS), e-Rater néven, és a lehető legmagasabb osztályzatot kapta.

Az ETS az e-Rater szoftvert használja az emberi jogi értékelőkkel együttműködve az érettségi vizsgák (GRE) és a nem humán angol (TOEFL) tesztek osztályozásához a gyakorlati tesztekhez.

Mindkét teszt magas - előbbi dönt az amerikai posztgraduális iskolákba való felvételről, utóbbi pedig az amerikai egyetemeken tanulni akaró, nem angolul beszélők sorsáról.

Tesztidő

Az ausztrál egyetemek rohanhatnak a MOOC elfogadásával, hogy kihagyják a fontos megbeszéléseket arról, hogy az értékelési formák elfogadhatóak-e és hogyan biztosíthatók a tanulási eredmények érvényessége.

A MOOC-k mint pedagógiai eszköz értékeinek központi értéke a tanfolyam résztvevőinek értékelésére alkalmazott módszer.

A mesterséges intelligencia technológiái gyorsan fejlődnek, de eljutottak egy olyan ponthoz, ahol az automatizált osztályozási rendszerek helyettesíthetik az oktatókat?

Kérem, mondja el, mit gondol - valóban élő emberekre van szükségünk az esszék értékeléséhez, vagy úgy gondolja, hogy a számítógépek is ugyanolyan jól tudják elvégezni a dolgukat? Hagyja gondolatait az alábbi megjegyzésekben.