Mesterséges intelligenciát használó, RAG modellen alapuló tutor – egy megbízható forrásokat használó virtuális oktatási asszisztens lehetősége

Ugyanakkor az új technológiák megjelenése a hallgatók számára személyre szabottabb és sokak számára vonzóbb tanulási élményt kínál. Ritkán említett előnyük, hogy az MI-vel támogatott rendszerek demokratizálhatják a személyre szabott oktatáshoz való hozzáférést. Jó példa erre egy pedagógiai kezdeményezés, amelyet Sugata Mitra indított el „A lyuk a falon” (Hole in the Wall) projektjével. Mitra kísérletei során számítógépeket helyezett el szegény indiai falvak nyilvános terein, és beépített kamerákkal megfigyelte, hogy a gyerekek bármilyen külső segítség nélkül képesek voltak önállóan tanulni és komplex problémákat megoldani. Mitra kezdeményezését bemutató TED-előadás itt érhető el: https://www.ted.com/speakers/sugata_mitra

Ez a tapasztalat arra világított rá, hogy a technológia lehetőséget teremt az autonóm tanulásra, miközben valamelyest csökkenti a társadalmi egyenlőtlenségekből fakadó akadályokat. A mesterséges intelligenciára működő tutorok továbbfejleszthetik ezt az elképzelést azáltal, hogy nem csak hozzáférést biztosítanak a tanulási forrásokhoz, hanem azokat az egyéni szükségletekhez és tanulási stílusokhoz igazítják.

2024-ben az ELTE Társadalomtudományi Karán futó pilot projektünkben egy hasonló kezdeményezésbe kapcsolódtunk be három kurzussal kutatási együttműködésben az Óbudai Egyetemen futó, ugyanazon tutort kipróbáló kurzussal. Olyan MI-n alapuló tutort bocsátottunk a hallgatók rendelkezésére, ami a chatGPT-hez hasonlít abban az értelemben, hogy a hallgatók feltehetik kérdéseiket, a rendszer pedig válaszol. A chatGPT-vel összevetve azonban e rendszer előnye, hogy RAG (Retrieval Augmented Generation) modell révén a tutor az általunk előzetesen megadott irodalmak alapján adja válaszait. Ezen túlmenően fontos további előny, hogy a rendszer a hallgatói kérdésre felelve hivatkozza az irodalom azon pontjait, melyek alapján megfogalmazta válaszát. Így a hallgatók számára könnyebben ellenőrizhetővé válik a válasz helyessége, illetve az irodalom megfelelő pontjára rámutatva talán további tanulási utakat is kinyit a rendszer. Azt reméltük e rendszer pilotja során, hogy így csökkenthetjük a nagy nyelvi modellek (LLM) egyik gyakori problémáját, a hallucinációt.

A rendszer előzetes, oktatói tesztelése idején pozitív tapasztaltaokat szerzett a tesztelő team, ezért nyitottuk ki a lehetőséget a hallgatók előtt. A hallgatói tevékenységet a használat idején is monitoroztuk, a munkát azonban a hallgatói interakciók lezárulta után is folytattuk: a rendszer által rögzített kérdés-válaszpárok elemzését is elvégeztük.

A Statisztika tanszéken e pilot keretében survey statisztika és adatanalitika MSc felvételi előkészítő konzultációkhoz kapcsolódóan nyitottuk ki a rendszer használatának lehetőségét a felvételizők számára. A 80 felvételiző közül 40 vett részt a konzultációkon, és közülük 19 használta a virtuális tutort. A hallgatói aktivitást, az érdeklődési mintázatokat, valamint a tutor válaszainak helyességét és is vizsgáltuk.

A virtuális tutorral végzett szövegkorpusz-elemzésünk alapján az értelmes kérdésekre adott válaszok 79%-a a lehető legjobb minősítést kapta. A válaszok 68%-a kizárólag a feltöltött tananyagon alapult, míg 11%-ban megjelentek külső forrásokon alapuló, de az állítások tartalmát nézve helyes tudáselemek. A hibás válaszok aránya 5% volt, míg 2%-ban a rendszer nem adott választ. A válaszok 14%-ában tapasztaltunk kisebb pontatlanságokat.

A hallgatók visszajelzéseit kérdőívvel és fókuszcsoportos beszélgetés segítségével igyekeztünk feltérképezni. Visszajelzéseik alapvetően pozitívak voltak, különösen az aktív tanulást és a különféle tanulási stratégiákat támogató funkciók miatt. Egyes hallgatók szisztematikus tételkidolgozást alkalmaztak, míg mások ellenőrző kérdésekkel mélyítették tudásukat.

Az oktatói tesztelés során megfigyeltük a rendszer korlátait is. Bár a tutor például helyesen alkalmazta a „korreláció nem jelent ok-okozati összefüggést” elvet, bizonyos összetett kérdésekre – mint például a társadalmi státusz és egészségi állapot közötti kapcsolat feltárása – nem tudott teljesen plauzibilis magyarázatot adni.

Tapasztalatainkat összegezve azt mondhatjuk, hogy az MI-tutorok RAG modell használatával, jelentős mértékben csökkenthetik az LLM-ek hallucinációra való hajlamát, és megbízhatóbb válaszokat nyújthatnak. A hallgatók egyéni tanulási útjainak kutatása és a tananyag feldolgozottságának monitorozása további lehetőségeket kínál az oktatási folyamatok fejlesztésére.

Részletesebb információk kutatási projektünkről és eredményeinkről: 

• Németh Renáta, Tátrai Annamária, Szabó Miklós, & Tamási Árpád (2024). Using a RAG-enhanced large language model in a virtual teaching assistant role: Experiences from a pilot project in statistics education. Hungarian Statistical Review, 7(2), 3–27. DOI: 10.35618/HSR2024.02.en0037

• Németh Renáta, Tátrai Annamária, Szabó Miklós, Zaletnyik Péter, Tamási Árpád: RAG-Augmented LLMs in Higher Education: A Pilot Study on AI Tutoring (2025 januárjában még bírálat alatt)

Az AI.org és a goschool.ai platformok fejlesztőivel működtünk együtt ebben a pilot projektben. Ez a magyar alapítású startup az MI etikus oktatási integrációjára és a tanulási folyamatok támogatására helyezi a hangsúlyt. Jelenleg zajlik még az app optimalizálására, a fejlesztők nyitottak az együttműködésre. Kutatótárs-relációban tudtunk együtt dolgozni a pilot projekt során. A kérdések és válaszok szövegkorpusza nagyon jól kutatható, így ajánlom a csatlakozási lehetőség megfontolását. 
[E cikk szerzőjének nincs anyagi érdekeltsége a platformokhoz való csatlakozás kapcsán.]