Egy elemzés nem elemzés

2022.06.21.
Egy elemzés nem elemzés
Egy tipikus folyóiratcikk csak egy statisztikai elemzési folyamat eredményeit tartalmazza, márpedig az alternatív vizsgálatok gyakran jutnak más következtetésre. Aczél Balázs és kutatótársai szerint csak annak a következtetésnek higgyünk, amelyet több szakértői csoport többféle módszerrel igazolt. 

2020-ban az Egyesült Királyságban 9 szakértői csoportot kértek fel, hogy számítsák ki a COVID-19 fertőzések R reprodukciós számát. Míg a szakértői csapatok 1 alatti értéket, azaz a fertőzésszám csökkenését prognosztizálták, mások 1 fölötti értéket, azaz a vírus gyorsuló terjedését jósolták. Az összevetésből a szakemberek megállapították, hogy a járvány folytatódik, még ha gyorsulásának mértéke bizonytalan is. A többelemzős projekt ugyanakkor azt is megmutatta, hogy

egyetlen elemzés nem feltétlenül elegendő bizonyíték egy megállapítás közzétételéhez.

Hasonló eredményre jutottak abban a projektben is, ahol 70 szakértői csoport használta ugyanazokat a funkcionális mágneses rezonancia képalkotási adatokat az agyi aktivitásra vonatkozó hipotézisek tesztelésére. Az elemzések kb. 20%-a jutott ellentétes következtetésre a többiekével. A legbizonytalanabb eredményeket hozó három hipotézis esetében a csoportok kb. egyharmada számolt be statisztikailag szignifikáns eredményről – ami azt jelenti, hogy bármelyik csoport munkájának egyedüli publikálása esetén az eredmény bizonytalansága rejtve maradt volna.

Vajon mikor tekinthetünk tudományosan megalapozottnak egy statisztikai elemzést? Eric-Jan Wagenmakers, Alexandra Sarafoglou és Aczél Balázs szerint a következtetések megbízhatóságának felmérése érdekében a kutatóknak független csoportokban többszörös elemzésnek kellene alávetniük adataikat, mielőtt azokat közzéteszik. Már csak azért is, mert napjainkban számos statisztikai eljárás van érvényben, és ez arra csábíthatja a kutatókat, hogy azt a módszert válasszák ki, amelyik számukra a legmegfelelőbb következtetéshez vezet. A P-hacking vagy Data-dredging (adatkotrás) révén vissza is lehet élni az adatelemzéssel: ilyenkor kevéssé lényeges elemeket statisztikailag szignifikánsnak mutatnak, és ily módon jutnak hamis pozitív eredményhez.

A tudományosság egyik fontos kritériuma ma is a cáfolhatóság, vagyis minden elemzés, minden publikáció nyomán születhet egy másik, amelyben konkurens kutatói teamek a vizsgálatokat és az elemzéseket megismételve akár meg is cáfolhatják elődeik következtetéseit. A szerzők szerint ez az utólagos kontroll nem mindig elegendő. A cáfolat ugyanis gyakorta túl későn érkezik, és az eredeti eredményhez képest gyakran kisebb nyilvánosságot kap, vagyis akár

téves következtetések is hosszú ideig tarthatják magukat a tudományos közvélemény köreiben. 

Ugyanakkor ma is több, nagy számosságú adattal dolgozó szakterületen, így a nagyenergiás részecskefizikában vagy a klímamodelleknél is bevett gyakorlatnak számít a statisztikai modellek tudatos tesztelése, az egyes változók szerepének alapos vizsgálata. Ezek a tudományterületek tehát példaként szolgálhatnak további, hagyományaikat tekintve kevésbé adatorientált szakágak számára is.

„Bár a bizonytalanság zavaró lehet, még mindig jobb, mintha becsukjuk a szemünket a tények előtt – mondja Aczél Balázs. – Ha a következtetéseket csak az elemzések egy része támasztja alá, az olvasóknak erre fel kell hívni a figyelmét. Jó, ha tudjuk, hogy egyetlen elemzés viszonylag szűk spektrumban kezeli a tényeket, és egyáltalán nem biztos, hogy minden részletet tisztán lát.” Az elképzelést máris sokan támogatják, Aczél Balázsék többelemzős projektjeik során 2 hét alatt több mint 700 feliratkozást kaptak.

A szerzők amellett érvelnek, hogy

a többelemzős megközelítés bevezetése hozzájárulna a tudomány iránti közbizalom erősödéséhez,

különösen azokban az esetekben, amikor a kutatási eredmények közvetlen hatással vannak a társadalomra. Enélkül ugyanis fennáll a veszélye annak, hogy a Mátrix című film főszereplőjének sorsára jutunk: Neo a kék pirulát választja, hogy azt hihesse, amit hinni szeretne, s ne kelljen szembesülnie a valósággal.

Eric-Jan Wagenmakers, Alexandra Sarafoglou és Aczél Balázs cikke a Nature felületén olvasható.