Egy elemzés nem elemzés
2020-ban az Egyesült Királyságban 9 szakértői csoportot kértek fel, hogy számítsák ki a COVID-19 fertőzések R reprodukciós számát. Míg a szakértői csapatok 1 alatti értéket, azaz a fertőzésszám csökkenését prognosztizálták, mások 1 fölötti értéket, azaz a vírus gyorsuló terjedését jósolták. Az összevetésből a szakemberek megállapították, hogy a járvány folytatódik, még ha gyorsulásának mértéke bizonytalan is. A többelemzős projekt ugyanakkor azt is megmutatta, hogy
egyetlen elemzés nem feltétlenül elegendő bizonyíték egy megállapítás közzétételéhez.
Hasonló eredményre jutottak abban a projektben is, ahol 70 szakértői csoport használta ugyanazokat a funkcionális mágneses rezonancia képalkotási adatokat az agyi aktivitásra vonatkozó hipotézisek tesztelésére. Az elemzések kb. 20%-a jutott ellentétes következtetésre a többiekével. A legbizonytalanabb eredményeket hozó három hipotézis esetében a csoportok kb. egyharmada számolt be statisztikailag szignifikáns eredményről – ami azt jelenti, hogy bármelyik csoport munkájának egyedüli publikálása esetén az eredmény bizonytalansága rejtve maradt volna.
Vajon mikor tekinthetünk tudományosan megalapozottnak egy statisztikai elemzést? Eric-Jan Wagenmakers, Alexandra Sarafoglou és Aczél Balázs szerint a következtetések megbízhatóságának felmérése érdekében a kutatóknak független csoportokban többszörös elemzésnek kellene alávetniük adataikat, mielőtt azokat közzéteszik. Már csak azért is, mert napjainkban számos statisztikai eljárás van érvényben, és ez arra csábíthatja a kutatókat, hogy azt a módszert válasszák ki, amelyik számukra a legmegfelelőbb következtetéshez vezet. A P-hacking vagy Data-dredging (adatkotrás) révén vissza is lehet élni az adatelemzéssel: ilyenkor kevéssé lényeges elemeket statisztikailag szignifikánsnak mutatnak, és ily módon jutnak hamis pozitív eredményhez.
A tudományosság egyik fontos kritériuma ma is a cáfolhatóság, vagyis minden elemzés, minden publikáció nyomán születhet egy másik, amelyben konkurens kutatói teamek a vizsgálatokat és az elemzéseket megismételve akár meg is cáfolhatják elődeik következtetéseit. A szerzők szerint ez az utólagos kontroll nem mindig elegendő. A cáfolat ugyanis gyakorta túl későn érkezik, és az eredeti eredményhez képest gyakran kisebb nyilvánosságot kap, vagyis akár
téves következtetések is hosszú ideig tarthatják magukat a tudományos közvélemény köreiben.
Ugyanakkor ma is több, nagy számosságú adattal dolgozó szakterületen, így a nagyenergiás részecskefizikában vagy a klímamodelleknél is bevett gyakorlatnak számít a statisztikai modellek tudatos tesztelése, az egyes változók szerepének alapos vizsgálata. Ezek a tudományterületek tehát példaként szolgálhatnak további, hagyományaikat tekintve kevésbé adatorientált szakágak számára is.
„Bár a bizonytalanság zavaró lehet, még mindig jobb, mintha becsukjuk a szemünket a tények előtt – mondja Aczél Balázs. – Ha a következtetéseket csak az elemzések egy része támasztja alá, az olvasóknak erre fel kell hívni a figyelmét. Jó, ha tudjuk, hogy egyetlen elemzés viszonylag szűk spektrumban kezeli a tényeket, és egyáltalán nem biztos, hogy minden részletet tisztán lát.” Az elképzelést máris sokan támogatják, Aczél Balázsék többelemzős projektjeik során 2 hét alatt több mint 700 feliratkozást kaptak.
A szerzők amellett érvelnek, hogy
a többelemzős megközelítés bevezetése hozzájárulna a tudomány iránti közbizalom erősödéséhez,
különösen azokban az esetekben, amikor a kutatási eredmények közvetlen hatással vannak a társadalomra. Enélkül ugyanis fennáll a veszélye annak, hogy a Mátrix című film főszereplőjének sorsára jutunk: Neo a kék pirulát választja, hogy azt hihesse, amit hinni szeretne, s ne kelljen szembesülnie a valósággal.
Eric-Jan Wagenmakers, Alexandra Sarafoglou és Aczél Balázs cikke a Nature felületén olvasható.