Už od konca 19. storočia vedci zaoberajúci sa veľmi zložitým, tajomným a málo prebádaným svetom ľudského mozgu vedeli, že v miestach s vyššou aktivitou dochádza k zmene v zásobovaní krvou. Nervové bunky prudko zvyšujú potrebu kyslíka, ktorý prináša hemoglobín obsiahnutý v červených krvinkách. To spôsobuje dynamické lokálne zmeny v relatívnej koncentrácii oxyhemoglobínu a deoxyhemoglobínu. Okysličený oxyhemoglobín je diamagnetický, ale odkysličený deoxyhemoglobín je paramagnetický, majú teda odlišné magnetické vlastnosti (rozdielnu magnetickú susceptibilitu) a inak reagujú na magnetické pole v okolí. Preto práve rozdielna odozva na vonkajšie magnetické pole v rôznych miestach v mozgu je zrkadlom zmien v prísune a spotrebe kyslíka a teda odráža aj stupeň mozgovej aktivity. Na tomto princípe je založené zobrazovanie pomocou funkčnej magnetickej rezonancie (fMRI – functional Magnetic Resonance Imaging). Pri tejto metóde je nevyhnutné čo najpresnejšie a v celom trojdimenzionálnom priestore mozgu zmerať lokálne rozdiely v magnetickej odozve na silné homogénne statické magnetické pole pôsobiace zvonka – z cievok prístroja. Pretože samotná táto odozva je slabá, je jej rozdiel medzi viac a menej prekrvenými malými oblasťami mozgu veľmi malý. Preto magnetické pole prístroja musí byť naozaj intenzívne – podľa účelu od 1,5 až po 4, výnimočne aj viac Tesla (pre porovnanie, v našich končinách má magnetické pole Zeme hodnotu asi 49 mikroTesla, teda 49 milióntin Tesla!). Aj tak má nameraný signál nemalú mieru šumu. Jeho hodnoty sú priestorové, preto sa nezobrazujú v podobe plošných dvojdimenzionálnych pixelov, ale v trojdimenzionálnych voxeloch. Voxel je vlastne priestorový pixel.
Takže zobrazovacie metódy na základe fMRI poskytujú obrovské množstvo údajov z celého mozgu v podobe voxelov. Neurovedci sa pri skúmaní mozgových funkcií zamerajú na konkrétnu oblasť a hľadajú v nej voxely, ktoré sa aktivujú keď testovaná osoba počas experimentu vykonáva rôzne úlohy. Napríklad ako rozdielne sa v nejakej mozgovej oblasti reprezentovanej určitou skupinou voxelov zobrazí aktivita pri pohľade na ľudskú tvár a ako na nejaký neživý predmet. Získané údaje nie sú úplne jednoznačné, sú postihnuté určitou mierou šumu a je v nich veľa „falošných" voxelov. Preto o to väčšiu opatrnosť a o to korektnejšie štatistické metódy je nutné použiť pri ich analýzach.
Ak k samotnej miere šumu metódy fMRI pripočítame určitý stupeň individuality v prejavoch mozgovej aktivity, asi pochopíme, prečo pri korelačných faktoroch okolo 0,8 a viac (pri hodnote 1 ide o 100 % vzájomnú závislosť skúmaných javov), ktoré sa objavovali v mnohých odborných článkoch, jeden nekonvenčný začínajúci vedec nesúhlasne krútil hlavou. Edward Vul, mladý doktorand z Department of Brain and Cognitive Sciences z Massachusetts Institute of Technology (MIT) v spolupráci s ďalšími troma kolegami z University of California v San Diegu našli dostatok elánu a odhodlania na preverenie prekvapivo „dobrých“ výsledkov svojich starších a renomovanejších kolegov. Zistili, že v ich prácach, uverejnených často v tých najprestížnejších odborných časopisoch sú uvádzané vysoké štatistické korelačné koeficienty, ktoré neraz odporujú samotnej presnosti metódy. Nie sú výsledkami výnimočne precíznych a rozsiahlych výskumov, ale nekorektne použitej štatistiky. Koncom uplynulého roku o tom uverejnili štúdiu v odbornom časopise Perspectives on Psychological Science pod názvom "Puzzlingly High Correlations in fMRI Studies of Emotion, Personality, and Social Cognition" (Záhadne vysoké korelácie vo výskumoch emócií, charakteru osobnosti a sociálneho povedomia, založených na metóde fMRI). Ako sa ukázalo, išlo o prácu svojim spôsobom prevratnú. Vďaka jej pôvodnému názvu „Voodoo correlations in social neuroscience“ vstúpila do súčasnosti neurológie ako Voodoo – korelácie.
Edward Vul a jeho kolegovia oslovili autorov 55 článkov. Požiadali ich o podrobné informácie týkajúce sa spôsobu získavania údajov a ich štatistického spracovania. Výsledky 53 prác o ktorých mali dostatok potrebných poznatkov potom podrobili analýze. Zistili, že vo viac ako polovici z nich – v 28 prácach – vedci použili nesprávne štatistické spracovanie. Pomocou takzvanej „nie–nezávislej“ analýzy do kruhu (nonindependent analysis) "vylepšili", a to niekedy podstatne, výsledný korelačný koeficient. Miera aktívnej odozvy určitého mozgového centra na skúmaný podnet sa tým zvýšila - ale len na papieri.
Pri analýzach výskumu funkcií živého mozgu pomocou fMRI sa pomerne bežne zaužívala vyhodnocovacia metóda, pri ktorej vedecký tím urobí sériu pokusov a štatisticky ich vyhodnotí vzhľadom na všetkých asi 160 tisíc voxelov v mozgu, aby našiel tie, v ktorých sa najintenzívnejšie prejavila odozva na skúmaný jav. Vo výslednom článku sa však potom objaví druhá korelácia, v ktorej celý súbor výsledkov z pôvodných pokusov je spätý už len s vybranými voxelmi, získanými práve uvedenou štatistickou selekciou. Čiže výsledky experimentov sú použité dvakrát v rôznych súvislostiach – na vyhľadanie najaktívnejšie reagujúcej oblasti a potom aj na stanovenie miery jej odozvy na skúmaný jav. Tento druh „nie-nezávislej“ analýzy spôsobuje, že výsledný štatistický korelačný koeficient – stupeň aktívnej odozvy vo vybranom mozgovom centre – sa zvýši. V niektorých prípadoch dosť výrazne, pretože sa do pozitívnej štatistiky vkráda šum z celého mozgu. Jednoducho nemôžete urobiť sériu pokusov ktorým hľadáte či, kde a aký výsledok vôbec môžete získať a potom automaticky všetky tieto pokusy vztiahnuť len na takto vybranú oblasť a použiť ich na výpočet štatistickej významnosti výsledku len v nej. A to žiaľ mnohí aj prominentní vedci z oblasti (len?) neurológie robia.
Vulov článok nielen poukázal na nekorektný spôsob štatistického spracovanie údajov z neurologických zobrazovacích metód, ale na jeho nešťastie aj konkrétne menoval „vinníkov“. Otvorená, osobná a pravdivá kritika je aj vo vede neodpustiteľným hriechom. Navyše formulovaná do vyjadrení typu: „Autori používajú zavádzajúce simulácie na podporu svojich tvrdení“. Spustila sa lavína odoziev. Kladných, záporných, ale aj veľmi ostro odmietavých najmä od konkrétne menovaných a veľmi urazených autorov.
Pretože spochybnené výsledky sa týkali aj článkov, ktoré uverejňovali významné odborné časopisy, redakcia prestížneho Nature oslovila odborníkov v oblasti zobrazovacích metód v neurológii, aby sa k spôsobom štatistického vyhodnocovania výsledkov fMRI vyjadrili. Nikolaus Kriegeskorte, Chris Baker a ich kolegovia z Národného ústavu pre duševné zdravie v Bethesde, v americkom štáte Maryland sa zamerali na články z neurológie, ktoré uverejnilo päť veľmi uznávaných vedeckých časopisov - Nature, Science, Nature Neuroscience, Neuron a The Journal of Neuroscience. Navzdory tomu, že už vopred mali tušenie tieňa, boli prekvapení vysokou mierou metodických chýb, ktoré v článkoch objavili. A to napriek predpokladaným prísnym recenziám, ktorými sú tieto najrenomovanejšie časopisy známe. Svoju analýzu publikovali 26. apríla v časopise Nature Neuroscience.
Táto nová štúdia Kriegeskorta a Bakera si vzala na mušku 134 prác založených na využití funkčnej magnetickej rezonancie (fMRI) a uverejnených len v minulom roku (2008). A výsledok? Podobný tomu Vulovmu. 57 zo 134 prác využíva pri spracovaní výsledkov „nie-nezávislú“ selektívnu kruhovú analýzu a 20 ďalších prác neposkytuje dostatok informácií, ktoré by mohli vyvrátiť podozrenie zo selekcie výsledkov. Na rozdiel od Vula, Kriegeskorte a Baker nikoho konkrétne nemenujú. Možno poučení z predchádzajúceho krízového vývoja sa chcú vyhnúť ostrej konfrontácii s vlastnými kolegami, čo je pochopiteľné. Otázne je, či aj správne. Pretože ako majú byť ďalej vnímané a citované výsledky v prácach autorov, ktorí použili nesprávnu štatistickú metodiku? Sami ako dôvod uvádzajú, že nechcú nikoho menovať, pretože „ide o veľmi často vyskytujúcu sa chybu“ a „nevideli dôvod byť osobní“. Ich cieľom bolo „upozorniť na problém, aby ľudia menej často padli do paste tohto omylu“. Aj preto sa vo svojej práci snažia veľmi podrobne a dôsledne vysvetliť v čom je pri použití nesprávnej vyhodnocovacej metódy „pes zakopaný“. Zopakujme, že „nie-nezávislosť“ analýzy je založená na použití rovnakých údajov nielen pre stanovenie podmienok pre testovanie hypotézy, ale aj pre jej následné potvrdenie. „Netvrdíme, že všetky práce vedú k zlým záverom, pretože v niektorých prípadoch nie je chyba ešte kritická," hovorí Chris Baker. „Je kľúčové, aby sa vyselektované údaje analyzovali pomocou testov, ktoré sú nezávislé od tých, ktorými bola samotná selekcia urobená.“
Napriek tejto zmierlivosti ide o pomerne vážnu záležitosť, naznačujúcu mnohé problémy, ktoré sa ukryté v šere množia za oponou osvetleného javiska vedy. Na jeden z nich poukazuje Karl Friston, vedecký riaditeľ z Wellcome Trust Centre for Neuroimaging na University College London: „Aj keď je nový článok menej kontroverzný, je viac znepokojujúci.... Vrhá zlé svetlo na kvalitu recenzií v prestížnych časopisoch.“
Ako naznačujú komentáre pod článkom v Nature News a na stránke Neuroskeptic, nemusí ísť len o problém recenzií, ale viditeľnú špičku veľkého ľadovca.
Máte hodinu čas na lekciu angličtiny o štruktúre, funkciách a metódach výskumu mozgu? Odporúčame video prednášku Martina Serena z University of California, San Diego
Zdroje:
Nature – supplementary materials (poskytujú podrobnejšie vysvetlenie k problematike kruhovej štatistiky); Článok E. Vul et al.; Nature Neuroscience; Nature News; Neuroskeptic
Diskuze:
