V roce 1969 chemik Joel Bitman publikuje v časopise Nature výsledky pokusu s DDT. Jeho zkrmování ptákům má ztenčovat skořápky. Stává se roznětkou vášnivých diskusí trvajících do dnešních dnů. doi.org/10.1038/224044a0

Joel Bitman (1927-2007) pracoval mezi lety 1951 až 1984 v laboratořích Ministerstva zemědělství Spojených států amerických (USDA). Zabýval se zde zejména problematikou enzymaticky řízených reakcí pohlavních hormonů a mechanismy účinků estrogenů. Jím vedený tým publikoval v roce 1969 v časopise Nature článek „DDT induces a decrease in eggshell calcium“ a o rok později pak v časopise Science práci s názvem „DDT-induced inhibition of avian shell gland carbonic anhydrase: a mechanism for thin eggshells“. Tématem obou prací byl vliv insekticidu DDT a jeho metabolitu DDE na zvápnění vaječných skořápek. V případě první publikace bylo křepelkám japonským (Coturnix japonica) po dobu 45 dní podáváno 6 mg DDT/kg/den a u takto exponovaných jedinců bylo oproti kontrole pozorováno zpoždění snůšky vajec o tři týdny, snížené množství Ca ve skořápkách a vysoké (až 50%) riziko rozbití vajec. Ve druhé studii vykazovaly křepelky krmené po dobu tří měsíců potravou s obsahem 100 mg/kg DDT či DDE také sníženou aktivitu anhydrázy kyseliny uhličité, což je enzym hrající klíčovou roli při tvorbě skořápky.

Obě práce vyvolaly řadu reakcí. Ty kritické se týkaly zejména vlivu složení potravy na výsledek experimentů. Nízký obsah vápníku (0,56 %) v krmné směsi mohl být totiž podle některých oponentů mnohem pravděpodobnější příčinou ztenčení skořápek, než sama expozice testované látce. Bitmanův tým vzal danou námitku v potaz a v roce 1971 nabídl oběma časopisům článek nazvaný: „Effects of Dietary p,p′-DDT and p,p′-DDE on Egg Production and Egg Shell Characteristics of Japanese Quail Receiving an Adequate Calcium Diet“ Křepelky byly v daném případě krmeny dietou s obsahem vápníku 2,7 %. Vliv expozice toxickým látkám na obsah vápníku ve skořápce a na počet rozbitých vajec byl tentokrát méně výrazný (a v některých případech dokonce až statisticky nevýznamný). Rukopis byl odmítnut jak v Nature, tak i ve Science, takže nakonec vyšel na stránkách Poultry science (nemohu si pomoct, ale paralela „akt – pietní akt“ se zde nabízí až nestydatě). O příčině odmítnutí zmíněného rukopisu koluje řada historek – např. J.G. Edwards ve svém textu nazvaném „DDT: A case study in scientific fraud“ z roku 2004 píše: „Editor Philip Abelson v dané souvislosti řekl doktoru T. Jukesovi z Kalifornské univerzity v Berkeley, že Science nikdy nebude publikovat nic, co nebude antagonistické vůči DDT.“ Osobně si myslím, že kámen úrazu byl jinde, než v odlišném postoji redakce a autorů vůči DDT….

V Joel Bitmanově práci uveřejněné v roce 1971 časopisem Poultry Science se uvádí, že když byly křepelky krmeny DDT spolu s normálním množstvím vápníku, skořápky se jim neztenčily. doi.org/10.3382/ps.0500657

Již v roce 1959 si T. D. Sterling z Univerzity v Cincinnati všiml, že 97 % všech publikací v předních psychologických časopisech prezentuje pouze statisticky významná zjištění. O dvacet let později vyšel text R. Rosenthala z Harvardské univerzity nazvaný „Šuplíkový problém“ (The „File drawer problem“), v němž se autor zamýšlí nad tím kolik % studií, které nedošly ke statisticky významným zjištěním, zůstalo tzv. v šuplíku. Odhaduje, že se daný problém týká až 95 % studií, jejichž autoři měli tu smůlu, že předem správně neodhadli, jak se jimi studovaný systém bude reálně chovat. Pokus publikovat statisticky nevýznamná zjištění má také prokazatelný vliv na délku redakčního řízení. V roce 1998 porovnal J.P. Ioannidis z amerického Národního ústavu zdraví (NIH) časové intervaly od ohlášení studie po publikaci výsledků u 109 náhodně vybraných studií fáze 2 a 3 klinického výzkumu léčiv. Průměrná délka tohoto intervalu pro studie, v rámci kterých byly zjištěny statisticky významné účinky léčiv, činila 4,3 roku, zatímco u studií, které účinek léčiva neprokázaly, to bylo 6,5 roku.

Skutečnost, že studie, v rámci kterých se podaří získat statisticky významná data vedoucí k zamítnutí nulové hypotézy, mají asi třikrát vyšší pravděpodobnost být publikovány, než studie stejné kvality, v rámci kterých se nulovou hypotézu zamítnout nepodaří, se nazývá publikační zkreslení (Publication bias). Jde o souhrnný pojem, který zahrnuje celou řadu dílčích zkreslení:

1. Zkreslení způsobené výběrovým publikováním výsledků (Outcome reporting bias) – ze všech výsledků získaných v rámci dané studie jsou publikovány pouze ty, které jsou statisticky významné a/nebo ty, které podporují původní předpoklad studie (např. léčivo je účinné a nevyvolává vedlejší účinky)

2. Zkreslení způsobené délkou redakčního řízení (Time-lag bias) – studie se statisticky významnými výsledky (např. prokazující účinek léčiva) trvají kratší dobu a jsou publikovány rychleji (až o několik let), než studie s výsledky statisticky nevýznamnými (např. neprokazující účinek léčiva)

3. Jazykové zkreslení (Language bias) – studie se statisticky významnými výsledky mají násobně větší šanci být publikovány v angličtině

4. Citační zkreslení (Citation bias) – studie se statisticky významnými výsledky mají násobně větší šanci být citovány jinými autory

5. Multiplikační zkreslení (Duplicate (multiple) publication bias) – studie se statisticky významnými výsledky mnohem častěji vyvolávají vznik dalších podobně zaměřených studií.

Spustit video

Video: Ben Goldacre v TED.

Jaké mohou být nejzávažnější důsledky tohoto typu zkreslení? Nad tím se ve své TED přednášce z roku 2012 zamýšlí britský lékař z Oxfordské univerzity Ben Goldacre. Na několika případových studiích (léky proti srdeční arytmii, antidepresiva) ukazuje, že překážky v publikování negativních (případně statisticky nevýznamných) výsledků klinických studií léčiv vedou k přeceňování jejich účinnosti, následně pak k závažným ekonomickým škodám a ke zbytečnému poškození zdraví pacientů a někdy i k jejich úmrtí.

V přednášce jsou též zmíněna některá technická opatření, která by dopady publikačního zkreslení měla zmírnit. Velká pozornost je věnována registraci studie v momentě jejího zahájení a omezení možnosti publikovat neregistrované studie, ovšem k faktické účinnosti tohoto opatření se Ben Goldacre staví dost skepticky. Zmíněn je též časopis Journal of negative results in biomedicine, který se specializuje právě na publikování „šuplíkových“ dat. Chceme-li zjistit, zda se v námi zkoumané oblasti výzkumu jev zvaný publikační zkreslení neprojevil, můžeme při meta-analytickém zpracování dat použít statistické metody jako je trychtýřový graf (funnel plot) či citlivostní analýza (sensitivity analysis).

Ale zpět k Bitmanovi a DDT. Jak jsem uvedl výše – jedním z dopadů publikačního zkreslení je nižší citovanost článků s negativními či statisticky nevýznamnými výsledky, Zatímco Bitmanova práce v Nature byla na Web of Science citována 115-krát a práce ze Science 54-krát (přičemž počet citací v dokumentech abstrahovaných na Google Scholar je zhruba dvojnásobný), práce z Poultry science má dosud pouze 20 citací.

Pracoviště a kontakt na autora čánku: Fakulta chemicko-technologická, Univerzita Pardubice.

Vezmeme-li v úvahu, že jde o metodicky podobné práce jednoho a toho samého týmu, které se liší pouze v povaze získaných výsledků, musíme si nutně položit otázku, jakou důvěru lze mít v závěry učiněné pouze na základě studia publikovaných oponovaných (peer-reviewed) článků. Nejsem schopen zhodnotit, jakého reálného pokroku bylo v tomto ohledu v posledních letech dosaženo v lékařských a farmaceutických vědách, ale v toxikologii a ekotoxikologii jde o téma stále aktuální. Např. studie M.L. Hansona a kol. z roku 2018 prokázala statisticky významný rozdíl v citovanosti publikací týkajících se ekotoxických účinků pesticidů v závislosti na tom, zda byla či nebyla zjištěna statisticky významná míra environmentálního rizika zkoumaných látek. Pokud se k publikačnímu zkreslení přidá ještě oblíbená metoda práce některých redaktorů zvaná vyzobávání třešniček (cherry picking), není divu, že svět v mnoha otázkách propadá přehnané skepsi, a v jiných zase těžko odůvodněnému optimismu…

Literatura:

1. Bitman, J., Cecil, H. C., Harris, S. J., & Fries, G. F. (1969). DDT induces a decrease in eggshell calcium. Nature, 224(5214), 44-46.

2. Bitman, J., Cecil, H. C., & Fries, G. F. (1970). DDT-induced inhibition of avian shell gland carbonic anhydrase: a mechanism for thin eggshells. Science, 168(3931), 594-596.

3. Cecil, H. C., Bitman, J., & Harris, S. J. (1971). Effects of dietary p, p′-DDT and p, p′-DDE on egg production and egg shell characteristics of Japanese quail receiving an adequate calcium diet. Poultry Science, 50(2), 657-659.

4. Edwards, J. G. (2004). DDT: A case study in scientific fraud. Journal of American Physicians and Surgeons, 9, 83-88.

5. Ekmekci, P. E. (2017). An increasing problem in publication ethics: Publication bias and editors’ role in avoiding it. Medicine, Health Care and Philosophy, 20(2), 171-178.

6. Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American statistical association, 54(285), 30-34.

7. Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological bulletin, 86(3), 638.

8. Ioannidis, J. P. (1998). Effect of the statistical significance of results on the time to completion and publication of randomized efficacy trials. Jama, 279(4), 281-286.

9. Hanson, M. L., Deeth, L. E., & Prosser, R. S. (2018). Evidence of citation bias in the pesticide ecotoxicology literature. Ecotoxicology, 27(7), 1039-1045.