Jak jsem přesvědčil miliony lidí o tom, že čokoláda pomáhá hubnout.

„Hubněte s čokoládou!” zněl novinový titulek. Tým německých výzkumníků zjistil, že lidé na nízkosacharidové dietě hubnou o 10 % rychleji, pokud si každý den dopřávají tabulku čokolády. Toto jste si mohli přečíst na titulní straně deníku Bild, největšího deníku v Evropě – hned pod zprávou o pádu letadla společnosti Germanwings. Odtud se zpráva šířila internetem, až se dostala do různých médií ve 20 různých zemích v tuctu jazyků.

Dokonce byla probírána ve zpravodajských televizních pořadech. Naposledy se dostala do červnového vydání časopisu Shape (článek „Proč jíst čokoládu každý den,“ str. 128). Studie tvrdila, že nejen, že čokoláda urychluje úbytek hmotnosti, ale také vede ke zdravější hladině cholesterolu a celkově zvyšuje pohodu. Článek v Bildu cituje hlavního autora studie, Johannese Bohannona, Ph.D., ředitele výzkumu Ústavu zdraví a stravování: „Nejlepší na tom všem je, že čokoládu si můžete koupit všude.“ Jmenuji se Johannes Bohannon, Ph.D. Ve skutečnosti jsem John a živím se jako novinář. Doktorát skutečně mám, pouze je z molekulární biologie bakterií, a nikoli lidí. A co Ústav zdraví a stravování? Ten není ničím jiným než webovou stránkou.

Kromě tohoto je však provedená studie 100% autentická. S kolegy jsme v Německu skutečně obstarali lidské subjekty a uskutečnili skutečnou klinickou studii se subjekty náhodně rozdělenými do různých dietních režimů. Statisticky významné výhody čokolády, o kterých studie informovala, jsou založeny na skutečných datech. Ve skutečnosti se jednalo o celkem běžnou studii z oblasti výzkumu stravování. Což si také můžete přeložit jako „fušersky odvedená studie“. Její výsledky jsou nesmyslné a všechna ta zdravotní tvrzení, která sdělovací prostředky po světě chrlila, naprosto neopodstatněné.

Jak snadné je vyprodukovat a prodat pavědu

V prosinci loňského roku mi zavolal německý televizní reportér Peter Onneken. Se svou spolupracovnicí Dianou Löbl pracovali na dokumentárním filmu o pavědě v potravinářském průmyslu. Chtěli po mě, abych jim pomohl názorně demonstrovat, jak snadné je podložit módní diety vědeckými důkazy. A Onneken přišel s neotřelým nápadem: odhalit korupci v rámci spletence medií a vědců tím, že se do něj sami vmísíme. Nabídka pro mě nebyla zase úplně neočekávaná. Rok nazpět jsem totiž pro časopis Science provedl obdobný počin ve spojitosti s placenými, volně přístupnými vědeckými časopisy, které dnes představují rychle rostoucí, lukrativní byznys v oblasti akademických publikací. Cílem bylo zjistit, kolik z těchto vydavatelů dodržuje slib, že uveřejněné články odborně recenzuje. Zaslali jsme jim tedy několik až směšně zpracovaných článků a spočítali, kolik z nich je odmítne uveřejnit. (Odpověď zní méně než polovina).

Onneken a Löbl měli už všechno připravené: několik tisíc eur pro nábor výzkumných subjektů, německého lékaře, který provede studii, a spřáteleného statistika, který zpracuje výsledná data. Onneken se dozvěděl o mé práci pro Science a dospěl k závěru, že jsem ten pravý, kdo jeho projekt zrealizuje. Jediným problémem byl čas. Dokumentární film měl být vysílán na německé a francouzské televizi už na konci jara (premiéru má příští týden), a tak nám zbývalo jen několik málo měsíců. Podaří se nám něco alespoň publikovat? Zřejmě ano. Ale co potom? Měl jsem pocit, že tohle nemůže vyjít. My vědečtí novináři se jaksi považujeme za chytřejší než ti ostatní. Koneckonců jsme to my, kdo má pro ostatní rozšifrovávat všemožné komplexní vědecké práce. Byl jsem přesvědčen, že jakýkoli reportér, který se bude alespoň obtěžovat s tím oslovit odborníka (v tomto případě kohokoli s vědeckým titulem, natož přímo specialistu na výživu), rychle zjistí, že je naše studie přinejmenším pochybné kvality. A to ani nemluvím o tom, že Google vyhledávač o žádném Johannesi Bohannonovi či jeho údajném institutu nikdy neslyšel. Měl jsem za to, že novináři, kteří píší o zdravovědě, tuhle boudu prokouknou na první pohled. Nechtěl jsem však znít příliš pesimisticky. „Uvidíme, co z toho vypadne,“ odpověděl jsem.

Realizace studie

Onneken a Löbl rozhodně neztráceli čas. Na Facebooku vyvěsili nabídku pro subjekty z okolí Frankfurtu, kteří měli dostat 150 eur za to, že se tři týdny budou stravovat určeným způsobem. Uvedli informaci, že se jedná o součást tvorby dokumentárního pořadu o stravování. Více detailů se však zájemci už nedozvěděli. V jedno chladné, lednové ráno se dostavilo 5 mužů a 11 žen ve věku od 19 do 67 let.

Klinické zkoušky provedl praktický lékař Gunter Frank, který byl do skutečné podstaty projektu zasvěcen. Toho Onneken oslovil poté, co si přečetl jeho knihu kritizující stravovací pseudovědu. Vzít hořkou čokoládu a udělat z ní doplněk stravy byl jeho nápad. Když jsem se ho ptal proč, řekl mi, že hořká čokoláda je oblíbeným tématem potravinových fanatiků. „Hořká čokoláda nechutná dobře, a tak přeci musí být zdravá,“ odpověděl Frank. „Je to něco jako náboženství.“
Po provedení dotazníků a krevních testů pro určení, zda někdo ze subjektů nemá poruchy příjmu potravy, diabetes nebo jiné nemoci, které by je mohly ohrozit, Frank subjekty náhodně rozčlenil do tří skupin. Jedné z nich určil nízkosacharidovou stravu. Další tu samou nízkosacharidovou stravu plus denní přísun 40 gramů hořké čokolády. Zbytek byla kontrolní skupina, které Frank nařídil, aby jedli stejně jako dosud. Subjekty se po 21 dnů každé ráno vážili. Studie pak byla zakončena finálním kolečkem dotazníků a krevních testů. Onneken pak výsledky předal svému příteli Alexi Droste-Haarsemu, finančnímu analytikovi, který zpracoval data. Za pár dnů přišly výsledky… a terno! Obě z léčených skupin v průběhu studie shodily cca 2,3 kg, zatímco průměrná tělesná hmotnost v kontrolní skupině kolísala okolo nuly. A co ti s čokoládou navíc? Ti hubli o 10 % rychleji. Nejen, že byl odhalen statisticky významný rozdíl, skupina s čokoládou měla i lepší cholesterol a celkově uváděla lepší pohodu.

Jak zajistit statisticky významný výsledek?

Vím, co si teď asi myslíte. Studie přeci ukázala vyšší váhový úbytek u skupiny s čokoládou. Neměli bychom jí tedy věřit? Není toto přeci způsob, jakým věda funguje Povím vám však malé tajemství: pokud změříte velké množství věcí na malém počtu lidí, je téměř zaručeno, že vám vyjde nějaký ten „statisticky významný“ výsledek. Naše studie zahrnovala 18 různých měření – váha, cholesterol, sodík, plazmatické proteiny, kvalitu spánku, duševní pohodu atd. – na vzorku 15 lidí. (Jeden ze subjektů odstoupil.) Takto navržená studie je receptem na falešná pozitiva. 

Představte si uvedená měření jako loterijní losy. Každý z nich má malou šanci na to, že vám přinese „významný“ výsledek, okolo kterého můžete vytvořit zprávu, kterou pak prodáte médiím. Čím více jich koupíte, tím větší je pravděpodobnost, že vyhrajete. Nevěděli jsme přesně, jak bude náš titulek znít. Mohlo to klidně být, že čokoláda zlepšuje spánek nebo snižuje krevní tlak. Nicméně jsme věděli, že šance na získání alespoň jednoho „statisticky významného“ výsledku je velice slušná. Kdykoli slyšíte „statisticky významný“, znamená to, že něco má nízkou p-hodnotu. Písmeno p má dnes zdá se až posvátný význam – ačkoli se pouze jedná o způsob určení poměru signál/šum v datech. Standardní hranice pro určení „významnosti“ je 0,05, což znamená, že existuje pouze 5% šance, že váš výsledek je náhodným výkyvem. Čím více máte losů, tím vyšší jsou vaše šance na získání falešného pozitiva. Kolik losů tedy potřebuji nakoupit?

P(výhra) = 1 – (1 – p)ⁿ

U našich 18 měření jsme měli 60% šanci, že nám vyjde nějaký „významný“ výsledek p < 0,05. (Měření byla vzájemně nezávislá, a tak výsledky mohly být ještě lepší.) Celá hra byla cinknutá v náš prospěch. Říká se tomu p-hacking, tedy upravování návrhu experimentu a dat s cílem stlačit p pod 0,05, a představuje to veliký problém. Většina vědců je počestná činí to nevědomky. Když jim vyjdou negativní výsledky, přesvědčí sami sebe, že někde udělali chybu a experiment opakují, dokud „nefunguje“. Případně vyloučí vychýlené hodnoty. Ale i kdybychom byli opatrní a p-hackingu se vyvarovali, naše studie byla již od začátku odsouzena k neobjektivitě kvůli malému počtu subjektů, který zesiluje účinky nekontrolovaných faktorů. Jeden příklad za všechny: váha ženy může v průběhu menstruačního cyklu kolísat i o 2,3 kg, což je mnohem víc, než byl rozdíl mezi hmotností testovaných skupin. A to je přesně důvod, proč je nutné mít velký počet subjektů, jelikož tím dojde k vybalancování věku a pohlaví napříč sledovanými skupinami. (S tím jsme se vůbec neobtěžovali.)

Naše výsledky tedy měly stejnou vypovídací hodnotu jako věštění z kávového lógru. Čokoláda může být příčinou urychlení ztráty hmotnosti, anebo taky vůbec ne. Stejně tak nemůžete věřit ani úbytku hmotnosti, který naše dvě skupiny zaznamenali oproti skupině kontrolní. Kdo ví, co ta hrstka lidí v kontrolní skupině vůbec jedla? My se jich na to neptali.

Naštěstí se vědci snaží s tímto problémem vypořádat. Některé odborné časopisy se snaží p-hodnotu z hodnocení výsledků vyloučit úplně, čím se snaží vědce kultivovat k použití lepších způsobů. Navíc, téměř nikdo už dnes nebere vážně studie s méně jak 30 subjekty. Editoři renomovaných časopisů takové studie odmítají, aniž by je vůbec předkládali k recenzování. Bohužel se stále najde dostatek časopisů, které preferují peníze před kvalitou.

Publikace bez jakékoliv recenze

A pak již nazrál čas se o naše převratné vědecké zjištění podělit se světem. Potřebovali jsme publikovat co nejdříve. Avšak vzhledem k bídné kvalitě našeho výzkumu jsme se rozhodně nemohli podrobit odbornému recenzování. Naštěstí existují seznamy prodejných vydavatelů odborných časopisů. (Zde je můj seznam a zde je ještě jeden.) Vzhledem k časové tísni jsem náš článek s názvem „Čokoláda s vysokým obsahem kakaa coby urychlovač hubnutí“ zaslal hned dvacítce časopisů. Chytili jsme se za palce a čekali.

Do 24 hodin náš článek přijalo k publikaci hned několik z časopisů. Není asi třeba zmiňovat, že jakékoli odborné recenzování neproběhlo. Nakonec jsme vybrali horlivého editora z The International Archives of Medicine. Tento časopis byl dříve provozován obřím vydavatelstvím BioMedCentral, avšak v nedávné době změnil majitele. Výkonný ředitel nového vydavatele, Carlos Vasquez, v e-mailu Johannesovi napsal, že „vyprodukoval špičkovou práci“ a že za pouhých 600 eur může být „zveřejněn v jejich předním časopise.“

Přestože editor časopisu oficiálně tvrdí, že všechny články uveřejněné v časopisu podléhají přísnému posuzování odborníky, byl náš článek otištěn do méně než dvou týdnů po strhnutí požadované částky z Onnekenova bankovního účtu. V našem článku nebylo změněno ani písmeno.

Kopírování zajistí sexy úvod a lákavé shrnutí

Jakmile byl článek venku, bylo třeba na něj upozornit. Zavolal jsem známé, která pracuje v oblasti vědeckého PR. Ta mi ukázala několik špinavých triků, jak se dostat na stránky novin. Bylo poněkud zvláštní slyšet, jak funguje druhá strana toho, co dělám každý den.

Klíčem ke všemu je až neuvěřitelná lenost novinářů. Pokud správným způsobem předložíte informace, můžete de facto určovat, v jaké podobě váš článek vyjde. Ve skutečnosti tomu tak je doslova, jelikož mnozí reportéři prostě okopírovali náš původní text.

Podívejte se na naše tiskové prohlášení. Má v sobě vše. Sexy úvod, lákavé shrnutí, několik úderných citací a třešničku na závěr. A proč pak vůbec číst celou práci, když už je všechno důležité řečeno v prohlášení. Dal jsem si veliký pozor, aby bylo přesné. Spíše než napálit žurnalisty jsem se je snažil nalákat na zcela obyčejné tiskové prohlášení o vědecké práci. (Samozřejmě jsem opomenul uvést počet subjektů a malý váhový rozdíl mezi sledovanými skupinami.)

Jen dobrá tisková zpráva však nestačí. Reportéři také potřebují nějaké to umění, něco hezkého, co ukáží čtenářům. Onneken a Löbl tak nechali natočit několik propagačních videoklipů, píseň, a dokonce i rapový song o čokoládě a úbytku váhy. (Zjistili jsme, že na internetu si člověk může objednat snad téměř cokoli.)

Onneken napsal tiskové prohlášení v němčině a oslovil přímo německá média. Příslib exkluzivní zprávy je vždy lákavý, ačkoli je falešná. Prohlášení v němčině jsme zaslali tiskové agentuře v Rakousku, to anglické pak putovalo do NewsWire. Žádnou kontrolu kvality jsme neprovedli. To jsme nechali na novinářích.

S tím, jak naše návnada vystřelila do světa, jsem cítil podivnou směs hrdosti a znechucení.

Realita nikoho nezajímala

Podařilo se nám ulovit pořádně velké ryby, a to jsme ani nevěděli, že začaly brát. Bild na nic nečekal a zveřejnil zprávu „Kdo jí čokoládu, zůstane hubený!“ aniž by mě vůbec kontaktoval. Za chvíli následovaly Daily Star, Irish Examiner, německá verze Cosmopolitanu, Times of India, německá a indická verze Huffington Post, a dokonce i televizní zprávy v Texasu a jedna australská ranní show.

Když už mě někdo vůbec kontaktoval, byly mi kladeny pouze povrchní otázky. „Proč si myslíte, že čokoláda napomáhá hubnutí? Dal byste našim čtenářům nějaké rady?“ Téměř nikdo se neptal, kolik subjektů jsme použili, a když už, tak dané číslo nezveřejnili. Ani jeden reportér se zdá se neporadil s externím odborníkem. Minimálně žádný takový nebyl citován.

Takovéto publikace, přes velký počet lidí, které osloví, nejsou tedy zrovna ukázkou poctivé novinařiny. Není tedy překvapením, že se novináři neštítí vzít nějaký ten digitální šum, udělat z něj titulek, pochlubit se návštěvností a to samé dokola. Avšak i zdánlivě důsledné zdroje naši zprávu převzali bez výtek.

Článek o naší studii v časopise Shape (str. 128 červnového vydání) sice prošel rukou korektora, avšak velice mdlou. Vše, co jeho zásah zahrnoval, bylo projetí několika vět po gramatické stránce a kontrola hláskování mého jména. Článek také zašel dále než ostatní a uváděl přesné, účinné množství čokolády (81 %). Dokonce i zmínil dva konkrétní výrobky („dostupné v supermarketech a na amazon.com“).

Někteří měli zřejmě i štěstí. Reportérka z časopisu Men’s Health se mnou provedla rozhovor přes e-mail, kdy kladla stejné povrchní otázky. Avšak zmínila, že článek vyjde až v listopadu, a tak se ho už asi nedočkáme.

A co bylo největším zklamáním? Nikdo nepoužil naši nabídku čokoládových hudebních videí. Místo toho bezmyšlenkovitě články opatřili pornografickými obrázky žen, jak jedí čokoládu. Snad začne naše hudba žít vlastním životem, jakmile pravda vyjde najevo.

I seriózní výzkumy mohou být matoucí a neprůkazné

Tak proč bychom se měli vůbec starat. Lidé, kteří zoufale hledají spolehlivé informace, musí čelit záplavě všemožných rad a návodů – sůl je špatná, sůl je dobrá, bílkoviny jsou špatné, bílkoviny jsou dobré, tuk je dobrý, tuk je špatný – a ty se mění rychle jako počasí. Věda to ale za nás přeci vyřeší, že? Teď, když obezitu nazýváme epidemií, poplynou finanční prostředky k těm nejlepším vědcům, všechen ten informační šum zmizí a nám zůstanou jen jasné, správné odpovědi.

A taky třeba ne. Dokonce i dobře financované, seriózní výzkumy zaměřené na hubnutí jsou matoucí a neprůkazné, stěžuje si Peter Attia, chirurg, který spoluzaložil neziskovou organizaci s názvem Nutrition Science Initiative. Například Hnutí za zdraví žen (Women’s Health Initiative), které je jednou z největších svého druhu, nebylo schopno přinést jasné poznatky o stravě a zdraví. „Výsledky byly pouze matoucí,” tvrdí Attia. „Utratili jednu miliardu dolarů a stále přitom nevíme, zda je nízkosacharidová dieta lepší, nebo horší.” Jeho nezisková organizace se nyní snaží získat 190 milionů dolarů, aby mohla tyto základní otázky konečně zodpovědět. Jak tvrdí, rozklíčovat téma obezity je však extrémně náročně. „Je zde přítomno příliš šumu.“
Za to můžete poděkovat lidem, jako jsem já. My, novináři, musíme den co den krmit zpravodajství a stravování je náš roh hojnosti. Čtenáři se prostě nemohou nabažit článků o skvělých účincích červeného vína a škodlivosti fruktózy. Nejen, že to má univerzální relevanci (týká se to rozhodnutí, která činíme alespoň třikrát denně), je to také věda! Navíc nemusíme ani nikam chodit, pokud chceme psát zprávy. Plně postačí, pokud se pročteme denní záplavou vědeckých tiskových zpráv, které nám přistávají na e-mailu. Pak už jen připlácnout obrázek z fotobanky a padla.

Jediný problém vědy o stravování a potravinách je skutečnost, že se jedná o vědu. Musíte totiž vědět, jak správně vědecké články číst – pokud to vůbec děláte. Příliš dlouho jsme s tímto tématem nakládali ve stylu bulváru a papouškovali všechno, co kdo tvrdil. Doufejme, že náš malý experiment v novinářích a čtenářích vzbudí více obezřetnosti.

Jestliže studie ani neuvádí počet účastníků či hlásá odvážná, „statistický významná“ tvrzení, aniž by vlastně říkala, jak velká, měli byste se ptát proč. Povětšinou to však neděláme. A to je škoda, protože novináři se de facto transformují na systém odborného recenzování. A v momentě kdy selžeme, svět zaplavujeme pavědou.

Přesto jsme v této tragikomedii objevili něco naděje. Zatímco novináři tupě kopírovali naše zjištění, mnozí z čtenářů v sobě dostatek skepse nalezli. V různých komentářích pod články vznášeli otázky, které měli klást samotní novináři.

„Proč nejsou vypočteny kalorie pro jednotlivé subjekty?” ptal se například jeden na fóru o kulturistice. „Doména [webu Ústavu zdraví a stravování] byla zaregistrována na začátku března a desítky blogů a zpravodajských časopisů (viz Google) studii šířily, aniž by si zjistily, kdo za ní stojí,“ napsal jiný čtenář pod článkem v předním německém časopisu Focus.
Jak také poznamenal jeden bystrý čtenář v článku v Daily Express ze 4. dubna, „Ve stravování máme apríl každý den.“

Autor: John Bohannon

Přeloženo z: http://io9.com/i-fooled-millions-into-thinking-chocolate-helps-weight-1707251800

Moje vyjádření

Úžasný a součastně i děsivý příběh, jak snadno lze klamat média i nás všechny. Největší problém je, že nejde jen o čokoládu. Mnohé obdobně nekvalitní studie produkují a pak nekriticky papouškují i odborníci a vědecké publikace. Jak detailně popisuje britský lékař Ben Goldacre ve své knize Zkorumpovaná farmacie, doposud nejrozsáhlejší dokumentaci triků, jejichž pomocí farmaceutický průmysl dostává k pacientům i své neúčinné, či dokonce zdraví poškozující léky anebo jak vyjadřuje: Dr. Richard Horton, editor Lancet: 

Co s vědou a studiemi?

Určitě je potřebujeme. Jedno z řešení k posílení jejich důvěryhodnosti by měla být povinnost veřejně publikovat jejich kompletní design a výsledky, a to u všech realizovaných studií, aby se snížilo riziko výběru jenom vhodných prací a vhodných dat. Sama často mnohé studie cituji, většinu vybraných si i ověřuji, ale přiznávám, že není v mých možnostech ověřovat naprosto každé slovo každé práce.

I pro vše uvedené, proto sleduji nejenom výsledky studií, ale i zkušenosti jednotlivců a empirická data. I proto je pro mne v některých případech, jako třeba jsou terapie nezávažných zdravotních potíží u dětí, zkušenost rodičů, kteří úspěšně použili třeba i jen kuličky cukru důležitá a přijde mi nesmyslné agresivně ji odmítat jako nesmyslnou, jen protože ji odborné studie nepotvrzují. Margit