Na twintig delen vol wetenschappelijke inzichten is het tijd voor een onderwerp dat de interpretatie van onderzoek sterk beïnvloedt: publicatiebias. In eerdere delen van de Wetenschapsalmanak hebben we gekeken naar zoekstrategieën, methodologie en de wijze waarop een wetenschappelijk artikel is opgebouwd. Maar wat als de onderzoeken die we lezen slechts een deel van het verhaal vertellen? Wat als studies met ‘oninteressante’ of niet-significante resultaten simpelweg nooit het daglicht zien?
Een voorbeeld hiervan is het onderzoek naar de effecten van bijvoorbeeld een nieuw supplement dat verbluffende resultaten op spiergroei en spierkracht zou laten zien. Wanneer een eerste studie een groot positief effect aantoont, krijgt deze vaak veel aandacht. Maar hoe zit het met studies die geen of slechts een klein effect vinden? Worden deze net zo vaak gepubliceerd? Dit mechanisme, waarbij positieve of spectaculaire resultaten eerder gepubliceerd worden dan tegenvallende of ‘saaie’ bevindingen, staat bekend als publicatiebias.
Wat is publicatiebias?
Helaas worden statistisch significante bevindingen vaak als ‘interessanter’ beschouwd en krijgen ze meer kans om gepubliceerd te worden. Onderzoekers hebben baat bij publicaties: het verhoogt hun academische reputatie en vergroot hun kansen op financiering. Tegelijkertijd kost publiceren veel tijd en moeite, vooral als een tijdschrift of reviewer niet enthousiast is over de resultaten. Wordt een artikel namelijk niet geaccepteerd en dus gepubliceerd in een bepaald tijdschrift, dan moet je als onderzoeker naar een volgend tijdschrift om je artikel gepubliceerd te krijgen. Lukt het hier niet, dan moet je weer naar het volgende tijdschrift. Vaak probeer je als onderzoeker je artikel gepubliceerd te krijgen in een wetenschappelijk tijdschrift waarvan je realistisch denkt dat het geplaatst wordt, maar ook waar het een grote impact heeft. Wetenschappelijke tijdschriften hebben namelijk een bepaalde rangorde van status en impact. Krijg je je artikel bijvoorbeeld gepubliceerd in Nature, of Science (dat lukt maar weinigen), dan heeft dat ontzettend veel impact. Hierdoor kan een situatie ontstaan waarin onderzoekers veel moeite doen om significante resultaten gepubliceerd te krijgen, terwijl niet-significante bevindingen mogelijk in een la verdwijnen.
Dit kan leiden tot een vertekend beeld van de werkelijkheid. Als alleen studies waarin ‘iets werkt’ worden gepubliceerd, lijkt het alsof een bepaalde interventie altijd effectief is. Zelfs als een interventie in werkelijkheid een zeer gering effect heeft, zal een deel van de studies toevallig een positief resultaat vinden door toeval of een hele kleine steekproef. Wanneer alleen die positieve studies gepubliceerd worden, krijgen we een onvolledig en misleidend beeld van de werkelijkheid.
Hoe beïnvloedt publicatiebias verschillende onderzoeksgebieden?
De mate waarin publicatiebias voorkomt, verschilt per vakgebied en type onderzoek. Bij grote trainingsstudies waarin het effect van een supplement op spiergroei en spierkracht wordt onderzocht. En er heel veel onderzoekstijd is geinversteerd om proefpersonen te trainen is het onwaarschijnlijk dat resultaten niet gepubliceerd worden. Maar bij een korte online-enquête of een kleinschalige studie naar een supplement met slechts een paar meetmomenten ligt dat anders. Dit soort onderzoeken zijn relatief goedkoop en kosten minder tijd, waardoor tegenvallende resultaten makkelijker genegeerd kunnen worden.
Terug naar het voorbeeld van het nieuwe supplement. Grote, goed opgezette trainingsstudies met significante bevindingen krijgen meestal ruime aandacht. Maar kleinere studies die geen duidelijk effect vinden, blijven vaker ongepubliceerd. Hierdoor ontstaat de indruk dat het supplement een veel sterker effect heeft dan in werkelijkheid het geval is.
Gevolgen van publicatiebias
Publicatiebias heeft belangrijke consequenties. Als er slechts een paar studies over een onderwerp zijn gepubliceerd, moeten we voorzichtig zijn met het trekken van conclusies en deze direct vertalen naar de praktijk. Er kunnen immers nog ongepubliceerde, minder indrukwekkende resultaten bestaan. Dit geldt vooral bij de eerste studies over een nieuw onderwerp. Vaak start een vakgebied met een enkele publicatie waarin een groot effect wordt gerapporteerd, wat veel aandacht trekt. Zelfs wanneer latere studies dit spectaculaire resultaat niet kunnen repliceren, blijft het eerste, indrukwekkende effect hangen in de publieke perceptie. Zo waren de eerste studies over het effect van HMB op spiergroei mind blowing, terwijl in latere studies er helemaal geen, of zeer klein effect van HMB op spiergroei werd gevonden.
Gezien de neiging om opvallende, ‘sexy’ resultaten te publiceren, moeten we onszelf dwingen om geduldig en kritisch te blijven. Definitieve conclusies trekken op basis van één of enkele studies is onverstandig. Dit geldt zowel voor wetenschappers als voor trainers, coaches en atleten die zich baseren op wetenschappelijke literatuur.
En dus…
Publicatiebias zorgt ervoor dat we vaak slechts een deel van het totale wetenschappelijke plaatje zien. In de (sport)wetenschap kunnen spectaculaire bevindingen de overhand krijgen, terwijl minder opzienbarende resultaten onderbelicht blijven. Dit betekent niet dat we wetenschappelijk onderzoek moeten wantrouwen, maar wel dat we altijd kritisch moeten blijven kijken naar de beschikbare literatuur. Hoe groot is de totale onderzoeksliteratuur over een onderwerp? Zijn er ongepubliceerde of minder spectaculaire studies die een ander beeld schetsen? En hoe sterk is het bewijs echt?
Door deze vragen in gedachten te houden, voorkomen we dat we te snel meegaan in de hype van nieuwe, spannende onderzoeksbevindingen. Want zoals we inmiddels weten: de wetenschap is complexer dan alleen de meest spectaculaire koppen in de media doen vermoeden.
Wil je fit worden zonder fratsen. Bestel dan Fit zonder fratsen hier. Of klik op het boek hieronder:
