In deel 8 van de wetenschapsalmanak hebben we gekeken naar de gerandomiseerde gecontroleerde studies (RCT’s) en hoe deze ons bijvoorbeeld helpen om het effect van een hoge eiwitinname in combinatie met krachttraining op spiergroei te bestuderen. Bij een RCT kan duidelijk causaliteit worden aangetoond en dat is een groot voordeel. Er zijn echter ook beperkingen aan de RCT. Één RCT levert namelijk nog geen overtuigend bewijs. Om meer overtuigend bewijs van de oorzaak-gevolgrelaties tussen twee variabelen te hebben, zijn systematische reviews en meta-analyses nuttig. In deel 9 richten we ons dan ook op systematische reviews en meta-analyses. Een systematische review is als het samenbrengen van de beste informatie uit verschillende onderzoeken over een bepaald onderwerp. Het helpt ons om te begrijpen wat de totale stand van zaken is. Een meta-analyse gaat nog een stap verder door de resultaten van verschillende studies te combineren en statistisch te analyseren, zodat we een nog duidelijker beeld krijgen van de effecten. Wees echter voorzichtig met het klakkeloos overnemen van conclusies uit een meta-analyse. De ene meta-analyse is namelijk de andere niet.
Wat is een systematische review?
Als serieuze professional gebruik je zelden één studie om definitieve conclusies te trekken. Neem bijvoorbeeld het effect van een hoge eiwitinname in combinatie met krachttraining op spiergroei. Naarmate er meer onderzoeken over dit onderwerp verschijnen, ontstaat er een omvangrijke verzameling literatuur die vaak in de richting wijst dat een hogere eiwitinname in combinatie krachttraining tot meer spiergroei leidt, dan een wat lagere eiwitinname. Er zullen echter ook studies zijn die laten zien dat een hogere eiwitinname helemaal geen effect heeft op spiergroei. De beschikbare literatuur over een bepaald onderwerp omvat vaak verschillende onderzoeksopzetten, uiteenlopende populaties en talloze methodologische verschillen. Onvermijdelijk leidt dit vaak tot enige tegenstrijdigheid in de resultaten van individuele studies. Om toch een weloverwogen oordeel over het effect bijvoorbeeld een hogere eiwitinname in combinatie met krachttraining op spiergroei te bestuderen, is het aan te raden om de beschikbare onderzoeken over dit thema op een rij te zetten en te beoordelen op de wetenschappelijke grondigheid. Enter de systematische reviews en meta-analyses.
Systematische review
Een systematische review is een gestructureerde methode om alle relevante studies over een specifiek onderwerp te identificeren, selecteren en beoordelen. Het doel? Een georganiseerd en systematisch overzicht bieden van de beschikbare literatuur over een bepaald onderwerp. Stel je voor dat een onderzoeker wil weten of een hoge eiwitinname in combinatie met krachttraining daadwerkelijk leidt tot meer spiergroei. Een systematische review zou beginnen met het formuleren van een duidelijke onderzoeksvraag, gevolgd door een uitgebreide zoektocht naar alle relevante studies. De onderzoeker zou vervolgens deze studies beoordelen op kwaliteit en de resultaten samenvatten. Waarom is dit zo belangrijk? Systematische reviews minimaliseren de invloed van bias door zich te houden aan vooraf gespecificeerde methoden voor literatuuronderzoek, studiecategorisatie (indelen van studies op basis van bijvoorbeeld studie-opzet, onderzoekspopulatie en soort interventie) en -beoordeling. Dit voorkomt dat onderzoekers alleen de studies selecteren die hun eigen ideeën bevestigen, een fenomeen dat we kennen als ‘cherry-picking’.
Meta-analyses: van kwalitatief naar kwantitatief
In sommige gevallen is het mogelijk en wenselijk om de resultaten van bestaande studies statistisch te combineren. Dit noemen we een meta-analyse. Het is essentieel om te begrijpen dat deze stap van kwalitatief onderzoek (systematische review) naar kwantitatief onderzoek (meta-analyse) niet altijd gepast is. Bij ons voorbeeld over eiwitinname en spiergroei zou een meta-analyse de resultaten van verschillende studies statistisch combineren om een gemiddeld effect te berekenen. Dit kan leiden tot een preciezere schatting van het werkelijke effect van eiwitinname op spiergroei dan wat individuele studies kunnen bieden. Echter, niet alle literatuur leent zich voor kwantitatieve combinatie. Als de studies over eiwitinname en spiergroei te verschillend zijn in opzet of uitvoering, is het beter om bij een kwalitatieve systematische review te blijven.
Voor- en nadelen van systematische reviews en meta-analyses
Wanneer onderzoekers een hoogwaardige meta-analyse uitvoeren op basis van een kwalitatief sterke verzameling literatuur, kunnen we zeer betrouwbare resultaten verwachten. Toch is het uitvoeren van een effectieve meta-analyse complex, en we kunnen er niet zomaar van uitgaan dat alle meta-analyses robuuste conclusies opleveren. Het is cruciaal om te onthouden dat een meta-analyse niet per definitie beter is dan een systematische review. Elke meta-analyse zou moeten beginnen als een systematische review, en de beslissing om de stap te zetten naar een kwantitatieve beoordeling zou uitsluitend moeten afhangen van de geschiktheid van de literatuur voor een dergelijke analyse. Ook kan een meta-analyse gebaseerd zijn op methodologisch minder goed uitgevoerde studies, botweg wordt dat vaak Garbage In, Garbage Out (GIGO) genoemd. Wanneer er sprake is van GIGO, dan zal de meta-analyse ook van mindere kwaliteit zijn. Ook kan het totaal aantal studies dat is geïncludeerd voor een meta-analyse beperkt zijn. Op zich hoeft dat nog geen probleem te zijn als binnen de geïncludeerde studies veel proefpersonen zijn geïncludeerd. Verder kan een meta-analyse gebaseerd zijn op observationele studies, waardoor nog steeds niet duidelijk is of er een oorzakelijk verband tussen de onderzochte variabelen is. Dat maakt de meta-analyse niet slecht, maar maakt de meta-analyse ongeschikt om causale conclusies aan te verbinden, terwijl dat met een goed uitgevoerde RCT wel kan. Kortom de ene meta-analyse is de andere niet. Hiermee proberen we voorzichtig te zeggen dat sommige meta-analyses beter zijn, dan andere meta-analyses.
Meer weten over veelgemaakte fouten in meta-analyses? Klik dan hier.
Wil je fit worden zonder fratsen. Bestel dan Fit zonder fratsen hier. Of klik op het boek hieronder:
