In eerdere delen van de wetenschapsalmanak hebben we verschillende onderzoeksmethoden besproken. Van observationele studies zoals cohortonderzoeken tot gerandomiseerde gecontroleerde trials (RCT’s) en systematische reviews: elk type onderzoek draagt op zijn eigen manier bij aan onze kennis. Maar hoe bepaal je hoe sterk een bepaalde conclusie is?
Niet elke studie geeft een even duidelijke of overtuigende onderbouwing. Sommige resultaten wijzen in een richting, terwijl andere stevig onderbouwd zijn. Om dit goed te beoordelen, gebruiken we de hiërarchie van wetenschappelijk bewijs.
Deze hiërarchie laat zien welke soorten onderzoek over het algemeen de sterkste conclusies mogelijk maken. In dit deel bekijken we hoe deze rangorde werkt en hoe je daarmee kunt inschatten hoe betrouwbaar en overtuigend wetenschappelijke bevindingen zijn.
Wat is de hiërarchie van wetenschappelijk bewijs?
Bij het interpreteren van wetenschappelijke literatuur kun je soms tegen lastige vragen aanlopen. Stel, een observationele studie laat zien dat mensen die veel eiwitten eten meer spiermassa hebben, maar een goed gecontroleerd dieronderzoek toont juist aan dat extra eiwitten consumeren geen effect heeft op de opbouw van spiermassa. Hoe bepaal je wat je moet geloven? Of wat als verschillende RCT’s niet unaniem zijn over de hoeveelheid eiwitten die nodig zijn om spiergroei te stimuleren?
In zulke gevallen helpt de “hiërarchie van wetenschappelijk bewijs” om orde te scheppen. Deze hiërarchie geeft aan hoe sterk verschillende soorten onderzoek over het ALGEMEEN zijn, van zwak tot sterk bewijs. Vaak wordt dit weergegeven als een piramide: onderaan staan vormen van bewijs die minder overtuigend zijn, zoals anekdotes of kleine observationele studies, terwijl bovenaan de sterkste vormen staan, zoals systematische reviews en meta-analyses.
Door deze hiërarchie te gebruiken, kun je beter inschatten hoe betrouwbaar en overtuigend bepaalde conclusies zijn. In dit deel leggen we uit hoe de hiërarchie werkt en hoe je die kunt toepassen, bijvoorbeeld bij de vraag of veel eiwitten eten echt helpt om spiermassa op te bouwen. In onderstaande figuur zie je de piramide van hiërarchie van wetenschappelijk bewijs.
Figuur 1
Piramide van hiërarchie van wetenschappelijk bewijs
De waarde van deze wetenschappelijke piramide hangt volledig af van de aanname dat het bewijsmateriaal eerlijk, zorgvuldig en vakkundig is verzameld. Neem bijvoorbeeld een goed uitgevoerde dierstudie: die kan overtuigender bewijs leveren dan een slordige cross-sectionele studie of zelfs een matig uitgevoerde RCT. Meta-analyses worden vaak gezien als de top van wetenschappelijk bewijs. Toch bevatten meta-analyses op het gebied van (sport)voeding, krachttraining en gezondheid verrassend vaak fouten.
Een sterke meta-analyse, opgebouwd uit solide RCT’s, levert het meest betrouwbare bewijs. Maar als een meta-analyse slecht is uitgevoerd of gebaseerd is op gebrekkige studies, verliest die al snel waarde. Soms is zelfs de best uitgevoerde RCT in een meta-analyse overtuigender dan de meta-analyse zelf, simpelweg door methodologische problemen in de analyse.
Bij meta-analyses op het gebied van (sport)voeding, krachttraining en gezondheid zien we bijvoorbeeld fouten, zoals het combineren van heel verschillende soorten studies, waarbij appels met peren worden vergeleken. Denk aan onderzoeken naar krachttraining bij jongeren samenvoegen met studies naar ouderen. Een andere veelgemaakte fout is dat de kwaliteit van de opgenomen studies niet goed wordt gecontroleerd. Als er veel zwakke studies in een meta-analyse zitten, gaat het algemene resultaat er ook onder lijden. Daarnaast worden soms verkeerde statistische methodes gebruikt, waardoor de resultaten minder betrouwbaar zijn. Als je meer wil weten over veelgemaakte fouten in meta-analyses, lees dan dit artikel.
Ter illustratie: stel dat een goed uitgevoerde krachttrainingsstudie laat zien dat 1,6 gram eiwit per kilogram lichaamsgewicht per dag optimale spiergroei bevordert. Als een meta-analyse deze resultaten combineert met studies van mindere kwaliteit, of studies waarin heel andere hoeveelheden of typen eiwitten zijn gebruikt, dan wordt het lastig om een helder en bruikbaar advies te geven. Dit onderstreept hoe belangrijk het is om niet alleen de hiërarchie te volgen, maar ook kritisch naar de kwaliteit van afzonderlijke studies en meta-analyses te kijken.
