Meta-analyses, de ene is de andere niet

Zoals je wellicht weet staan meta-analyses bovenaan in de hiërarchie van wetenschappelijk onderzoek. Als je een meta-analyse in handen hebt, dan hoef je niet meer verder te zoeken naar andere studies, toch en zeker niet meer kritisch te kijken naar de meta-analyse zelf? Dat ligt toch net even wat genuanceerder. Nu zijn wij zeker geen experts op het gebied van het uitvoeren en beoordelen van meta-analyses, maar toch kun je op voorhand al naar een aantal voor de hand liggende zaken kijken, waarmee je de kwaliteit van een meta-analyse al een klein beetje kan beoordelen. Zo kan een meta-analyse gebaseerd zijn op methodologisch minder goed uitgevoerde studies, botweg wordt dat vaak Garbage In, Garbage Out (GIGO) genoemd. Wanneer er sprake is van GIGO, dan zal de meta-analyse ook van mindere kwaliteit zijn. Ook kan het totaal aantal studies dat is geïncludeerd voor een meta-analyse beperkt zijn. Op zich hoeft dat nog geen probleem te zijn als binnen de geïncludeerde studies veel proefpersonen zijn geïncludeerd. Verder kan een meta-analyse gebaseerd zijn op observationele studies, waardoor nog steeds niet duidelijk is of er een oorzakelijk verband tussen de onderzochte variabelen is. Dat maakt de meta-analyse niet slecht, maar maakt de meta-analyse ongeschikt om causale conclusies aan te verbinden, terwijl dat met een goed uitgevoerde RCT wel kan. Kortom de ene meta-analyse is de andere niet. Hiermee proberen we voorzichtig te zeggen dat sommige meta-analyses beter zijn, dan andere meta-analyses. Dat sommige meta-analyses beter zijn dan andere is geen persoonlijke mening, maar gebaseerd op een artikel dat is gepubliceerd in 2022. De auteurs van dit artikel hebben gekeken naar de meest voorkomende statistische fouten in de 20 (eigenlijk 21) meest geciteerde meta-analyses op het gebied van strength and conditioning. Wij nemen deze fouten met je door, bespreken waarom het een fout is, hoe je deze fouten kan herkennen en sluiten af met een hopelijk praktische checklist hoe je zelf beter kan beoordelen of je een goede meta-analyse in handen hebt.

Wat hebben de auteurs gedaan?

Hoe de onderzoekers tot hun publicatie zijn gekomen, is best opmerkelijk. De onderzoekers zagen namelijk in een veel geciteerde meta-analyse op het gebied van strength and conditioning dat de auteurs van de meta-analyse 5 statistische fouten hadden gemaakt. Vervolgens hebben de onderzoekers onderzocht in hoeverre er sprake was van statistische fouten in de 20 meest geciteerde meta-analyses op het gebied van strength and conditioning.

Wat waren de resultaten?

85% van de 20 meest geciteerde meta-analyses hadden minimaal 1 statistische fout. Hieronder wordt weergegeven wat het relatieve voorkomen van de verschillende statistische fouten is over de 20 meest geciteerde meta-analyses op het gebied van strength and conditioning:

• Bij 45% van de meta-analyses werd gekeken naar within-group in plaats van between-group analyse
• Bij 45% van de meta-analyses werd er niet gecorrigeerd voor gecorreleerde observaties (within-study correlatie).
• Bij 45% van de meta-analyses werd de effect size niet goed berekend.
• Bij 40% van de meta-analyses is er niet gecorrigeerd voor within-study
• Bij 25% van de meta-analyses werden outliers genegeerd.

Denk je nu: ik weet echt niet wat deze statistische termen betekenen en wat ik ermee moet. Geen nood, wij dachten precies hetzelfde en zijn daarom gaan speuren naar de betekenis van deze termen en proberen per fout uit te leggen wat de fout betekent en waarom het belangrijk is.

Within-group versus between-group analyse

Wanneer we kijken naar gerandomiseerde, placebo-gecontroleerde trials (RCT), dan wordt het effect van een interventie (bijvoorbeeld een trainings-, of voedingsinterventie) vergeleken met het effect van een placebo. Door het effect van de interventie te vergelijken met de placebo, wordt pas echt duidelijk wat het effect van de interventie is. De vergelijking tussen de placebo- en interventiegroep wordt met een duur woord de between-group analyse genoemd. De mogelijke verandering die binnen een groep wordt geanalyseerd, wordt een within-group analyse genoemd. Door binnen een meta-analyse alleen aan de slag te gaan met een within-group analyse krijg je mogelijk een overschatting van het effect van de interventie, omdat het effect binnen de interventiegroep niet is vergeleken met het effect binnen de placebogroep. Binnen een meta-analyse is het dus belangrijk dat er wordt gewerkt met een between-group analyse.

Within-study correlatie

In sommige meta-analyses worden de resultaten van één individuele studie geteld als resultaten van meerdere aparte studies. Of de resultaten van één individuele studie als resultaten van meerdere aparte studies is gebruikt, kan je zien in het forest plot. In onderstaande figuur 1 is een forest plot weergegeven.

Figuur 1. Forest plot. Overgenomen van: Vecchio, Michele, Rita Chiaramonte, Gianluca Testa, and Vito Pavone. (2021) Clinical Effects of L-Carnitine Supplementation on Physical Performance in Healthy Subjects, the Key to Success in Rehabilitation: A Systematic Review and Meta-Analysis from the Rehabilitation Point of View. Journal of Functional Morphology and Kinesiology 6, no. 4: 93. https://doi.org/10.3390/jfmk6040093

In bovenstaande forest plot zie je dat de resultaten van individuele studies (Chun en Greig) aanvankelijk worden opgevoerd als aparte studies. De waarde van een meta-analyse neemt af wanneer één studie in de meta-analyse vaker wordt meegeteld, zonder daar statistisch voor te corrigeren. De invloed van de desbetreffende studie neemt namelijk toe in het combineren (pooling) van het gemiddelde geschatte effect (pooled effect estimate). Bij pooling worden immers de resultaten van verschillende studies gebruikt om tot een globale schatting van het effect te komen. Wordt één studie meerdere keren gebruikt voor een pooled effect estimate, dan telt die desbetreffende studie zwaarder mee en dat is ongewenst. Later in de meta-analyse waaruit figuur 1 afkomstig is, worden echter de dubbele studies van Chun en Greig verwijderd en wordt er dus correct omgegaan het zogenaamde double counting.

Effect size

Voordat we ingaan op wat een effect size is, presenteren we in figuur 2 eerst weer een forest plot (we zijn er nu toch).

Figuur 2. Forest plot. Overgenomen van: Viribay, Aitor, José Burgos, Julen Fernández-Landa, Jesús Seco-Calvo, and Juan Mielgo-Ayuso. (2020). Effects of Arginine Supplementation on Athletic Performance Based on Energy Metabolism: A Systematic Review and Meta-Analysis Nutrients 12, no. 5: 1300. https://doi.org/10.3390/nu12051300

In bovenstaande forest plot zie je verschillende horizontale lijntjes met een stipje daarin. Dat zijn de effect sizes van de verschillende studies. De ruit onderin de figuur geeft de gewogen gemiddelde effect size (pooled effect estimate) van alle geïncludeerde studies aan. Een effect size (berekend met de Cohen’s d) geeft overigens aan wat de sterkte van het effect van een statistisch verschil tussen twee trainingen, of tussen een placebo en interventie (bijvoorbeeld een placebopil en voedingssupplement) is. Een effect size van 0,2 of kleiner wordt doorgaans beschouwd als klein. Een effect size rond 0,5 wordt beschouwd als matig en een effect size groter dan 0,8 wordt beschouwd als groot.

Kijk je nog eens kritisch naar de forest plot, dan valt op dat 3 effect sizes stukken groter zijn, dan de andere effect sizes en het lijkt er op dat er iets niet klopt. Deze effect sizes horen bij de studies van Camic en Pahlavani. De auteurs van de meta-analyse lijken in het berekenen van de effect sizes de standaarddeviaties (standard error) van de Camic- en Pahlavani studies verward te hebben met standaardfouten. Uuhhh, wat bedoel je, hoezo dan? We leggen uit.

Stel je bestudeert het effect van een voedingsinterventie op vetvrije massa.

Bij aanvang van je studie is de gemiddelde±standaarddeviatie vetvrije massa van je populatie 70±7 kg.

Je verdeelt vervolgens de groep in een interventie- en placebogroep. Beide groepen bestaan uit 9 proefpersonen. Na afloop van de onderzoeksperiode heeft de interventiegroep een vetvrije massa van 72 kg en de placebogroep nog steeds 70 kg. Het verschil tussen de groepen is 2 kg. Om de effect size te berekenen moet je nu het verschil delen door de standaarddeviatie van het de vetvrije massa bij aanvang van je studie, dus 2/7=0,29. Wanneer je echter het verschil tussen de twee groepen deelt door de standaardfout (de standaardfout bereken je door de standaarddeviatie te delen door de wortel van het totaal proefpersonen per groep) dan krijg je een vele grotere effect size. De standaardfout wordt immers berekend door de standaarddeviatie te delen door de wortel van de populatiegrootte per groep; 7/√9=2,33. Wanneer je het verschil tussen de twee groepen deelt door standaardfout, dan krijg je een effectgrootte van (2/2,33=) 0,86; een effectgrootte die bijna drie keer zo groot is als wanneer deze berekend is met de standaarddeviatie. Een effectgrootte berekend met de standaardfout is echter fout.

Within-study variantie

Stel er zijn twee onderzoekers (onderzoeker 1 en 2) die een vergelijkbaar onderzoek uitvoeren. Onderzoeker 1 includeert 20 mensen in zijn onderzoek en onderzoeker includeert 200 mensen in zijn onderzoek. Kort door de bocht zullen de resultaten die worden gevonden bij onderzoeker 2 (grotere groepsgrootte) minder op toeval berusten, dan bij onderzoeker 1. Stel nu is er een onderzoeker (onderzoeker 3) die een meta-analyse wil schrijven over het thema dat onderzoeker 1 en 2 hebben onderzocht. Zou onderzoeker 3 dezelfde weging (within-study variantie) moeten geven in de uiteindelijke meta-analyse? De vraag stellen, is hem al beantwoorden. Nee het onderzoek van onderzoeker 2 zou meer mee moeten wegen dan het onderzoek van onderzoeker 1. Toch blijkt 40% van de meest geciteerde meta-analyses op het gebied van strength and conditioning niet te zijn gewogen.

Outliers

Outliers, oftewel uitbijters zijn in een meta-analyse studieresultaten (bijvoorbeeld effect sizes, of correlatiecoefficienten) van studies die niet bij de overige studieresultaten van andere studies lijken te passen. Nu zijn er verschillende statistische methoden om outliers te identificeren die onze statistische pet zwaar te boven gaan en daarom vallen we terug op een manier die we met onze beperkte cognitieve capaciteit snappen en ook denken uit te leggen. Outliers kun je namelijk identificeren met een funnel plot. Funnel betekent trechter in het Engels en dat is precies wat je hieronder in figuur 3 ziet.

Figuur 3. Funnel plot. Maria Fernanda Laus, Sebastião S. Almeida & Lori A. Klos | (2018) Body image and the role of romantic relationships, Cogent Psychology, 5:1, 1496986, DOI: 10.1080/23311908.2018.1496986

Je ziet een soort omgekeerde trechter met veel rondjes in de trechter en wat rondjes buiten de trechter. Elk rondje is een individuele studie die aanvankelijk is geïncludeerd in de studie. Op de y-as staat de standaardfout van de effect size, of correlatie. Studies met een grotere sample size staan bovenaan in de funnel. Op de x-as wordt het resultaat (vaak een effect size, of correlatiecoëfficient) van de individuele studies gegeven. In bovenstaande funnel plot zie je op de x-as de correlatiecoefficiënt lopende van -1 tot 0,4. Nu zie je zoals gezegd een heleboel studies in de funnel (in de trechter), dus binnen de twee schuine lijnen die als een punt naar elkaar toe lopen. Hoe dichter de studies (dus rondjes) bij de verticale lijn lopen die vanuit de x-as naar de punt van de funnel loopt, des te meer lijkt het resultaat van de individuele studie op de gemiddelde effect size, of in dit geval de gemiddelde correlatiecoëfficiënt. Je raadt het wellicht al; studies die verder van de hierboven verticale lijn staan, laten een resultaat zien dat minder lijkt op de gemiddelde effect size, of gemiddelde correlatiecoëfficiënt. Nu worden op basis van de funnel plot (en ook andere statistische testen, zoals de scatter plot en box plot) studies geëxcludeerd voor verder analyse. Vallen studies buiten de (2 buitenste) schuine lijnen, dan zijn dat outliers en horen ze geëxcludeerd te worden, omdat ze niet geschikt zijn om een gemiddelde effect size, of correlatiecoëfficiënt mee te berekenen. Soms worden deze outliers niet geëxcludeerd en dan heb je te maken met een statistische fout. Lees echter wel goed, want vaak geven de auteurs een funnel plot voor en na exclusie van bepaalde studies om je inzicht te geven in de methodologische grondigheid waarmee zij te werk zijn gegaan.

Controleren of je een goede meta-analyse hebt

Zoals eerder gezegd zijn wij geen experts op het gebied van het uitvoeren en beoordelen van meta-analyses. Het goed uitvoeren van een meta-analyse vraagt namelijk behoorlijk wat expertise. Er worden volledige universitaire opleidingen gewijd aan het goed kunnen uitvoeren van een meta-analyse. Dus de checklist die we zo gaan bespreken waarmee je een meta-analyse kan beoordelen of je een goede meta-analyse in handen hebt, zal zeer waarschijnlijk onvolledig zijn. Bij het presenteren van de checklist gaan we er ook van uit dat de auteur van de meta-analyse een geschikte onderzoeksvraag en zoekstrategie voor artikelen heeft gebruikt. Eerst presenteren we de checklist, daarna bespreken we zo kort mogelijk wat je met de verschillende punten kan doen:

1. Geloofwaardige effecten, ouliers en betrouwbaarheidsintervallen
2. Data meta-analyse weergegeven op proefpersoonniveau, of groepsniveau
3. Genoeg proefpersonen en/of studies geïncludeerd om stevige conclusies te trekken
4. Lijken geïncludeerde studies op elkaar lijken
5. Effect sizes juist berekend
6. Correct gecorrigeerd voor within-study correlatie
7. Juiste statistische model gebruikt
8. Heterogeniteit toegelicht

1. Geloofwaardige effecten, ouliers en betrouwbaarheidsintervallen

Het eerste wat handig is om te doen als je een meta-analyse onder je neus hebt, is kijken naar de forest en funnel plot. In de plots kun je speuren naar effect sizes, of correlatiecoëfficient die uit de toon vallen (zijn ze extreem groot, of wijken ze sterk af van de andere effect sizes). Vervolgens kun je verder lezen hoe ze tot deze effect size zijn gekomen (waarover later meer; punt 5). Als de effect size gerechtvaardigd is, dan kan de auteur van de meta-analyse nog steeds beslissen wat zij/hij/hen met de effect size doet. De auteur kan de meta-analyse nog een keer doen, zonder de afwijkende effect size om te bekijken wat dat doet met de gemiddelde effect size. Of meerdere meta-analyses doen, waarbij telkens één studie wordt weggelaten en kijken wat de impact is op de gemiddelde effect size.

Verder moet de funnel plot bij benadering symmetrisch zijn; dus grofweg moeten de geïncludeerde studies in een piramide lopen met ongeveer evenveel studies links en rechts van de verticale lijn in het midden van de funnel. Let hierbij goed op, want er kunnen twee funnel plots gepresenteerd zijn, één met alle geïncludeerde studies en één nadat er statistische correctie voor bepaalde studies heeft plaatsgevonden.

Tenslotte kun je letten op zeer nauwe betrouwbaarheidsintervallen. Meestal zijn de betrouwbaarheidsintervallen in een meta-analyse niet erg nauw.

2. Data meta-analyse weergegeven op proefpersoonniveau, of groepsniveau

In een meta-analyse wordt data meestal op groepsniveau geanalyseerd en weergegeven. Dit is omdat de meeste meta-analyses zich richten op het vergelijken van gemiddelde effecten tussen groepen, in plaats van individuele verschillen tussen proefpersonen.

Als je in de gelukkige positie bent dat de resultaten op proefpersoonniveau geanalyseerd zijn, dan kan er een grondigere analyse van individuele verschillen tussen proefpersonen worden gedaan. Er zijn gevallen waarin gegevens op proefpersoonniveau niet beschikbaar zijn, of niet goed te vergelijken zijn tussen studies, waardoor de analyse op groepsniveau de enige mogelijkheid is.

3. Genoeg proefpersonen en/of studies geïncludeerd om stevige conclusies te trekken

In theorie zit de kracht van een meta-analyse in het aantal geïncludeerde studies en daardoor het aantal proefpersonen dat is onderzocht. Als er veel geschikte studies van verschillende onderzoekers zijn geïncludeerd, dan kan met meer zekerheid een conclusie worden getrokken. Het is daarbij nog zinvol om te kijken naar de individuele studies te kijken die zijn geïncludeerd. Zijn in de geïncludeerde studies weinig proefpersonen geïncludeerd, dan kan met minder zekerheid een conclusie worden getrokken. Ook kan met meer zekerheid een conclusie worden getrokken als de geïncludeerde studies wat betreft onderzoekspopulatie en -methodologie sterk op elkaar lijken.

4. Lijken geïncludeerde studies op elkaar lijken

Het kan voor een onderzoeker die een meta-analyse wil schrijven erg lastig zijn om studies te vinden die voldoende op elkaar lijken en dan loopt de onderzoeker ook meteen tegen punt 2 aan. Kun je onvoldoende studies vinden die op elkaar lijken (bijvoorbeeld omdat er een verschil zit in de gebruikte populatie, andere meetinstrumenten, andere interventieperiode, etc..), dan heeft de onderzoeker bijna automatisch ook onvoldoende proefpersonen om stevige conclusies te trekken. De onderzoeker kan er dan voor kiezen om ‘alleen’ een systematische review te schrijven, waarin de onderzoeker op kwalitatieve wijze beschrijft wat de stand van zaken is ten aanzien van een bepaald onderwerp. Vaak wordt het schrijven van ‘alleen’ een systematische review als zwaktebod gezien, maar het is juist enorm sterk als de onderzoeker beslist geen meta-analyse te doen, omdat de geïncludeerde studies dat niet rechtvaardigen.

5. Effect sizes juist berekend

Bij het bekijken van de effect sizes kan het in eerste plaats handig zijn om te kijken of er geen onwaarschijnlijk grote effect sizes (weet je nog; dat kun je in de forest plot zien). Als dat het geval blijkt, kan er mogelijk met de standaardfout gerekend zijn.

Verder is het handig om te bekijken of er met within-group effect sizes in plaats van between-group effect sizes is gewerkt. Within-group effect sizes zeggen alleen maar iets over het verschil dat gemeten is binnen de interventiegroep en dat leidt mogelijk tot een overschatting van het effect van de interventie, omdat er niet is gecorrigeerd voor het placebo-effect.

Is er gebruik gemaakt van between-group effect sizes dan is het verschil dat mogelijk is opgetreden bij de interventiegroep wel vergeleken met de placebogroep en is er dus wel gecorrigeerd voor het placebo-effect.

Tenslotte kun je letten of er bij het berekenen van de effect sizes gebruik is gemaakt van de standaarddeviatie van de baseline meting (aanvangsmeting), of van de standaarddeviatie van de gemeten verandering. We leggen uit wat we hiermee bedoelen en gebruiken hierbij het eerder beschreven voorbeeld. Bij aanvang van je studie is de gemiddelde±standaarddeviatie vetvrije massa van je populatie 70±7 kg. Je verdeelt vervolgens de groep in een interventie- en placebogroep. Beide groepen bestaan uit 9 proefpersonen. Na afloop van de onderzoeksperiode heeft de interventiegroep een vetvrije massa van 72 kg en de placebogroep nog steeds 70 kg. Het verschil tussen de groepen is 2 kg.

Om de effect size te berekenen moet je nu het verschil delen door standaarddeviatie bij aanvang van je studie, dus 2/7=0,29.

Stel de standaarddeviatie van het gemeten verschil is 2 kg; dus het gemiddelde±standaarddeviatie van het gemeten verschil is 2±2 kg. Wordt de effect size berekend door het gemiddelde verschil te delen door de standaarddeviatie van het verschil, dan wordt de effect size (2:2=)1. Je ziet dat de effect size dan veel groter wordt (1 versus 0,29).

6. Correct gecorrigeerd voor within-study correlatie

Er zijn verschillende manieren waarop omgegaan kan worden met within-size correlatie. Levert een studie meerdere effect sizes dan kan de auteur van de meta-analyse een gemiddelde berekenen van de effect sizes die een enkele studie levert en deze gemiddelde effect size gebruiken in de uiteindelijk gemiddelde effect size. Ook kan de auteur van de meta-analyse de verschillende effect sizes minder zwaar mee laten wegen in de uiteindelijke gemiddelde effect size van de meta-analyse. Let er op of de auteur inderdaad rekening houdt met effect sizes die door een enkele studie wordt geleverd.

7. Juiste statistische model gebruikt

Omdat een onderzoeker niet de hele populatie kan onderzoeken, probeert de onderzoeker een geschikte steekproef te doen. Vervolgens voert de onderzoeker zijn onderzoek uit bij de onderzoekspopulatie van de genomen steekproef en komt met resultaten die iets zeggen over de populatie waar de onderzoeker een steekproef uit heeft genomen.

Bij een meta-analyse worden meerdere onderzoeken gecombineerd, waardoor je met zekerheid iets kan zeggen over een deelpopulatie (bijvoorbeeld jonge gezonde vrouwelijke gewichtheffers), of grotere populatie (alle mannelijke en vrouwelijke gewichtheffers). Afhankelijk van waar de auteur van de meta-analyse een conclusie over wil trekken, bepaalt welk statistische model de auteur moet gebruiken en zal daar aan het begin van de meta-analyse rekening mee moeten houden. Wil de auteur een conclusie trekken over een grotere populatie, dan wordt vaak een random effects meta-analysis gebruikt.

Verder is het belangrijk dat er in de meta-analyse wordt gecorrigeerd voor confounders. Een confounder is een derde variabele die een relatie vertoont met de onafhankelijke als afhankelijke variabele en daardoor de uitkomst van de studie kan versterken, of verzwakken. Kijk je bijvoorbeeld naar de relatie tussen verzadigd vetinname en het risico op het ontwikkelen van hart- en vaatziekten, dan speelt leeftijd van de geïncludeerde onderzoekspopulatie een belangrijke rol. Is de geïncludeerde onderzoekspopulatie bijvoorbeeld erg jong, dan zal er waarschijnlijk geen relatie tussen verzadigd vetinname en het risico op het voorkomen van hart- en vaatziekten gevonden worden.

Ook bijvoorbeeld de duur van een trainingsprogramma is een belangrijke confounder als je kijkt naar het effect van krachttraining op spierhypertrofie bij ongetrainden. In de eerste 6-8 weken van een trainingsprogramma zal er bij ongetrainden namelijk bijna geen spierhypertrofie optreden.

8. Heterogeniteit toegelicht

Heterogeniteit uitgedrukt in de I² geeft het percentage variatie tussen de effect sizes van de verschillende onderzoeken weer. Bij een grote heterogeniteit (als arbitraire maat wordt vaak >60% gekozen) is het handig om te kijken waar de heterogeniteit vandaan komt. Heel vaak is heterogeniteit geen probleem. De funnel plot kan dan weer handig zijn om te kijken waar de heterogeniteit vandaan komt. Studies die buiten de funnel vallen, zijn handig om nader te bekijken, zijn dat kleine studies dan is dat niet zo’n groot probleem. Ook kun je misschien ontdekken dat bepaalde studies met een afwijkende studiepopulatie, of inspanningsprotocol afwijken waardoor eigenlijk je conclusie ten aanzien van een bepaalde interventie kan worden genuanceerd. Het wordt wel problematisch als de heterogeniteit niet verklaard kan worden.

Conclusie

Goed uitgevoerde meta-analyses staan terecht bovenaan in de hiërarchie van wetenschappelijk onderzoek. Waarop je op moet letten of een meta-analyse goed is uitgevoerd kun je hierboven lezen. Zeer waarschijnlijk zijn we een aantal zaken, zonder te weten dat ze bestaan, vergeten te beschrijven. Hoe dan ook je kunt hopelijk bovenstaande punten erbij pakken om te bekijken of je met een degelijke meta-analyse te maken hebt. Hierbij is het belangrijk je te realiseren dat niet elk punt even belangrijk is bij het inschatten of een meta-analyse van goede kwaliteit is. Bepaalde punten zijn echter wel belangrijk. Punten 1 tot en met 4 zeggen meer iets over hoe sterk de conclusies zijn die je mag trekken. Punt 5 aangaande de effect sizes is een absoluut belangrijk punt en moet goed zijn gebeurd. Ook punt 6 moet goed zijn gebeurd en ook rekening houden met confounders is een belangrijk punt. Tenslotte moet heterogeniteit verklaard zijn. Wil je overigens meer weten over systematische reviews en meta-analyses, kijk eens hier.