Blog 7. Wat kan onderzoeksresultaten beïnvloeden en hoe houden onderzoekers hier rekening mee?

Onderzoekers proberen beter te begrijpen wat er bij ME/CVS in het lichaam gebeurt. In eerdere blogs legden we uit dat zij daarvoor verschillende soorten wetenschappelijk onderzoek doen. In deze blog leggen we uit welke factoren de resultaten van onderzoek naar ME/CVS kunnen beïnvloeden en wat onderzoekers doen om hun onderzoek zo
betrouwbaar mogelijk uit te voeren.

Confounding variables of verstorende variabelen
In de wetenschap gaat het soms over confounding variables, oftewel verstorende variabelen. Deze kunnen een belangrijke rol spelen in biomedisch onderzoek, zoals onderzoek naar ME/CVS. Ieder mens is namelijk anders. Mensen verschillen bijvoorbeeld in leeftijd, geslacht, leefstijl en onderliggende aandoeningen. Deze verschillen kunnen de interpretatie van onderzoeksresultaten beïnvloeden.

Stel dat onderzoekers willen weten of koffiedrinken de bloeddruk verhoogt. Mensen die roken, drinken gemiddeld meer koffie en hebben vaak ook een hogere bloeddruk. Als onderzoekers alleen naar koffie en bloeddruk kijken, kunnen ze daardoor iets over het hoofd zien: roken. Zo'n derde variabele noemen we een verstorende variabele. Deze variabele kan samenhangen met zowel de mogelijke oorzaak die wordt onderzocht, in dit voorbeeld koffiedrinken, als met het mogelijke gevolg, een hogere bloeddruk. Je kunt dan niet zomaar concluderen dat koffiedrinken de hogere bloeddruk veroorzaakt.

Bij onderzoek met mensen is het daarom belangrijk om de kenmerken van deelnemers goed in kaart te brengen. Zo kunnen onderzoekers mogelijke verstorende variabelen herkennen en daar rekening mee houden.
Ook in biomedisch onderzoek naar ME/CVS kunnen verstorende variabelen een rol spelen. Stel dat onderzoekers verschillen in ontstekingswaarden in het bloed onderzoeken tussen mensen met ME/CVS en gezonde controles. Dan kunnen factoren zoals leeftijd, geslacht, medicijngebruik of andere aandoeningen de uitkomsten beïnvloeden. Het is daarom belangrijk om deze kenmerken te kennen, ze mee te nemen in het onderzoek en hier mogelijk voor te corrigeren, zodat onderzoekers beter kunnen beoordelen of gevonden verschillen daadwerkelijk samenhangen met ME/CVS.

Hoe vertekening in een onderzoek kan ontstaan
Een andere uitdaging is bias, oftewel vertekening. Vertekening kan ervoor zorgen dat onder-zoeksresultaten geen goed beeld geven van de werkelijkheid. Vertekening kan op verschillende momenten in een onderzoek ontstaan: bij de keuze van deelnemers, bij het verzamelen en me-ten van gegevens en bij het analyseren en rapporteren van resultaten. Hieronder bespreken we een aantal vormen van bias die ook een rol kunnen spelen bij onderzoek naar ME/CVS.
• Selection bias (selectievertekening): de groep deelnemers is niet representatief voor de hele groep waarover onderzoekers iets willen zeggen. Als een onderzoek bijvoorbeeld alleen wordt uitgevoerd bij gezonde jonge mannen, kunnen de resultaten niet zomaar worden toegepast op oudere vrouwen met een minder goede gezondheid.
• Attrition bias (uitvalsvertekening): ontstaat wanneer bepaalde deelnemers vaker uitval-len dan andere. Ernstig zieke deelnemers kunnen bijvoorbeeld vaker uitvallen dan deel-nemers met mildere klachten, waardoor onderzoeksresultaten positiever kunnen lijken dan ze werkelijk zijn. Dit kan ook bij onderzoek naar ME/CVS voorkomen. Deelname aan onderzoek kan belastend zijn, waardoor het niet iedereen lukt om het hele onderzoek af te ronden. Hierdoor kunnen gegevens van deze deelnemers ontbreken.
• Information bias (informatievertekening): ontstaat door fouten bij het verzamelen, me-ten of rapporteren van informatie. Deelnemers kunnen zich bijvoorbeeld niet precies herinneren wanneer zij aan bepaalde risicofactoren zijn blootgesteld. Ook onderzoekers kunnen onbedoeld invloed hebben op een meting of op de interpretatie van gegevens.
• Publication bias (publicatievertekening): positieve of opvallende onderzoeksresultaten worden vaker gepubliceerd dan negatieve resultaten. Daardoor kan een vertekend beeld ontstaan van wat onderzoek als geheel laat zien.

Vertekening is niet altijd volledig te voorkomen. Onderzoekers proberen de kans op vertekening daarom zo klein mogelijk te maken. Dat begint al bij het ontwerp van een onderzoek, bijvoor-beeld door goed na te denken over de selectie van deelnemers en de manier waarop gegevens worden verzameld en gemeten. Ook kunnen onderzoekers bij de analyse rekening houden met de mogelijke oorzaken van vertekening. Verderop in deze blog bespreken we verschillende me-thoden die onderzoekers gebruiken om onderzoeksresultaten zo betrouwbaar mogelijk te ma-ken.

Hoe kunnen meetfouten onderzoeksresultaten beïnvloeden?
Het kan ook voorkomen dat metingen zelf de onderzoeksresultaten beïnvloeden. Meetapparatuur en laboratoriumtests kunnen bijvoorbeeld kleine afwijkingen hebben. Ook kunnen verschillende apparaten of verschillende onderzoekslocaties bij dezelfde meting net andere waarden geven. Als een apparaat steeds een iets te hoge of te lage waarde aangeeft, komt die afwijking terug in alle metingen. Dit noemen we een systematische fout.

Daarnaast is een meting nooit volledig precies. Er is altijd een bepaalde meetonzekerheid. Een thermometer die alleen hele graden Celsius meet, kan bijvoorbeeld geen betrouwbare verschillen van een halve graad laten zien. Bij onderzoek met mensen speelt ook biologische variatie een rol. Mensen verschillen van elkaar, maar waarden binnen één persoon kunnen ook veranderen. De bloeddruk kan bijvoorbeeld gedurende de dag variëren. Het tijdstip waarop onderzoekers meten, kan daardoor invloed hebben op de resultaten. Om de invloed van dergelijke variatie te verkleinen, zijn vaak grotere onderzoeksgroepen nodig. In een kleine groep kunnen toevallig verschillend tussen deelnemers of schommelingen in metingen de resultaten sterk beïnvloeden, terwijl in grotere groepen een betrouwbaarder beeld ontstaat van wat er gemiddeld gebeurt.

Verwerking van gegevens en rapportage
Ook bij het analyseren en rapporteren van gegevens kunnen uitdagingen ontstaan. In biomedisch onderzoek worden soms veel mogelijke verbanden tegelijk onderzocht. Dat gebeurt bijvoorbeeld bij breed onderzoek naar genetica, metabolisme of eiwitten. Dit worden ook wel omics onderzoeken genoemd en deze worden ook gebruikt in onderzoek naar ME/CVS.

Hoe meer tests onderzoekers uitvoeren, hoe groter de kans dat zij toevallig een effect vinden dat er in werkelijkheid niet is. Dit noemen we een vals positief resultaat. Het omgekeerde kan ook voorkomen: een onderzoek vindt geen effect, terwijl dat effect in werkelijkheid wel bestaat. Dit noemen we een vals negatief resultaat.
Ook keuzes tijdens de analyse kunnen de uitkomst beïnvloeden. Een onderzoeker kan bijvoor-beeld verschillende analyses proberen totdat er een resultaat uitkomt dat belangrijk lijkt. Dit kan bewust of onbewust gebeuren. We noemen dit P-hacking. Hierdoor kan het lijken alsof er een verband is, terwijl dat verband er eigenlijk niet is.
Bij HARKing bedenken onderzoekers pas na het zien van de resultaten een hypothese die daarbij past. Vervolgens schrijven ze het artikel alsof ze deze hypothese al vóór het onderzoek hadden bedacht. Daardoor kan een toevallig gevonden verband belangrijker lijken dan het is.

Hoe houden onderzoekers onderzoek betrouwbaar?
Er kan tijdens onderzoek dus van alles gebeuren waardoor de uitkomst wordt beïnvloed. Soms bewust, maar vaak ook zonder dat onderzoekers het doorhebben. Hoe zorgen onderzoekers ervoor dat zulke invloeden zo min mogelijk ruimte krijgen en de resultaten zo betrouwbaar mogelijk zijn? Daarvoor gebruiken zij verschillende methoden, zoals:
• Randomisatie: deelnemers worden willekeurig over onderzoeksgroepen verdeeld. Hierdoor worden verstorende variabelen zoveel mogelijk over de groepen verdeeld.
• Een grotere steekproef: verkleint de invloed van toevallige verschillen en maakt resultaten meestal nauwkeuriger. Een grotere steekproef voorkomt bias of meetfouten niet automatisch.
• Controlegroepen: helpen onderzoekers om te beoordelen of een waargenomen effect werkelijk door bijvoorbeeld een behandeling komt of door andere factoren.
• Blindering: helpt voorkomen dat verwachtingen van deelnemers of onderzoekers de resultaten beïnvloeden. Bij enkelblind onderzoek weten deelnemers niet welke behandeling zij krijgen. Bij dubbelblind onderzoek weten de onderzoekers dit ook niet.
• Objectieve metingen: helpen om de invloed van menselijke verwachtingen en interpretaties te beperken.
• Statistische technieken: helpen onderzoekers om rekening te houden met verstorende factoren, variatie en onzekerheid in de gegevens.
• Herhaling en controle: wanneer verschillende onafhankelijke onderzoeksgroepen vergelijkbare resultaten vinden, groeit het vertrouwen dat de uitkomsten betrouwbaar zijn.

Vaak gebruiken onderzoekers meerdere van deze methoden binnen één onderzoek. In Randomized Controlled Trials(RCT’s) worden bijvoorbeeld randomisatie, controlegroepen en blindering gecombineerd. RCT’s worden veel gebruikt om te onderzoeken of een behandeling of andere interventie daadwerkelijk effect heeft.
Onderzoek is meer dan alleen meten

Goed onderzoek gaat dus niet alleen over wat je meet. Onderzoekers moeten ook nadenken over wie er deelnemen, hoe zij meten, welke andere factoren invloed kunnen hebben en hoe zij de resultaten analyseren. Door rekening te houden met verstorende variabelen, bias, meetfouten en andere vormen van onzekerheid, kunnen onderzoekers hun conclusies beter onderbouwen. Maar ook als een onderzoek zorgvuldig is uitgevoerd, is controle door andere wetenschappers belangrijk. In de volgende blog lees je hoe dat werkt.