Direct naar artikelinhoud
Vijf vragenReplicatiecrisis

Help, de wetenschap is lek! - vijf vragen over de replicatiecrisis

De ‘replicatiecrisis’, wordt het wel genoemd. Opvallend veel onderzoek houdt geen stand als collega-wetenschappers het herhalen. Hoe kan dat? En is er iets aan te doen?

Een laborant doet onderzoek.Beeld REUTERS

Hoe groot is het probleem?

Precieze statistieken van de omvang van de crisis bestaan niet, maar de aanwijzingen die er wel zijn, beloven niet veel goeds. Zo bleek bij een ambitieuze steekproef van 100 psychologische onderzoeken tweederde bij herhaling wezenlijk andere uitkomsten te leveren. In de economie bleek bij een soortgelijk replicatieproject 40 procent geen stand te houden, en in de epidemiologie levert liefst vijf op de zes studies bij herhaling een ander resultaat. Farmaceuten klagen intussen dat veruit het meeste medische onderzoek op cellen en proefdieren bij replicatie andere uitkomsten geeft; zo bleek van het beste laboratoriumonderzoek naar nieuwe medicijnen maar 11 tot 25 procent met succes herhaalbaar. De psychologie is dus bepaald niet het enige vakgebied met een ‘replicatiecrisis’, en waarschijnlijk niet eens het zwaarst getroffen.

Hoe kan dat nou?

Dikwijls is er niet zozeer sprake van kwade wil, maar eerder van een subtiele opeenstapeling van foutjes. Zo blijven ‘mislukte’ onderzoeken die geen noemenswaardig resultaat opleveren vaak onuitgewerkt op de plank liggen, en zijn er altijd toevalstreffers: als tientallen teams op zoek gaan naar een bepaald effect, is er altijd wel iemand die dat effect puur toevallig ‘aantoont’. De problemen zijn dan ook het grootst bij trendy onderwerpen waar grote belangen spelen, veel geld valt te verdienen en de maatschappij om resultaten sméékt – denk aan voedingsonderzoek, medisch onderzoek, marketingonderzoek, hersenonderzoek en epidemiologie.

Waarom herhalen wetenschappers niet meer onderzoek?

Omdat het geldt als een soort wetenschappelijk corvee. Replicatiestudies genereren immers geen grootse nieuwe inzichten, vallen minder op en kunnen veel gedoe opleveren: wantrouwige en dwarsliggende onderzoekers, onwillige geldschieters. Vanwege dat laatste, besloot de Nederlandse onderzoeksfinancier NWO in 2016 drie miljoen euro uit te trekken voor in totaal zo’n 25 replicatiestudies. De Ariely-replicatie is de eerste daarvan die resultaat oplevert.

Wat is ertegen te doen?

Hoe minder hijgerigheid en drang om te scoren, des te robuuster de uitkomsten: dat is zo’n beetje de lijn. Goede wetenschap heeft kalmte nodig, geen adrenaline.

Vooral de psychologen lopen inmiddels voorop bij de grote schoonmaak, met strak georganiseerde replicatiestudies, uitgevoerd door meerdere laboratoria, volgens een precies vooraf opgestelde afsprakenlijst. Ook heeft de wetenschap inmiddels veel geïnvesteerd in andere maatregelen: zo accepteren sommige vakbladen geen onderzoek meer dat niet al tijdens het onderzoek is gerepliceerd.

Maar de grootste klapper komt van de toenemende openheid. In steeds meer vakgebieden is het vereiste om ruwe onderzoekscijfers op internet te zetten, en te werken in grote, breed opgezette teams van wetenschappers – de genetica en de natuur- en sterrenkunde gelden als koplopers. Vooruitstrevend is ook het vanuit de psychologie opgezette ‘open science framework’: een website waar men onderzoek vooraf in detail aanmeldt, zodat achteraf alleen maar nog de meetcijfers hoeven te worden ingevuld en er niks op de plank blijft liggen.

En nu?

Onder Nederlandse regie zijn momenteel nog acht replicatiestudies gaande, allemaal naar onderzoeken die op de een of andere manier veel invloed hebben op wetenschap of beleid. Later dit jaar en volgend jaar wil NWO nog een kleine 20 herhaalprojecten aftrappen. De uitkomsten druppelen naar verwachting de komende maanden en jaren binnen.