Wetenschappers creëren kweekvijver voor wetenschappelijke copycats

copycats

Dat herhaling een krachtige manier is om kennis te verwerven, weet iedereen die vroeger op de basisschool de tafel van zes tien keer op moest zeggen. Maar ook wetenschappers worden wijzer van herhaling. Helaas is herhalen onder wetenschappers bijna net zo populair als onder basisschoolkinderen die tafels moeten leren. Een nieuw project moet daar echter verandering in brengen en een kweekvijver voor wetenschappelijke copycats worden.

Wetenschappers bedenken – vaak op basis van andere onderzoeken – een hypothese, een veronderstelling. Om te achterhalen of die hypothese klopt, zetten ze een experiment op of gaan ze informatie verzamelen en analyseren. Die informatie bevestigt of ontkracht vervolgens hun hypothese. In een paper beschrijven onderzoekers hun studie en trekken ze hun conclusie: hun hypothese klopt. Of de hypothese klopt niet. Maar daarmee is het verhaal nog niet af. Want dit onderzoek mag de hypothese dan onderschrijven of ontkrachtigen; dat kan ook het resultaat zijn van toeval. Om er zeker van te zijn dat de conclusies kloppen moet de studie herhaald worden. En nog eens herhaald. En nog eens herhaald. Want alleen zo kunnen onderzoeksgegevens ontdaan worden van toevalligheden en eventuele slordigheidsfoutjes en worden de resultaten dus ‘robuust’.

“Wetenschappers werken liever aan de ‘cutting edge’ van onderzoek, ze richten zich liever op nieuwe ontdekkingen en toepassingen”

Geen populaire missie
Welbeschouwd is repliceren dus een zeer belangrijk onderdeel van de wetenschap. Misschien wel het belangrijkste onderdeel. Toch is repliceren doorgaans geen populair proces. “Wetenschappers werken liever aan de ‘cutting edge‘ van onderzoek, ze richten zich liever op nieuwe ontdekkingen en toepassingen,” weet onderzoeker Mark Brandt. Daar komt nog eens bij dat één replicatie niet genoeg is. Wie echt wil achterhalen of onderzoeksresultaten robuust zijn, zal het onderzoek vele malen ‘opnieuw’ moeten doen. “Eén replicatie kan anders zijn of juist consistent zijn met het originele onderzoek, door toedoen van toeval en niet omdat er sprake is van een robuuste ontdekking.”

Studenten
Zonder replicaties kunnen onderzoeken onterecht overeind blijven. Reden genoeg om wetenschappers aan te moedigen om het gereedschap dat ‘herhaling’ heet ter hand te nemen. Maar hoe doe je dat? Brandt en zijn collega’s hebben er lang over nagedacht hoe ze replicatie van sociaal psychologische onderzoeken konden stimuleren. Het resultaat is CREP: Collaborative Replications and Education Project in psychology. “Met CREP willen we onderzoekers, docenten en studenten aanmoedigen om belangrijke studies (dat wil zeggen: recente, vaak geciteerde onderzoeken die in topbladen verschenen zijn) te repliceren om te helpen vaststellen welke studies kloppen en om studenten het onderzoeksproces eigen te maken.”

“Repliceren zou een gewoonte moeten zijn”

Een goede gewoonte
De keuze om juist wetenschappers in de dop aan te moedigen te gaan repliceren, is een hele bewuste. “Ik denk dat replicaties deel uit zouden moeten maken van de gewoonten van elke wetenschapper en dus iedereen – van eerstejaars studenten tot gevestigde wetenschappers – zou in een bepaalde mate bij het repliceren van onderzoeken betrokken moeten zijn. Door te starten met studenten hopen we die gewoonte er vroeg in te brengen.” Een fijne bijkomstigheid is dat studenten zo direct leren wat ‘onderzoek doen’ werkelijk is. “Door een idee dat reeds van een procedure en benodigde materialen voorzien is, te bestuderen, kunnen studenten en onderwijzers zich richten op de kernaspecten van onderzoek, zonder zich druk te hoeven maken over het creëren van materialen, bedenken van een goed idee, enzovoorts.”

Niet gemakkelijk
Dat wil overigens niet zeggen dat het repliceren van onderzoek gemakkelijker is dan het uitvoeren van een nieuw onderzoek. Want dat is het zeker niet, zo benadrukt Brandt. “Wetenschappers met diverse disciplines raken zich er steeds meer van bewust hoe lastig het is om onderzoeken te repliceren. CREP kan helpen uitzoeken welke studies gemakkelijk te repliceren zijn en welke niet en ook dat is een heel waardevolle bijdrage.”

Als het aan Brandt ligt, leidt CREP tot de totstandkoming van een ‘one stop shop‘. “Daar kunnen mensen die belangrijke sociaal psychologische studies willen repliceren terecht voor alle informatie die ze nodig hebben om het onderzoek uit te voeren.” Uiteindelijk moet het allemaal leiden tot robuuster onderzoek, maar bovenal tot steengoede wetenschappers. “Ik denk dat het project de grootste invloed heeft doordat het wetenschappers leert om solide onderzoek te doen. De komende generaties psychologen zullen de beste zijn!”

Bronmateriaal:
Interview met Mark Brandt
De foto bovenaan dit artikel is afkomstig van de site Berkeley.edu.