wetenschap

Uit een nieuw onderzoek blijkt dat wetenschappers onbewust experimenten en onderzoeksmethoden aanpassen om de kans te vergroten dat hun resultaten worden gepubliceerd. Dit blijkt uit een onderzoek van wetenschappers van de Australische Nationale universiteit.

De wetenschappers richten zich op p-hacking. P-hacking gebeurt wanneer onderzoekers bewust of onbewust onderzoeksgegevens verschillende keren analyseren totdat het gewenste resultaat is bereikt, bijvoorbeeld statistische significantie. Vaak betekent dit dat p kleiner is dan 0.05, oftewel dat de kans dat er geen verband bestaat tussen de variabelen kleiner is dan vijf procent. Stel dat een wetenschapper onderzoek doet naar roken en longkanker – en er wordt een p-waarde van 0.07 bereikt – dan kan een onderzoeker de data verder finetunen om toch onder de 0.05 te komen.

Uitgebreide analyse
De Australische onderzoekers gebruikte een methode (textmining) om 100.000 onderzoekspapers te analyseren op p-hacking. “We hebben bewijzen gevonden dat veel biowetenschappers aan p-hacking doen”, zegt hoofdonderzoeker Megan Head. “Deze wetenschappers zijn zich er niet altijd van bewust dat bepaalde methoden ervoor zorgen dat hun resultaten op die manier interessanter worden dan ze zijn. Vaak zijn ze enorm enthousiast over een bepaalde vondst.”

Er zijn veel papers gevonden waarbij de p-waarde van de resultaten niet veel lager is dan de grens van statistische significantie. “De kans is groot dat een onderzoeker hier net zolang met de data heeft gestoeid tot er wetenschappelijke significantie is bereikt”, concludeert Head.

Publicatiedruk
De publicatiedruk is groot en dat zorgt er mogelijk voor dat p-hacking op grote schaal plaatsvindt. “Als wetenschappers worden we afgerekend op hoeveel publicaties we publiceren en in welke wetenschappelijke bladen ze worden gepubliceerd”, vertelt Head. “En de belangrijkste wetenschappelijke bladen publiceren graag experimenten met nieuwe, interessante resultaten.”

Hoewel p-hacking niet hetzelfde is als fraude, kan het zeker een negatieve uitwerking hebben. Zo kan de effectiviteit van een bepaald medicijn overschat worden, met alle gevolgen van dien.