sociale psychologie

De hele affaire rondom Diederik Stapel heeft ervoor gezorgd dat de sociale psychologie enkele flinke deuken heeft opgelopen en dat het vertrouwen in deze tak van sport is teruggelopen. Waar moet het heen met de sociale psychologie?

De verontwaardiging was groot toen eind 2011 bleek dat sociaal-psycholoog Diederik Stapel tijdens meerdere onderzoeken gesjoemeld had met onderzoeksresultaten. Er werd een onderzoekscommissie op gezet die moest achterhalen welke studies van Stapel niet langer betrouwbaar waren en – misschien nog wel belangrijker – hoe Stapel op zo’n grote schaal kon frauderen. De conclusies logen er niet om. Stapel was als enige verantwoordelijk voor de omvangrijke fraude in 55(!) studies, maar dat hij er zo lang met wegkwam, is te wijten aan de onderzoekscultuur waarin Stapel werkzaam was. “Een cultuur waarin vaak op slordige, selectieve en niet-kritische wijze met onderzoek en data werd omgegaan,” zo schreef de commissie.

Over de sociale psychologie

“De sociale psychologie onderzoekt welk effect de sociale context heeft op hoe mensen voelen, denken en doen. Het is dus enorm breed.” Vraagstukken waar een sociaal-psycholoog zich over kan buigen, zijn ‘hoe gedragen mensen zich als ze denken aan de dood?’ of ‘hoe kunnen we ervoor zorgen dat mensen niet zo snel fraude plegen’. “Het grootste deel van de sociaal-psychologen houdt zich daarbij bezig met experimenteel onderzoek.” Ze gebruiken daarvoor allerlei meetinstrumenten: van metingen van de reactietijd tot vragenlijsten.

Vertrouwen
Stapels indrukwekkende carrière zat er na dat alles op. Maar ook de sociale psychologie kwam niet ongeschonden uit de strijd. Mensen waren boos, teleurgesteld en vertwijfeld. Het vertrouwen in de sociale psychologie leek zeker kort nadat alles openbaar werd, enorm te zijn geschaad. En dat ging ook sociaal-psychologen niet in de koude kleren zitten, zo weet sociaal-psycholoog Hans IJzerman, werkzaam aan de Tilburg University uit eigen ervaring. “In het begin werd ik enorm heen en weer geslingerd: het hakt je vertrouwen weg. Inmiddels ben ik wel wat positiever. Door de hele affaire zijn mensen kritisch naar zichzelf en hun functioneren gaan kijken en er wordt hard gewerkt om de robuustheid van onderzoek te vergroten.”

Nepeffectjes
Robuuster onderzoek: als we Stapel moeten geloven, is dat wat de sociale psychologie hard nodig heeft. In een boek van zijn hand dat in december vorig jaar verscheen, vertelt hij over hoe hij het vak heeft zien veranderen en zijn passie voor het vak is kwijtgeraakt. “Ik vind niets of niemand meer interessant of de moeite waard. Sociale psychologie is flauwekul, een verzameling nepeffectjes. Iedereen is aan het prijsschieten met flauwe domme experimentjes waar de rest van de wereld geen boodschap aan heeft. IJzerman kan kort zijn over het verwijt dat zijn vakgebied hier gemaakt wordt. “Nepeffecten die niet belangrijk zijn, zijn er binnen elk vakgebied.” Maar binnen de sociale psychologie wordt er wel aan gewerkt om dat ‘prijsschieten’ tegen te gaan. “Het belang van onderzoek wordt weer belangrijker.” Maar dat is niet de enige ontwikkeling die de sociale psychologie bezighoudt. “Je ziet ook dat de focus weer komt te liggen op transparantie van onderzoek.” Het is niet ongebruikelijk dat wetenschappers in hun paper dat hun onderzoek beschrijft bepaalde details weglaten. “Stel één proefpersoon komt binnen en hij is duidelijk dronken. Dan weet je al dat hij tijdens het experiment niet zo snel zal reageren. Je moet de toestand waarin zo’n proefpersoon zich bevindt, melden. Die informatie moet beschikbaar komen en onderzoeken moeten heel gedetailleerd worden vastgelegd.” Zo wordt de betrouwbaarheid vergroot en ontstaat er veel minder ruimte voor interpretatie. Onderzoek wordt robuuster. Dat wil echter niet zeggen dat alle onderzoeken die voordat deze ambitie hardop werd uitgesproken, werden uitgevoerd, tot foute conclusies hebben geleid. “Ik denk dat onderzoekers over het algemeen te goeder trouw handelen en dat onderzoek waarschijnlijk veelal klopt, maar er is – zoals altijd – ruimte voor verbetering. En gelukkig gaat dat nu heel snel.”

De sociale psychologie is heus niet de enige tak van sport waarin hard gewerkt wordt om de onderzoeksmethode te verbeteren. De ontwikkelingen zijn mede door toedoen van Diederik Stapel wel in een stroomversnelling geraakt.

De sociale psychologie is heus niet de enige tak van sport waarin hard gewerkt wordt om de onderzoeksmethode te verbeteren. De ontwikkelingen zijn mede door toedoen van Diederik Stapel wel in een stroomversnelling geraakt.

Ruwe data
En IJzerman is niet de enige in Nederland die daarvan overtuigd is. Aan de Radboud Universiteit van Nijmegen wordt al hard gewerkt aan robuuster onderzoek. Een deel van de verbeterslagen werden voor de Diederik Stapel-affaire reeds in gang gezet, anderen volgden snel daarna. “Binnen ons vakgebied worden er op dit moment eigenlijk twee discussies gevoerd,” vertelt Ron Dotsch, werkzaam aan de Radboud Universiteit. “De ene is fraude gerelateerd. De andere draait om zogenoemde false positives. Wat de fraude betreft: laat ik voorop stellen dat we tegen mensen die kwade bedoelingen hebben en de boel willen belazeren, weinig kunnen doen. Het enige wat we kunnen doen, is een omgeving creëren waarin geknoei met data opgemerkt wordt.” Aan de Radboud Universiteit zijn daar al de nodige maatregelen voor genomen. “Zo hebben we nu een centrale dataserver waar onderzoekers hun ruwe data op plaatsen. Wat je bij Diederik Stapel en bij andere mensen die fraudeerden vaak zag, was dat ze hun ruwe data niet meer konden voorleggen.” En dat terwijl die ruwe data – waarop alle conclusies gebaseerd zijn – zo belangrijk is. “Aan de Radboud Universiteit slaan we die ruwe data nu centraal op en andere wetenschappers kunnen die data altijd raadplegen. Het argument van ‘ik heb de ruwe data niet meer, want mijn laptop is gestolen of gecrasht’ gaat nu dus niet meer op. Als iemand de ruwe data niet meer kan voorleggen, gaan er direct alarmbellen rinkelen.” En dat is niet de enige maatregel die de Radboud Universiteit de afgelopen tijd nam. Er wordt tijdens de opleiding van studenten ook meer aandacht geschonken aan ethiek en promovendi mogen al een tijdje niet door maar één promotor begeleid worden. “Diederik Stapel deed heel veel alleen. Hier geldt al jaren de regel dat er twee promotoren bij studies betrokken moeten zijn.”

Hoe groot is het probleem van de false positive?

Dat weten we nog niet precies. Daarvoor moeten onderzoeken namelijk eerst worden gerepliceerd, oftewel opnieuw worden uitgevoerd. Een grootschalig, internationaal project dat in de toekomst wellicht meer duidelijkheid kan bieden over de omvang van false positives is het Reproducibility Project. Wetenschappers wereldwijd voeren de experimenten die in één jaargang van de wetenschappelijke journals Psychological Science, Journal of Personality and Social Psychology en Journal of Experimental Psychology: Learning, Memory and Cognition beschreven staan, systematisch opnieuw uit om te achterhalen hoe robuust de resultaten werkelijk zijn. “Hieruit zal blijken hoe vaak false positives werkelijk voorkomen.”

False positives
Hoewel het probleem van fraude niet onderschat moet worden, is het niet het voornaamste probleem waar de sociale psychologie mee te maken heeft, zo benadrukt Dotsch. “Een groter probleem is vergrote kans op false positives, oftewel het lichtvoetig omgaan met statistieken. Zelfs als je met goede bedoelingen statistiek bedrijft en een bepaald effect vindt, dan is er een kans van één op twintig dat dat significante effect dat je gevonden hebt er eigenlijk helemaal niet is. Dat noemen we een false positive. Er zijn verschillende strategieën die de kans op zo’n false positive doen toenemen. Een voorbeeld: je doet onderzoek onder veertig proefpersonen en je vindt het effect dat je verwacht had niet en je besluit nog meer data te gaan verzamelen en nog eens veertig proefpersonen te onderzoeken en je vindt het effect dan wel. We noemen dat optional stopping en dat vergroot de kans op een false positive. Een andere strategie die de kans daarop vergroot, is het weglaten van variabelen. Stel: ik doe onderzoek naar bepaalde effecten op zelfwaardering en ik besluit drie variabelen te gebruiken, maar vindt het verwachte effect maar bij één variabele en daar publiceer ik over: ook dat vergroot de kans op een false positive. Het is geen fraude, want mijn bedoelingen zijn goed: het enige wat ik wil achterhalen is tenslotte of mijn theorie klopt.” Aan de Radboud Universiteit wordt de kans op false positives nu beperkt door strategieën zoals Dotsch die hierboven beschrijft niet meer toe te passen. “Ook is het de bedoeling dat onderzoekers alles rapporteren.”

Repliceren
Een andere manier om false positives boven water te krijgen, is replicatie. Door experimenten simpelweg te herhalen, moet blijken of de eerder behaalde resultaten werkelijk zo robuust zijn. “Daar waren we eigenlijk voor Stapel al druk mee bezig,” vertelt IJzerman. De aanleiding voor deze ontwikkeling was Darryl Bem. Deze wetenschapper publiceerde in 2011 een paper waarin hij stelde bewijs gevonden te hebben voor precognitie: mensen zouden perceptie en kennis hebben van gebeurtenissen die nog moesten gaan plaatsvinden. Het onderzoek kon op heel wat kritiek rekenen en wetenschappers poogden de resultaten van Bem direct te repliceren. Het lukte ze niet: ze slaagden er niet in om door de experimenten te herhalen tot dezelfde conclusie te komen. “Door een onderzoek te repliceren, kun je achterhalen of iets echt waar is,” vertelt IJzerman. Het kan ook tot een nuance in het onderzoek leiden. “Zo kun je ontdekken dat een effect pas onder bepaalde omstandigheden optreedt. Het (in het eerdere onderzoek, red.) beschreven proces klopt dan wel, maar de contextuele vraagstukken zijn dan nog niet opgelost.”

De media

Als één ding door gesprekken met sociaal-psychologen duidelijk wordt, dan is het wel dat de sociale psychologie veel complexer is dan gedacht. Simpele effectjes – if this, then that – zijn er eigenlijk niet. En toch presenteren grote media regelmatig sociaal-psychologisch onderzoek als ware het kinderspel. Zijn wij journalisten soms te gretig? En stellen wetenschappers hun onderzoek soms te simplistisch voor? Ook daar is wel ruimte voor verbetering, stelt IJzerman. “Het is verstandig om als wetenschapper zelf te kiezen wat je wel en niet publiceert en daar vervolgens ook zelf over te schrijven.” IJzerman weet waar hij het over heeft. Hij richtte zelf de site In-mind.org op: een site waarop mensen die dicht bij de bron zitten (en vaak zelf sociaal-psycholoog zijn) schrijven over recente ontwikkelingen in de sociale psychologie. “Op In-mind bieden we informatie op verschillende niveaus aan. Korte statements en artikelen schrijven we bijvoorbeeld alleen als ze een solide basis hebben en wanneer iets heel genuanceerd is, kiezen we er sneller voor om een uitgebreid, peer-reviewed artikel te schrijven. Zelf ben ik ook altijd voorzichtig met verzoeken van journalisten: als ik weet dat ze maar drie regels tekst nodig hebben, ga ik er liever niet op in. Dat is de moeite niet waard: voor de wetenschap niet en voor het publiek niet.”

Verschillen
IJzerman en Dotsch mogen er dan van overtuigd zijn dat er ruimte is voor verbetering in de sociale psychologie: niet iedereen is het met ze eens. “Sommigen lijken iets meer tijd nodig te hebben,” stelt Dotsch. “Jongere onderzoekers zoals ik willen het gelijk goed doen, maar onderzoekers die al langer in het vakgebied actief zijn, hebben er soms wat meer moeite mee. Veranderen is tenslotte toch ook toegeven dat datgene wat je je leven lang al doet, niet altijd goed is geweest.” Er mag dan hier en daar wat twijfel zijn: uiteindelijk gaat het wel gebeuren. “Het kost misschien nog wat tijd, maar die verandering komt er. In Nederland zijn we daar – wellicht door de situatie rondom Diederik Stapel – overigens al veel verder mee dan in andere landen.”

Veranderingen
Eén ding staat vast: als er iets moet veranderen of als de veranderingen die reeds gaande zijn, moeten worden voortgezet, dan moet dat allemaal bij de wetenschappers vandaan komen. Maar gaandeweg zullen ook instanties in hun omgeving het roer om moeten gooien. Denk bijvoorbeeld aan wetenschappelijke journals. “Wij willen transparant zijn en alles rapporteren,” stelt Dotsch. “Wetenschappelijke artikelen worden dus langer en saaier, maar ook wetenschappelijker. Maar in sommige bladen heb je maar 2500 woorden tot je beschikking. En dat is te weinig.” Ook journals zullen dus mee moeten met de ontwikkelingen van deze tijd. En datzelfde geldt ook voor commissies die subsidies verstrekken. “Wat je zult gaan zien, is dat onderzoekers minder gaan publiceren, omdat ze minder false positives en dus ook veel minder effecten vinden en er meer gerepliceerd zal worden. Nu wordt de kwaliteit van een onderzoeker nog bepaald door te kijken naar het aantal publicaties. Maar in de toekomst moeten we gaan kijken naar de kwaliteit van publicaties.” Het zijn veranderingen die tijd kosten, zo realiseert Dotsch zich. “Maar ik ben er wel positief over: de commissies die subsidies toewijzen en onderzoekers aannemen, bestaan ook uit wetenschappers.”

Robuuster onderzoek: het kost tijd en het is hard werken. Maar uiteindelijk is het het allemaal waard, zo voorspelt Dotsch. “Ik wil als wetenschapper weten hoe het echt zit en ben niet geïnteresseerd in verzonnen verhaaltjes die niet op data gebaseerd zijn. Als wetenschap draait om waarheidsvinding, dan wil je toch de waarheid? En als je jezelf en je vakgebied serieus neemt, dan moet je toch op de juiste manier met statistieken omgaan?” Dat steeds meer onderzoekers zich daarvan bewust worden, is iets om ons over te verheugen. Het gaat wellicht wat ver om Diederik Stapel een bedankbriefje te sturen, maar hij heeft de ontwikkelingen wel in een stroomversnelling gebracht. “Kritiek is goed,” vindt Dotsch. “Als de kritiek terecht is, dan doen we daar iets mee. Want dat is hoe de wetenschap werkt. Je zult zien: we komen hier veel en veel sterker uit.”