This post is also available in Engels.
Het is crisis in de sociale psychologie. Uit recent onderzoek blijkt dat veel belangrijke ontdekkingen uit het verleden niet gereproduceerd kunnen worden. Hoe is dit mogelijk?
Vorig jaar herhaalde een grote groep wetenschappers van over de hele wereld honderd beroemde experimenten uit de sociale psychologie. Wat bleek? Slechts 39 experimenten leverden dezelfde uitkomst. Een identiteitscrisis was het gevolg. Is de sociale psychologie dan onbetrouwbaar? Nee, maar er zitten wel flinke onzuiverheden in. Die komen voort uit statistiek en uit het wetenschappelijke publicatieproces.
Statistiek
Stel dat je wilt weten wie er in Nederland meer tijd besteden aan Snapchat: jongens of meisjes. Om dit uit te zoeken selecteer je, willekeurig, 20 jongens en 20 meisjes uit heel Nederland. En wat blijkt? De jongens in jouw groep zaten gemiddeld 5 minuten per dag langer op Snapchat dan de meisjes!
Hoe weet je of deze bevinding duidt op een reëel verschil in Snapchatgebruik over heel Nederland, en niet op het feit dat je toevallig een paar Snapchatverslaafde jongens had geselecteerd? Om deze vraag te beantwoorden berekenen wetenschappers vaak de statistische p-waarde: de kans dat je hetzelfde verschil zou hebben gevonden als de werkelijke gemiddelde Snapchattijd van jongens en meisjes over heel Nederland precies gelijk was.
Is de p-waarde kleiner dan 5%, dan zegt de onderzoeker: deze vondst duidt waarschijnlijk niet op scheve selectie van Snapchattende meisjes en jongens, en dus waarschijnlijk op een reëel verschil tussen de twee groepen. Het resultaat wordt dan significant genoemd.
Aan deze statistische regel zit een keerzijde. Als de kans dat je jouw effect door toevallige selectie gevonden hebt 5% is, dan is een van de twintig ‘significante’ effecten bij voorbaat al nep.
Publicatieproces
Naast de onzekerheid in statistiek zitten er imperfecties in het wetenschappelijke publicatieproces. Wetenschappelijke tijdschriften willen namelijk graag studies publiceren waarin een significant effect wordt vastgesteld. Ze zijn minder happig op onderzoeken waarin geen effect gevonden wordt.
Het zou dan ook best kunnen dat van alle onderzoeken naar een niet-bestaand effect alleen de studies worden gepubliceerd die – bij toeval – een significant effect aantroffen. Niet zo gek dus, dat een flink deel van de vondsten uit de sociale psychologie niet te herhalen blijkt. Het waren toevalstreffers, opgepikt door vakbladen die wilden scoren.
Theorie
Als je te maken hebt met onzuiverheden in statistiek en het publicatieproces, hoe weet je dan welke wetenschappelijke vondsten je nog kunt vertrouwen? Hier spelen theorieën een belangrijke rol. Ieder wetenschappelijk onderzoek hoort te beginnen met een theorie, waaruit voorspellingen ontspringen. Die voorspellingen kun je toetsen in een experiment, waarna je je theorie aanscherpt.
Maar in de sociale psychologie, en in de cognitieve neurowetenschap trouwens ook, speelt theorie vaak een veel te kleine rol. Sensationele toevalstreffers worden geregeld los gepubliceerd, zonder goede theorie om ze te verklaren. En als je geen verklaring hebt voor een onderzoeksresultaat, hoe kun je dan verwachten dat het te herhalen valt?
Perspectief
Deze kwestie roept vragen op over wat een goede theorie precies is. Daarnaast heb ik hier een aantal belangrijke factoren buiten beschouwing gelaten, zoals de publicatiedruk in de wetenschap. Maar het staat vast dat we scherpere theorieën moeten formuleren om in onze experimenten te toetsen. Als we dat doen, kunnen we toevalstreffers in perspectief plaatsen en worden we minder gevoelig voor sensatiezuchtige publicaties.
Dit vereist wel dat we nooit meer zomaar ‘leuke onderzoekjes’ uitvoeren – alles moet in dienst staan van de theorie. Dus onthoud: als je geen reden hebt om te denken dat jongens meer of juist minder Snapchatten dan meisjes, dan moet je dat onderzoek helemaal niet willen uitvoeren.
Deze blog is geschreven door Jeroen. Bewerking door Angelique.
Mooi stukje. Ben blij dat DW ook dit soort moeilijke onderwerpen bespreekt.
Misschien moet de eerste alinea nog aangepast worden:
“Vorig jaar herhaalde een grote groep wetenschappers van over de hele wereld honderd beroemde experimenten uit de sociale psychologie. Wat bleek? Slechts 39 experimenten leverde dezelfde uitkomst. Een identiteitscrisis was het gevolg.”
1) leverde = leverden
2) “honderd beroemde experimenten uit de sociale psychologie” Nope, de experimenten waren voor de helft social psychologisch, en voor de helft cognitief psychologisch.
3) “Slechts 39 experimenten leverde dezelfde uitkomst” Nope, 3 experimenten waren niet significant in de oorspronkelijke publicatie en alleen alleen 35 van de oorspronkelijk 97 significante effecten waren ook in de replicatie significant.
Groeten,
Richard
Dank je Richard! Heb de spelfout verbeterd.
Het klopt dat het ging om een mix van sociaal- en cognitiefpsychologische studies. Bij de sociaal-psychologische studies was het percentage replicaties echter 25%, tegen 50% voor cognitieve psychologie. Bovendien heerst er al langer een replicatiecrisis in de sociale psychologie. Daarom heb ik vooral gefocust op de sociale psychologie.
Het aantal van 39 komt van de zin ‘39% of effects were subjectively rated to have replicated the original result’ in het abstract op http://science.sciencemag.org/content/349/6251/aac4716. Deze subjectieve maat van replicatie vind ik het meest betrouwbaar.
Groet, Jeroen