Veel psychologische studies blijken niet te repliceren
De Open Science Collaboration verzamelt onderzoekers in de psychologie die op een nieuwe manier aan onderzoek willen doen in hun discipline. Ze stellen zich vragen naar aanleiding van de publicatie van onmogelijke bevindingen, van niet of moeilijk repliceerbare bevindingen en van enquêtes waaruit blijkt dat er regelmatig twijfelachtige onderzoekspraktijken gebruikt worden. Daarom namen ze nu 100 studies onder de loep.
Professor Wolf Vanpaemel van de Faculteit Psychologie en Pedagogische Wetenschappen van de KU Leuven was betrokken bij het onderzoek: "We kozen willekeurig 100 studies die in 2008 werden gepubliceerd in 3 vooraanstaande psychologische tijdschriften en gingen na of we de gepubliceerde resultaten konden repliceren. Dit wil zeggen dat we dezelfde methodes gebruikten om opnieuw data te verzamelen en te analyseren." In minder dan de helft van de gevallen waren de resultaten dezelfde als deze in het oorspronkelijk gepubliceerde onderzoek.
"Dit kan drie verklaringen hebben", legt professor Vanpaemel uit. "Eerst en vooral zou het kunnen dat er toch kleine, maar blijkbaar belangrijke, verschillen geslopen zijn in hoe het onderzoek werd uitgevoerd. Verder is het mogelijk dat het originele onderzoek een vals positief gaf als resultaat. Onderzoekers proberen deze kans onder controle te houden, maar een vals positief is nooit helemaal uit te sluiten. Tot slot is het mogelijk dat we de resultaten toevallig niet konden herhalen. We moeten dus zeker niet meteen aan onderzoeksfraude denken."
Vanpaemel denkt ook niet dat er door de betwistbare studies fouten in, bijvoorbeeld, therapieën zijn geslopen. Volgens hem waren het meer studies die bepaalde theorieën wilden testen, en die niet meteen gevolgen hebben voor therapieën of het beleid.
Meer reproduceerbaar onderzoek
Een aantal onderzoekers hebben inmiddels het Centre for Open Science opgericht. Ze streven ernaar om wetenschap meer reproduceerbaar te maken, onder andere door onderzoeksmateriaal en data openbaar beschikbaar te stellen, zodat wetenschappers over de hele wereld ermee aan de slag kunnen.
Daartoe werd het gratis platform Open Science Framework opgestart. Dit moet, samen met tal van andere initiatieven, de kwaliteit van het onderzoek in de psychologie aanzienlijk vergroten.
"Er worden momenteel heel wat opwindende hervormingen doorgevoerd om tot beter onderzoek te komen. Deze studie biedt een vergelijkingspunt om de impact van die hervormingen in de toekomst te kunnen nagaan", zegt professor Vanpaemel.
Het volledige onderzoek verschijnt op 28 augustus in Science.