This post is also available in Engels.
Toen ik jonger was, was mijn idee van een promotie een jarenlang proces van denken, ontwikkelen en testen van theorieën, zoals de grote uitvinders waar ik op school over geleerd had. Maar toen ik uiteindelijk mijn promotie begon, realiseerde ik me dat het er volledig anders aan toegaat.
“Publish or perish”, “Vier jaar, vier papers.” Je hoort deze zinnen vaak in de academische wereld en ze zinspelen op de constante druk die onderzoekers voelen om output te produceren (publicaties). Waar komt deze druk vandaan?
De waarde van een wetenschapper
Onderzoek kost geld. Om financiering te garanderen moeten onderzoekers beurzen aanvragen. Wie deze beurs ontvangt wordt grotendeels bepaald door een aantal criteria van het financieringsorgaan. Een belangrijk criterium is de “productiviteit” van de onderzoeker. NWO (Nederlands instituut voor Wetenschappelijk Onderzoek), bijvoorbeeld, Nederland’s grootste financieringsorgaan, legt veel nadruk op productiviteit bij één van hun belangrijkste beurzen voor nieuwe doctoren (Veni). NWO doet een voorselectie die voor 50% gebaseerd is op output, vergeleken met een gewicht van 5% voor het daadwerkelijke nieuwe onderzoeksidee.* Financieringsorganen zijn hierin niet alleen – ook universiteiten gebruiken dit systeem om de prestatie van onderzoekers te beoordelen.
Wetenschappers moeten aanvragen doen voor financiering van hun onderzoek.
Afbeelding door Sharon McCutcheon via Unsplash (licentie).
Onderzoekers worden niet alleen beoordeeld op basis van het aantal publicaties maar ook op hoe vaak er naar hen verwezen wordt in andere wetenschappelijke artikelen. Dit wordt gezien als een indicator van belangrijkheid. Het aantal publicaties en het aantal citaties liggen ten grondslag een de Hirsch of H-index: een index speciaal ontwikkeld om de kwaliteit van onderzoekers te beoordelen.
Een andere maat voor kwantificatie is de impact factor (IF), origineel ontwikkeld voor de tijdschriften waar artikelen gepubliceerd worden. Net als de H-index is de IF bedoeld als schatting voor hoe belangrijk de publicaties van de onderzoekers zijn door een gemiddelde te maken van het aantal keer dat de artikelen geciteerd worden. Er is ook een author impact factor (AIF) dat rekening houdt met het aantal keer iemands werk per jaar geciteerd wordt. Wetenschappers worden dus geëvalueerd op basis van hoe vaak hun werk en het tijdschrift geciteerd worden.
Een groot aantal maten zijn ontwikkeld om de waarde van een wetenschapper te kwantificeren, waarvan het merendeel gebaseerd is op het aantal en het belang van hun publicaties
Afbeelding door Ahmad Ardity via Pixabay (licentie).
Een wetenschapper is zo goed als de liniaal waarmee ze gemeten worden
Wetenschappers houden van nummers, toch? Dus wat is er mis waardering baseren op output? Het probleem is dat het ideale onderzoek – zoals ik als kind voorstelde – hiermee onmogelijk wordt. Zoals dit artikel stelt, als je onderzoekers evalueert op basis van het aantal publicaties, dan moet men zich focussen op juist dat om te overleven: meer publiceren. Dat betekent dat grote, moeilijke, onvoorspelbare maar vaak ook belangrijkere studies risico’s met zich meebrengen — het duurt langer, de resultaten zijn niet te voorspellen en het kan rommelig en inconclusief worden. Dit betekent helaas vaak dat ze moeilijker te publiceren zijn. In tijden waarin er een toegenomen aandacht voor maatschappelijke relevantie van onderzoek is moedigt de focus op publicaties de onderzoeker aan om kleiner en strategisch te denken.
Een ander probleem met de nadruk op publicaties is dat niet elk type onderzoek of project gelijk behandeld worden. In sommige takken van onderzoek kost het veel meer tijd om een publicatie tot stand te brengen en ook de eisen verschillen. Een one-size-fits-all maat is dus niet geschikt.
De druk om te publiceren kan daarnaast leiden tot twijfelachtige onderzoekspraktijk zoals knoeien met resultaten zodat het publiceerbaar wordt. Er zijn allerlei bewegingen gaande, zoals “open science” die deze zaken proberen te voorkomen…. Maar een manier om het probleem in de kiem te smoren is door te stoppen met de waarde van onderzoekers gelijk te stellen aan hun publicaties. Waarom wordt er zoveel belang gehecht aan publicaties? Is het werkelijk een goede indicatie voor een goede wetenschapper? Het lijkt er meer op dat het het gemakkelijkst is om te meten. Het is inderdaad moeilijk om kwantificeerbare eigenschappen aan een goede wetenschapper toe te kennen, maar misschien is er meer onderzoek nodig om dit te achterhalen. In een recente vragenlijst vroeg NWO aan wetenschappers hoe ze geëvalueerd willen worden. Onderzoekers vroegen om meer aandacht voor opleiding, leiderschap, samenwerkingen en de maatschappelijke relevantie van hun werk.
Een nieuwe beweging heeft als doel om de manier waarop onderzoekers geëvalueerd worden te veranderen.
Afbeelding door MB298 via Wikimedia Commons (CC-by-2.0).
Het tij is aan het keren
Gelukkig zijn er een aantal initiatieven om output maten minder centraal te stellen (bijvoorbeeld https://sfdora.org/read/, https://scienceintransition.nl/en). NWO is bezig met een herevaluatie van dit meetsysteem en is het gebruik van de H-index al aan het uitroeien. In de pre-selectie criteria zoals hiervoven beschreven, wordt 45% van de score bepaald door een sectie waar de onderzoeker de academische prestaties en onderzoeksmotivatie kan beschrijven. Ghent en Radboud Universiteit proberen onderzoek al meer kwalitatief dan kwantitatief te meten (maar lees ook ons blog over hoe dit basis-onderzoek benadeelt). Hopelijk zullen meer universiteiten en financieringsorganen snel volgen.
*Deze pre-selectie wordt momenteel gepilot en geldt enkel voor de domeinen Sociale en Geesteswetenschappen (SGW) en Toegepaste en Technische Wetenschappen (TTW). Tijdens de daadwerkelijke selectie worden publicaties gewogen binnen de categorie “Kwaliteit van de aanvrager”, dat voor 40% meetelt.
Dit blog werd oorspronkelijk in het Engels geschreven.
Auteur: Monica Wagner
Buddy: João Guimarães
Editor: Marisha Manahova
Vertaler: Jill Naaijen
Editor vertaling: Rowena Emaus
Bovenste afbeelding door William Warby via Unsplash (licentie).