Zes principes voor de beoordeling van wetenschappers

vrijdag 22 juni 2018

Onderhand kennen we het probleem allemaal: bij het selecteren van arts-onderzoekers voor een promotietraject weet je nooit wie de grootste of meest waardevolle bijdrage gaat leveren. We weten daarentegen óók dat het aantal gepubliceerde artikelen niet de beste – hoewel vaak wel de makkelijkste – graadmeter voor kwaliteit is. Daarom wordt er vaak gebruik gemaakt van de JIF (Journal Impact Factor), maar ondanks dat de JIF wel goede informatie geeft over het tijdschrift als een geheel, vertelt het je weinig over het individuele paper of kwaliteiten van de auteurs. Om dit probleem aan te pakken, ontwikkelden Florian Naudet, John P. A. Ioannidis, Frank Miedema, Ioana A. Cristea, Steven N. Goodman en David Moher zes basisprincipes voor het beoordelen van wetenschappers.

Naast dat de JIF geen informatie geeft over de auteurs of een specifieke wetenschapper, het draagt ook inmens bij aan het fenomeen van publicatie bias. Het blijkt dat tot 97% van de papers gepubliceerd in de drie belangrijkste tijdschriften in het vakgebied significante resultaten presenteerden. Dit demonstreert dat statistische significantie kennelijk van groot belang is voor de kans op publicatie, wat weer een groter risico vormt op zaken als ‘p-hacking’, ‘salami science’, slechte onderzoeksopzet met slordige methodes, selectieve presentatie van resultaten, weinig transparantie en tal van andere dingen die de kans op publicatie, maar niet die van reproduceerbare wetenschap, vergroten.
Om dit probleem aan te pakken, werd er op het Meta-research Innovation Center in Stanford (METRICS) een workshop georganiseerd in januari 2017. Dit resulteerde met name in een lijst van voorstellen, welke werden samengevat in onderstaande principes:

PRINCIPE 1. De bijdrage aan de maatschappij moet een belangrijk doel van de wetenschap zijn
PRINCIPE 2. De beoordeling van de faculteit moet gebaseerd zijn op verantwoorde indicatoren die de bijdrage aan de wetenschappelijke onderneming vollediger weerspiegelen
PRINCIPE 3. We moeten de publicatie en / of rapportage van al het onderzoek volledig en transparant belonen, ongeacht de resultaten
PRINCIPE 4. De cultuur van Open Research moet meer worden beloond
PRINCIPE 5. Het is belangrijk om onderzoek te financieren dat een wetenschappelijke basis kan bieden voor optimale manieren om wetenschap en faculteit te beoordelen
PRINCIPE 6. Financiering van out-of-the-box-ideeën moet worden gewaardeerd

Veel van deze principes zijn niet nieuw, maar er is wel degelijk de nodige voorbereiding nodig voordat ze geimplementeerd kunnen worden in het dagelijks wetenschappelijk leven. Bovendien moeten ze zorgvuldig gedefinieerd worden en wanneer ze eenmaal geimplementeerd kunnen worden zal er kritisch gekeken moeten worden naar de uitkomsten, zowel positief als negatief. We zijn op een cruciaal moment in tijd aangekomen en we zullen volop gebruik moeten maken van dit moment om een verandering te maken. We zijn er nog lang niet, maar we zijn op weg.

Lees meer over de zes principes en de mensen erachter op de LSE Impact Blog.

« terug naar overzicht

Geen reacties