Meerderheid preprints komt overeen met publicatie na peerreview

In de eerste pandemiemaanden verschenen ruim zesduizend preprints over covid-19. Wat is de kwaliteit van deze massa aan openbaar toegankelijke voorpublicaties?

Aan het begin van de pandemie voedden preprints de behoefte aan kennis over het mysterieuze longbeeld covid-19. Maar al snel veranderde het aanvankelijk hanteerbare aantal preprints in een enorme massa. Daartussen zaten preprints die het pandemiebeleid beïnvloedden én preprints die een golf aan desinformatie aanwakkerden. Die twee kanten van de preprintopkomst reconstrueerde wetenschapsjournalist Clare Watson onlangs in The Lancet.

Tekstanalyse

Een manier om de kwaliteit van preprints te toetsen, is het vergelijken van de preprint met de uiteindelijke publicatie die wel het peerreviewproces doorliep. In Plos Biology verschenen deze maand twee onderzoeken die dat deden. Via automatische tekstanalyse vonden David Nicholson en collega’s zo’n 80 procent van bijna 18 duizend preprints terug als peerreviewde publicatie. De meeste verschillen tussen de preprint en de definitieve publicatie hingen samen met typografie en het online toevoegen van bestanden met ondersteunende data.

Automatische tekstanalyse maakt weliswaar controle van een massa aan preprints mogelijk, maar een andere tekstvolgorde levert waarschijnlijk geen noemenswaardige inhoudelijke veranderingen op. Daarom analyseerden Liam Brierley en collega’s handmatig de abstracts en figuren van 184 publicatieparen. Vergeleken met de publicatie na peerreview onderging 7 procent van de niet-covidpreprints en 17 procent van de covidpreprints noemenswaardige inhoudelijke veranderingen. Meestal ging het om het afzwakken of aandikken van de conclusie.

Peerreviewmissers

De meerderheid van de preprints doorstond dus redelijk ongeschonden het peerreviewproces. Wat ook direct de schijnwerpers op een andere kwestie richt: dit proces is verre van ideaal. Watson wijst in haar reconstructie op peerreviewmissers – zoals de coronastudie naar het ‘effect’ van hydroxychloroquine. En het onderzoek van Brierley en collega’s werd gehinderd door een gebrek aan transparantie en open acces van peerreviews, waardoor inhoudelijke controle onmogelijk was.

Zelf uitzoeken of er publicaties zijn die sterk met een preprint overeenkomen? David Nicholson en collega’s ontwikkelden hier een onlinetool voor: https://greenelab.github.io/preprint-similarity-search/

1. www.doi.org/10.1038/s41591-021-01654-6
2. www.doi.org/10.1371/journal.pbio.3001470
3. www.doi.org/10.1371/journal.pbio.3001285