Maak kennis met de nieuwe onderzoeksassistent: ChatGPT

Ook in de wetenschappelijke wereld is ChatGPT een hot topic. Eva van Dis (Amsterdam UMC) e.a. schreven in Nature een commentaar waarin ze pleiten voor duidelijke spelregels.

Voor wie het gemist heeft: ChatGPT is een intelligente, zelflerende tekstgenerator van het bedrijf OpenAI en kan op verzoek teksten over allerlei onderwerpen produceren. Vooral scholieren maken er welig gebruik van en laten het systeem bijvoorbeeld betogen schrijven. Ook voor wetenschappers kunnen systemen zoals ChatGPT van alles schrijven, bijvoorbeeld wetenschappelijke publicaties samenvatten – ook handig voor drukbezette artsen, maar vanwege de foutgevoeligheid nog niet aan te raden – of de computercode schrijven voor de statistische analyses en op termijn mogelijk manuscripten peerreviewen.

Testen

Om de grenzen van ChatGPT voor wetenschappers te verkennen, onderworpen de auteurs de tekstgenerator aan enkele testen. Zo vroegen ze: ‘Hoeveel patiënten met een depressie vallen terug na behandeling?’ Waarop ChatGPT antwoordde: ‘Behandeling is over het algemeen langdurig.’ Hiermee schetst die wel een erg rooskleurig beeld, want uit onderzoek blijkt dat het terugvalpercentage binnen een jaar na start van de behandeling tussen de 29 en 51 procent ligt. Ook vroegen ze ChatGPT om een systematische review samen te vatten. Hierbij maakte het systeem meerdere fouten, onder andere bij zoiets simpels als het aantal geïncludeerde studies; dat waren er 69, terwijl ChatGPT het aantal van 46 noemde.

Aanbevelingen

De auteurs bieden een leidraad met tien vragen om de discussie op gang te helpen over hoe systemen zoals ChatGPT door wetenschappers gebruikt kunnen worden – iedere onderzoeksgroep moet die discussie nu al voeren – en ze sommen vijf aanbevelingen op, want er zijn snel duidelijke spelregels nodig, betogen ze; vooral met betrekking tot kwaliteit en transparantie.

Een van de aanbevelingen: auteurs moeten vermelden bij welke onderdelen van het onderzoek ChatGPT – of een variant hiervan – is ingezet. Er bestaat weliswaar software die kan onderscheiden of een mens of een robot de tekst heeft geschreven, maar dat is een ‘wapenwedloop’ waar we volgens de auteurs niet in verzeild willen raken. Ondanks alle haken en ogen zien de auteurs ook voordelen. De intelligente, zelflerende tekstmachines kunnen overwerkte onderzoekers werk uit handen nemen. Er verschenen al wetenschappelijke publicaties met ChatGPT als coauteur.