ChatGPT is een geweldige doktersassistent

Ideale informatiebron vindt antwoorden op heel veel medische vragen

ChatGPT, een getrainde zoekmachine, is een geweldig hulpmiddel voor artsen. Testen werden glansrijk doorstaan. Toch blijft het een hulpmiddel, want vooralsnog is de klinische blik van de arts als vertrouwenspersoon nog niet te evenaren.

Kunstmatige intelligentie (AI) is een hot topic. Onlangs werd in Medisch Contact EvidenceHunt besproken, een nieuwe zoekmachine voor de medische wetenschap met ‘een snufje ChatGPT’. Een goede aanleiding om in te gaan op de vaak nog onbekende mogelijkheden en onmogelijkheden van ChatGPT ofwel de echte ‘Generative Pre-trained Transformer’ als medische zoekmachine.

Om de nauwkeurigheid en betrouwbaarheid van ChatGPT te testen werden twaalf niet-opgeloste casussen, eerder voorgelegd aan de Witte Raven, ook voorgelegd aan ChatGPT.¹ De Witte Raven is een groep artsen die collega-artsen ondersteunt bij het oplossen van moeilijke casuïstiek met gestructureerde zoekopdrachten.² In negen gevallen kwamen ChatGPT en Witte Raven tot dezelfde diagnose en hetzelfde advies. Verder hebben we honderd toetsvragen van de interuniversitaire VoortgangsToets Geneeskunde (iVTG) voorgelegd aan ChatGPT, waarbij het systeem 78 procent van de vragen correct beantwoordde, inclusief een goede uitleg en referenties. Bij het testen van ChatGPT bij het United States Medical Licensing Exam (USMLE) werd een score van 60 procent correcte antwoorden bereikt.

Medische toepassingen

ChatGPT kan worden gebruikt voor een breed scala aan medische toepassingen, waaronder:

hulp bij diagnose en behandeling;
het opsporen van zeldzame ziekten;
geneesmiddelenbewaking;
patiëntenvoorlichting;
hulp bij het schrijven van medische rapporten;
identificeren van kwaliteitsstandaarden;
vergemakkelijken van medische research.

Als AI-model maakt ChatGPT gebruik van kennis over ziekten, symptomen, behandelingen en geneesmiddelen, die is gebaseerd op een gigantische hoeveelheid medische publicaties en onderzoeksgegevens. Maar ChatGPT is geen specifieke database met een vast aantal medische publicaties.

Er zijn verschillende onderzoeken en experimenten uitgevoerd waarin ChatGPT werd getraind op medische taal en informatie in medische databases zoals PubMed.

Met behulp van deze kennis kan het model inmiddels binnen enkele seconden vragen van artsen beantwoorden, diagnoses stellen en adviezen geven over behandeling en medicatie. Er is nu al een zeer groot aantal gebruikers en het model presteert vaak beter dan de meeste AI-programma’s binnen het medisch domein.

Een duidelijk geformuleerde vraag blijft een vereiste voor een goed antwoord

Panklare antwoorden

Artsen gebruiken kennis uit hun medische opleiding, hun ervaring en de context. Het belang hiervan bij het stellen van diagnoses kan niet worden onderschat. Door nascholing en het bijhouden van medische tijdschriften en boeken blijven ze op de hoogte van nieuwe ontwikkelingen. Sinds we zoekmachines als Google hebben, is vrijwel alle gepubliceerde medische kennis direct op te zoeken via internet. Een medische zoekopdracht, bij voorkeur met Engelstalige trefwoorden, resulteert in een lijst links naar websites. Vaak staat het beste antwoord niet bovenaan.

ChatGPT beheerst een groot aantal talen en kan panklare antwoorden geven in de taal waarin de vraag is gesteld. Er wordt een duidelijke toelichting gegeven bij het antwoord. Nooit was de toegang tot het gigantische arsenaal van medische kennis zo eenvoudig. Maar, let goed op: een duidelijk geformuleerde vraag, of een kenmerkend trefwoord, blijft een vereiste om tot een goed antwoord te komen.

De Witte Raven zoeken gericht, met behulp van specifieke trefwoorden, naar relevante medische publicaties en databases om uiteindelijk tot een juiste diagnose te komen. Op dit moment worden met name Google Scholar, Google.com, PubMed en FindZebra (een zoekmachine voor zeldzame ziekten) gebruikt. In de nabije toekomst zullen ook AI-zoekmachines zoals ChatGPT, en mogelijk EvidenceHunt, een belangrijke rol gaan spelen. In onze nascholingscursussen voor aiossen en artsen zullen we ook aandacht besteden aan gestructureerd zoeken met behulp van AI-zoekmachines.

We moeten de oorsprong van de bronnen altijd kritisch blijven beoordelen

Ervaring en intuïtie

Met ChatGPT kunnen artsen de enorme hoeveelheid medische informatie snel en efficiënt doorzoeken. ChatGPT kan hen helpen tot een diagnose te komen, onderbouwd klinische beslissingen te nemen en patiënten in begrijpelijke taal te informeren over hun aandoening. Een nadeel kan zijn dat het afbreuk doet aan de rol van de arts en dat gebruik ervan ertoe leidt dat het belang van ervaring en intuïtie wordt onderschat.

Ook voor patiënten heeft het gebruik van ChatGPT als medische zoekmachine voordelen. Ze kunnen er snel betrouwbare informatie over een aandoening en de behandelopties mee vinden. Een nadeel kan zijn dat het de relatie tussen de patiënt en de arts beïnvloedt, omdat de patiënt mogelijk minder gaat vertrouwen op de kennis en ervaring van de arts.

Hoewel ChatGPT dus op het eerste gezicht uitermate geschikt lijkt om artsen te ondersteunen bij het efficiënt en effectief uitvoeren van hun werk, moeten we de oorsprong van de bronnen van deze chatbot altijd kritisch blijven beoordelen. Het GPT-model is getraind op een breed scala van informatiebronnen die echter niet alle zijn overgenomen uit of gebaseerd op algemeen erkende medische boeken en artikelen. Ook de teksten die ChatGPT genereert, kunnen onvolledige of onjuiste informatie bevatten, zeker als er bronnen worden gebruikt die verouderd, niet-wetenschappelijk of niet-verifieerbaar zijn.

De transparantie over de gebruikte bronnen blijkt gelukkig goed geregeld. De gebruiker moet wel de instructie ‘vermeld bron’ aan de gestelde vraag toevoegen. Op deze manier kun je altijd herleiden waarom een bepaald advies wordt gegeven of een bepaalde diagnose wordt gesteld.

Beginfase

De opkomst van chatbots biedt onmiskenbaar grote mogelijkheden, maar de toepassing van deze techniek bevindt zich nog in een beginfase. Momenteel is het algoritme van ChatGPT er vooral op getraind de waarschijnlijkheid van een reeks woorden te voorspellen. Hoewel deze methode (semantisch) zinnige, uiterst nauwkeurige teksten kan genereren, blijft een uitgebreide, continue training van de AI-chatbots op basis van medische bronnen vereist voordat ze als een betrouwbare assistent van artsen kunnen worden gebruikt. Wij hebben gebruikgemaakt van de betaalde Plus-versie van ChatGPT 3.5. De laatste tijd is er veel geschreven over de verbeterde prestaties van de nieuwe versie ChatGPT 4, die nog beperkt toegankelijk is. De toekomst zal uitwijzen of dit een aanmerkelijke verbetering is.

Hulpmiddel

Ook in de wereld van de geneeskunde voltrekken de ontwikkelingen op technologisch gebied zich in een hoog tempo. Voor artsen is het evenwel belangrijk dat ze hun kennis blijven uitbreiden door nascholing en zelfstudie, bij voorkeur met behulp van de meest recente publicaties, leerboeken en richtlijnen. De toepassing van AI in medische zoekmachines zal een steeds belangrijkere rol gaan spelen in de gezondheidszorg. We moeten er enerzijds voor openstaan dat AI-chatbots de potentie hebben om in de nabije toekomst als een waardevol hulpmiddel voor artsen te kunnen dienen. Anderzijds moeten we ons ervan bewust blijven dat ze nooit de plaats van de arts kunnen innemen. Als we daarvan uitgaan, kunnen programma’s als ChatGPT zowel artsen als patiënten helpen met het snel en efficiënt vinden van relevante informatie. Het blijft hoe dan ook onverminderd noodzakelijk dat artsen de aangeboden informatie kritisch kunnen beoordelen, ongeacht of deze nu afkomstig is van een conventionele zoekmachine of van een AI-chatbot zoals ChatGPT.

Wie de proef op de som wil nemen, kan meteen aan de slag met de vragen van de voortgangstoets die elke week in Medisch Contact staan.

auteurs

Paul Höppener, voormalig huisarts en medeoprichter van Witte Raven

Bibiana van der Helm, medisch student, lid van Witte Raven

contact

paulhop37@hotmail.nl

cc: redactie@medischcontact.nl

Voetnoten

1. Een publicatie met een volledig verslag van dit onderzoek is in voorbereiding.

2. Witte Raven: https://www.witteraven.org/

Hoofdredactioneel

Een hologram als arts

Aan boord van het ruimteschip USS Voyager is de enige arts een hologram. Een door een computer gegenereerde driedimensionale figuur en tevens medische encyclopedie. Deze ‘The Doctor’ heeft de kennis van 47 artsen. Voor de helderheid: dit personage stamt uit de sciencefictionserie Star Trek in de reeks die dertig jaar geleden werd uitgezonden. Wie Star Trek heeft gezien, ontdekte net als ik pas veel later dat de schrijvers grote voorspellende gaven hadden. De mobiele telefoon, bluetooth-oortjes, gps, 3D-printers en ook medische 3D-scans, in Star Trek (de eerste reeks stamt uit 1960) bestond het al.

ChatGPT is een geweldige doktersassistent