Laatste nieuws
technologie

ChatGPT is een geweldige dokters­assistent

Ideale informatiebron vindt antwoorden op heel veel medische vragen

4 reacties
Getty Images
Getty Images

ChatGPT, een getrainde zoekmachine, is een geweldig hulpmiddel voor artsen. Testen werden glansrijk doorstaan. Toch blijft het een hulpmiddel, want vooralsnog is de klinische blik van de arts als vertrouwenspersoon nog niet te evenaren.

Kunstmatige intelligentie (AI) is een hot topic. Onlangs werd in Medisch Contact EvidenceHunt besproken, een nieuwe zoekmachine voor de medische wetenschap met ‘een snufje ChatGPT’. Een goede aanleiding om in te gaan op de vaak nog onbekende mogelijkheden en onmogelijkheden van ChatGPT ofwel de echte ‘Generative Pre-trained Transformer’ als medische zoek­machine.

Om de nauwkeurigheid en betrouwbaarheid van ChatGPT te testen werden twaalf niet-opgeloste casussen, eerder voorgelegd aan de Witte Raven, ook voorgelegd aan ChatGPT.1 De Witte Raven is een groep artsen die collega-artsen ondersteunt bij het oplossen van moeilijke casuïstiek met gestructureerde zoekopdrachten.2 In negen gevallen kwamen ChatGPT en Witte Raven tot dezelfde diagnose en hetzelfde advies. Verder hebben we honderd toetsvragen van de interuniversitaire Voortgangs­Toets Geneeskunde (iVTG) voorgelegd aan ChatGPT, waarbij het systeem 78 procent van de vragen correct beantwoordde, inclusief een goede uitleg en referenties. Bij het testen van ChatGPT bij het United States Medical Licensing Exam (USMLE) werd een score van 60 procent correcte antwoorden bereikt.

Medische toepassingen

ChatGPT kan worden gebruikt voor een breed scala aan medische toepassingen, waaronder:

  • hulp bij diagnose en behandeling;
  • het opsporen van zeldzame ziekten;
  • geneesmiddelenbewaking;
  • patiëntenvoorlichting;
  • hulp bij het schrijven van medische rapporten;
  • identificeren van kwaliteitsstandaarden;
  • vergemakkelijken van medische research.

Als AI-model maakt ChatGPT gebruik van kennis over ziekten, symptomen, behandelingen en geneesmiddelen, die is gebaseerd op een gigantische hoeveelheid medische publicaties en onderzoeksgegevens. Maar ChatGPT is geen specifieke database met een vast aantal medische publicaties.

Er zijn verschillende onderzoeken en experimenten uitgevoerd waarin ChatGPT werd getraind op medische taal en informatie in medische databases zoals PubMed.

Met behulp van deze kennis kan het model inmiddels binnen enkele seconden vragen van artsen beantwoorden, diagnoses stellen en adviezen geven over behandeling en medicatie. Er is nu al een zeer groot aantal gebruikers en het model presteert vaak beter dan de meeste AI-­programma’s binnen het medisch domein.

Een duidelijk geformuleerde vraag blijft een vereiste voor een goed antwoord

Panklare antwoorden

Artsen gebruiken kennis uit hun medische opleiding, hun ervaring en de context. Het belang hiervan bij het stellen van diagnoses kan niet worden onderschat. Door nascholing en het bijhouden van medische tijdschriften en boeken blijven ze op de hoogte van nieuwe ontwikkelingen. Sinds we zoekmachines als Google hebben, is vrijwel alle gepubliceerde medische kennis direct op te zoeken via internet. Een medische zoekopdracht, bij voorkeur met Engelstalige trefwoorden, resulteert in een lijst links naar websites. Vaak staat het beste antwoord niet bovenaan.

ChatGPT beheerst een groot aantal talen en kan panklare antwoorden geven in de taal waarin de vraag is gesteld. Er wordt een duidelijke toelichting gegeven bij het antwoord. Nooit was de toegang tot het gigantische arsenaal van medische kennis zo eenvoudig. Maar, let goed op: een duidelijk geformuleerde vraag, of een kenmerkend trefwoord, blijft een vereiste om tot een goed antwoord te komen.

De Witte Raven zoeken gericht, met behulp van specifieke trefwoorden, naar relevante medische publicaties en databases om uiteindelijk tot een juiste diagnose te komen. Op dit moment worden met name Google Scholar, Google.com, PubMed en FindZebra (een zoekmachine voor zeldzame ziekten) gebruikt. In de nabije toekomst zullen ook AI-zoekmachines zoals ChatGPT, en mogelijk EvidenceHunt, een belangrijke rol gaan spelen. In onze nascholingscursussen voor aiossen en artsen zullen we ook aandacht besteden aan gestructureerd zoeken met behulp van AI-zoekmachines.

We moeten de oorsprong van de bronnen altijd kritisch blijven beoordelen

Ervaring en intuïtie

Met ChatGPT kunnen artsen de enorme hoeveelheid medische informatie snel en efficiënt door­zoeken. ChatGPT kan hen helpen tot een diagnose te komen, onderbouwd klinische beslissingen te nemen en patiënten in begrijpelijke taal te informeren over hun aandoening. Een nadeel kan zijn dat het afbreuk doet aan de rol van de arts en dat gebruik ervan ertoe leidt dat het belang van ervaring en intuïtie wordt onderschat.

Ook voor patiënten heeft het gebruik van ChatGPT als medische zoekmachine voordelen. Ze kunnen er snel betrouwbare informatie over een aandoening en de behandelopties mee vinden. Een nadeel kan zijn dat het de relatie tussen de patiënt en de arts beïnvloedt, omdat de patiënt mogelijk minder gaat vertrouwen op de kennis en ervaring van de arts.

Hoewel ChatGPT dus op het eerste gezicht uitermate geschikt lijkt om artsen te ondersteunen bij het efficiënt en effectief uitvoeren van hun werk, moeten we de oorsprong van de bronnen van deze chatbot altijd kritisch blijven beoordelen. Het GPT-model is getraind op een breed scala van informatiebronnen die echter niet alle zijn over­genomen uit of gebaseerd op algemeen erkende medische boeken en artikelen. Ook de teksten die ChatGPT genereert, kunnen onvolledige of onjuiste informatie bevatten, zeker als er bronnen worden gebruikt die verouderd, niet-wetenschappelijk of niet-verifieerbaar zijn.

De transparantie over de gebruikte bronnen blijkt gelukkig goed geregeld. De gebruiker moet wel de instructie ‘vermeld bron’ aan de gestelde vraag toevoegen. Op deze manier kun je altijd herleiden waarom een bepaald advies wordt gegeven of een bepaalde diagnose wordt gesteld.

Beginfase

De opkomst van chatbots biedt onmiskenbaar grote mogelijkheden, maar de toepassing van deze techniek bevindt zich nog in een beginfase. Momenteel is het algoritme van ChatGPT er vooral op getraind de waarschijnlijkheid van een reeks woorden te voorspellen. Hoewel deze methode (semantisch) zinnige, uiterst nauwkeurige teksten kan genereren, blijft een uitgebreide, continue training van de AI-chatbots op basis van medische bronnen vereist voordat ze als een betrouwbare assistent van artsen kunnen worden gebruikt. Wij hebben gebruikgemaakt van de betaalde Plus-versie van ChatGPT 3.5. De laatste tijd is er veel geschreven over de verbeterde prestaties van de nieuwe versie ChatGPT 4, die nog beperkt toegankelijk is. De toekomst zal uitwijzen of dit een aanmerkelijke verbetering is.

Hulpmiddel

Ook in de wereld van de geneeskunde voltrekken de ontwikkelingen op technologisch gebied zich in een hoog tempo. Voor artsen is het evenwel belangrijk dat ze hun kennis blijven uitbreiden door nascholing en zelfstudie, bij voorkeur met behulp van de meest recente publicaties, leer­boeken en richtlijnen. De toepassing van AI in medische zoekmachines zal een steeds belangrijkere rol gaan spelen in de gezondheidszorg. We moeten er enerzijds voor openstaan dat AI-chatbots de potentie hebben om in de nabije toekomst als een waardevol hulpmiddel voor artsen te kunnen dienen. Anderzijds moeten we ons ervan bewust blijven dat ze nooit de plaats van de arts kunnen innemen. Als we daarvan uitgaan, kunnen programma’s als ChatGPT zowel artsen als patiënten helpen met het snel en efficiënt vinden van relevante informatie. Het blijft hoe dan ook onverminderd noodzakelijk dat artsen de aan­­geboden informatie kritisch kunnen beoordelen, ongeacht of deze nu afkomstig is van een conventionele zoekmachine of van een AI-chatbot zoals ChatGPT.

Wie de proef op de som wil nemen, kan meteen aan de slag met de vragen van de voortgangstoets die elke week in Medisch Contact staan. 

auteurs

Paul Höppener, voormalig huisarts en medeoprichter van Witte Raven

Bibiana van der Helm, medisch student, lid van Witte Raven

contact

paulhop37@hotmail.nl

cc: redactie@medischcontact.nl

Voetnoten

1. Een publicatie met een volledig verslag van dit onderzoek is in voorbereiding.

2. Witte Raven: https://www.witteraven.org/

Lees ook:

technologie
Op dit artikel reageren inloggen
Reacties
  • F.M. Brouwer

    Bedrijfs- en verzekeringsarts, Geneve

    Dank voor jullie duidelijke en overzichtelijke artikel, erg interessant inderdaad en veelbelovend. Wel goed om zelf te blijven nadenken: soms gaat ChatGPT "hallucineren" en zelf bronnen bedenken. Ik ben zeer geïnteresseerd in de genoemde nascholings...cursussen voor aiossen en artsen: waar kan ik die vinden?

    Met vriendelijke groet,

    Frank

    [Reactie gewijzigd door Brouwer, Frank op 29-05-2023 20:13]

  • J.A. Gijselhart

    Huisarts, Wijchen

    Deze reactie is geschreven door Maartje Gijselhart-Keijsers, onderwijskundig adviseur en partner van een praktijkhoudend huisarts.

    Ik onderschrijf de reactie van GHJ Rösken: ChatGPT weet niets, het voorspelt woorden o.b.v. algoritmes. Het kan dan ...ook geen waarde aan betekenis of betrouwbaarheid aan teksten toekennen.

    ChatGPT is wel goed getraind op het generen van aansprekende die overtuigen. En daar zit het grote gevaar en overschatting. ChatGPT is een bullshit generator welke niet bezig is met de waarheid. Al lijkt het daar wel op.

    Daarnaast zijn er grote kanttekeningen te plaatsen bij de wijze waarop ChatGPT (en moederbedrijf OpenAI) getraind is en werkt.
    *Zo is er sprake (geweest) van grote uitbuiting van medewerkers.
    *wordt er niet juist omgesprongen met auteursrechten en licenties
    *kost het veel energie om teksten te genereren. AI is niet altijd een duurzame oplossing.
    *ChatGPT is getraind met bestaande informatie, welke totaal niet vrij is van bias. Teksten die gegenereerd worden door ChatGPT zijn dus ook verre van biasvrij.
    *ChatGPT is een overtuiger en genereert ook nieuwe, niet bestaande bronnen.
    *OpenAI registeert bij het gebruik diverse persoonsgegevens en is niet transparant over wat daarmee gebeurt.
    *Ingevoerde en gegenereerde informatie wordt eigendom van OpenAI en gebruikt voor doorontwikkeling.

    Zo kan ik nog wel even doorgaan.

    Overigens ben ik niet tegen het gebruik van AI-tools zoals ChatGPT. Ik adviseer collega's en studenten juist om te onderzoeken of de inzet van AI-tools van meerwaarde zijn voor toepassing in de beroepspraktijk. Voorwaarde is wel dat de gebruiker al experts is op het vakgebied waarbinnen hij/zij AI-tools inzet, voldoende digi- en datavaardig is én weet om te gaan met de valkuilen van technologie en AI in het bijzonder. Dat vereist helaas veel meer dan 'kritisch kijken naar informatie en bronnen' zoals gesuggereerd wordt in het artikel. Dit vind ik echt een onderbelicht aspect van dit artikel.

    Bronnen:
    https://blog3.han.nl/hanicto/the-chatgpt-hype/
    https://time.com/6247678/openai-chatgpt-kenya-workers
    https://www.numenta.com/blog/2022/05/24/ai-is-harming-our-planet/

  • G.H.J. Rösken

    Internist allergoloog-immunoloog

    Mijn ervaring met ChatGP is beperkt tot de publieke versie die door OpenAI wordt aangeboden.

    Deze versie gaf in het verleden niet-bestaande bronnen op, en geeft recent aan dat het geen onderbouwing kan geven voor de gevonden informatie. Dit is ni...et geheel onlogisch over hoe ChatGP werkt. ChatGP weet niet wat het zegt, maar geeft een model antwoord op basis van de gebruikte database na aanleiding van een specifieke vraag. Deze database is niet uitputtend gecontroleerd op het gebruik van goede kwalitatieve bronnen. Dat betekent dus dat bij metname controversiele ziektebeelden, in iedergeval de publieke versie, niet altijd even genuanceerde antwoorden geeft. Ook qua vragen is het "garbage in - garbage out", en vraagt de ChatGP niet door. Verder is het gevoelig voor suggesties van de vrager, iets wat je niet altijd ten goede komt aan de kwaliteit van de gegenereerde informatie.

    De vraag is dan ook of je op dit vlak ChatGP blind kan vertrouwen, en hoeverre dit "medisch hulpmiddel" op dit moment de toets doorstaat. Als je als hulpverlener ChatGP als een dokterassistent gebruikt, en er een verkeerd advies wordt gegeven aan een patient, wie is dan aansprakelijk?

  • E. Hajdarbegovic

    algemeen betweter, Rotterdam

    "Geweldige doktersassistent" insinueert dagelijks gebruik tijdens het spreekuur. Witte raven zijn < 1% van de patienten. Laat chatGPT wratten genezen. That will impress me.

 

Cookies op Medisch Contact

Medisch Contact vraagt u om cookies te accepteren voor optimale werking van de site, kwaliteitsverbetering door geanonimiseerde analyse van het gebruik van de site en het tonen van relevante advertenties, video’s en andere multimediale inhoud. Meer informatie vindt u in onze privacy- en cookieverklaring.