ChatGPT op de SEH stelt goede differentiaaldiagnose op
3 reactiesChatGPT kan van toegevoegde waarde zijn in de besluitvorming op de Spoedeisende Hulp (SEH) bij het opstellen van een differentiaaldiagnose. Dat concluderen Hidde ten Berg e.a in Annals of Emergency Medicine.
De onderzoekers includeerden dertig patiënten die zich in maart 2022 presenteerden op de Spoedeisende Hulp van het Jeroen Bosch Ziekenhuis en uiteindelijk één enkele diagnose kregen. De onderzoekers bepaalden de diagnose aan de hand van de ontslagbrief, het betrof meestal de diagnose exacerbatie astma/COPD of een pneumonie. Ze lieten een aios SEH of interne geneeskunde en een supervisor, niet betrokken bij de casus, een differentiaal diagnose met vijf diagnoses opstellen aan de hand van de anamnese en het lichamelijk onderzoek, zowel met als zonder de uitslagen van het laboratoriumonderzoek. Tevens voerden ze de casus aan de Nederlandse versie van ChatGPT, en aan de Engelstalige betaalde versie 4.0 en gratis versie 3.5.
In 83 procent van de gevallen bleken de artsen de uiteindelijke diagnose in de top vijf te hebben gezet, in vergelijking met 77 procent voor de gratis versie en 87 procent voor de betaalde versie van ChatGPT. Indien de artsen ook beschikten over de laboratoriumuitslagen steeg dit percentage voor artsen naar 87 procent, steeg voor de gratis versie naar 97 procent en bleef 87 procent bij de betaalde versie van ChatGPT. Artsen en ChatGPT stelden ongeveer net zo vaak de juiste diagnose, namelijk in 60 procent van de gevallen, in vergelijking met ChatGPT, in 60 procent (gratis versie) en 53 procent (betaalde versie) gevallen. Er was ongeveer 60 procent overlap tussen de differentiaaldiagnoses van de artsen en ChatGPT en 50 procent in de meest vermoedelijke diagnoses.
De onderzoekers plaatsen als kanttekening bij hun studie dat de gekozen casussen eenvoudig waren, omdat ze slechts één symptoom hadden en ook maar één diagnose, terwijl de presentatie op de SEH over het algemeen complexer is. Daarnaast maakte ChatGPT in vier van de dertig casussen een grote ‘blooper’. Zo gaf ChatGPT bij een patiënt zonder anemie in het laboratoriumonderzoek toch de diagnose anemie, of het gaf de diagnose cholecystitis terwijl de patiënt in de voorgeschiedenis een cholecystectomie had ondergaan.
Lees ook
A. G?bel
Huisarts, Amstelveen
Wel grappig eigenlijk, dit. Alsof we als kinderen verrukt staan te kijken naar een Duracell-konijn dat steeds beter woordjes kan zeggen en daaruit bombastisch concluderen dat dit 'de toekomst wordt van spreken in het openbaar'. Dit onderzoek laat al...leen maar zien dat bij één diagnose met één symptoom Chat-GPT bijna hetzelfde eendimensionale' antwoord' geeft als de dokter.
Het eerste wat ik huisartsen in opleiding wil bijbrengen is dat goede geneeskunde geen kwis is.
Het is een grote fout te veronderstellen dat AI als grote kwisvraagbeantwoorder de dokter gaat vervangen. En dus moet je ook geen onderzoeken doen die dat insinueren. AI is niets meer dan een algoritme dat woorden uit de ontelbaar grote woordenbrij van cyberspace op een intelligent ogende manier achter elkaar zet, maar zelf geen inhoud heeft. AI denkt niet zelf maar kan een checklistfunctie vervullen waar wij dan vervolgens weer de fouten uit moeten halen. En hoe ironisch de mededeling dat de 'betaalde versie betere antwoorden geeft dan de gratis versie'. De treurige stand van de mensheid had niet beter verwoord kunnen worden dan met deze ontluisterende maar tegenwoordig zo gewone vaststelling. Nog even en midden in onze differentiaaldiagnose verschijnt een grote UNOX rookworst ("de tekst gaat verder onder de advertentie").
Er zijn helaas vele vrolijke Fransen onder ons die zelfs van dit soort onwenselijke ontwikkelingen vinden dat het 'kansen en uitdagingen' zijn die we moeten benutten. Dat is dezelfde categorie mensen die de onzin uitkraamt dat over 10 jaar een compleet woonhuis uit een 3D-printer komt.
Dat in de radiologie aantoonbaar voordeel te behalen valt bij het beoordelen van foto's betekent niet dat ook het denkwerk van de dokter vervangen kan worden door AI.
Fear of missing out zal ongetwijfeld een rol spelen bij het omarmen van deze technologie, maar eigenlijk zouden we deze moeten afschieten.
[Reactie gewijzigd door G?bel op 18-09-2023 11:08]
A. Pfaff
Anesthesioloog n.p., Bemelen
In de begin jaren van de automatisering (midden jaren 90) werd mij verteld door een collega die zich bezighield met de "automatisering" dat ze hadden vastgesteld dat er 200 items gescoord moesten worden om het eerste contact met een IC patient vast t...e leggen.
Deze eerste klinisch indruk bij de ochtendvisite betrof één minuut kijken naar de patient en de apparatuur. Daarbij hadden de artsen tevens voorlopige conclusie gemaakt. De klinische indruk van een beademende IC patient is overigens zeer beperkt ten opzichte van een wakkere, pratende patient.
Dus tel uit je winst als je de klinische indruk ook nog omschrijven en moet invoeren. Ook hier blijkt weer dat elke nieuwe versie van IT meer werk eist van de professional en dus totaal niet bedraagt aan efficiënter werken.
P.J. Mitra
arts en jurist, onafhankelijk medisch adviseur ArtsTotaal, Schaijk
Diagnostiek pleeg je, althans in mijn beleving, door te *kijken* naar de patiënt zelf. Het proces van komen tot diagnostiek bij complexe problematiek op een SEH is een multidisplinair proces, waarbij kennis en ervaring van verschillende medische en p...aramedische disciplines wordt samengebracht tot één resultaat (behandelplan). Dit is vervolgens ook de basis voor interventies, al dan niet met de vereiste spoed. Een goede behandeling vereist ook inzage in en begrip van de voorliggende diagnostiek.
Je daarbij laten leiden tot een softwaremodel dat per definitie niet 'snapt', maar 'patronen' (meestal, zeker ook niet altijd) herkent, zoals een hond kan leren te apporteren, is levensgevaarlijk. Dit is immers tijdrovend in een proces waarin elke seconde kan tellen en brengt bovendien het risico van tunnelvisie met zich mee ten aanzien van 'bloopers'. Zelfs 'spieken' kost tijd en houdt de patiënt weg bij echte behandeling als spoed vereist is (elke seconde telt), met alle gevolgen van dien. Een SEH is ook niet bedoeld om meteen het ei te leggen over het complete diagnostische proces, maar voor stabilisatie van vitale waarden en dan pas verder kijken.
Wellicht wat cynisch, ik begrijp, kortom, niet zo goed welk probleem men precies tracht op te lossen met de mogelijke inzet van AI op een SEH, behalve dat dit ongetwijfeld toetsenborden in beweging brengt van *aan* de zorg werkenden als argument, dat het werken *in* de zorg 'efficiënter' kan.