Kritische noten over onderzoek naar kunstmatige intelligentie
1 reactieHet gebruik van kunstmatige intelligentie (artificial intelligence, AI) voor medische doeleinden wordt door velen bejubeld vanwege de ongekende mogelijkheden. Toch zijn er ook kanttekeningen te plaatsen omdat de daadwerkelijke prestaties van AI nogal eens worden overdreven in wetenschappelijke publicaties. Dit blijkt uit de resultaten van een systematic review door Myura Nagendran e.a. die is gepubliceerd in The BMJ.
Nagendran en collega’s includeerden 81 niet-gerandomiseerde studies en tien gerandomiseerde klinische trials waarin deep learning AI werd toegepast. Het feit dat er slechts tien gerandomiseerde studies geïncludeerd konden worden, is volgens de onderzoekers op zich al reden om vooral geen overhaaste conclusies te trekken over de mogelijkheden van AI. Daarnaast waren van de niet-gerandomiseerde studies er slechts negen prospectief en maar zes uitgevoerd in klinische setting; de rest vond overwegend plaats in silico. Het is daardoor moeilijk om de prestaties van AI en specialisten te vergelijken omdat de specialisten in ongebruikelijke – artificiële – context het onderzoek uitvoerden, wat kan leiden tot vertekende resultaten. Verder was het aantal experts in de groep waarmee AI werd vergeleken, relatief klein met een mediaan van vier. Om de betrouwbaarheid van het onderzoek te vergroten werd in 45 van de 81 studies de groep experts aangevuld met niet- of minder gespecialiseerde mensen terwijl in slechts 36 studies uitsluitend experts werden ingezet. Hierdoor kunnen de prestaties van AI ten opzichte van die van (senior) experts worden overschat. Ook bleek het moeilijk om de reproduceerbaarheid van verschillende onderzoeken vast te stellen door de beperkte beschikbaarheid van de betreffende data, codes en algoritmes. Tot slot verzaakten veel auteurs om rekening te houden met de beperkingen van hun onderzoek tijdens het interpreteren van de resultaten, terwijl 58 van de 81 studies een hoog risico op bias bleken te hebben. Slechts in 31 studies werden adequate aanbevelingen voor vervolgonderzoek gedaan. Door dit soort, haast misleidende, grootspraak ligt misinterpretatie door de publieke media op de loer, wat volgens de auteurs van het artikel in The BMJ schadelijke gevolgen kan hebben voor het welzijn van patiënten.
W.J. Duits
bedrijfsarts, Houten
We moeten altijd blijven nadenken. Het kan een hele goede aanvulling zijn, of in sommige situaties misschien ooit wel een vervanging. Maar we moeten ons blijven realiseren is: Wat je er in stopt, is bepalend voor wat je er uit krijgt. Het is net als ...bij statistiek: De vraagstelling is cruciaal voor de waarde van het antwoord. Laten we onze wetenschappelijke opvoeding in ere houden: Stel altijd je vragen bij de uitkomst.