Warum Expert:innen immer noch der Künstlichen Intelligenz misstrauen

• Menschen suchen bei verschiedenen Symptomen häufig online nach Antworten, und die Beliebtheit von KI-basierten Chatbots zur Selbstdiagnose wächst.
• Eine Studie der Julius-Maximilians-Universität Würzburg zeigt, dass Menschen KI-generierte medizinische Ratschläge als weniger empathisch und verlässlich empfinden, auch wenn diese von Ärzten überprüft wurden.
• Öffentliche Skepsis gegenüber KI in der Medizin ist signifikant, trotz zahlreicher Studien zu deren Anwendungsmöglichkeiten und Diagnosegenauigkeit.
• Transparenz und Aufklärung sind entscheidende Faktoren für die Akzeptanz von KI in der Medizin, da Patienten die Nachvollziehbarkeit von Diagnosen und die finale Entscheidungsgewalt durch Ärzte schätzen.
• Aktuelle Forschungen zeigen, dass ChatGPT zwar eine gewisse Diagnosegenauigkeit besitzt, in seiner derzeitigen Form jedoch nicht zuverlässig genug als Diagnose- oder Lehrinstrument in der Medizin verwendet werden kann.

Ein unerklärliches Ziehen im Bauch, ein hartnäckiger Husten oder ein merkwürdiger Fleck auf dem Zehennagel: Dass Menschen bei unterschiedlichsten Symptomen Google befragen, ist kein neues Phänomen. Mit der zunehmenden Beliebtheit von KI-basierten Chatbots wie ChatGPT scheinen die Möglichkeiten zur digitalen Selbstdiagnose weiter gewachsen zu sein. Tatsächlich aber wird der medizinischen Kompetenz einer solchen Künstlichen Intelligenz noch mit großen Vorbehalten begegnet, zeigt eine Würzburger Studie, über die im Fachblatt „Nature Medicine“ berichtet wird. Die Würzburger Wissenschaftler untersuchten die Reaktion von Menschen auf KI-generierte medizinische Ratschläge.

„Uns interessierte nicht die technische Kompetenz der KI, sondern allein die Frage, wie der KI-Output wahrgenommen wird“, sagt Moritz Reis von der Julius-Maximilians-Universität. Dafür teilte das Forschungsteam mehr als 2.000 Probanden in drei Gruppen ein, die identische medizinische Ratschläge erhielten. Die erste Gruppe bekam gesagt, dass die Empfehlungen von einem Arzt oder einer Ärztin stammten. Bei der zweiten wurde ein KI-basierter Chatbot als Urheber genannt und die dritte Gruppe ging davon aus, dass die Ratschläge zwar von einem Chatbot stammten, aber nochmal ärztlich überprüft wurden.

Künstliche Intelligenz in der Medizin

Die Probanden bewerteten die Empfehlungen auf Verlässlichkeit, Verständlichkeit und Empathie. Sobald sie vermuteten, dass eine KI beteiligt war, nahmen sie die Ratschläge als weniger empathisch und verlässlich wahr. Dies galt auch für die Gruppe, die glaubte, dass ein Arzt die KI-Empfehlungen überprüft hatte. Entsprechend waren sie weniger bereit, diesen Empfehlungen zu folgen. „Der Effekt der Voreingenommenheit gegen KI ist zwar nicht riesig, aber statistisch signifikant“, kommentiert Reis. Bei der Verständlichkeit bewerteten alle drei Gruppen die Ratschläge jedoch gleich.

Für die Forschungsgruppe ist die festgestellte KI-Skepsis wichtig, da KI in der Medizin eine immer wichtigere Rolle spiele. So werden derzeit zahlreiche Studien zu neuen KI-Anwendungsmöglichkeiten veröffentlicht. Umso bedeutsamer sei die öffentliche Akzeptanz, sagt Reis: „Bei der Frage nach dem künftigen Einsatz von KI in der Medizin geht es nicht nur um das technisch Mögliche, sondern auch darum, wie weit Patientinnen und Patienten mitgehen.“ Aufklärung über entsprechende Anwendungen und KI generell sei nötig. „Darüber hinaus haben andere Studien gezeigt, wie wichtig es für das Patientenvertrauen ist, dass am Ende immer der menschliche Arzt oder Ärztin gemeinsam mit den Patienten die finale Entscheidungsgewalt hat“, betont Reis.

Transparenz als Schlüsselfaktor

Für besonders relevant hält der Wissenschaftler Transparenz: „Das bedeutet zum Beispiel, dass eine KI nicht nur eine Diagnose stellt, sondern auch nachvollziehbar erklärt, welche Informationen zu diesem Ergebnis geführt haben.“ Die Qualität dieser Ergebnisse wird bereits seit längerem wissenschaftlich untersucht – mit unterschiedlichen Erfolgen. So attestierte etwa eine 2023 im „Journal of Medical Internet Research“ ChatGPT eine hohe Diagnosegenauigkeit: Getestet mit 36 Fallbeispielen stellte der Chatbot in fast 77 Prozent der Fälle die korrekte endgültige Diagnose. In Notaufnahmen reichte die Diagnosekompetenz einer niederländischen Studie zufolge gar an die von Ärzten heran. Ausgestattet mit den anonymisierten Daten von 30 Patienten, die in einer niederländischen Erste-Hilfe-Stelle behandelt worden waren, stellte ChatGPT in 97 Prozent der Fälle die richtige Diagnose (Annals of Emergency Medicine, 2023).

Im Gegensatz dazu stellte eine 2023 im Fachblatt „Jama“ veröffentlichte Studie fest, dass der Chatbot bei 70 medizinischen Fallbeispielen nur 27 Fälle richtig diagnostizierte. Das sind gerade einmal 39 Prozent. Eine im „Jama Pediatrics“ präsentierte Studie kam zu dem Schluss, dass diese Trefferquote bei Krankheiten, die in erster Linie Kinder betreffen, noch schlechter ist.

ChatGPT in der medizinischen Ausbildung

Eine aktuelle im Fachblatt „Plos One“ veröffentlichte Studie hat nun untersucht, ob ChatGPT in der medizinischen Ausbildung von Nutzen sein könnte. Schließlich greife der Chatbot nicht nur auf eine riesige Wissensbasis zurück, sondern sei auch in der Lage, dieses Wissen interaktiv und verständlich zu vermitteln, so das Forschungsteam des kanadischen London Health Sciences Centre. Die Gruppe fütterte ChatGPT mit 150 sogenannten Fallherausforderungen aus einer Datenbank mit medizinischen Fallgeschichten, in denen Symptome und Krankheitsverlauf beschrieben werden.

Sowohl angehende als auch bereits im Beruf stehende Medizinerinnen und Mediziner sind aufgefordert, in einem Antwort-Wahl-Verfahren eine Diagnose zu stellen und einen Behandlungsplan zu entwickeln. ChatGPT lag bei diesem Test in gerade einmal knapp der Hälfte der Fälle (74 von 150) richtig. Die Studie stellte fest, dass ChatGPT Schwierigkeiten bei der Interpretation von Laborwerten und bildgebenden Verfahren hat und wichtige Informationen übersehe. Entsprechend kommen die Autoren zu dem Schluss, dass ChatGPT in seiner derzeitigen Form als Diagnoseinstrument nicht genau sei und bei der Verwendung des Chatbots als Diagnosewerkzeug wie auch als Lehrmittel unbedingt Vorsicht geboten sei.

Die Kombination aus hoher Relevanz und relativ geringer Genauigkeit spricht dagegen, sich bei der medizinischen Beratung auf ChatGPT zu verlassen, da es wichtige Informationen präsentieren kann, die möglicherweise irreführend sind. ChatGPT selbst betont, dafür nicht geeignet zu sein. Befragt nach seiner diagnostischen Qualifikation antwortet der Bot: „Ich bin kein Arzt und habe keine medizinische Ausbildung. Ich kann Informationen über medizinische Themen bereitstellen, allgemeine Ratschläge geben und Fragen beantworten, aber ich kann keine medizinischen Diagnosen stellen oder professionelle medizinische Beratung bieten. Bei gesundheitlichen Problemen oder Fragen sollten Sie immer einen Arzt oder einen qualifizierten Gesundheitsdienstleister konsultieren.“