Ein zweischneidiges Schwert? Studie zeigt Auswirkungen auf die diagnostische Genauigkeit

Ein kürzlich JAMA Studie untersucht, ob systematisch voreingenommene künstliche Intelligenz (KI) die diagnostische Genauigkeit von Ärzten beeinflusst und ob bildbasierte KI-Modellerklärungen Modellfehler reduzieren können.

Studie: Messung des Einflusses von KI auf die Diagnose von Krankenhauspatienten Eine randomisierte klinische Vignettenumfragestudie. Bildnachweis: PeopleImages.com – Yuri A / Shutterstock.com

Hintergrund

Die Fähigkeit der KI, Anomalien oder Krankheiten in klinischen Bildern zu erkennen, wurde in früheren Studien diskutiert. Diese Studien ergaben, dass KI-basierte Tools diabetische Retinopathie anhand von Fundusbildern, Lungenentzündung anhand von Röntgenaufnahmen des Brustkorbs und Hautkrebs anhand histopathologischer Bilder erkennen können.

Im Vergleich zu Diagnosen durch Ärzte ohne KI könnte die Integration von KI-Modellen in die klinische Entscheidungsfindung zu genaueren Diagnosen führen. Allerdings kann die Verwendung systematisch voreingenommener KI-Modelle, die Patienten immer wieder falsch diagnostizieren, zu potenziellen Schäden für die Patienten führen. Beispielsweise wurde in einer früheren Studie berichtet, dass ein KI-Modell Herzerkrankungen bei weiblichen Patienten durchweg unterdiagnostizierte.

Im Idealfall müssen Ärzte KI-Vorhersagen folgen, wenn sie richtig sind, sie aber ignorieren, wenn sie nicht korrekt sind. Eine übermäßige Abhängigkeit von voreingenommenen KI-Modellen wirkt sich negativ auf die Diagnose eines Arztes aus. Es ist wichtig zu verstehen, ob der Einsatz von KI zur Unterstützung diagnostischer Entscheidungen sicher ist.

Kürzlich könnte die Integration von KI-Erklärungen zur Interpretation von Modellvorhersagen Klinikern dabei helfen, die Logik eines Modells zu verstehen, bevor sie es für klinische Entscheidungen berücksichtigen. Geeignete Erklärungen für KI-Vorhersagen könnten die Entwicklung systematisch verzerrter Modelle minimieren. Beispielsweise halfen bildbasierte Erklärungen, die von Modellen zur Unterstützung ihrer Entscheidung bereitgestellt wurden, bei der Beurteilung der diagnostischen Genauigkeit von KI-Modellen durch Kliniker.

Über die Studie

In der aktuellen Studie wurde untersucht, ob KI-Erklärungen die diagnostische Genauigkeit des Arztes erhöhten und die Entwicklung systematisch voreingenommener Modelle verringerten. Für diese wurde eine randomisierte webbasierte klinische Vignettenumfrage durchgeführt.

Rekrutiert wurden Krankenhausärzte, Arzthelferinnen und Krankenpfleger, die mit der Betreuung von Patienten mit akutem Atemversagen befasst sind. Insgesamt wurden 45 klinische Vignetten basierend auf hospitalisierten Patienten mit akutem Atemversagen im Jahr 2017 erstellt.

Die Krankengeschichte jedes Patienten wurde ausgewertet, um seine frühere und gegenwärtige Krankengeschichte besser zu verstehen. Mindestens vier Lungenärzte überprüften unabhängig voneinander die Krankenakten des Patienten.

Alle Teilnehmer folgten der gleichen Vignettenreihenfolge, bei der zwei Vignetten ohne KI-Vorhersagen, sechs Vignetten mit KI-Vorhersagen und eine Vignette mit klinischer Beratung erstellt wurden. Die Teilnehmer wurden für sechs KI-Vignetten randomisiert und erhielten KI-Vorhersagen mit oder ohne KI-Erklärungen.

Nach jeder Vignette wurden die Teilnehmer gebeten, auf einer Skala von null bis 100 zu bewerten, um die Wahrscheinlichkeit anzugeben, dass Herzinsuffizienz, Lungenentzündung oder COPD der ausschlaggebende Faktor für das Atemversagen des Patienten sind. Diese Antworten wurden kontinuierlich gesammelt, um den Zusammenhang zwischen den Ergebnissen des KI-Modells und den Antworten der Teilnehmer zu berechnen.

Studienergebnisse

Von 1.024 Teilnehmern füllten 457 mindestens eine Vignette aus und wurden in die Primäranalyse einbezogen; Allerdings haben 418 Teilnehmer alle neun Vignetten ausgefüllt. Wichtig ist, dass sich die demografische Zusammensetzung der Teilnehmer zwischen den randomisierten Gruppen nicht signifikant unterschied.

Die Fachrichtung der meisten Teilnehmer war Krankenhausmedizin. Das Durchschnittsalter der Teilnehmer lag bei 34 Jahren, rund 58 % der Kohorte waren weiblich. Nur 13 % der Kohorte interagierten positiv mit klinischen Entscheidungsunterstützungstools, während sich die Mehrheit der systematischen Verzerrungen von KI-Modellen nicht bewusst war.

Die Studienergebnisse deuten darauf hin, dass sich die diagnostische Genauigkeit von Ärzten verbesserte, wenn KI-Modelle bei klinischen Vorhersagen genau arbeiteten, und abnahm, wenn systematisch voreingenommene KI-Vorhersagen vorhanden waren. KI-Erklärungen verbesserten die schädlichen Auswirkungen voreingenommener Modelle auf die diagnostische Genauigkeit eines Arztes nicht wesentlich, die auf etwa 81 % geschätzt wird. Daher könnte eine Kombination aus KI-Modellen und Klinikern effektiv für komplexe Diagnoseaufgaben eingesetzt werden.

Die Erklärung konnte die Fehler nicht mildern, da das KI-Modell vollständig auf Merkmalen beruhte, die nichts mit dem klinischen Zustand zu tun hatten. Einige Studien deuten jedoch darauf hin, dass Erklärungen auf dem neuesten Stand der Technik die Anweisungen der Benutzer-KI verbessern könnten. Es wurde auf die größere Wahrscheinlichkeit hingewiesen, dass Benutzer durch inkompetente KI-Modelle getäuscht werden, vor allem weil viele die einfachen Erklärungen der Modelle nicht verstanden.

Aufgrund ihrer begrenzten KI-Kenntnisse konnten die Ärzte die Erklärungen der Modelle nicht verstehen und berücksichtigen. Darüber hinaus müssen diese Modelle trainiert werden, um bessere bildbasierte Erklärungen zu liefern.

Schlussfolgerungen

Obwohl die Vorhersagen und Erklärungen von KI-Modellen die diagnostische Genauigkeit verbesserten, beeinträchtigten voreingenommene Vorhersagen die diagnostische Genauigkeit. Daher ist es wichtig, KI-Modelle zu validieren, bevor sie in klinische Umgebungen integriert werden.