Laut einer Studie des New York Eye and Ear Infirmary of Mount Sinai kann ein System mit künstlicher Intelligenz (KI), einem großen Sprachmodell (LLM), menschlichen Augenärzten bei der Diagnose und Behandlung von Patienten mit Glaukom und Netzhauterkrankungen ebenbürtig oder in manchen Fällen sogar überlegen sein (NYEE).
Die provokante Studie, veröffentlicht am 22. Februar in JAMA Ophthalmologielegt nahe, dass fortschrittliche KI-Tools, die auf riesigen Daten-, Text- und Bildmengen trainiert werden, eine wichtige Rolle bei der Entscheidungsunterstützung für Augenärzte bei der Diagnose und Behandlung von Fällen mit Glaukom und Netzhauterkrankungen spielen könnten, von denen Millionen betroffen sind der Patienten.
In der Studie wurde das Wissen von Augenärzten mit den Fähigkeiten des KI-Systems der neuesten Generation, GPT-4 (Generative Pre-Training–Model 4) von OpenAI, verglichen, das die Leistung eines Menschen nachbilden soll. In der Medizin werden hochentwickelte KI-Tools aufgrund der Genauigkeit und Vollständigkeit ihrer LLM-generierten Antworten als potenziell revolutionierende Diagnose- und Behandlungstools angesehen. Die Ophthalmologie mit ihrem hohen Aufkommen oft komplexer Patienten könnte ein besonders fruchtbares Feld für KI sein und den Spezialisten mehr Zeit für die Ausübung evidenzbasierter Medizin geben.
Die Leistung von GPT-4 in unserer Studie war ziemlich aufschlussreich. Wir erkannten das enorme Potenzial dieses KI-Systems von dem Moment an, als wir mit dem Testen begannen, und waren fasziniert zu beobachten, dass GPT-4 das Fachwissen erfahrener Augenspezialisten nicht nur unterstützen, sondern in einigen Fällen sogar übertreffen oder sogar übertreffen konnte.“
Andy Huang, MD, Assistenzarzt für Augenheilkunde am NYEE und Hauptautor der Studie
Für die menschliche Seite seiner Studie rekrutierte das Mount Sinai-Team 12 behandelnde Spezialisten und drei leitende Auszubildende aus der Augenheilkundeabteilung der Icahn School of Medicine am Mount Sinai. Ein grundlegender Satz von 20 Fragen (jeweils 10 für Glaukom und Netzhaut) aus der Liste der von Patienten häufig gestellten Fragen der American Academy of Ophthalmology wurde zufällig ausgewählt, zusammen mit 20 nicht identifizierten Patientenfällen aus Augenkliniken, die mit dem Mount Sinai verbunden sind. Anschließend wurden die Antworten sowohl des GPT-4/AI-Systems als auch menschlicher Spezialisten statistisch analysiert und anhand einer Likert-Skala, die in der klinischen Forschung häufig zur Bewertung von Antworten verwendet wird, auf ihre Genauigkeit und Gründlichkeit hin bewertet.
Die Ergebnisse zeigten, dass die KI sowohl hinsichtlich der Genauigkeit als auch der Vollständigkeit ihrer medizinischen Ratschläge und Beurteilungen mit menschlichen Spezialisten mithalten oder diese sogar übertreffen konnte. Genauer gesagt zeigte die KI eine überlegene Leistung bei der Beantwortung von Glaukom-Fragen und bei Ratschlägen zum Fallmanagement, während sie gleichzeitig ein ausgewogeneres Ergebnis bei Fragen zur Netzhaut zeigte, bei denen die KI in der Genauigkeit mit Menschen übereinstimmte, diese jedoch in der Vollständigkeit übertraf.
„KI war besonders überraschend in Bezug auf ihre Kompetenz im Umgang mit Glaukom- und Netzhautpatientenfällen und entsprach der Genauigkeit und Vollständigkeit von Diagnosen und Behandlungsvorschlägen, die von menschlichen Ärzten in einem klinischen Notizformat gemacht wurden“, sagt Louis R. Pasquale, MD, FARVO, stellvertretender Vorsitzender für Augenheilkundeforschung der Abteilung für Augenheilkunde und leitender Autor der Studie. „So wie uns die KI-Anwendung Grammarly beibringen kann, bessere Autoren zu werden, kann GPT-4 uns wertvolle Hinweise geben, wie wir bessere Kliniker werden können, insbesondere im Hinblick darauf, wie wir die Ergebnisse von Patientenuntersuchungen dokumentieren.“
Dr. Huang betont zwar, dass zusätzliche Tests erforderlich sind, glaubt jedoch, dass diese Arbeit auf eine vielversprechende Zukunft für KI in der Augenheilkunde hinweist. „Es könnte als zuverlässiger Assistent für Augenärzte dienen, indem es diagnostische Unterstützung bietet und ihnen möglicherweise die Arbeit erleichtert, insbesondere bei komplexen Fällen oder Bereichen mit hohem Patientenaufkommen“, erklärt er. „Für Patienten könnte die Integration von KI in die allgemeine Augenarztpraxis zu einem schnelleren Zugang zu Expertenrat und einer fundierteren Entscheidungsfindung zur Steuerung ihrer Behandlung führen.“
Quelle:
Gesundheitssystem des Mount Sinai
Zeitschriftenreferenz:
Huang, AS, et al. (2024). Bewertung der Antworten eines großen Sprachmodells auf Fragen und Fälle zum Glaukom- und Netzhautmanagement. JAMA Ophthalmologie. doi.org/10.1001/jamaophthalmol.2023.6917.
