OBERSTEN ZEILE:
Ein Chatbot mit großem Sprachmodell (LLM) demonstrierte seine Kompetenz in der Augenheilkunde und übertraf damit Spezialisten in der Behandlung von Glaukom- und Netzhautfällen.
METHODIK:
- Die Forscher baten 12 behandelnde Ärzte und drei leitende Auszubildende der Augenheilkundeabteilung der Icahn School of Medicine am Mount Sinai, New York City, 20 ophthalmologische Fragen zu beantworten und 20 nicht identifizierte Patientenfälle zu verwalten.
- Sie veranlassten einen LLM-Chatbot, GPT-4, auf dieselben Fragen und Fälle zu antworten, „wie ein Kliniker in einem ophthalmologischen Notizformat“, berichteten die Forscher.
- Die Forscher bewerteten die Antworten auf einer Likert-Skala hinsichtlich medizinischer Genauigkeit (10-Punkte-Skala) und Vollständigkeit (6-Punkte-Skala).
WEGBRINGEN:
- Der Chatbot erzielte höhere Durchschnittswerte für Genauigkeit (506,2 vs. 403,4) und Vollständigkeit (528,3 vs. 398,7) als Glaukom-Spezialisten.
- Im Vergleich zu Netzhautspezialisten schnitt der Chatbot bei Genauigkeit (235,3 vs. 216,1) und Vollständigkeit (258,3 vs. 208,7) erneut besser ab.
- Die Teilnehmer bewerteten die Antworten des Chatbots positiver als die ihrer menschlichen Kollegen.
IN DER PRAXIS:
„Diese Arbeit zeigt, dass ein LLM-Chatbot klinische Daten synthetisieren und einen Eindruck und Plan melden kann, der mit erfahrenen Subspezialisten vergleichbar ist“, schreiben die Autoren der Studie.
QUELLE:
Die Studie wurde von Andy S. Huang, MD, von der Icahn School of Medicine am Mount Sinai, New York City, geleitet. Es wurde am 22. Februar online veröffentlicht JAMA Ophthalmologie.
EINSCHRÄNKUNGEN:
Die Studie stützte sich auf eine relativ kleine Anzahl von Teilnehmern aus einem Zentrum. „Unsere Ergebnisse sind zwar vielversprechend, sollten jedoch nicht so interpretiert werden, dass sie eine direkte klinische Anwendung befürworten, da Chatbots unklare Einschränkungen bei der komplexen Entscheidungsfindung sowie notwendige ethische, regulatorische und Validierungsüberlegungen haben“, so die Forscher.
OFFENLEGUNG:
Die Finanzierung der Studie erfolgte durch die Manhattan Eye and Ear Ophthalmology Alumni Foundation und Research to Prevent Blindness.
Dieser Artikel wurde im Rahmen dieses Prozesses unter Verwendung mehrerer redaktioneller Tools, einschließlich KI, erstellt. Menschliche Redakteure haben diesen Inhalt vor der Veröffentlichung überprüft.
