Smartphone-App nutzt KI und Gesichtsbildverarbeitungssoftware, um den Beginn einer Depression zuverlässig zu erkennen

Forscher aus Dartmouth berichten, dass sie die erste Smartphone-Anwendung entwickelt haben, die künstliche Intelligenz gepaart mit Gesichtsbildverarbeitungssoftware nutzt, um den Beginn einer Depression zuverlässig zu erkennen, bevor der Benutzer überhaupt merkt, dass etwas nicht stimmt.

Die App mit dem Namen MoodCapture nutzt die Frontkamera eines Telefons, um bei regelmäßiger Nutzung den Gesichtsausdruck und die Umgebung einer Person zu erfassen und wertet die Bilder dann auf klinische Hinweise im Zusammenhang mit Depressionen aus. In einer Studie mit 177 Personen, bei denen eine schwere depressive Störung diagnostiziert wurde, identifizierte die App frühe Symptome einer Depression mit einer Genauigkeit von 75 %.

Diese Ergebnisse deuten darauf hin, dass die Technologie bei weiterer Entwicklung innerhalb der nächsten fünf Jahre öffentlich verfügbar sein könnte, sagten die Forscher, die am Department of Computer Science in Dartmouth und an der Geisel School of Medicine ansässig sind. Das Team veröffentlichte seinen Artikel in der Preprint-Datenbank arXiv, bevor er ihn im Mai auf der CHI 2024-Konferenz der Association of Computing Machinery vorstellte. Auf dem CHI präsentierte Beiträge werden vor der Annahme einem Peer-Review unterzogen und im Tagungsband veröffentlicht.

Dies ist das erste Mal, dass natürliche Bilder „in freier Wildbahn“ zur Vorhersage einer Depression verwendet werden. Es gibt eine Bewegung für die digitale Technologie zur psychischen Gesundheit, um letztendlich ein Tool zu entwickeln, das die Stimmung von Menschen, bei denen eine schwere Depression diagnostiziert wurde, auf zuverlässige und nicht-intrusive Weise vorhersagen kann.“

Andrew Campbell, korrespondierender Autor des Artikels und Albert Bradley 1915, Professor für Informatik im dritten Jahrhundert in Dartmouth

„Menschen nutzen Gesichtserkennungssoftware, um ihre Telefone hunderte Male am Tag zu entsperren“, sagte Campbell, dessen Telefon kürzlich zeigte, dass er dies mehr als 800 Mal in einer Woche getan hatte.

„MoodCapture nutzt eine ähnliche Technologiepipeline aus Gesichtserkennungstechnologie mit Deep Learning und KI-Hardware, daher besteht ein enormes Potenzial, diese Technologie ohne zusätzliche Eingaben oder Belastungen für den Benutzer zu erweitern“, sagte er. „Eine Person entsperrt einfach ihr Telefon und MoodCapture kennt die Dynamik ihrer Depression und kann ihr vorschlagen, Hilfe zu suchen.“

Für die Studie erfasste die Anwendung über einen Zeitraum von 90 Tagen 125.000 Bilder von Teilnehmern. Die Teilnehmer der Studie stimmten zu, dass ihre Fotos mit der Frontkamera ihres Telefons aufgenommen wurden, wussten jedoch nicht, wann dies geschah.

Eine erste Gruppe von Teilnehmern wurde verwendet, um MoodCapture so zu programmieren, dass es Depressionen erkennt. Sie wurden in zufälligen Serien mit der Frontkamera des Telefons fotografiert, während sie die Frage beantworteten: „Ich habe mich niedergeschlagen, deprimiert oder hoffnungslos gefühlt.“ Die Frage stammt aus dem Acht-Punkte-Fragebogen zur Patientengesundheit (PHQ-8), der von Ärzten zur Erkennung und Überwachung schwerer Depressionen verwendet wird.

Die Forscher nutzten Bildanalyse-KI für diese Fotos, damit das Vorhersagemodell von MoodCapture lernen konnte, Selbstberichte über das Gefühl der Depression mit bestimmten Gesichtsausdrücken – wie Blick, Augenbewegung, Positionierung des Kopfes und Muskelsteifheit – und der Umgebung zu korrelieren Merkmale wie vorherrschende Farben, Beleuchtung, Fotostandorte und die Anzahl der Personen im Bild.

Das Konzept besteht darin, dass MoodCapture jedes Mal, wenn ein Benutzer sein Telefon entsperrt, eine Bildsequenz in Echtzeit analysiert. Das KI-Modell stellt Verbindungen zwischen Mimik und Hintergrunddetails her, die für die Vorhersage des Schweregrads einer Depression wichtig sind, wie z. B. Augenblick, Veränderungen im Gesichtsausdruck und die Umgebung einer Person.

Im Laufe der Zeit identifiziert MoodCapture benutzerspezifische Bildmerkmale. Wenn beispielsweise jemand über einen längeren Zeitraum hinweg mit ausdrucksloser Miene in einem schwach beleuchteten Raum erscheint, könnte das KI-Modell daraus schließen, dass die Person an einer beginnenden Depression leidet.

Die Forscher testeten das Vorhersagemodell, indem sie eine separate Gruppe von Teilnehmern die gleiche PHQ-8-Frage beantworten ließen, während MoodCapture sie fotografierte und ihre Fotos anhand der von der ersten Gruppe gesammelten Daten auf Anzeichen einer Depression analysierte. Bei dieser zweiten Gruppe hat die MoodCapture-KI mit einer Genauigkeit von 75 % korrekt ermittelt, ob sie depressiv sind oder nicht.

„Dies zeigt den Weg zu einem leistungsfähigen Werkzeug zur passiven Beurteilung der Stimmung einer Person und zur Nutzung der Daten als Grundlage für therapeutische Interventionen“, sagte Campbell und wies darauf hin, dass eine Genauigkeit von 90 % die Schwelle eines brauchbaren Sensors wäre. „Mein Gefühl ist, dass eine solche Technologie innerhalb von fünf Jahren der Öffentlichkeit zugänglich sein könnte. Wir haben gezeigt, dass dies machbar ist.“

„MoodCapture trifft schwere Depressionen auf der unregelmäßigen Zeitskala, in der sie auftreten“, sagte Nicholas Jacobson, Co-Autor der Studie und Assistenzprofessor für biomedizinische Datenwissenschaft und Psychiatrie am Centre for Technology and Behavioral Health in Dartmouth.

„Viele unserer therapeutischen Interventionen bei Depressionen konzentrieren sich auf längere Zeiträume, aber diese Menschen erleben Höhen und Tiefen in ihrem Zustand. Traditionelle Beurteilungen lassen das meiste davon außer Acht, was Depression ist“, sagte Jacobson, der die Abteilung „KI und psychische Gesundheit: Innovation“ leitet Labor für technologieorientierte Gesundheitsfürsorge (AIM HIGH).

„Unser Ziel ist es, die Veränderungen der Symptome zu erfassen, die Menschen mit Depressionen in ihrem täglichen Leben erleben“, sagte Jacobson. „Wenn wir dies nutzen können, um die schnellen Veränderungen der Depressionssymptome vorherzusagen und zu verstehen, können wir sie letztendlich bekämpfen und behandeln. Je mehr wir uns auf den Moment konzentrieren können, desto weniger tiefgreifend werden die Auswirkungen einer Depression sein.“

Jacobson geht davon aus, dass Technologien wie MoodCapture dazu beitragen könnten, die erhebliche Lücke zwischen dem Zeitpunkt, an dem Menschen mit Depressionen eine Intervention benötigen, und dem Zugang zu Ressourcen für die psychische Gesundheit zu schließen. Im Durchschnitt verbringt ein Mensch weniger als 1 % seines Lebens bei einem Kliniker wie einem Psychiater, sagte er. „Das Ziel dieser Technologien besteht darin, mehr Unterstützung in Echtzeit bereitzustellen, ohne das Pflegesystem zusätzlich zu belasten“, sagte Jacobson.

Eine KI-Anwendung wie MoodCapture würde im Idealfall vorbeugende Maßnahmen vorschlagen, wie zum Beispiel nach draußen zu gehen oder sich bei einem Freund zu melden, anstatt eine Person ausdrücklich darüber zu informieren, dass sie möglicherweise in eine Depression gerät, sagte Jacobson.

„Jemandem zu sagen, dass ihm etwas Schlimmes passiert, kann alles noch schlimmer machen“, sagte er. „Wir glauben, dass MoodCapture die Tür zu Bewertungstools öffnet, die helfen würden, Depressionen zu erkennen, bevor sie sich verschlimmern. Diese Anwendungen sollten mit Interventionen gepaart werden, die aktiv versuchen, Depressionen zu unterbrechen, bevor sie sich ausbreiten und entwickeln.“ Vor etwas mehr als einem Jahrzehnt Diese Art von Arbeit wäre unvorstellbar gewesen.

Die Studie stammt aus einem von Jacobson geleiteten Stipendium der National Institutes of Mental Health und untersucht den Einsatz von Deep Learning und passiver Datenerfassung, um Depressionssymptome in Echtzeit zu erkennen. Es baut auch auf einer von Campbells Labor durchgeführten Studie aus dem Jahr 2012 auf, bei der passive und automatische Daten von den Telefonen der Teilnehmer in Dartmouth gesammelt wurden, um deren psychische Gesundheit zu beurteilen.

Aber die Weiterentwicklung der Smartphone-Kameras seitdem ermöglichte es den Forschern, eindeutig die Art von „passiven“ Fotos zu erfassen, die bei normaler Telefonnutzung aufgenommen würden, sagte Campbell. Campbell ist Direktor für neue Technologien und Datenanalysen am Center for Technology and Behavioral Health, wo er das Team leitet, das mobile Sensoren entwickelt, die auf der Grundlage passiver Daten Metriken wie den emotionalen Zustand und die Arbeitsleistung verfolgen können.

Die neue Studie zeige, dass passive Fotos der Schlüssel zu erfolgreichen mobilen Therapieinstrumenten seien, sagte Campbell. Sie fangen die Stimmung genauer und häufiger ein als benutzergenerierte Fotos oder Selfies und schrecken Benutzer nicht dadurch ab, dass sie eine aktive Interaktion erfordern. „Diese neutralen Fotos sind so, als würde man jemanden in diesem Moment sehen, wenn er kein Veneer aufträgt, was die Leistung unseres Modells zur Vorhersage des Gesichtsausdrucks verbessert“, sagte Campbell.

Subigya Nepal, ein Doktorand der Guarini School of Graduate and Advanced Studies in Campbells Forschungsgruppe, der zusammen mit dem Doktoranden Arvind Pillai, Guarini, Co-Hauptautor der Studie ist, sagte, dass die nächsten Schritte für MoodCapture das Training der KI auf einer größeren Ebene umfassen Vielfalt der Teilnehmer, Verbesserung der Diagnosefähigkeit und Stärkung der Datenschutzmaßnahmen.

Die Forscher stellen sich eine Iteration von MoodCapture vor, bei der Fotos niemals das Telefon einer Person verlassen, sagte Nepal. Stattdessen würden Bilder auf dem Gerät eines Benutzers verarbeitet, um mit Depressionen verbundene Gesichtsausdrücke zu extrahieren und sie in Code für das KI-Modell umzuwandeln. „Selbst wenn die Daten jemals das Gerät verlassen, gäbe es keine Möglichkeit, sie wieder zu einem Bild zusammenzusetzen, das den Benutzer identifiziert“, sagte er.

In der Zwischenzeit könnte die Genauigkeit der Anwendung auf Verbraucherseite verbessert werden, wenn die KI so konzipiert wäre, dass sie ihr Wissen basierend auf den Gesichtsausdrücken der jeweiligen Person, die sie nutzt, erweitert, sagte Nepal.

„Sie müssten nicht bei Null anfangen – wir wissen, dass das allgemeine Modell zu 75 % genau ist, sodass die Daten einer bestimmten Person zur Feinabstimmung des Modells verwendet werden könnten. Geräte der nächsten Jahre sollten damit problemlos umgehen können.“ “, sagte Nepal. „Wir wissen, dass Gesichtsausdrücke Aufschluss über den emotionalen Zustand geben. Unsere Studie ist ein Beweis dafür, dass Gesichtsausdrücke eines der wichtigsten Signale sind, die wir bekommen können, wenn es um den Einsatz von Technologie zur Bewertung der psychischen Gesundheit geht.“