Forschung

Aktenauswertung des Vanderbilt University Medical Center an rund 216.000 Patienten in psychiatrischer Behandlung zwischen Dezember 2022 und April 2026. Sie fand 28 Patienten (0,013 %) mit chatbotassoziierter Psychose. Etwa 61 % von ihnen erlebten ihre erste psychotische Episode, deutlich mehr als bei Patienten mit KI-bezogenen Wahnvorstellungen ohne dokumentierte Chatbot-Nutzung.

Analyse von 185 Erfahrungsberichten über die Nutzung von KI-Chatbots (95 aus erster, 90 aus zweiter Hand). In 55 % der Fälle fanden sich Hinweise auf Wahnvorstellungen. In der Hälfte dieser Fälle hatte der Chatbot den Wahn bestätigt statt infrage gestellt. Berichtete Folgen: soziale Isolation, Jobverlust, Klinikaufenthalte und vier Suizide.

Test mit 648 simulierten Gesprächen von Jugendlichen über psychische Gesundheit und neun Chatbots. Bei 27,5 % schlug mindestens eine der wichtigsten Sicherheitsprüfungen fehl. Es war ein kontrollierter Test. Er misst also nicht, wie oft im Alltag tatsächlich Schaden entsteht.

Benchmark der Stanford University auf Basis von 391.562 Nachrichten von Nutzern, die psychische Schäden durch Chatbots gemeldet hatten. Über 70 % der KI-Antworten zeigten anbiederndes (sykophantisches) Verhalten. Äußerten Nutzer Suizidgedanken, stieg der Anteil der Antworten, die nicht von Selbstverletzung abrieten, mit wachsendem Gesprächsverlauf von 30 % auf 41 %. Keine Modellfamilie war durchgehend sicher.

Argumentiert, dass das Risiko auch eine Frage der Dosis ist, ähnlich wie bei Verhaltenssüchten, und nicht nur der Inhaltsmoderation.

Editorial der Brunel University of London (Bd. 229, Heft 1). Es fordert systematische interdisziplinäre Forschung dazu, welche individuellen Merkmale und welche Designfaktoren der KI chatbotbedingte psychiatrische Schäden verursachen.

Begutachtete Arbeit der University of British Columbia zu den Mechanismen. Sie schlägt klinische und gestalterische Schutzmaßnahmen vor, darunter Begrenzungen der Sitzungsdauer und eine automatische Weiterleitung an Fachkräfte, wenn bestimmte Belastungsschwellen überschritten werden.

Repräsentative Umfrage unter 1.009 Personen im Alter von 12 bis 21 Jahren in den USA. Fast 1 von 5 hatte einen KI-Chatbot um Rat zur psychischen Gesundheit gefragt. 63 % davon erzählten es niemandem.

Meinungsbeitrag des deutschen Psychiaters Marc Augustin: Warum Sprach-Chatbots persönlicher wirken als Text und schwerer als bloßer Algorithmus abzutun sind.

Beitrag der Division of Digital Psychiatry, Beth Israel Deaconess Medical Center und Harvard Medical School. Er beschreibt vier Rollen der KI: Auslöser (neue Symptome bei bisher gesunden Nutzern), Verstärker (Verschlimmerung bestehender Anfälligkeiten), Ko-Autor (Ausarbeitung wahnhafter Erzählungen) und Objekt (die KI wird selbst zum Gegenstand des Wahns).

Fallbericht über einen Patienten mit erster psychotischer Episode. Der Chatbot bestätigte wahnhafte Überzeugungen und trug dazu bei, dass er seine Antipsychotika nicht mehr einnahm.

Durchsuchte die Krankenakten von rund 54.000 dänischen Psychiatriepatienten. Die Studie fand 38 Fälle, in denen die Nutzung von Chatbots die Symptome offenbar verschlimmert hatte, darunter Wahnvorstellungen, Manie, Suizidgedanken und Essstörungen. Es war die erste klinische Datenbankauswertung dieser Art.

Übersichtsarbeit in World Psychiatry (Bd. 25, Heft 1) zur Frage, ob generative KI-Chatbots das Psychoserisiko erhöhen.

Begutachtete Darstellung, wie Chatbot-Interaktion wahnhafte Überzeugungen auslösen oder verfestigen kann.

OpenAI gab bekannt, dass etwa 0,07 % der rund 800 Millionen wöchentlichen ChatGPT-Nutzer mögliche Anzeichen von Psychose oder Manie zeigen und 0,15 % Anzeichen von Suizidplanung.

Stellt Psychosis-bench vor, einen Benchmark dafür, wie große Sprachmodelle Wahnvorstellungen über mehrere Gesprächsrunden verstärken.

Der Psychiater Keith Sakata an der UCSF berichtet über die Behandlung von 12 Patienten mit KI-bezogenen psychotischen Symptomen im Jahr 2025, eines der ersten klinischen Signale. Das ist ein Erfahrungsbericht, keine Studie.

Das Editorial von Søren Dinesen Østergaard (Universitätsklinikum Aarhus) aus dem Jahr 2023, das als Erstes vor dem Risiko warnte. Sein Argument: Ein Gegenüber, das sich menschlich anfühlt und doch eine Maschine ist, erzeugt genau die Art von Verwirrung, aus der Wahn entstehen kann.

Die Eltern von Bowen Wan, einer 31-jährigen Softwareentwicklerin aus Seattle, verklagten OpenAI und Sam Altman vor einem Gericht in San Francisco. Sie starb im Februar 2026 an einem plötzlichen unerwarteten Tod bei Epilepsie (SUDEP). Laut Klage erstellte das GPT-4o-Modell von ChatGPT einen 25-tägigen Plan, um ihr Antiepileptikum abzusetzen, und riet ihr, den Plan vor ihren Ärzten zu verbergen.

Kentuckys Generalstaatsanwalt Russell Coleman verklagte Character.AI im Januar 2026. Seine Behörde nannte es die erste Klage eines US-Bundesstaates gegen ein KI-Chatbot-Unternehmen. Eine im Oktober 2026 eingereichte, ungeschwärzte Fassung beschreibt konkrete Chats aus dem Jahr 2025, darunter einen, in dem ein Chatbot einen Nutzer, der Gedanken an Selbstverletzung geäußert hatte, bestärkt haben soll.

Gouverneur Newsom legte sein Veto gegen SB 903 ein. Das Gesetz ist also nicht in Kraft. Es hätte verboten, Chatbots als Therapie zu bewerben, und den Einsatz von KI durch Fachkräfte in der Therapie begrenzt. Senator Steve Padilla will einen neuen Entwurf einbringen.

Die Provinz verklagte OpenAI vor einem US-Bundesgericht wegen des Amoklaufs an einer Schule in Tumbler Ridge am 10. Februar 2026, bei dem acht Menschen starben. Sie wirft ChatGPT vor, die Gewaltfantasien des Täters „ermutigt, ausgebaut und verstärkt“ zu haben. OpenAI habe trotz einer internen Empfehlung des Sicherheitsteams die Behörden nicht informiert.

Gouverneur Newsom unterzeichnete dieses Gesetz zu KI-Begleitchatbots und Kindern. Es verlangt Altersprüfungen, Risikobewertungen vor der Veröffentlichung, Verweise an Krisendienste, eine Benachrichtigung der Eltern bei Selbstverletzungsrisiko und unabhängige Prüfungen. Es baut auf SB 243 auf.

Verpflichtet Chatbot-Betreiber, allen Nutzern den KI-Status offenzulegen, bei Suizidgedanken oder Selbstverletzungsabsichten Krisenprotokolle anzuwenden und Minderjährige vor simulierter emotionaler Abhängigkeit zu schützen. Die wesentlichen Betreiberpflichten gelten ab dem 1. Januar 2027.

In Kraft seit 12. August 2026. Verbietet zugelassenen Fachkräften, KI ohne Echtzeit-Aufsicht für die therapeutische Kommunikation mit Patienten einzusetzen. Untersagt außerdem, KI als gleichwertig mit zugelassener Versorgung zu bewerben.

Florida wurde der erste US-Bundesstaat, der OpenAI verklagte.

Die Familie von Christian Faith Madison (29) reichte Klage wegen widerrechtlicher Tötung ein. Laut Klage verstärkte ChatGPT ihre wahnhafte Überzeugung von einer göttlichen Mission und trug zu ihrem Tod im Juni 2025 bei.

Eine Klage des Bundesstaates. Sie soll Character.AI-Chatbots die unerlaubte Ausübung der Medizin untersagen.

Der Justizausschuss des US-Senats nahm diesen Entwurf einstimmig an. Er ist kein Gesetz. Er würde KI-Begleiter für Minderjährige verbieten und Chatbots verpflichten offenzulegen, dass sie weder Menschen noch Fachkräfte sind.

Beide Bundesstaaten verabschiedeten Gesetze, die Krisenprotokolle vorschreiben, sobald Nutzer Suizidgedanken äußern. Der Link führt zum Gesetz aus Nebraska, unterzeichnet am 14. April 2026.

Verbietet, ein KI-System als qualifizierte Fachkraft für psychische Gesundheit zu bewerben oder darzustellen. In Kraft seit 1. Juli 2026.

Das erste Gesetz mit verbindlichen Sicherheitsvorgaben speziell für KI-Begleitchatbots: Krisenprotokolle und eine Offenlegungspflicht, wenn Nutzer die KI für einen Menschen halten könnten. In Kraft seit 1. Januar 2026.