In den USA sorgt ein tragischer Fall für Aufsehen: Ein 16-Jähriger hat sich das Leben genommen, nachdem er längere Zeit mit dem KI-Chatbot ChatGPT gesprochen hatte. Die Eltern des Jungen haben Klage gegen OpenAI, das Unternehmen hinter ChatGPT, eingereicht. Ihr Vorwurf: Die KI habe ihren Sohn in seinem Entschluss bestärkt und sogar Informationen geliefert, wie er sich das Leben nehmen könne.
Eltern entdecken belastende Chatprotokolle
Nach einer Erklärung für den Suizid suchend, sind die Eltern auf dem Smartphone ihres Sohnes auf Chatprotokolle gestossen, die den KI-Chatbot belasten. ChatGPT habe dem Teenager zwar mehrfach geraten, mit jemandem über seine Suizidgedanken zu sprechen und auf Hilfsangebote hingewiesen.
Doch gleichzeitig sei die KI auch immer wieder auf seine Fragen eingegangen und habe ihn in seiner Absicht sogar unterstützt.
OpenAI hat bestätigt, dass die Chats authentisch sind, betont jedoch, dass der in der Anklageschrift veröffentlichte Verlauf den vollständigen Kontext nicht wiedergebe. Was genau damit gemeint ist, liess das Unternehmen offen.
KI-Schutzmassnahmen funktionieren nicht immer
Der Fall wirft grundlegende Fragen auf: Wie konnte es dazu kommen, dass ein Chatbot trotz eingebauter Sicherheitsmechanismen solch sensible Inhalte lieferte?
Chatbots wie ChatGPT verfügen über sogenannte «Guardrails» – Leitplanken, die verhindern sollen, dass es bei Themen wie Suizid konkrete Anweisungen gibt. Erkennt das System entsprechende Absichten, soll es stattdessen auf Hilfsangebote verweisen.
Tatsächlich war das in diesem Fall anfangs auch geschehen. Doch die KI setzte die Unterhaltung fort und vergass offenbar ihre eigenen Sicherheitsvorgaben. OpenAI bestätigt, dass die internen Leitplanken in längeren, komplexen Gesprächen an Wirksamkeit verlieren können.
Optimiert fürs Gespräch, nicht für Sicherheit
Unternehmen wie OpenAI arbeiten zwar mit Psychologinnen und Psychologen zusammen, um solche Risiken zu minimieren. Doch die Firmen verfolgen auch ein anderes Ziel: Nutzerinnen und Nutzer möglichst intensiv an ihre Chatbots zu binden. ChatGPT ist darauf optimiert, Gespräche fortzuführen und sich wie eine vertraute Person zu verhalten – auch wenn das in kritischen Situationen gefährlich werden kann.
Hinzu kommt, dass die Funktionsweise solcher Systeme selbst für die Entwickler oft nicht vollständig durchschaubar ist. Die KI versteht die Welt nicht wie ein Mensch, sondern erzeugt Antworten auf Basis von Wahrscheinlichkeiten. Das macht ihr Verhalten schwer vorhersehbar.
Schwere Vorwürfe gegen die Entwickler
Die Eltern des Verstorbenen sehen genau darin den entscheidenden Punkt. In ihrer Klage argumentieren sie, der Suizid sei kein unvorhersehbarer Einzelfall gewesen, sondern ein «vorhersehbares Ereignis»: OpenAI habe bewusst ein System auf den Markt gebracht, das dazu gestaltet sei, emotionale Bindungen zu fördern, sodass eine psychologische Abhängigkeit entstehen könne. Für die Familie ist darum klar: Das Unternehmen trägt Mitverantwortung am Tod ihres Sohnes.
Der Fall könnte weitreichende Folgen haben – nicht nur für OpenAI, sondern für die gesamte Branche. Er macht deutlich, wie riskant es ist, hochkomplexe KI-Systeme in derart sensiblen Bereichen einzusetzen. Die Frage, wie viel Verantwortung Unternehmen für das Handeln ihrer Chatbots tragen, wird Gerichte und Politik noch lange beschäftigen.
Diskutieren Sie mit:
In einer Viertelstunde die Welt besser verstehen – ein Thema, neue Perspektiven und Antworten auf Ihre Fragen. Alle Folgen des «News Plus»-Podcasts finden Sie hier.
