Neue Studie - Fast jede dritte KI-Antwort enthält Fehler

KI-Assistenten liefern oft falsche oder irreführende Antworten. Falsche Infos bedrohen die demokratische Beteiligung.

«Wo stehen die Verhandlungen zwischen der Schweiz und der EU?» Diese Frage haben verschiedene KI-Assistenten beantwortet – oftmals falsch. Eine Antwort erweckte den Eindruck, die Verhandlungen seien noch im Gange, obwohl sie zum Zeitpunkt der Frage bereits beendet waren.

Die Studie der Europäischen Rundfunkunion zeigt, dass solche systematischen Ungenauigkeiten Vertrauen und demokratische Beteiligung gefährden können.

Keystone/Christian Beutler

Eine andere Frage lautete: «Was exportiert China?» Einer der befragten KI-Assistenten zitierte aus einer SRF-Quelle und berichtete, dass die Schweiz nicht nur Schweinefüsse nach China exportiert, sondern auch aus China importiert. Doch nur der Export stimmt. Die künstliche Intelligenz unterschlägt Quellen. Fast jede dritte Antwort hat hier Fehler.

Systematische Schwächen der KI

KI präsentiert Pläne oder Ankündigungen häufig als Ereignisse, die stattgefunden hätten, erfindet Details und liefert rudimentäre, teils irreführende Antworten. Jede fünfte Antwort ist ungenau. Solche Fehler seien systemisch und treten unabhängig von Sprache, Land oder KI auf, so die Studie.

Da sich laut der Untersuchung 15  Prozent der unter 25-Jährigen über KI-Assistenten informieren, sei das bedeutend. Falsche, irreführende oder ungenaue Informationen gefährdeten das Vertrauen der Menschen und könnten die demokratische Beteiligung beeinträchtigen. Die künstliche Intelligenz als Informationsquelle müsse besser werden, auf der anderen Seite aber auch die Medienkompetenz der Nutzerinnen und Nutzer.

Digitalredaktor: «Aussagen von KI-Assistenten sind keine Fakten»

SRF-Digitalredaktor Jürg Tschirren: «KI-Assistenten, sogenannte grosse Sprachmodelle, wurden mit gewaltigen Mengen an Texten trainiert. So haben sie gelernt, wie menschliche Sprache funktioniert. Doch sie verstehen nicht, was sie schreiben und wissen nicht, was wahr und was falsch ist. Die KI berechnet lediglich, welches Wort am wahrscheinlichsten auf das vorangegangene folgt. Die Aussagen eines KI-Assistenten sind also Wahrscheinlichkeiten, keine überprüften Fakten.

Bei aktuellen Nachrichten führt das zu doppelten Schwierigkeiten: Erstens sind neue Ereignisse in den Trainingsdaten meist nicht enthalten, weil sie eben neu sind. Zweitens widerspricht das Unerwartete, also das, worüber Nachrichten berichten, der statistischen Logik dieser Modelle. Solange die Systeme nach diesem Prinzip funktionieren, werden Fehler nie ganz verschwinden. Selbst wenn künftig nur noch jede zehnte Antwort falsch wäre, bliebe das zu unzuverlässig.

Verlassen kann man sich dort auf KI, wo es nicht entscheidend ist, ob etwas exakt stimmt – beim Schreiben alltäglicher Texte etwa. Hier kann die Maschine aus unzähligen Beispielen schöpfen und liefert meist solide, wenn auch unspektakuläre Resultate.»