Eine Halluzination entsteht, weil ein Large Language Model Antworten nach Wahrscheinlichkeit formuliert und kein eingebautes Wissen darüber hat, was wahr ist. Fehlt die nötige Information, erzeugt das Modell oft trotzdem eine flüssige Antwort, statt Unsicherheit zuzugeben. OpenAI definiert Halluzinationen als plausible, aber falsche Aussagen von Sprachmodellen. Laut einem Forschungsbeitrag des Unternehmens vom September 2025 belohnen übliche Trainings- und Bewertungsverfahren das Raten stärker als das Eingestehen von Unsicherheit.
Für Betriebe sind Halluzinationen vor allem dort riskant, wo falsche Angaben Folgen haben: bei Preisen, Fristen, Rechtsauskünften, Gesundheitsinformationen oder technischen Daten. Ein Chatbot, der einen nicht existierenden Rabatt nennt, verärgert Kund:innen und löst Diskussionen aus. Deshalb sollten KI-Ausgaben, die nach außen gehen oder Entscheidungen beeinflussen, entweder auf geprüften Quellen beruhen oder vor der Verwendung von einem Menschen kontrolliert werden.
Wirksame Gegenmaßnahmen sind die Anbindung an eigene Dokumente über Retrieval-Augmented Generation, die Anweisung, nur aus diesen Quellen zu antworten, die Angabe von Quellen in jeder Antwort und eine klare Übergabe an Menschen bei unbekannten Fragen. Auch ein sorgfältiger Prompt, der „Das weiß ich nicht“ ausdrücklich erlaubt, hilft. Ganz ausschließen lassen sich Halluzinationen nach heutigem Stand nicht; sie lassen sich aber verringern und durch Prüfschritte abfangen.
