KI-Halluzination

Was bedeutet KI-Halluzination?

Von einer Halluzination spricht man, wenn ein generatives KI-Modell falsche oder erfundene Inhalte ausgibt und sie so selbstverständlich präsentiert wie zutreffende. Das US-amerikanische National Institute of Standards and Technology (NIST) nennt das Phänomen Konfabulation und zählt auch Ausgaben dazu, die von der Eingabe abweichen oder früheren Aussagen im selben Zusammenhang widersprechen. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) beschreibt Halluzinieren als das Erfinden von Inhalten, die weder Teil der Eingabe noch der Trainingsdaten waren.

Die Ursachen liegen in der Arbeitsweise der Modelle. Ein Sprachmodell sagt das jeweils nächste Textstück vorher und bildet damit die statistische Verteilung seiner Trainingsdaten nach; das kann zutreffende, aber auch falsche oder widersprüchliche Aussagen ergeben. Ein Forschungsteam von OpenAI und Georgia Tech nennt einen weiteren Grund: Training und die meisten Bewertungsverfahren belohnen das Raten, weil Raten bei Unsicherheit dort das Testergebnis verbessert, während zurückhaltende Antworten benachteiligt werden. Das BSI verweist zusätzlich auf fehlerhafte Trainingsinhalte und darauf, dass einem Modell ohne Zugriff auf aktuelle Daten Informationen über jüngere Ereignisse fehlen.

Heikel sind Halluzinationen, weil sie glaubwürdig wirken. Das BSI weist darauf hin, dass selbst Verweise auf Publikationen frei erfunden sein können, und NIST nennt erfundene Begründungen und Quellenangaben, die eine falsche Antwort stützen. Mehrere Maßnahmen senken das Risiko: Antworten an freigegebene Dokumente binden (RAG) und die genutzten Textstellen anzeigen, dem Modell ausdrücklich erlauben, Unwissen zuzugeben, Aussagen mit wörtlichen Zitaten belegen lassen, Ergebnisse automatisch mit vertrauenswürdigen Daten abgleichen und folgenreiche Ausgaben von einem Menschen prüfen lassen. NIST empfiehlt außerdem, Quellen und Zitate in den Ausgaben vor dem Einsatz und im laufenden Betrieb zu überprüfen.

Vollständig ausschließen lassen sich Halluzinationen nach heutigem Stand nicht. Das BSI hält fest, dass generative KI-Modelle keine oder nur unzureichende Garantien für die Qualität ihrer Ausgaben bieten. Auch Anthropic schreibt in seiner Dokumentation, dass solche Techniken Halluzinationen deutlich verringern, aber nicht vollständig beseitigen. Für den Einsatz im Betrieb heißt das: KI-Ausgaben bleiben Entwürfe oder Vorschläge, bis eine Quelle, eine feste Regel oder ein Mensch sie bestätigt.

Worauf Sie achten sollten

• Es ist festgelegt, welche KI-Ausgaben ohne Prüfung genutzt werden dürfen und welche ein Mensch vorher freigibt.
• Antworten stützen sich auf freigegebene Dokumente und zeigen die genutzten Textstellen an.
• Das System darf Unwissen zugeben; fehlende Angaben werden als fehlend markiert statt ergänzt.
• Namen, Zahlen, Fristen, Artikelnummern und Quellenangaben werden gegen das Original oder die führende Datenquelle geprüft.
• Vor dem Start wird auch mit Fragen getestet, für die es in der Wissensbasis keine Antwort gibt; diese Tests laufen im Betrieb erneut.
• Nutzer wissen, dass KI-Ausgaben Entwürfe sind, und können Fehler auf einfachem Weg melden.

Wo die Grenzen liegen

Der Begriff wird unterschiedlich weit gefasst: NIST fasst überzeugend präsentierte falsche Inhalte allgemein darunter, das BSI betont erfundene Inhalte. Klar abzugrenzen ist die Prompt Injection. Dort bringen eingeschleuste Anweisungen ein Modell gezielt von seinem Auftrag ab; das ist ein Angriff, kein Fehler des Modells allein. RAG mildert die Folgen von Halluzinationen, beseitigt sie aber nicht, denn ein Modell kann eine vorliegende Quelle trotzdem falsch wiedergeben. Ein Schema für strukturierte Ausgaben sichert die Form, nicht die Richtigkeit der Werte.

Verwandte Begriffe

• LLM (Large Language Model)

  Ein LLM (Large Language Model) ist ein KI-Modell, das mit sehr großen Textmengen trainiert wurde und Sprache verarbeiten und erzeugen kann. Bekannte Modellfamilien sind GPT, Claude, Gemini und Llama.

• RAG (Retrieval-Augmented Generation)

  RAG verbindet ein generatives KI-Modell mit einer gezielten Suche in einer festgelegten Wissensbasis, bevor eine Antwort formuliert wird.

• Structured Output

  Structured Output bedeutet, dass eine KI-Antwort in einem definierten Format (z. B. JSON) zurückgegeben wird – statt Freitext. Das ermöglicht automatische Weiterverarbeitung.

• Human in the Loop

  Human in the Loop bezeichnet einen Prozess, in dem ein Mensch definierte Entscheidungen, Ausnahmen oder unsichere Ergebnisse prüft und freigibt.

• Prompt Injection

  Prompt Injection ist ein Angriff, bei dem einem KI-System versteckte Anweisungen zugeführt werden, die es von seiner eigentlichen Aufgabe abbringen – etwa Datenpreisgabe oder unerwünschte Aktionen.

Passende Leitfäden und Leistungen

• KI in Geschäftsprozessen einsetzen

  Kontrollierte KI-Schritte mit passenden Daten, klaren Grenzen und persönlicher Freigabe planen.

• KI-Workflow-Automatisierung für Unternehmen

  Use Cases und Prüfkriterien, darunter die Messung von Halluzinationsrate und Nacharbeit vor dem Einsatz.

• Support-Bot für Ihre Website

  Antworten aus einer freigegebenen Wissensbasis, mit Grenzen und Übergabe an Menschen.

• KI-Inventur im Unternehmen

  Einsatzzwecke erfassen und festhalten, wer KI-Ergebnisse vor ihrer Verwendung prüft.

Offizielle Quellen

1. NIST AI 600-1: Artificial Intelligence Risk Management Framework – Generative Artificial Intelligence Profile
2. BSI: Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden
3. Kalai, Nachum, Vempala, Zhang (OpenAI, Georgia Tech): Why Language Models Hallucinate
4. Anthropic Docs: Reduce hallucinations