RAG (Retrieval-Augmented Generation)

Was bedeutet RAG (Retrieval-Augmented Generation)?

Bei Retrieval-Augmented Generation werden passende Textstellen aus freigegebenen Dokumenten gesucht und zusammen mit der Frage an ein Modell übergeben. Das Modell soll seine Antwort auf diesen Kontext stützen. Dadurch können eigene, aktuelle Informationen genutzt werden, ohne sie dauerhaft in ein neues Modelltraining einzubauen.

Die Qualität hängt nicht nur vom Modell ab. Dokumentauswahl, Segmentierung, Metadaten, Zugriffsrechte, Suchverfahren und eine verständliche Quellenanzeige bestimmen, ob die gefundenen Stellen wirklich passen. Wenn die Wissensbasis keine ausreichende Antwort enthält, muss das System Unsicherheit sichtbar machen oder an einen Menschen übergeben.

Worauf Sie achten sollten

• Nur freigegebene, aktuelle und zugriffsberechtigte Dokumente sind durchsuchbar.
• Fundstellen und Dokumentversionen bleiben für Nutzer nachvollziehbar.
• Tests prüfen sowohl passende Antworten als auch Fälle ohne ausreichende Quelle.
• Löschung, Aktualisierung und Rollenwechsel wirken auch auf den Suchindex.

Wo die Grenzen liegen

RAG verhindert keine falschen Antworten. Ein Modell kann Quellen missverstehen oder Aussagen ergänzen, die dort nicht stehen. Kritische Entscheidungen brauchen deshalb feste Regeln und gegebenenfalls menschliche Prüfung.

Verwandte Begriffe

• Human in the Loop

  Human in the Loop bezeichnet einen Prozess, in dem ein Mensch definierte Entscheidungen, Ausnahmen oder unsichere Ergebnisse prüft und freigibt.

• API-Integration

  Eine API-Integration verbindet zwei Systeme über eine dokumentierte technische Schnittstelle und festgelegte Daten- und Fehlerverträge.

• LLM (Large Language Model)

  Ein LLM (Large Language Model) ist ein KI-Modell, das mit sehr großen Textmengen trainiert wurde und Sprache verarbeiten und erzeugen kann. Bekannte Modellfamilien sind GPT, Claude, Gemini und Llama.

• Fine-Tuning

  Fine-Tuning trainiert ein vortrainiertes KI-Modell mit eigenen Beispieldaten weiter, um Fachsprache, Stil und Verhalten auf eine Aufgabe zu schneiden.

Passende Leitfäden und Leistungen

• KI in Geschäftsprozessen einsetzen

  Kontrollierte KI-Schritte mit Quellen, Grenzen und Freigaben planen.

• KI-Workflow-Automatisierung für Unternehmen

  Use Cases und Prüfkriterien für Wirtschaftlichkeit, Datenschutz und Betrieb.

Offizielle Quellen

1. Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
2. NIST AI Risk Management Framework