Fine-Tuning

Was bedeutet Fine-Tuning?

Beim Fine-Tuning wird ein vortrainiertes Modell mit eigenen Beispielen aus Eingabe und gewünschter Ausgabe weitertrainiert. Das Modell übernimmt daraus Fachbegriffe, Tonalität und wiederkehrende Antwortmuster – etwa, wie der Support im Unternehmen formuliert oder in welchem Format Ergebnisse geliefert werden. Wie viele Beispiele nötig sind, hängt von Aufgabe und Modell ab; sinnvoll ist ein kleiner, sauber geprüfter Datensatz, dessen Wirkung vor jedem Ausbau gemessen wird.

Der Aufwand ist real: Daten sammeln und bereinigen, Training durchführen, Ergebnisse bewerten und das angepasste Modell betreiben. Wenn ein System vor allem aktuelle Dokumente berücksichtigen soll, ist RAG meist günstiger und leichter zu pflegen. Fine-Tuning lohnt sich eher für einheitlichen Stil, feste Ausgabeformate und wiederkehrende Aufgaben, die sich mit Prompts allein nicht zuverlässig lösen lassen.

Worauf Sie achten sollten

• Trainingsdaten sind gesammelt, formatiert und freigegeben.
• Es ist geprüft, ob RAG die Aufgabe günstiger löst.
• Kosten für Training, Betrieb und Wartung sind geschätzt.
• Ergebnisse werden mit einem Test-Set regelmäßig bewertet.

Wo die Grenzen liegen

Fine-Tuning erzeugt keine Fakten. Ein angepasstes Modell halluziniert weiterhin; verbindliche Aussagen brauchen Quellen, Regeln und menschliche Prüfung.

Verwandte Begriffe

• LLM (Large Language Model)

  Ein LLM (Large Language Model) ist ein KI-Modell, das mit sehr großen Textmengen trainiert wurde und Sprache verarbeiten und erzeugen kann. Bekannte Modellfamilien sind GPT, Claude, Gemini und Llama.

• RAG (Retrieval-Augmented Generation)

  RAG verbindet ein generatives KI-Modell mit einer gezielten Suche in einer festgelegten Wissensbasis, bevor eine Antwort formuliert wird.

• Human in the Loop

  Human in the Loop bezeichnet einen Prozess, in dem ein Mensch definierte Entscheidungen, Ausnahmen oder unsichere Ergebnisse prüft und freigibt.

• KI-Halluzination

  Eine KI-Halluzination ist eine Ausgabe eines KI-Modells, die überzeugend klingt, aber falsche, erfundene oder nicht belegte Angaben enthält, zum Beispiel eine Quellenangabe, die es nicht gibt.

Passende Leitfäden und Leistungen

• KI in Geschäftsprozessen einsetzen

  Kontrollierte KI-Schritte mit Quellen, Grenzen und Freigaben planen.

• KI-Workflow-Automatisierung für Unternehmen

  Use Cases und Prüfkriterien für Wirtschaftlichkeit, Datenschutz und Betrieb.

Offizielle Quellen

1. Hu et al.: LoRA – Low-Rank Adaptation of Large Language Models
2. OpenAI Docs: Model optimization