Worum es geht
Diese Lektion klärt das Grundproblem, das RAG lösen soll: Ein Sprachmodell kennt Ihre Organisation nicht. Wer versteht, warum das so ist, versteht auch, warum „KI mit unserem Firmenwissen” gerade überall angeboten wird.
Zwei Arten von Wissen
Ein Sprachmodell bringt beeindruckend viel Weltwissen mit: Sprache, Fachbegriffe, allgemeine Abläufe. Dieses Wissen stammt aus dem Training und ist eingefroren. Was das Modell nicht kennt, sind die Dinge, die Ihre Arbeit ausmachen: Ihr QM-Handbuch, Ihre Zuständigkeiten, Ihre Vorlagen, die Entscheidung von letzter Woche.
Der Unterschied lässt sich in einem Satz merken: Das Modell weiß, wie man einen Telefonleitfaden schreibt. Es weiß nicht, wie Ihrer aussieht.
Dazu kommt eine zweite Grenze: Was Sie dem Modell in einem Gespräch mitgeben, landet in seiner Arbeitsfläche für genau diesen Aufruf, dem Kontextfenster. Manche Produkte speichern zusätzlich Verlauf oder Notizen und senden sie später erneut mit. Verlassen sollte man sich darauf nicht: Ohne ein System, das Wissen gezielt bereitstellt, beginnt jede Aufgabe wieder bei null.
Die naheliegenden Auswege und ihre Grenzen
Alles in den Prompt kopieren? Funktioniert für einzelne Dokumente, wird aber schnell unpraktisch: Die Arbeitsfläche ist begrenzt, lange Eingaben kosten Zeit, und bei sehr viel Text übersieht das Modell Details in der Mitte.
Das Modell mit eigenen Daten nachtrainieren? Aufwendig, teuer, schwer aktuell zu halten und für die meisten Organisationen der falsche Weg. Ihr Wissen ändert sich wöchentlich, ein Modelltraining nicht.
Der dritte Weg: Das Wissen bleibt dort, wo es liegt, und ein System sucht bei jeder Frage genau die passenden Stellen heraus und gibt sie dem Modell mit. Genau das ist Retrieval Augmented Generation, kurz RAG. Wie das Schritt für Schritt funktioniert, zeigt die nächste Lektion.
Der typische Fehler
Vom Modell erwarten, dass es „die Firma kennt”. Wer einem Chat ohne angebundene Wissensquellen Fragen zur eigenen Organisation stellt, bekommt flüssige, plausible und oft falsche Antworten, denn das Modell füllt die Lücke mit Weltwissen. Gefährlich ist das, weil die Antworten kompetent klingen. Die richtige Erwartung lautet: Ohne bereitgestelltes Wissen antwortet die KI generisch.
Kontrollfrage
Eine Kollegin fragt den KI-Chat: „Wie lautet unser Ablauf bei Terminausfällen?” Der Chat antwortet ausführlich und selbstsicher. Was ist hier zu erwarten?
Antwort anzeigen
Wenn dem Chat keine Wissensquelle der Organisation angebunden ist, kann er den echten Ablauf nicht kennen. Die Antwort ist eine plausible Erfindung aus Weltwissen, vielleicht sogar eine gute Vorlage, aber keine Auskunft über den tatsächlichen Ablauf. Verlässlich wird die Antwort erst, wenn das System vorher die richtige Arbeitsanweisung abruft und mitliest.