Definition
Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein KI-System vor der Antwort passende Textstücke aus Dokumenten oder einem Suchindex abruft und dem Sprachmodell zusammen mit der Frage übergibt. Das Modell schreibt die Antwort auf dieser Grundlage und lernt dabei nichts dazu.
Das Wichtigste in Kürze
- RAG heißt: Ein KI-System ruft vor der Antwort passende Textstücke ab und gibt sie dem Sprachmodell mit. Das Modell lernt dabei nichts dazu.
- Google nennt RAG auch Fundierung und ruft dafür Seiten aus seinem Suchindex ab. In Ihrem Unternehmen ist die Quelle eine Sammlung, die Sie selbst pflegen.
- RAG kann erfundene Angaben verringern, verhindert sie aber nicht. Prüfen Sie wichtige Antworten an der angegebenen Quelle.
- Bis etwa 500 Seiten Material passen laut Anthropic in eine einzige Anfrage. Für kleine Sammlungen ist RAG deshalb oft unnötig.
- Für personenbezogene Daten in RAG-Systemen verlangen die deutschen Datenschutzbehörden eine Rechtsgrundlage. Ihre Orientierungshilfe stammt von Oktober 2025.
Wie funktioniert RAG?
RAG läuft in zwei Phasen ab. Vorab zerlegt das System Dokumente in kurze Textstücke und legt sie durchsuchbar ab. Bei jeder Frage holt es die passendsten Stücke und gibt sie dem Sprachmodell zusammen mit der Frage. Das Modell schreibt daraus die Antwort.
Die Konferenz der deutschen Datenschutzbehörden von Bund und Ländern (DSK) beschreibt den Ablauf in ihrer Orientierungshilfe zu RAG von Oktober 2025. Die Dokumentationen der Anbieter schildern ihn ähnlich:
- Zerlegen: Das System teilt die Dokumente in kurze Textstücke, sogenannte Chunks. Meist sind sie höchstens einige Hundert Tokens lang (Anthropic, 19.09.2024). Tokens sind Wörter oder Wortteile, mit denen ein Sprachmodell rechnet. Für Stücke fester Größe empfiehlt Microsoft als Startwert 512 Tokens, rund 2.000 Zeichen, mit 25 % Überlappung (Microsoft Learn, Zerlegen von Dokumenten, 02.07.2026).
- Umrechnen und ablegen: Ein Embedding-Modell rechnet jedes Stück in eine Zahlenreihe um, die seine Bedeutung abbildet. Diese Zahlenreihen liegen in einer Vektordatenbank.
- Abrufen: Bei einer Frage rechnet dasselbe Modell die Frage um. Die Suchfunktion, der Retriever, holt die Stücke mit den ähnlichsten Zahlenreihen. Oft kommt eine Wortsuche wie BM25 hinzu. Sie findet genaue Treffer wie einen Fehlercode (Anthropic, 19.09.2024).
- Antworten: Die passendsten Stücke werden an die Frage angehängt, und das Modell formuliert die Antwort. Je nach System zeigt es die verwendeten Quellen an.
Das Sprachmodell verändert sich dabei nicht. Die erweiterte Anfrage entsteht bei jeder Frage neu (Datenschutzkonferenz, Oktober 2025). Wird ein Dokument berichtigt und neu abgelegt, kann sich die nächste Antwort ändern. Wie KI-Assistenten im Web Quellen auswählen, vergleicht unser Leitfaden zu GEO (Generative Engine Optimization).
Woher kommt RAG, und wie heißt das auf Deutsch?
Den Begriff prägte 2020 ein Aufsatz von Patrick Lewis und weiteren Forschenden. Retrieval-Augmented Generation heißt wörtlich etwa „durch Abruf ergänzte Erzeugung“. Eine feste deutsche Bezeichnung gibt es nicht. Die deutschen Datenschutzbehörden schreiben RAG, und Googles deutsche Dokumentation nennt daneben das Wort Fundierung.
Der Aufsatz verband ein Sprachmodell mit einem Textindex aus Wikipedia. Die Autoren berichten, dass ihre Modelle sachlich genauere Texte erzeugten als ein Vergleichsmodell ohne Abruf (Lewis u. a., 2020).
Verhindert RAG falsche Antworten?
Nein. RAG kann erfundene Angaben verringern, ausschließen kann es falsche Antworten aber nicht. Der Abruf kann das richtige Stück verfehlen, das Modell kann ein abgerufenes Stück übergehen, und die Dokumente selbst können veraltet sein. Prüfen Sie wichtige Antworten deshalb an der angegebenen Quelle.
Die Datenschutzkonferenz schreibt, dass RAG Halluzinationen reduzieren kann. Das sind erfundene, aber plausibel klingende Angaben. Die Zuverlässigkeit hänge stark von Qualität, Aktualität und Vollständigkeit der Dokumente ab (Datenschutzkonferenz, Oktober 2025).
Eine Studie aus Stanford und Yale prüfte 2024 KI-Werkzeuge für die Rechtsrecherche. Deren Anbieter hatten RAG als Mittel gegen Halluzinationen beworben. Die Werkzeuge schnitten besser ab als GPT-4 allein, erzeugten aber in 17 bis 33 % der Fälle Halluzinationen (Magesh u. a., 30.05.2024).
Auch der Abruf selbst verfehlt Treffer. In einem Test von Anthropic fehlten in der Ausgangslage 5,7 % der relevanten Dokumente unter den 20 besten Stücken. Mit Zusatzkontext je Stück, Wortsuche und Nachsortieren waren es 1,9 % (Anthropic, 19.09.2024). Das sind Angaben des Anbieters aus eigenen Tests mit selbst gewählten Datensätzen.
Was bedeutet RAG für Ihre Website?
Wenn KI-Systeme im Web suchen, kann Ihre Website eine der Quellen sein, aus denen sie abrufen. Bei Google muss eine Seite dafür indexiert sein und mit Textausschnitt angezeigt werden dürfen. In kleine Stücke zerlegen müssen Sie Ihre Inhalte für Google nicht. Klare Abschnitte mit der Antwort am Anfang helfen Ihren Lesern und nach unserer Einschätzung auch dem Abruf.
Google beschreibt RAG als Technik seiner KI-Funktionen. Die zentralen Ranking-Systeme der Suche rufen relevante, aktuelle Seiten aus dem Index ab, und Googles Systeme prüfen dann die Angaben auf diesen Seiten (Google Search Central, Stand 15.07.2026). Eine Seite erscheint dort nur, wenn sie indexiert ist und mit Textausschnitt angezeigt werden darf. Welche Crawler der Anbieter dafür Zugang brauchen, steht in unserem Beitrag KI-Crawler und robots.txt. Ob Ihr Text ohne JavaScript im HTML steht, prüft der Schritt Steht Ihr Angebot im HTML?
Inhalte müssen Sie für Google nicht in winzige Abschnitte unterteilen. Die Systeme erkennen laut Google mehrere Themen auf einer Seite (Google Search Central, Stand 15.07.2026). Andere Systeme zerlegen Texte vor dem Abruf selbst. Microsoft nennt Überschriften in HTML oder Markdown als eine Möglichkeit, an Abschnitten zu schneiden (Microsoft Learn, Zerlegen von Dokumenten, 02.07.2026). Die Datenschutzkonferenz rät, dass ein Stück möglichst einen abgeschlossenen Sinnabschnitt enthält.
Für Ihre Texte heißt das nach unserer Einschätzung: Schreiben Sie das Subjekt aus und nennen Sie zu jeder Zahl ihren Bezug. Anthropic zeigt das Problem an einem Textstück, das nur sagt, der Umsatz sei um 3 % gestiegen. Firma und Zeitraum fehlen, also taugt das Stück allein wenig (Anthropic, 19.09.2024). Steht die Antwort am Anfang eines Abschnitts, stimmt sie auch dann, wenn nur dieser Abschnitt weitergegeben wird.
Wann lohnt sich RAG für kleine Unternehmen?
RAG lohnt sich, wenn wiederkehrende Fragen auf Dokumente treffen, die für eine einzelne Anfrage zu umfangreich sind oder sich oft ändern. Kleine Sammlungen passen oft vollständig in eine Anfrage. Dann genügt es, die Dokumente einem KI-Assistenten direkt mitzugeben. RAG brächte in diesem Fall nur zusätzlichen Aufwand.
RAG passt etwa zu Handbüchern, Arbeitsanweisungen und Angebotsvorlagen, in denen heute jemand die Antwort von Hand heraussucht. Die Datenschutzkonferenz nennt unternehmensinterne Chatbots mit Zugriff auf aktuelle Geschäftsdaten als typisches Beispiel (Datenschutzkonferenz, Pressemitteilung, 17.10.2025).
Einen Anhaltspunkt für „klein“ gibt Anthropic: Unter 200.000 Tokens, etwa 500 Seiten, kann das ganze Material in die Anfrage (Anthropic, 19.09.2024). Die Grenze hängt vom Sprachmodell ab. Stehen personenbezogene Daten in den Dokumenten, gelten die Punkte im Abschnitt Was gilt bei RAG in Deutschland und der EU?
Die Zahlen in der Spalte „Quelle“ sind die Nummern der Quellenliste am Ende des Beitrags.
| Ihre Lage | Einschätzung | Quelle |
|---|---|---|
| Bis etwa 500 Seiten, die sich selten ändern | Meist kein RAG nötig. Geben Sie die Dokumente direkt mit. | 2 |
| Mehr Material, als in eine Anfrage passt | RAG ist der übliche Weg. | 2 |
| Inhalte wie Preislisten oder Anweisungen ändern sich oft | RAG passt, weil sich Dokumente leicht ersetzen lassen. | 1 |
| Antworten müssen auf eine Quelle zurückführbar sein | RAG passt, wenn das System die verwendeten Quellen anzeigt. | 1 |
| Dokumente sind veraltet, doppelt oder widersprüchlich | Räumen Sie zuerst auf. RAG gibt falsche Inhalte weiter. | 1 |
| Die Antwort liegt in einer Datenbank (Lagerbestand, offene Rechnungen) | Besser eine gezielte Abfrage dieser Datenbank. | eigene Einschätzung |
| Nicht alle dürfen alles sehen | RAG nur mit Rechte- und Rollenkonzept. | 1 |
Übernehmen Sie nur Dokumente aus Quellen, denen Sie vertrauen. Die Sicherheitsorganisation OWASP beschreibt einen Lebenslauf mit weißem Text auf weißem Grund, der dem Auswertungssystem Anweisungen gibt (OWASP, LLM08:2025).
Worin unterscheiden sich RAG, Grounding, Query Fan-out und Fine-Tuning?
RAG ist das Verfahren: abrufen, mitgeben, antworten. Grounding meint, eine Antwort an Quellen zu binden, und steht bei Suchmaschinen oft für denselben Abruf aus dem Webindex. Query Fan-out erzeugt die Suchanfragen für diesen Abruf. Fine-Tuning verändert das Sprachmodell selbst.
Die Zahlen in der Spalte „Quelle“ sind die Nummern der Quellenliste am Ende des Beitrags.
| Begriff | Was passiert | Ändert das Modell? | Quelle |
|---|---|---|---|
| RAG (Retrieval-Augmented Generation) | Das System ruft Textstücke aus einer Sammlung oder einem Index ab und gibt sie dem Modell mit der Frage. | nein | 1, 2 |
| Grounding (Google auch: Fundierung) | Antworten werden mit Webinhalten oder eigenen Inhalten verknüpft. Google setzt das Wort mit RAG gleich. Microsoft nennt RAG ein Muster, das Antworten in eigenen Inhalten verankert. | nein | 6, 7, 8 |
| Query Fan-out | Das Modell erzeugt mehrere zusammengehörende Suchanfragen, damit der Abruf zusätzliche Treffer findet. | nein | 6 |
| Fine-Tuning (Nachtraining) | Das Modell wird mit weiteren Daten nachtrainiert, seine Parameter ändern sich. | ja | 1 |
Was Suchsysteme mit Ihrer Website tun und was Sie davon steuern können, erklärt unser Beitrag Was ist Grounding? Wie aus einer Frage mehrere Suchen werden, zeigt Was ist Query Fan-out?
Was gilt bei RAG in Deutschland und der EU?
Enthalten die Dokumente personenbezogene Daten, braucht der Einsatz von RAG nach der Orientierungshilfe der deutschen Datenschutzbehörden eine Rechtsgrundlage. Die Behörden sehen Vorteile beim Löschen und Berichtigen, weil die Daten in den Dokumenten und der Datenbank liegen. Probleme eines rechtswidrig trainierten Modells löst RAG dagegen nicht.
Die Orientierungshilfe prüft RAG an den Grundsätzen der DSGVO und bezieht die Stellungnahme 28/2024 des Europäischen Datenschutzausschusses ein. Für Unternehmen zählen vor allem diese Punkte (Datenschutzkonferenz, Oktober 2025):
- Berichtigen und Löschen: Angaben in Dokumenten und Vektordatenbank lassen sich aktualisieren und löschen. Im Sprachmodell selbst bleibt das schwierig.
- Zugriff: Rollen und eine getrennte Datenhaltung regeln, wer welche Stücke abrufen darf. Wie das bei Software für mehrere Kunden aussieht, erklärt unser Beitrag Was ist Mandantenfähigkeit?
- Betriebsort: RAG kann kleinere Modelle im eigenen Haus ermöglichen. Dann müssen personenbezogene Daten nicht an Online-Betreiber großer Sprachmodelle gehen.
- Websuche: Wer externe Quellen einbindet, muss Rechtmäßigkeit und Richtigkeit prüfen. Bei einer Websuche sind diese Anforderungen laut DSK regelmäßig nicht erfüllt.
- Modell: Ein rechtswidrig trainiertes Modell bleibt auch im RAG-System rechtswidrig trainiert. Einige der Risiken für Betroffene kann RAG mindern, was sich aber nur im Einzelfall prüfen lässt.
Das ist eine technische Einordnung. Was für Ihren Fall gilt, klärt im Zweifel eine Anwältin oder ein Anwalt.
Aus der Praxis: Was wir an einer eigenen Seite nachgerechnet haben
Von den 2.703 Wörtern im Hauptteil unseres Beitrags llms.txt: Was die Datei bringt und was nicht übergeben drei Treffer einem Sprachmodell nur 19 bis 44 %. Das zeigt eine Beispielrechnung vom 09.11.2026.
Wir haben den Text auf drei Arten zerlegt. Zu sieben selbst gewählten Kundenfragen haben wir die passendsten Stücke mit der Wortsuche BM25 ermittelt. Jede Frage hat einen Abschnitt als richtige Stelle. Gezählt haben wir, wie oft dessen Antwortabsatz vollständig in den Treffern stand.
| Zerlegung | Ganz in Treffer 1 | Ganz in Treffer 1–3 | Wörter in 1–3 |
|---|---|---|---|
| je Abschnitt mit Überschrift (8 Stücke) | 4 von 7 | 5 von 7 | 589–1.189 |
| feste Stücke, 200 Wörter, ohne Überlappung (14 Stücke) | 4 von 7 | 4 von 7 | 503–600 |
| feste Stücke, 200 Wörter, 30 Wörter Überlappung (16 Stücke) | 5 von 7 | 5 von 7 | 600 |
Messung vom · Python 3.12.10, eigenes Skript, BM25 (k1 1,2; b 0,75) ohne Stammformen
Drei Dinge lassen sich daraus ablesen:
- Das Modell bekommt einen Ausschnitt. Der übrige Text der Seite bleibt außen vor.
- Die Schnittkante zählt. Bei festen Stücken ohne Überlappung stand ein Antwortabsatz in keinem Stück vollständig. Mit 30 Wörtern Überlappung passte dieser, dafür stand ein anderer in keinem Stück ganz.
- Reine Wortsuche erkennt nur gleiche Wörter. Zur Frage „Werde ich durch eine llms.txt häufiger in ChatGPT zitiert?“ landete der zuständige Abschnitt erst auf Platz 6. Er schreibt „Zitate“, die Frage „zitiert“. Darum nutzen viele Systeme zusätzlich Embeddings.
Bei uns gilt eine feste Schreibregel: Jeder Frage-Abschnitt eines Wissensbeitrags beginnt mit einem Antwortabsatz, der die Überschrift allein beantwortet. Im Beitrag zur llms.txt umfasst er 36 bis 50 Wörter. Wird ein Abschnitt als Ganzes abgerufen, steht die Antwort also in seinen ersten Zeilen.
Die Rechnung ist ein Beispiel an einer Seite mit selbst gewählten Fragen. Sie nutzt keine Embeddings. Feste Stücke mit Überlappung lagen beim ersten Treffer vor den Abschnitten, unter den ersten drei gleichauf. Wie Google, Bing oder ChatGPT unsere Seite zerlegen, wissen wir nicht. Eine Wirkung auf Nennungen in KI-Antworten belegt die Rechnung nicht.
So prüfen Sie es bei sich:
- Kopieren Sie einen Abschnitt Ihrer wichtigsten Seite allein in ein leeres Dokument.
- Lesen Sie nur die ersten zwei Sätze. Beantworten sie die Überschrift?
- Prüfen Sie, ob Firmenname oder Angebot im Abschnitt selbst stehen.