Künstliche Intelligenz kann Fragen beantworten, Texte erstellen und komplexe Informationen verständlich zusammenfassen. Allerdings kennen KI-Sprachmodelle nicht automatisch aktuelle Informationen oder interne Unternehmensdaten. Genau hier kommt RAG ins Spiel. Mit Retrieval-Augmented Generation lassen sich KI-Systeme mit externen Wissensquellen verbinden, um relevantere und besser nachvollziehbare Antworten zu erzeugen. Doch wie funktioniert RAG bei KI, was ist ein RAG-System und welche Vorteile bietet diese Technologie?
Definition: Was ist RAG?
RAG steht für Retrieval-Augmented Generation und bezeichnet ein Verfahren, bei dem generative KI mit dem gezielten Abruf externer Informationen kombiniert wird. Ein KI-Modell erhält dabei zusätzliche Daten aus einer Wissensquelle, bevor es eine Antwort formuliert.
Der Begriff lässt sich sinngemäß mit „abrufgestützte Generierung“ übersetzen. RAG wird besonders häufig in Verbindung mit Large Language Models (LLMs) eingesetzt. Die Technologie ermöglicht es, beispielsweise Unternehmensdokumente, Datenbanken oder aktuelle Fachinformationen in KI-generierte Antworten einzubeziehen, ohne das Sprachmodell dafür neu trainieren zu müssen.
Wie funktioniert RAG bei KI?
Ein RAG-System verbindet zwei grundlegende Prozesse: Retrieval (Informationsabruf) und Generation (Antwortgenerierung). Die KI beantwortet eine Frage also nicht ausschließlich anhand ihrer beim Training gelernten Muster, sondern bekommt passende Informationen zusätzlich bereitgestellt.
Der typische Ablauf besteht aus folgenden Schritten:
- Frage stellen: Ein Nutzer gibt eine Frage in einen KI-Chatbot oder eine andere Anwendung ein.
- Informationen suchen: Das RAG-System durchsucht angebundene Dokumente, Datenbanken oder andere Wissensquellen.
- Relevante Inhalte auswählen: Passende Textabschnitte oder Datensätze werden ermittelt und gegebenenfalls nach Relevanz sortiert.
- Kontext ergänzen: Die gefundenen Informationen werden zusammen mit der ursprünglichen Frage an das Sprachmodell übergeben.
- Antwort generieren: Das KI-Modell erstellt auf Grundlage der Frage und des zusätzlichen Kontexts eine Antwort.
- Ergebnis ausgeben: Die Anwendung zeigt die Antwort an, gegebenenfalls mit Angaben zu den verwendeten Quellen.
Ein einfaches RAG-Beispiel
Stell dir vor, ein Unternehmen verwendet einen internen KI-Chatbot. Ein Mitarbeiter fragt: „Wie viele Urlaubstage stehen mir laut aktueller Betriebsvereinbarung zu?“
Ein gewöhnliches Sprachmodell kennt die individuelle Betriebsvereinbarung nicht. Ein RAG-System kann dagegen die hinterlegten Personalrichtlinien durchsuchen und die passende Textstelle abrufen.
Die KI verwendet anschließend diese Informationen, um eine verständliche Antwort zu formulieren. Im Idealfall verweist sie zusätzlich auf das entsprechende Dokument und dessen relevanten Abschnitt.
Was ist ein RAG-System?
Ein RAG-System ist eine technische Architektur, die Informationssuche und generative KI miteinander verbindet. Es besteht aus mehreren Komponenten, die bei der Verarbeitung von Fragen zusammenarbeiten.
| Komponente | Aufgabe |
|---|---|
| Wissensquelle | Enthält Dokumente, Webseiten oder andere Informationen |
| Datenverarbeitung | Bereitet Inhalte für die spätere Suche auf |
| Suchindex | Ermöglicht das effiziente Auffinden relevanter Informationen |
| Retriever | Ermittelt passende Inhalte zur Nutzerfrage |
| Sprachmodell (LLM) | Generiert Antworten anhand der Frage und bereitgestellter Informationen |
| Orchestrierung | Koordiniert die einzelnen Verarbeitungsschritte |
Je nach Architektur können weitere Komponenten hinzukommen. Dazu gehören beispielsweise Systeme zur Zugriffskontrolle, zur Qualitätsbewertung der Suchergebnisse oder zur Überprüfung generierter Antworten.
Welche Technologien stecken hinter RAG?
RAG basiert nicht auf einer einzelnen Technologie. Vielmehr werden verschiedene Verfahren aus Informationssuche, Datenverarbeitung und künstlicher Intelligenz kombiniert.
Embeddings
Embeddings sind numerische Darstellungen von Informationen. Bei Text-Embeddings werden beispielsweise Wörter, Sätze oder ganze Textabschnitte in Vektoren umgewandelt, die bestimmte semantische Eigenschaften abbilden.
Dadurch lassen sich Inhalte nicht nur anhand identischer Wörter, sondern auch nach ihrer inhaltlichen Ähnlichkeit vergleichen.
Vektordatenbanken
Eine Vektordatenbank speichert und durchsucht Vektordarstellungen von Informationen. Sie wird häufig in RAG-Systemen eingesetzt, um Textabschnitte zu finden, die einer Nutzerfrage semantisch ähnlich sind.
Bekannte Technologien in diesem Bereich sind beispielsweise Qdrant, Weaviate, Milvus und pgvector als Erweiterung für PostgreSQL.
Eine Vektordatenbank ist allerdings keine zwingende Voraussetzung für RAG. Je nach Anwendung können auch klassische Suchindizes oder andere Suchverfahren verwendet werden.
Chunking
Beim Chunking werden umfangreiche Dokumente in kleinere, möglichst zusammenhängende Abschnitte aufgeteilt.
Das ist hilfreich, weil ein System für die Beantwortung einer Frage häufig nur bestimmte Teile eines Dokuments benötigt.
Die Größe und Aufteilung der Textabschnitte beeinflussen die Qualität der Suche. Sind sie zu klein, kann wichtiger Kontext fehlen. Sind sie zu groß, können irrelevante Informationen die Ergebnisse beeinträchtigen.
Semantische Suche
Bei der semantischen Suche versucht das System, die Bedeutung einer Suchanfrage zu berücksichtigen. Dadurch können auch Inhalte gefunden werden, die nicht genau dieselben Wörter wie die Anfrage verwenden.
Beispielsweise kann eine Suche nach „Wie beantrage ich freie Tage?“ auch einen Dokumentabschnitt zum Thema „Urlaubsantrag“ finden.
Welche Suchverfahren können RAG-Systeme verwenden?
Der Informationsabruf ist entscheidend für die Qualität eines RAG-Systems. Dabei kommen unterschiedliche Suchmethoden infrage.
| Suchverfahren | Funktionsweise | Besonderheit |
|---|---|---|
| Keyword-Suche | Sucht anhand von Begriffen und ihrer Gewichtung | Gut für genaue Bezeichnungen und Fachbegriffe |
| Vektorsuche | Vergleicht numerische Repräsentationen | Findet semantisch ähnliche Inhalte |
| Hybride Suche | Kombiniert mehrere Suchverfahren | Kann exakte Begriffe und semantische Zusammenhänge berücksichtigen |
| Reranking | Bewertet bereits gefundene Treffer erneut | Verbessert möglicherweise deren Reihenfolge und Relevanz |
Welche Methode die besten Ergebnisse liefert, hängt von den verwendeten Dokumenten, den Suchanfragen und den Anforderungen der Anwendung ab.
Welche Vorteile bietet Retrieval-Augmented Generation?
Aktuellere Informationen verwenden
Ein Sprachmodell kann auf Informationen zugreifen, die nicht Bestandteil seines ursprünglichen Trainings waren. Werden die angebundenen Daten regelmäßig aktualisiert, können auch neuere Informationen berücksichtigt werden.
Internes Unternehmenswissen nutzen
RAG ermöglicht es, KI-Anwendungen mit internen Dokumenten, Handbüchern oder Wissensdatenbanken zu verbinden. Dadurch lassen sich Fragen zu organisationsspezifischen Informationen beantworten.
Halluzinationen reduzieren
KI-Sprachmodelle können plausibel klingende, aber falsche Aussagen erzeugen. Dieses Phänomen wird häufig als KI-Halluzination bezeichnet.
Durch die Bereitstellung relevanter und verlässlicher Informationen kann RAG das Risiko solcher Fehler verringern. Eine vollständige Vermeidung ist jedoch nicht möglich.
Antworten nachvollziehbarer machen
RAG-Anwendungen können Quellenhinweise bereitstellen. Dadurch können Nutzer überprüfen, auf welchen Dokumenten eine Antwort basiert.
Voraussetzung ist, dass das System die Herkunft der abgerufenen Informationen zuverlässig erfasst und korrekt zuordnet.
Keine vollständige Neuschulung erforderlich
Bei RAG müssen neue Informationen normalerweise nicht in die Modellgewichte eingelernt werden. Stattdessen werden sie in einer externen Wissensbasis gepflegt.
Wo wird RAG eingesetzt?
Retrieval-Augmented Generation eignet sich besonders für Anwendungen, bei denen große Mengen an Informationen durchsucht und verständlich aufbereitet werden müssen.
Interne Wissensdatenbanken
Unternehmen können einen KI-Assistenten bereitstellen, der Fragen zu internen Richtlinien, technischen Anleitungen oder Arbeitsprozessen beantwortet.
Kundenservice und Support
Ein RAG-Chatbot kann beispielsweise Produktdokumentationen, Bedienungsanleitungen und Supportartikel durchsuchen, um Kunden passende Hilfestellungen anzubieten.
Wissenschaft und Forschung
RAG kann helfen, Fachliteratur, Forschungsberichte oder umfangreiche Dokumentensammlungen auszuwerten. Die Ergebnisse sollten allerdings anhand der Originalquellen überprüft werden.
E-Commerce
In Onlineshops können RAG-Systeme beispielsweise Produktdaten, technische Spezifikationen und Verfügbarkeitsinformationen abrufen und für eine dialogbasierte Produktberatung verwenden.
Rechtliche und technische Dokumentation
Bei umfangreichen Regelwerken oder technischen Unterlagen kann ein RAG-System die Suche nach relevanten Abschnitten erleichtern. Besonders bei sensiblen oder rechtlich wichtigen Themen bleibt eine fachliche Überprüfung erforderlich.
Was ist der Unterschied zwischen RAG und einem normalen LLM?
Ein Large Language Model erzeugt Antworten auf Basis gelernter Muster und des aktuellen Eingabekontexts. Ein RAG-System ergänzt diesen Kontext gezielt um abgerufene externe Informationen.
| Merkmal | LLM ohne RAG | LLM mit RAG |
|---|---|---|
| Informationsgrundlage | Modellwissen und eingegebener Kontext | Zusätzlich abgerufene externe Informationen |
| Aktualität | Abhängig von Modellwissen und Eingaben | Kann aktuelle Wissensquellen einbeziehen |
| Unternehmensdaten | Müssen separat bereitgestellt werden | Können systematisch angebunden werden |
| Quellenangaben | Nicht automatisch belastbar | Können aus abgerufenen Dokumenten erzeugt werden |
| Technischer Aufwand | Häufig geringer | Zusätzliche Such- und Dateninfrastruktur |
RAG ist somit kein eigenständiges Sprachmodell, sondern eine Methode zur Erweiterung einer KI-Anwendung.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
RAG und Fine-Tuning verfolgen unterschiedliche Ansätze, um KI-Anwendungen an spezifische Anforderungen anzupassen.
Beim Fine-Tuning wird ein bereits trainiertes Modell durch zusätzliche Trainingsschritte angepasst. Dadurch können beispielsweise bestimmte Antwortformate, Verhaltensmuster oder spezialisierte Aufgaben besser unterstützt werden.
RAG verändert dagegen normalerweise nicht die Gewichte des Sprachmodells. Stattdessen werden passende Informationen zur Laufzeit abgerufen.
| Merkmal | RAG | Fine-Tuning |
|---|---|---|
| Grundprinzip | Externe Informationen abrufen | Modell durch Training anpassen |
| Aktualisierung | Wissensbasis aktualisieren | Gegebenenfalls erneut trainieren |
| Hauptnutzen | Zugriff auf spezifisches Wissen | Anpassung des Modellverhaltens |
| Quellennachweise | Über abgerufene Daten möglich | Nicht automatisch vorhanden |
Beide Methoden können auch kombiniert werden. Ein spezialisiertes Sprachmodell kann beispielsweise zusätzlich auf eine RAG-Wissensbasis zugreifen.
Wie erstellt man ein RAG-System?
Für die Entwicklung eines RAG-Systems werden geeignete Datenquellen, ein Suchverfahren und ein generatives KI-Modell benötigt.
Der grundlegende Aufbau erfolgt häufig in folgenden Schritten:
- Anwendungsfall definieren: Lege fest, welche Fragen das System beantworten soll.
- Wissensquellen auswählen: Bestimme, welche Dokumente, Datenbanken oder Webseiten verwendet werden.
- Daten aufbereiten: Extrahiere Texte, entferne ungeeignete Inhalte und ergänze relevante Metadaten.
- Dokumente aufteilen: Zerlege längere Inhalte bei Bedarf in sinnvolle Textabschnitte.
- Suchindex erstellen: Speichere die aufbereiteten Informationen in einer geeigneten Suchinfrastruktur.
- Retriever einrichten: Entwickle die Suche nach relevanten Informationen.
- Sprachmodell anbinden: Übergib Frage und Suchergebnisse an das KI-Modell.
- Ergebnisse überprüfen: Teste Relevanz, fachliche Korrektheit, Quellenbezug und Antwortzeiten.
- System warten: Aktualisiere Wissensquellen und überprüfe die Qualität regelmäßig.
Welche Tools werden für RAG verwendet?
Für die technische Umsetzung stehen unterschiedliche Frameworks und Datenbanksysteme zur Verfügung.
- LangChain: Framework zur Entwicklung von Anwendungen mit Sprachmodellen und externen Datenquellen.
- LlamaIndex: Framework für die Anbindung, Indexierung und Abfrage von Daten in KI-Anwendungen.
- Qdrant: Datenbank mit Schwerpunkt auf der Speicherung und Suche von Vektoren.
- Weaviate: Datenbanktechnologie für vektorbasierte und hybride Suche.
- Elasticsearch: Suchplattform, die unter anderem klassische und vektorbasierte Suchverfahren unterstützt.
- Python: Programmiersprache, die häufig zur Entwicklung und Integration von RAG-Anwendungen verwendet wird.
Welche Kombination sinnvoll ist, hängt insbesondere von Datenmenge, Infrastruktur, Sicherheitsanforderungen und dem gewünschten Funktionsumfang ab.
Welche Nachteile und Grenzen hat RAG?
Obwohl RAG die Einsatzmöglichkeiten generativer KI erweitert, bringt die Methode zusätzliche technische Herausforderungen mit sich.
- Fehlerhafte Suchergebnisse: Werden unpassende Informationen abgerufen, kann auch die Antwort unzutreffend sein.
- Veraltete Wissensquellen: RAG kann nur mit den Informationen arbeiten, die tatsächlich verfügbar sind.
- Halluzinationen: Sprachmodelle können trotz bereitgestellter Quellen falsche Aussagen erzeugen.
- Zusätzliche Kosten: Suchinfrastruktur, Datenaufbereitung und Modellanfragen benötigen Ressourcen.
- Längere Antwortzeiten: Die Informationssuche kann zusätzliche Verarbeitungsschritte verursachen.
- Komplexe Datenstrukturen: Tabellen, Grafiken und schlecht digitalisierte Dokumente können schwer auszuwerten sein.
- Datenschutz: Interne oder personenbezogene Daten müssen angemessen geschützt werden.
Was passiert, wenn RAG keine Informationen findet?
Ein gut konfiguriertes RAG-System sollte erkennen beziehungsweise berücksichtigen, wenn keine ausreichenden Informationen vorliegen. Statt unbelegte Aussagen zu erzeugen, sollte die Anwendung dann möglichst auf die fehlende Datengrundlage hinweisen.
Das kann durch geeignete Anweisungen, Relevanzschwellen und zusätzliche Prüfmechanismen unterstützt werden. Eine absolute Zuverlässigkeit lässt sich dadurch jedoch nicht garantieren.
Wie sicher ist ein RAG-System?
RAG-Anwendungen können mit vertraulichen Unternehmensdaten arbeiten. Deshalb müssen sowohl die Datenquellen als auch der Abrufprozess und die Verarbeitung durch das Sprachmodell geschützt werden.
Wichtige Sicherheitsmaßnahmen
- Zugriffsrechte: Nutzer dürfen nur Informationen abrufen, für die sie berechtigt sind.
- Verschlüsselung: Vertrauliche Daten sollten bei der Übertragung und Speicherung geschützt werden.
- Datenminimierung: Es sollten nur die tatsächlich benötigten Informationen verarbeitet werden.
- Protokollierung: Sicherheitsrelevante Zugriffe und Fehler sollten nachvollziehbar sein.
- Quellenprüfung: Externe Inhalte sollten vor der Verarbeitung auf Vertrauenswürdigkeit geprüft werden.
- Regelmäßige Aktualisierungen: Abhängigkeiten, Frameworks und Infrastruktur müssen gepflegt werden.
Was ist Prompt Injection bei RAG?
Bei einer Prompt Injection versuchen Angreifer, das Verhalten eines KI-Modells durch manipulierte Eingaben oder Dokumentinhalte zu beeinflussen.
Bei RAG kann dies beispielsweise passieren, wenn ein abgerufenes Dokument Anweisungen enthält, die das Sprachmodell zu unerwünschten Handlungen bewegen sollen.
Deshalb sollten Informationen aus externen Quellen als nicht vertrauenswürdige Daten behandelt werden. Besonders bei Systemen mit zusätzlichen Werkzeugen oder Schreibrechten sind strenge Zugriffskontrollen erforderlich.
Wie misst man die Qualität eines RAG-Systems?
Der Erfolg einer RAG-Anwendung hängt sowohl von der Qualität der Informationssuche als auch von den generierten Antworten ab.
| Kennzahl | Was wird bewertet? |
|---|---|
| Retrieval Precision | Wie viele der gefundenen Informationen tatsächlich relevant sind |
| Retrieval Recall | Wie viele der relevanten Informationen gefunden werden |
| Faithfulness | Ob die generierte Antwort durch den bereitgestellten Kontext gestützt wird |
| Answer Relevance | Wie gut die Antwort zur ursprünglichen Frage passt |
| Antwortzeit | Wie lange das System für Suche und Generierung benötigt |
| Quellenqualität | Wie zuverlässig, aktuell und geeignet die verwendeten Informationen sind |
Für aussagekräftige Bewertungen sollten reale Nutzerfragen, bekannte Referenzantworten und gegebenenfalls menschliche Fachprüfungen einbezogen werden.
Welche Bedeutung hat RAG für SEO und KI-Suchmaschinen?
RAG ist auch für die Entwicklung KI-gestützter Suchsysteme relevant. Solche Systeme können Informationen aus externen Quellen abrufen und daraus zusammenhängende Antworten erzeugen.
Von Suchergebnissen zu generierten Antworten
Bei einer klassischen Suchmaschine erhalten Nutzer vor allem eine Liste relevanter Webseiten. KI-gestützte Suchsysteme können dagegen Informationen aus mehreren gefundenen Quellen zusammenfassen.
RAG ist ein möglicher technischer Ansatz für solche Funktionen. Allerdings verwendet nicht jede KI-Suchmaschine ausschließlich eine klassische RAG-Architektur.
Welche Rolle spielen Webseiteninhalte?
Damit eine Webseite für die Informationssuche eines RAG-basierten Systems berücksichtigt werden kann, müssen ihre Inhalte für den jeweiligen Such- oder Abrufprozess zugänglich sein.
Hilfreich sind insbesondere:
- Klare Themenstruktur: Verständliche Überschriften und sinnvoll gegliederte Inhalte.
- Eindeutige Aussagen: Präzise Definitionen und nachvollziehbare Erklärungen.
- Aktuelle Informationen: Regelmäßig überprüfte Fakten und relevante Aktualisierungen.
- Technische Zugänglichkeit: Inhalte, die von entsprechenden Systemen zuverlässig verarbeitet werden können.
- Vertrauenswürdigkeit: Fachlich korrekte Informationen und transparente Angaben zur Herkunft wichtiger Aussagen.
Diese Maßnahmen unterstützen die allgemeine Inhaltsqualität und die maschinelle Verarbeitung. Sie garantieren jedoch nicht, dass eine bestimmte Webseite von einem KI-System abgerufen, zitiert oder empfohlen wird.
RAG und Generative Engine Optimization
Im Zusammenhang mit KI-Suchsystemen wird häufig der Begriff Generative Engine Optimization (GEO) verwendet. Darunter versteht man Maßnahmen, die die Sichtbarkeit und Eignung von Inhalten für generative Suchsysteme verbessern sollen.
RAG beschreibt dabei ein technisches Verfahren zur Informationsbeschaffung und Antwortgenerierung. GEO beschäftigt sich dagegen mit der Optimierung von Inhalten für solche und andere KI-gestützte Systeme.
Was ist Agentic RAG?
Agentic RAG bezeichnet RAG-Architekturen, bei denen KI-Agenten zusätzliche Entscheidungen im Informationsabruf treffen können.
Anstatt lediglich eine einzelne Suche auszuführen, kann ein agentisches System beispielsweise mehrere Suchanfragen formulieren, unterschiedliche Datenquellen nutzen oder Ergebnisse schrittweise überprüfen.
Dadurch lassen sich komplexere Rechercheaufgaben bearbeiten. Allerdings steigen auch der technische Aufwand, die Kosten und die Anforderungen an Kontrolle und Sicherheit.
Wann lohnt sich RAG?
RAG ist besonders sinnvoll, wenn eine KI-Anwendung auf Informationen zugreifen soll, die sich regelmäßig ändern oder nicht zuverlässig im Modellwissen enthalten sind.
Typische Voraussetzungen für einen sinnvollen Einsatz sind:
- Es existiert eine relevante und ausreichend gepflegte Wissensbasis.
- Die Informationen müssen regelmäßig aktualisiert werden.
- Nutzer stellen wiederkehrende Fragen zu den vorhandenen Daten.
- Die Antworten sollen möglichst auf nachvollziehbaren Quellen beruhen.
- Ein vollständiges Modelltraining wäre für die Aufgabe unnötig oder zu aufwendig.
Weniger sinnvoll ist RAG, wenn die Aufgabe keine externe Wissensbasis benötigt oder eine einfache Datenbankabfrage beziehungsweise klassische Suchfunktion bereits ausreicht.
Fazit: RAG verbindet KI mit externem Wissen
Retrieval-Augmented Generation erweitert generative KI um den gezielten Zugriff auf externe Informationen. Dadurch können Sprachmodelle auch mit aktuellen Dokumenten, spezialisierten Datenbanken und unternehmensinternem Wissen arbeiten, ohne dafür vollständig neu trainiert zu werden.
RAG ist besonders für Wissensmanagement, Kundenservice, Fachrecherchen und KI-gestützte Suchanwendungen interessant. Die Qualität hängt jedoch entscheidend von den verwendeten Daten, der Suchtechnik und der zuverlässigen Verarbeitung der gefundenen Informationen ab. RAG reduziert bestimmte Fehlerquellen, ersetzt aber keine fachliche Kontrolle.