Retrieval-Augmented Generation verbindet zwei Schritte. Beim Abruf (Retrieval) sucht ein System in einer Sammlung von Dokumenten nach den Abschnitten, die zur Frage passen, meist über eine semantische Suche in einer Vektordatenbank. Bei der Generierung erhält das Large Language Model diese Abschnitte zusammen mit der Frage und formuliert daraus eine Antwort. Unter diesem Namen beschrieben wurde das Verfahren 2020 in einem Fachartikel von Patrick Lewis und Kolleg:innen.
Für Betriebe hat RAG drei Vorteile. Erstens beruhen Antworten auf eigenen, aktuellen Inhalten wie Preislisten, Handbüchern oder FAQ, ohne dass das Modell neu trainiert werden muss. Zweitens kann die Antwort ihre Quelle nennen, etwa mit einem Link auf das Originaldokument. Drittens sinkt das Risiko von Halluzinationen, weil das Modell angewiesen werden kann, nur aus den gefundenen Textstellen zu antworten. Ändert sich ein Dokument, reicht es, die Wissensquelle zu aktualisieren.
Die Qualität eines RAG-Systems hängt vor allem an den Daten. Veraltete, widersprüchliche oder schlecht gegliederte Dokumente führen zu schlechten Antworten. Wichtig sind auch Zugriffsrechte: Wer ein Dokument nicht sehen darf, soll es auch über die KI nicht finden. Laut Google nutzen auch die KI-Funktionen der Google Suche ein RAG-Verfahren, das auf den Ranking-Systemen der Suche aufsetzt. RAG ist außerdem die technische Grundlage der meisten KI-Chatbots mit Firmenwissen und jeder KI-Wissensdatenbank.
