Bei RAG wird die Nutzerfrage zunaechst in eine Suche umgewandelt, die passende Dokumente aus einer Datenbank oder Vektordatenbank findet. Diese Dokumente werden dann in den Prompt eingefuegt, sodass das Modell auf Basis aktueller, verifizierbarer Fakten antwortet. RAG reduziert Halluzinationen und ermoeglicht es, firmeninternes oder tagesaktuelles Wissen zu nutzen. Die Technik kombiniert Embeddings, semantische Suche und Textgenerierung.
