RAG-Wissensbasis: Aufbau, Funktionsweise und Datenschutz

Eine RAG-Wissensbasis ist eine Sammlung geprüfter Dokumente. Ein KI-System ruft daraus bei jeder Frage die passenden Textstellen ab, bevor das Sprachmodell antwortet. Die Antwort stützt sich damit auf eigene Quellen wie Verträge, Richtlinien, Handbücher oder Protokolle statt allein auf das Trainingswissen des Modells. Dieser Leitfaden erklärt den Aufbau, den Ablauf vom Dokument bis zur Antwort, die Qualitätsprüfung und die Sicherheitsanforderungen bei vertraulichen Unternehmensdaten.

Kurz gesagt

• Prinzip: RAG (Retrieval-Augmented Generation) ergänzt jede Anfrage um passende Abschnitte aus der Wissensbasis und sendet beides als erweiterten Prompt an das Sprachmodell.
• Aufbau: Eine RAG-Wissensbasis besteht aus Quelldokumenten, ihrer Aufbereitung (Chunking, Metadaten), einem Suchindex, dem Retriever und dem Sprachmodell.
• Qualität: RAG verringert falsche und veraltete Antworten, garantiert aber keine Fehlerfreiheit. Abruf und Antwort sind getrennt zu prüfen.
• Sicherheit: Zugriffsrechte, Protokollierung, Verschlüsselung und der Speicherort der Daten entscheiden, ob eine RAG-Wissensbasis für vertrauliche Daten taugt.
• Datenschutz: Personendaten in der Wissensbasis unterliegen dem Datenschutzrecht, in der Schweiz dem nDSG (frz. nLPD).

Inhaltsverzeichnis

• Was eine RAG-Wissensbasis ist
• Vom Dokument zur Antwort: der Ablauf in fünf Schritten
• Bestandteile einer RAG-Wissensdatenbank im Überblick
• Abgrenzung: Sprachmodell, klassische Wissensdatenbank und RAG
• Daten vorbereiten, strukturieren und aktualisieren
• Qualität prüfen: Grenzen und Evaluation
• Sicherheit und Zugriffskontrolle bei vertraulichen Daten
• Unsere Perspektive: Die Wissensbasis gehört dorthin, wo die Daten hingehören
• RAG-Wissensbasis mit Nectos: Schweizer Hosting, volle Kontrolle
• Häufige Fragen zur RAG-Wissensbasis
• Quellen

Was eine RAG-Wissensbasis ist

Ein grosses Sprachmodell (LLM) kennt nur, was in seinen Trainingsdaten enthalten war. Interne Weisungen, aktuelle Preislisten oder Mandatsunterlagen gehören nicht dazu. Eine RAG-Wissensbasis schliesst diese Lücke: Sie stellt dem Modell bei jeder Anfrage externes Wissen zur Verfügung.

Nach der Definition von Stanford HAI ruft RAG zuerst relevante, aktuelle Informationen ab und erzeugt damit eine genauere und detailliertere Antwort. Falsche oder veraltete Antworten werden dadurch weniger wahrscheinlich.

Die Begriffe «RAG-Wissensbasis» und «RAG-Wissensdatenbank» bezeichnen dasselbe: den Datenbestand, auf den das System zugreift. Technisch umfasst er meist zwei Ebenen:

• Die Quelldokumente: PDF, Word-Dateien, E-Mails, Wiki-Seiten, Transkripte, Tabellen.
• Den Index: die aufbereiteten, durchsuchbaren Textabschnitte. Sie sind häufig als Vektoren (Embeddings) gespeichert, die die Bedeutung eines Abschnitts mathematisch abbilden.

Die Wissensbasis ist damit kein Bestandteil des Modells. Sie bleibt eine eigenständige, steuerbare Datensammlung. Inhalte lassen sich ändern, löschen und mit Zugriffsrechten versehen, ohne das Modell neu zu trainieren.

Vom Dokument zur Antwort: der Ablauf in fünf Schritten

Die Orientierungshilfe der deutschen Datenschutzkonferenz (DSK) zu RAG vom Oktober 2025 beschreibt das Grundprinzip so: Die Nutzereingabe wird um relevante Informationen aus der Wissensdatenbank ergänzt und als erweiterter Prompt an das LLM gesandt, das daraus die Ausgabe erzeugt. In der Praxis zerfällt dieser Vorgang in fünf Schritte.

1. Aufnahme (Ingestion): Dokumente werden hochgeladen oder aus Quellsystemen übernommen. Der Text wird extrahiert, gescannte Seiten werden per Texterkennung lesbar gemacht.
2. Aufteilung (Chunking): Lange Dokumente werden in Abschnitte zerlegt, etwa nach Kapiteln, Artikeln oder Absätzen. Jeder Abschnitt erhält Metadaten wie Titel, Datum, Version und Berechtigungsgruppe.
3. Indexierung: Jeder Abschnitt wird in einen Vektor umgewandelt und gespeichert. Oft wird zusätzlich ein klassischer Stichwortindex geführt, damit auch exakte Begriffe wie Artikel- oder Vertragsnummern gefunden werden.
4. Abruf (Retrieval): Bei einer Frage sucht der Retriever die inhaltlich nächsten Abschnitte, filtert sie nach Berechtigung und Metadaten und ordnet sie nach Relevanz.
5. Generierung: Frage und gefundene Abschnitte gehen gemeinsam an das Sprachmodell. Es formuliert die Antwort und verweist idealerweise auf die verwendeten Quellen.

Die DSK hält fest, dass im Idealfall das faktische Wissen einer RAG-Antwort vollständig aus den Referenzdokumenten stammt und das LLM primär als Sprachgenerator dient. Dieses Leitbild ist der Massstab für jede Konfiguration: Das Modell formuliert, die Wissensbasis liefert die Fakten.

Bestandteile einer RAG-Wissensdatenbank im Überblick

Die Tabelle zeigt, warum eine Wissensbasis selten am Sprachmodell scheitert. Die meisten Mängel entstehen vorher: bei der Dokumentqualität, der Aufteilung und dem Abruf.

Abgrenzung: Sprachmodell, klassische Wissensdatenbank und RAG

Die drei Konzepte werden häufig verwechselt. Sie erfüllen unterschiedliche Aufgaben und ergänzen sich.

Gegenüber dem Fine-Tuning hat RAG einen praktischen Vorteil: Das Wissen steckt nicht in den Modellgewichten. Ein veraltetes Dokument lässt sich entfernen, und die nächste Antwort berücksichtigt es nicht mehr. Für Unternehmensdaten mit Lösch- und Aufbewahrungspflichten ist diese Trennung zentral.

Gegenüber der klassischen Wissensdatenbank liegt der Unterschied in der Nutzung. Mitarbeitende müssen nicht mehr wissen, in welchem Dokument eine Regel steht. Sie stellen eine Frage in natürlicher Sprache und erhalten eine Antwort mit Verweis auf die Fundstelle.

Daten vorbereiten, strukturieren und aktualisieren

Eine RAG-Wissensdatenbank ist nur so gut wie ihre Dokumente. Folgende Massnahmen gehören zur Grundausstattung jeder Wissensbasis:

Bestand bereinigen

• Dubletten entfernen: Drei Versionen derselben Weisung führen zu widersprüchlichen Antworten.
• Gültigkeit kennzeichnen: Jedes Dokument erhält ein Gültigkeitsdatum und einen Status (gültig, ersetzt, Entwurf).
• Verantwortung festlegen: Für jede Dokumentgruppe ist eine Stelle zuständig, die Änderungen freigibt.
• Datenminimierung: Personendaten, die für den Zweck nicht nötig sind, gehören nicht in den Index.

Struktur erhalten

• Logische Abschnitte: Gesetzesartikel, Vertragsklauseln oder Prozessschritte bilden je einen eigenen Abschnitt.
• Kontext mitführen: Jeder Abschnitt trägt Dokumenttitel und Kapitelüberschrift, damit er auch für sich allein verständlich bleibt.
• Tabellen gesondert behandeln: Konditionen, Tarife und Fristen in Tabellen werden nachkontrolliert, weil die Extraktion sie oft zerlegt.
• Sprache berücksichtigen: In mehrsprachigen Beständen, etwa Deutsch und Französisch, wird geprüft, ob die Suche über die Sprachgrenze hinweg trifft.

Aktualisierung planen

• Änderungsgesteuerte Neuindexierung: Geänderte Dokumente werden automatisch neu verarbeitet, nur die betroffenen Teile werden ersetzt.
• Vollständige Neuindexierung: Bei grösseren Umstellungen, etwa einem neuen Embedding-Modell oder einer geänderten Abschnittslogik, wird der gesamte Index neu aufgebaut.
• Löschung nachweisen: Entfernte Dokumente werden auch aus dem Index und allen Zwischenspeichern gelöscht.
• Prüfrhythmus: Ein fester Turnus, zum Beispiel quartalsweise, stellt sicher, dass veraltete Inhalte erkannt werden.

Qualität prüfen: Grenzen und Evaluation

RAG macht Antworten verlässlicher, beseitigt Fehler aber nicht. Die Universität Kiel hält fest, dass RAG keine Fehlerfreiheit garantiert: Informationen können unvollständig, falsch gewichtet oder missverständlich wiedergegeben werden. Die DSK weist zudem darauf hin, dass trotz Quellenbezug ungewollt Trainingswissen des Modells in die Ausgabe einfliessen kann.

Drei Prüfkriterien

Eine Studie zur Optimierung und Evaluation von RAG im Unternehmenseinsatz beschreibt, dass gängige Evaluationsverfahren wie ARES und RAGAS unter anderem drei Grössen prüfen:

• Frage-Kontext-Relevanz: Passen die abgerufenen Abschnitte zur Frage?
• Kontext-Antwort-Treue: Stützt sich die Antwort ausschliesslich auf die abgerufenen Abschnitte?
• Frage-Antwort-Relevanz: Beantwortet die Antwort tatsächlich die gestellte Frage?

Fehler nach Ursache trennen

Eine einzelne Gesamtnote reicht nicht. Ein RAG-System besteht aus mehreren Komponenten, und jede kann versagen:

• Retriever-Fehler: Die richtige Stelle existiert, wird aber nicht gefunden. Abhilfe: Chunking, Metadaten, Stichwortsuche, Reranking.
• Generator-Fehler: Die richtige Stelle wurde gefunden, die Antwort gibt sie aber falsch wieder. Abhilfe: strengere Anweisungen, Pflicht zur Quellenangabe, ein klarer Hinweis, wenn keine Grundlage vorliegt.
• Bestandsfehler: Die Wissensbasis enthält die Information nicht oder nur in veralteter Form. Abhilfe: Dokumentpflege.

Praktisches Vorgehen

1. Testkatalog erstellen: 30 bis 50 reale Fragen aus dem Arbeitsalltag sammeln, deren Antwort bekannt und belegt ist.
2. Fundstellen prüfen: Für jede Frage kontrollieren, ob die richtigen Abschnitte abgerufen wurden.
3. Antworten prüfen: Abgleichen, ob die Antwort durch die Quelle gedeckt ist.
4. Nach jeder Änderung wiederholen: Neue Dokumente, Modelle oder Einstellungen können die Ergebnisse verschieben.

In Fachbereichen mit rechtlichen oder medizinischen Folgen ersetzt eine RAG-Antwort nicht die Prüfung durch die zuständige Fachperson. Treuhänder, Juristinnen oder Ärzte kontrollieren die zitierte Fundstelle, bevor eine Auskunft an Mandanten oder Patientinnen geht.

Sicherheit und Zugriffskontrolle bei vertraulichen Daten

Eine RAG-Wissensbasis bündelt das Wissen eines Unternehmens an einem Ort. Das erhöht den Nutzen und ebenso das Risiko. Für vertrauliche Daten sind folgende Kontrollen massgeblich:

• Berechtigungen auf Dokumentebene: Der Retriever darf nur Abschnitte abrufen, die die fragende Person auch im Original lesen dürfte. Ohne diese Filterung kann eine harmlose Frage Lohndaten oder Mandatsunterlagen offenlegen.
• Getrennte Wissensbasen: Persönliche, teamweite und unternehmensweite Bestände werden getrennt geführt, etwa das Personalwesen getrennt vom Verkauf.
• Audit-Trail: Protokolliert wird, wer wann welche Frage gestellt hat und welche Quellen ausgegeben wurden. Das ist die Grundlage für Nachweise gegenüber Aufsicht, Revision und Kundschaft.
• Verschlüsselung: Daten werden bei der Übertragung und im Ruhezustand verschlüsselt, einschliesslich Index und Zwischenspeicher.
• Speicher- und Verarbeitungsort: Entscheidend ist, wo Dokumente, Index und Prompts verarbeitet werden. Gehen Abschnitte an ein externes Sprachmodell im Ausland, verlassen vertrauliche Inhalte bei jeder Anfrage den eigenen Rechtsraum.
• Keine Nutzung für Training: Vertraglich festzuhalten ist, dass Eingaben und Dokumente nicht zum Training von Modellen verwendet werden.
• Anonymisierung: Namen und Kennzahlen lassen sich vor der Verarbeitung maskieren, besonders wenn eine Websuche zugeschaltet ist.
• Auftragsverarbeitungsvertrag: Mit dem Anbieter wird ein Vertrag zur Auftragsdatenverarbeitung (DPA) abgeschlossen.

Datenschutzrechtliche Einordnung

Sobald eine Wissensbasis Personendaten enthält, etwa Namen in Protokollen, Kundendossiers oder Personalakten, ist das Datenschutzrecht anwendbar. In der Schweiz gilt das revidierte Datenschutzgesetz (nDSG, frz. nLPD), in der EU die DSGVO. Die DSK-Orientierungshilfe behandelt RAG-Systeme aus Sicht der deutschen Aufsichtsbehörden. Sie nennt die Transparenz über die verwendeten Quellen als möglichen Vorteil von RAG. Für die konkrete Beurteilung eines Projekts, etwa bei besonders schützenswerten Daten im Gesundheits- oder Personalbereich, ist die oder der Datenschutzverantwortliche des Unternehmens oder eine auf Datenschutzrecht spezialisierte Anwaltskanzlei beizuziehen.

Unsere Perspektive: Die Wissensbasis gehört dorthin, wo die Daten hingehören

Für Schweizer Treuhandbüros, Kanzleien, Gesundheits- und Finanzdienstleister ist aus unserer Sicht nicht die Technik die Hürde. Wie eine RAG-Wissensbasis gebaut wird, ist eine lösbare Aufgabe. Die eigentliche Frage lautet, wohin die Dokumente bei jeder Anfrage fliessen.

Eine RAG-Wissensbasis ist per Definition der Ort, an dem die sensibelsten Inhalte eines Unternehmens zusammenkommen. Jede Frage sendet Auszüge daraus an ein Sprachmodell. Läuft dieses Modell bei einem ausländischen Anbieter, steht die Datensouveränität mit jeder Anfrage erneut auf dem Spiel, unabhängig davon, wie sorgfältig Index und Berechtigungen gestaltet sind.

Wir haben Nectos deshalb so aufgebaut, dass Dokumente, Index und Sprachmodell ausschliesslich auf Schweizer Servern verarbeitet und gespeichert werden. Es gibt keine Datenflüsse zu US-Technologiekonzernen, und Daten werden nie zum Training von Modellen genutzt. Aus unserer Sicht ist das keine Zusatzfunktion. Es ist die Voraussetzung dafür, dass eine Wissensbasis mit vertraulichen Daten überhaupt sinnvoll eingesetzt werden kann.

— Adopt

RAG-Wissensbasis mit Nectos: Schweizer Hosting, volle Kontrolle

Nectos bietet persönliche und geteilte Wissensdatenbanken als Teil eines souveränen Schweizer KI-Arbeitsbereichs. Dokumente werden hochgeladen und analysiert, Fragen werden mit Bezug auf die eigenen Unterlagen beantwortet. Dazu kommen Meeting-Transkription, Prompt-Anonymisierung, eine Websuche mit optionaler Anonymisierung, Audit-Trails sowie Admin- und Zugriffssteuerung. Hosting und Verarbeitung erfolgen ausschliesslich in der Schweiz gemäss nDSG und DSGVO. Ein DPA ist auf Anfrage erhältlich. Wie Daten im System verarbeitet werden, dokumentiert die Seite zu den Datenflüssen bei Nectos. Die technischen Massnahmen wie TLS 1.3 und AES-256 beschreibt die Seite zur Sicherheit von Nectos.

• Starter: CHF 29.90 pro Monat und Nutzer
• Pro: CHF 49.90 pro Monat und Nutzer
• Pro+: CHF 99.90 pro Monat und Nutzer
• Trial: Testzugang zum Ausprobieren

Für Unternehmen mit eigener Infrastruktur steht ein Deployment als BYOC oder On-Premise zur Verfügung, der Support BYOC kostet ab CHF 490 pro Monat. Für erhöhte Anforderungen ergänzt das Sicherheits- und Compliance-Paket die Pläne. Alle Pläne im Vergleich: Nectos Preise und Pläne.

Häufige Fragen zur RAG-Wissensbasis

Wie lässt sich RAG einfach erklären?

RAG funktioniert wie eine Fachperson mit Zugriff auf ein Archiv. Vor jeder Antwort werden die passenden Unterlagen herausgesucht, gelesen und als Grundlage verwendet. Das Sprachmodell formuliert, die Wissensbasis liefert die Fakten.

Was sind die fünf Schritte von RAG?

Die fünf Schritte sind die Aufnahme der Dokumente, die Aufteilung in Abschnitte, die Indexierung, der Abruf der relevanten Abschnitte und die Generierung der Antwort. Die ersten drei Schritte bereiten die Wissensbasis vor, die letzten zwei laufen bei jeder Anfrage ab.

Ist RAG inzwischen überholt?

Grössere Kontextfenster und agentenbasierte Systeme verändern die Umsetzung, nicht das Prinzip. Auch diese Ansätze müssen relevantes Unternehmenswissen finden und dem Modell bereitstellen. Die Anforderungen an Datenqualität, Berechtigungen und Speicherort bleiben dieselben.

Werden Dokumente in einer RAG-Wissensbasis zum Training des Modells verwendet?

Technisch ist das für RAG nicht nötig, da das Wissen bei jeder Anfrage abgerufen wird. Ob ein Anbieter Eingaben trotzdem für das Training nutzt, regeln Vertrag und Datenschutzbestimmungen. Bei Nectos werden Daten nie zum Training von Modellen verwendet.

Wann ist eine RAG-Wissensbasis für vertrauliche Daten geeignet?

Wenn Berechtigungen auf Dokumentebene greifen, alle Zugriffe protokolliert werden, die Daten verschlüsselt sind und der Verarbeitungsort vertraglich feststeht. Schweizer Unternehmen, die Personendaten verarbeiten, müssen zusätzlich die Konformität mit dem nDSG nachweisen.

Quellen

• DSK: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten von RAG-Systemen (Oktober 2025)
• Stanford HAI: What is RAG (Retrieval-Augmented Generation)?
• Universität Kiel, Digitale Lehre: RAG, Retrieval Augmented Generation
• arXiv: Optimizing and Evaluating Enterprise Retrieval-Augmented Generation (2024)

Empfehlungen

• Funktionen - Private KI & Wissensbasen