RAG ohne Cloud: So betreiben Sie lokale Wissenssuche mit KI

Ja, RAG lässt sich praktikabel ohne Cloud betreiben. Der einfachste Weg ist ein lokales Sprachmodell mit einem lokalen Vektorspeicher in einem Container oder einer virtuellen Maschine. Sie gewinnen Datenhoheit und Kontrolle, zahlen dafür aber mit Betriebsaufwand. Die folgenden Abschnitte zeigen Architektur, Komponenten, Deployment-Optionen und konkrete Starter-Pfade.

Kurz gesagt:

• Für Einbettungen und Vektorsuche genügt oft ein Server mit mehreren Prozessorkernen und ausreichend Arbeitsspeicher; beim Sprachmodell entscheidet vor allem der Grafikspeicher.
• Indexierung und Abfrage müssen dasselbe Einbettungsmodell verwenden; bei einem Modellwechsel muss der gesamte Dokumentenbestand neu eingebettet werden, was zusätzlichen Rechenaufwand verursacht.
• Metadaten zu Quelle, Datum, Abteilung und Berechtigung gehören an jeden Textabschnitt; ohne sie lassen sich spätere Filter und Zugriffsrechte nicht zuverlässig umsetzen.
• Vor dem Hardwarekauf sollten Sie mit echten Alltagsdokumenten und typischen Fragen testen, ob passende Passagen gefunden werden und Antworten stimmen.
• Für regulierte Bereiche sollten Zugriffskontrollen und Prüfprotokolle von Anfang an eingeplant werden; im Produktivbetrieb gehören Wiederherstellungstests und ein Verfahren für Modellwechsel dazu.

Inhaltsverzeichnis

• Wie arbeiten Retriever und Sprachmodell lokal zusammen?
• Warum RAG ohne Cloud wählen, und was kostet das an Aufwand?
• Welche Komponenten braucht eine lokale RAG-Lösung?
• Welche Deployment-Optionen gibt es ohne Cloud?
• Welcher Starter-Pfad passt zu Ihrem Projekt?
• Wann lohnt sich der lokale Betrieb wirklich?
• Wie unterstützen wir Sie bei einer souveränen RAG-Bereitstellung?
• FAQ
• Weiterführende Ressourcen

Wie arbeiten Retriever und Sprachmodell lokal zusammen?

Retrieval-Augmented Generation (RAG) kombiniert eine Suche über eigene Dokumente mit einem Sprachmodell, das auf Basis der gefundenen Textstellen antwortet. Das Modell muss dadurch nicht alles „wissen“, es liest nach. Der Ablauf ist immer derselbe, egal ob in der Cloud oder auf Ihrem eigenen Server.

• Dokumentenaufnahme: PDFs, Word-Dateien, Wiki-Seiten oder Tickets werden eingelesen und in reinen Text umgewandelt.
• Chunking und Indexierung: Der Text wird in Abschnitte zerlegt, häufig mit Überlappung, damit Zusammenhänge nicht an Schnittkanten verloren gehen.
• Embeddings: Ein Embedding-Modell wandelt jeden Abschnitt in einen Zahlenvektor um, der seine Bedeutung abbildet.
• Vektorspeicher: Die Vektoren landen in einer Datenbank, die eine ANN-Suche (Approximate Nearest Neighbor) unterstützt, also eine schnelle Suche nach ähnlichen Vektoren.
• Retriever: Die Nutzerfrage wird ebenfalls in einen Vektor übersetzt. Der Retriever holt die passendsten Passagen (Passage Retrieval).
• Sprachmodell: Frage und Passagen gehen gemeinsam an das Modell, das daraus die Antwort formuliert.

Leicht lokalisierbar sind Indexierung, Vektorspeicher und Retriever. Sie laufen auch auf einem normalen Server ohne Spezialhardware. Die eigentliche Hürde ist die Inferenz des Sprachmodells: Sie braucht je nach Modellgröße viel Arbeitsspeicher und meist eine Grafikkarte. Kleine, quantisierte Modelle laufen zwar auch auf einem Laptop, aber langsamer und mit weniger Antwortqualität.

Warum RAG ohne Cloud wählen, und was kostet das an Aufwand?

Wer interne Verträge, Patientendaten oder Quellcode durchsuchbar machen will, stellt sich schnell die Frage, wohin diese Daten eigentlich fließen. Bei einem lokalen Betrieb ist die Antwort einfach: nirgendwohin.

• Datenschutz: Die Daten bleiben auf Ihrer Infrastruktur. Es gibt keinen Drittanbieter, der Eingaben protokolliert, und kein Risiko, dass Inhalte in fremde Trainingsdaten gelangen.
• Latenz: Kein Umweg über das Internet. Gerade bei vielen kleinen Abfragen am Tag spüren Sie das.
• Offline-Fähigkeit: Ein lokales Setup läuft auch ohne Internetverbindung, etwa in abgeschotteten Netzen oder auf Baustellen.
• Kontrolle: Sie bestimmen Modellversion, Updates und Aufbewahrungsfristen selbst. Ein Modell ändert sich nicht über Nacht, nur weil ein Anbieter es austauscht.
• Aufwand: Hardware, Security-Patches, Backups und Monitoring liegen bei Ihnen. Das ist der Preis der Souveränität.

Ehrlich betrachtet entscheidet meist eine einzige Frage: Dürfen die Daten die eigene Umgebung verlassen? Lautet die Antwort „nein“, ist die Abwägung schnell getroffen. Lautet sie „vielleicht“, lohnt sich ein kleiner Pilot, bevor Sie Hardware kaufen.

Profi-Tipp: Schätzen Sie den Betriebsaufwand in Personentagen pro Monat, nicht nur die Hardwarekosten. Updates, Rechtevergabe und Fehlersuche kosten über die Jahre oft mehr als der Server.

Welche Komponenten braucht eine lokale RAG-Lösung?

Ein Projektplan lässt sich am leichtesten aus den einzelnen Bausteinen ableiten. Für jeden gibt es lokale Varianten, ohne dass Sie sich an einen bestimmten Hersteller binden müssen.

• Dokumentenaufnahme und Vorverarbeitung: Planen Sie Parser für die Formate, die Sie wirklich haben. Gescannte PDFs brauchen Texterkennung, Tabellen brauchen oft eine eigene Behandlung. Hängen Sie Metadaten wie Quelle, Datum, Abteilung und Berechtigung an jeden Abschnitt, denn spätere Filter stehen und fallen damit. Als Chunk-Grösse bewähren sich Abschnitte von einigen hundert Wörtern mit leichter Überlappung.
• Embeddings: Lokale Embedding-Modelle sind klein genug für eine CPU oder eine einfache GPU. Wichtig: Indexierung und Abfrage müssen dasselbe Modell nutzen. Wechseln Sie das Modell, muss der gesamte Bestand neu eingebettet werden.
• Vektorspeicher: Es gibt drei Kategorien. In-Memory-Bibliotheken eignen sich für Prototypen. Lokal persistente Datenbanken bieten Speicherung auf Platte und Filter. ANN-optimierte Server skalieren auf grosse Bestände und mehrere Nutzer.
• Retriever: Neben der reinen Ähnlichkeitssuche lohnen sich Metadatenfilter und ein Reranking, das die ersten Treffer noch einmal nach Relevanz sortiert. Lokal heisst das: ein zusätzliches kleines Modell, das Rechenzeit kostet, aber die Trefferqualität sichtbar hebt.
• Sprachmodell: Modelle mit offenen Gewichten laufen lokal in quantisierter Form, bei der die Zahlengenauigkeit reduziert wird, um Speicher zu sparen. Das senkt die Anforderungen an die Grafikkarte deutlich, kostet aber etwas Qualität. Bei mehreren gleichzeitigen Nutzern hilft gebündelte Verarbeitung (Batch-Inferenz).
• Orchestrierung: Container für jeden Dienst, eine API-Schicht davor, Logging und Monitoring daneben. Und ein Backup des Vektorindex plus der Originaldokumente, denn den Index können Sie zwar neu bauen, aber das dauert.

Zur Einordnung der Rechtslage: Die Schweizer Datenschutzbehörde hat zum neuen Datenschutzgesetz eine Übersicht des EDÖB zum revidierten DSG veröffentlicht. Sie ist ein guter Ausgangspunkt, wenn Sie klären wollen, welche Pflichten bei der Verarbeitung personenbezogener Daten in Ihrem Setup greifen. Weitere Informationen finden Sie in unserem Sicherheits- und Compliance-Paket.

Welche Deployment-Optionen gibt es ohne Cloud?

Nicht jede Organisation will oder kann ein Rechenzentrum betreiben. Zum Glück gibt es mehrere Stufen zwischen „alles selbst“ und „alles gemietet“.

1. On-Premise: Alles läuft auf eigener Hardware in Ihren Räumen oder Ihrem Rechenzentrum. Sie haben die volle Kontrolle und die höchste Compliance-Sicherheit. Dafür tragen Sie den kompletten Betrieb: Beschaffung, Strom, Kühlung, Patches, Ersatzteile.
2. BYOC (Bring Your Own Cloud) und Hybrid: Die Software läuft in Ihrer eigenen Infrastruktur oder Ihrem eigenen Konto, Teile wie Updates und Support werden von Dritten betreut. Die Daten verlassen Ihre Umgebung nicht. Für viele Organisationen ist das der vernünftigste Kompromiss.
3. Container oder virtuelle Maschinen: Ein Docker-Setup auf einem einzelnen Server oder einer VM. Schnell aufgebaut, reproduzierbar und ideal für Proof-of-Concepts. Der Preis: Hochverfügbarkeit müssen Sie später nachrüsten.
4. Edge und Offline: Das System läuft direkt dort, wo die Daten entstehen, etwa auf einem Industrie-PC oder einem Notebook im Feld. Sinnvoll bei strengen Latenzanforderungen oder fehlender Netzanbindung, aber mit knappen Ressourcen.

Zu den Hardware-Grössenordnungen: Für Embeddings und Vektorsuche reicht oft ein Server mit mehreren CPU-Kernen und ausreichend RAM. Für das Sprachmodell zählt vor allem der Grafikspeicher. Kleine quantisierte Modelle kommen mit einer Consumer-Karte aus, grössere Modelle verlangen Server-GPUs. Rechnen Sie ausserdem mit schnellem lokalem Speicher für den Index und einem internen Netzwerk, das mehrere Nutzer ohne Wartezeiten bedient. Wer unsicher ist, startet klein und misst, bevor er beschafft.

Wir betreiben Nectos auf Wunsch in Ihrer eigenen Umgebung. Die Details zum Betrieb als BYOC oder On-Premise finden Sie auf unserer Produktseite.

Welcher Starter-Pfad passt zu Ihrem Projekt?

Rezepte reichen vom Wochenend-Test bis zum Produktivsystem. Die Zeitangaben sind grobe Erfahrungswerte, keine Zusagen.

Minimal (Proof-of-Concept)

Lokale Embeddings, eine FAISS-ähnliche Bibliothek für die Suche im Arbeitsspeicher und ein kleines quantisiertes Modell auf einem Laptop oder einem einzelnen Server. Gedacht für einen kleinen Dokumentenbestand und einen Nutzer: Sie prüfen, ob die Antworten brauchbar sind.

• Echte Dokumente aus dem Alltag wählen, keine Beispieltexte.
• Typische Fragen samt erwarteter Antwort aufschreiben.
• Prüfen, ob die richtigen Passagen gefunden werden, bevor Sie am Modell schrauben.

Mittel

Ein containerisierter Vektorspeicher mit Persistenz, ein eigener Inferenz-Dienst, eine einfache Authentifizierung und ein Interface, das Kolleginnen und Kollegen tatsächlich nutzen. Hier kommen Metadatenfilter und ein erstes Reranking dazu.

• Index und Dokumente regelmässig sichern und die Wiederherstellung einmal wirklich üben.
• Rechte pro Dokument oder Sammlung abbilden.
• Zugriffe und Abfragen protokollieren.

Produktionsreif

Ein On-Premise-Cluster oder BYOC mit Monitoring, Alarmierung, automatisierten Backups, Security-Hardening und definierten Service Level Objectives (SLOs). Verbindliche Verfügbarkeit, Update-Prozess und Notfallplan gehören dazu.

• Lasttests mit realistischer Nutzerzahl.
• Penetrationstest und Rechtekonzept von aussen prüfen lassen.
• Dokumentierter Prozess für Modellwechsel, inklusive erneuter Indexierung.

Profi-Tipp: Bauen Sie zuerst eine kleine Testsammlung mit Fragen und erwarteten Quellen. Ohne sie wissen Sie nach jeder Änderung an Chunk-Grösse, Modell oder Reranking nicht, ob es besser oder schlechter geworden ist.

Wann lohnt sich der lokale Betrieb wirklich?

Meine Haltung ist klar: Die meisten Projekte scheitern nicht am Modell, sondern an der Datenqualität und am Betrieb. Wer ein hervorragendes Sprachmodell auf einen Haufen schlecht geparster PDFs loslässt, bekommt hervorragend formulierten Unsinn. Deshalb gilt: Erst die Pipeline, dann das Modell.

Solo-Entwickler und kleine Teams fahren mit dem Minimal-Pfad am besten. Sie lernen schnell und verlieren wenig, wenn die Idee nicht trägt. Regulierte Unternehmen, etwa im Finanz-, Gesundheits- oder Rechtsbereich, sollten gleich On-Premise oder BYOC planen und Audit sowie Zugriffskontrolle von Anfang an mitdenken, nicht nachträglich anflanschen.

Für den Pilot genügen Kennzahlen wie Antwortlatenz, Relevanz der gefundenen Passagen, Fehlerrate (falsche oder erfundene Antworten) und Betriebskosten pro Monat. Wenn Sie diese Zahlen nicht kennen, haben Sie keinen Pilot, sondern nur eine Demo.

— Adopt

Wie unterstützen wir Sie bei einer souveränen RAG-Bereitstellung?

Wer nicht jede Komponente selbst zusammenbauen will, findet bei uns einen Weg, der Datenhoheit und Alltagstauglichkeit verbindet. Nectos ist ein souveräner KI-Arbeitsbereich: Ihre Wissensdatenbanken, Dokumentenanalysen und Assistenten laufen ohne Datenabfluss an US-Anbieter, und wir stellen Ihnen auf Anfrage eine Auftragsdatenverarbeitung (DPA) bereit.

• Private und geteilte Wissensdatenbanken mit umfassenden Audit-Trails.
• Betrieb als BYOC oder On-Premise in Ihrer eigenen Infrastruktur, der Support dazu ist ab 490 CHF pro Monat buchbar (siehe BYOC-Angebot).
• Ein Sicherheits- und Compliance-Paket für Ihre Anforderungen, Preis auf Anfrage.
• Ein Trial, bevor Sie sich entscheiden.

Starten Sie mit einem Trial oder sprechen Sie mit uns über eine BYOC-Bereitstellung. Die Pläne und Einstiegspreise finden Sie auf unserer Preisseite.

FAQ

Wie funktioniert die RAG-Architektur?

RAG sucht zu einer Frage zuerst passende Textstellen in Ihren Dokumenten und gibt sie zusammen mit der Frage an ein Sprachmodell. Das Modell formuliert die Antwort auf Basis dieser Stellen. So bleibt die Antwort an Ihre eigenen Quellen gebunden.

Gibt es eine Alternative zu RAG?

Ja, etwa das Feintuning eines Modells auf eigene Daten oder sehr lange Kontextfenster, in die ganze Dokumente passen. Beides hat Grenzen bei Aktualität, Kosten und Nachvollziehbarkeit. RAG bleibt für wechselnde Dokumentenbestände meist die pragmatischere Wahl.

Ist ChatGPT ein RAG-Modell?

Nein, ChatGPT ist zunächst ein Sprachmodell ohne Zugriff auf Ihre Dokumente. Es wird erst dann Teil einer RAG-Lösung, wenn eine Suche davorgeschaltet ist und die gefundenen Passagen mitgegeben werden.

Was bringt RAG im Unternehmen?

Mitarbeitende finden Antworten in internen Handbüchern, Verträgen und Tickets, ohne selbst zu suchen, und sehen die Quelle gleich dazu. Das spart Zeit und verringert Rückfragen bei Fachabteilungen.

Läuft RAG wirklich ganz ohne Internet?

Ja, sofern Embedding-Modell, Vektorspeicher und Sprachmodell lokal installiert sind. Das Internet brauchen Sie nur einmalig zum Herunterladen der Modelle und für spätere Updates.

Weiterführende Ressourcen

• Funktionen: Überblick über private Wissensdatenbanken und Dokumentenanalyse.
• BYOC und On-Premise: Betrieb in Ihrer eigenen Infrastruktur.
• Datenflüsse: So verarbeiten wir Ihre Daten.
• Sicherheit: Technische Schutzmassnahmen und Standards.
• Preise: Pläne und Einstiegspreise.