Eine LLM-Evaluierung prüft systematisch, ob ein grosses Sprachmodell oder eine darauf aufbauende Anwendung eine bestimmte Aufgabe genau, zuverlässig, sicher und rechtskonform erledigt. Für Schweizer Unternehmen aus Treuhand, Recht, Gesundheitswesen, Finanzen und HR hängt die Aussagekraft einer Evaluierung an einer Voraussetzung: Sie muss mit echten Mandats-, Patienten- oder Personaldokumenten durchgeführt werden, und diese Daten dürfen dabei die Schweiz nicht verlassen. Ein souveräner KI-Arbeitsbereich wie Nectos hostet und verarbeitet alle Daten ausschliesslich auf Schweizer Servern. Damit lässt sich unter realen Bedingungen testen, ohne Daten an ausländische KI-Anbieter weiterzugeben.
Kurz gesagt
- Definition: Eine LLM-Evaluierung misst Qualität, Zuverlässigkeit und Risiken eines Sprachmodells oder einer KI-Anwendung anhand definierter Aufgaben, Testdaten und Metriken.
- Benchmarks reichen nicht aus: Öffentliche Ranglisten sättigen schnell, und ihre Daten können in die Trainingsdaten der Modelle gelangt sein. Entscheidend sind Tests mit den eigenen Aufgaben.
- Methodenmix: Automatisierte Metriken, LLM-as-a-Judge und menschliche Fachbewertung ergänzen sich. Fachleute aus der eigenen Domäne bleiben dabei unverzichtbar.
- Wiederholbarkeit: Mehrere Durchläufe pro Aufgabe, eine dokumentierte Methodik und eine Prüfung nach dem Go-live machen Ergebnisse belastbar.
- Schweizer Kontext: Datenresidenz, nDSG-Konformität und Audit-Trails gehören zu den Bewertungskriterien, nicht erst in die spätere Rechtsabklärung.
Inhaltsverzeichnis
- Was bei einer LLM-Evaluierung bewertet wird
- Warum öffentliche Benchmarks nicht genügen
- Methoden der LLM-Evaluierung im Überblick
- Bewertungskriterien für Schweizer Unternehmen
- LLM-Evaluierung in sechs Schritten
- Evaluierung vor und nach dem Go-live
- Sprachmodelle mit echten Daten in der Schweiz prüfen
- Unsere Sicht auf die LLM-Evaluierung
- Häufige Fragen zur LLM-Evaluierung
- Quellen
Was bei einer LLM-Evaluierung bewertet wird
Ein LLM (Large Language Model, grosses Sprachmodell) ist ein KI-Modell, das mit sehr grossen Textmengen trainiert wurde und Texte erzeugt, zusammenfasst, übersetzt oder analysiert. Es gehört zur generativen KI, also zu den Systemen, die neue Inhalte erzeugen. Chat-Assistenten wie ChatGPT sind Anwendungen, die auf solchen Sprachmodellen aufbauen. Die Frage, ob ein Dienst ein LLM oder generative KI ist, beantwortet sich daher mit: beides, auf zwei Ebenen.
Genau diese zwei Ebenen unterscheidet auch die Evaluierung:
- Modell-Evaluierung: Wie gut beherrscht das Sprachmodell allgemeine Fähigkeiten wie Textverständnis, logisches Schliessen oder Fachwissen?
- Anwendungs-Evaluierung: Wie gut löst das Gesamtsystem aus Modell, Dokumentenanbindung, Wissensdatenbank, Berechtigungen und Prompts eine konkrete Aufgabe im Unternehmen, etwa die Prüfung eines Arbeitsvertrags oder die Zusammenfassung einer Sitzung?
Für Unternehmen ist die zweite Ebene massgeblich. Ein Modell mit Spitzenwerten auf einer öffentlichen Rangliste kann bei einem Jahresabschluss nach Schweizer Obligationenrecht oder bei einer Lohnabrechnung mit kantonalen Besonderheiten dennoch Fehler machen. Das Center for Security and Emerging Technology der Georgetown University nennt drei Zwecke von Evaluierungen: die Entscheidung, ob ein Modell für eine bestimmte Aufgabe geeignet ist, die Beobachtung der KI-Entwicklung und die Bewertung von Risiken. Für die Einführung im eigenen Betrieb sind der erste und der dritte Zweck entscheidend.
Warum öffentliche Benchmarks nicht genügen
Benchmarks sind standardisierte Testsammlungen mit festen Fragen und Musterlösungen. Sie eignen sich für den Vergleich von Modellen, sagen über den konkreten Einsatz aber wenig aus. Das CSET beschreibt die wichtigsten Schwachstellen:
- Sättigung: Benchmarks erreichen oft innerhalb weniger Jahre oder sogar Monate Werte nahe 100 % und unterscheiden die Modelle danach kaum noch.
- Benchmark-Chasing: Werden Modelle gezielt auf einen Test optimiert, verliert das Ergebnis an Aussagekraft. Nach Goodharts Gesetz taugt eine Kennzahl, die zum Ziel wird, nicht mehr als Messgrösse.
- Kontamination: Die Testfragen können bereits in den Trainingsdaten enthalten gewesen sein.
- Unklare Testvalidität: Ein gutes Benchmark-Ergebnis garantiert kein gutes Ergebnis in der Praxis.
Die US-Testorganisation ETS kommt in ihrer Analyse zur Bewertung grosser Sprachmodelle zu einem ähnlichen Schluss: Weder Benchmarks noch klassische Tests erfassen die Fähigkeiten moderner Sprachmodelle vollständig.
Hinzu kommt ein Aspekt, den viele Ranglisten ausblenden: die Zuverlässigkeit. Forschende der Princeton University argumentieren in ihrem Kommentar zu den NIST-Praktiken für Benchmark-Evaluierungen, dass zwei Modelle mit identischer Genauigkeit sehr unterschiedlich zuverlässig sein können. Das eine scheitert immer an derselben, klar erkennbaren Teilmenge von Aufgaben. Dieser Fehler lässt sich gezielt beheben. Das andere scheitert unvorhersehbar bei jedem Durchlauf, und darauf lässt sich kein verlässlicher Betrieb aufbauen. Die Autoren zerlegen Zuverlässigkeit in Konsistenz, Robustheit, Vorhersehbarkeit und Sicherheit.
Für eine Treuhandkanzlei oder eine HR-Abteilung folgt daraus: Massgeblich ist nicht der Platz in einer Rangliste, sondern das Verhalten mit den eigenen Dokumenten, den eigenen Fragen und den eigenen Qualitätsanforderungen.
Methoden der LLM-Evaluierung im Überblick
In der Praxis werden vier Methodenfamilien kombiniert. Bei Systemen, die selbständig Werkzeuge aufrufen, kommt eine fünfte hinzu.
| Methode | Funktionsweise | Geeignet für | Zu beachten |
|---|---|---|---|
| Benchmarks | Feste Testsammlung mit Musterlösungen | Vorauswahl von Modellen | Sättigung, Kontamination |
| Automatisierte Metriken | Vergleich der Ausgabe mit einer Referenzantwort | Grosse Testmengen, Regressionstests | Erfassen Bedeutung und Fachlichkeit nur teilweise |
| LLM-as-a-Judge | Ein zweites Sprachmodell bewertet die Antwort anhand einer Rubrik | Skalierbare Bewertung offener Antworten | Mehrfach bewerten, Streuung ausweisen |
| Menschliche Fachbewertung | Fachpersonen beurteilen Korrektheit und Brauchbarkeit | Rechts-, Steuer-, Medizin- und Personalfragen | Zeitaufwand, klare Bewertungskriterien nötig |
| Trace-basierte Evaluierung | Prüfung des gesamten Ausführungsverlaufs inklusive Werkzeugaufrufen | KI-Agenten und mehrstufige Abläufe | Vollständige Protokollierung vorausgesetzt |
Eine aktuelle Übersichtsarbeit von Bakker et al., vorgestellt an der LREC 2026, stützt sich auf Literaturanalyse, eine Umfrage unter Entwicklern und eine Fallstudie. Ihr Ergebnis: Auch gut konzipierte Metriken erfassen nicht alle relevanten Aspekte der Modellleistung. Eine sinnvolle Evaluierung verbindet aufgabenspezifische Metriken mit menschlichem Urteil im realen Kontext. Für LLM-as-a-Judge empfehlen die Autoren, die Bewertungen mehrfach zu berechnen und Mittelwert sowie Standardabweichung auszuweisen. Referenzantworten sollen von Fachpersonen der jeweiligen Domäne geprüft sein.
Für regulierte Branchen heisst das: Die Bewertung einer Steuerauskunft oder einer Vertragsklausel gehört in die Hände einer Treuhänderin oder eines Juristen. Diese Fachpersonen brauchen dafür echte Fälle, und echte Fälle enthalten Personendaten.
Bewertungskriterien für Schweizer Unternehmen
Eine Evaluierung, die nur Antwortqualität misst, bewertet ein KI-System unvollständig. Für Unternehmen in der Schweiz gehören die folgenden Kriterien in dieselbe Bewertungsmatrix:
| Kriterium | Prüffrage | Mögliche Messgrösse |
|---|---|---|
| Aufgabenqualität | Sind die Antworten fachlich korrekt und vollständig? | Fachbewertung nach Rubrik, Trefferquote gegenüber Referenz |
| Zuverlässigkeit | Liefert das System bei gleicher Frage gleichwertige Antworten? | Streuung über mehrere Durchläufe |
| Robustheit | Bleibt die Qualität bei umformulierten Fragen stabil? | Ergebnisse bei Varianten derselben Frage |
| Quellentreue | Stützen sich Antworten auf die hochgeladenen Dokumente? | Anteil belegter Aussagen |
| Datenresidenz | Wo werden Prompts, Dokumente und Ergebnisse verarbeitet und gespeichert? | Dokumentierte Datenflüsse, Serverstandort |
| Datennutzung | Werden Eingaben zum Training von Modellen verwendet? | Vertragliche Zusicherung, Auftragsverarbeitungsvertrag |
| Nachvollziehbarkeit | Lassen sich Nutzung und Zugriffe prüfen? | Audit-Trails, Rollen- und Zugriffssteuerung |
| Wirtschaftlichkeit | Was kostet der Betrieb pro Arbeitsplatz? | Lizenzkosten pro Platz und Monat |
Die Kriterien Datenresidenz, Datennutzung und Nachvollziehbarkeit lassen sich nicht nachträglich ergänzen. Ein System kann bei der Antwortqualität überzeugen und trotzdem ungeeignet sein, wenn Mandats- oder Gesundheitsdaten dabei ins Ausland fliessen. Die Darstellung der Datenflüsse bei Nectos zeigt, wie die Verarbeitung dokumentiert wird: Hosting und Verarbeitung ausschliesslich auf Schweizer Servern, keine Nutzung der Daten für das Modelltraining, ein Auftragsverarbeitungsvertrag auf Anfrage.
LLM-Evaluierung in sechs Schritten
Das US-amerikanische National Institute of Standards and Technology gliedert die automatisierte Benchmark-Evaluierung im Entwurf NIST AI 800-2 in drei Stufen: Ziele festlegen und Benchmarks auswählen, Evaluierung durchführen, Ergebnisse analysieren und berichten. Der folgende Ablauf überträgt diese Struktur auf die Einführung im Unternehmen.
1. Aufgabe und Endnutzer definieren
Am Anfang stehen konkrete Anwendungsfälle: Mandantenkorrespondenz zusammenfassen, Arbeitszeugnisse entwerfen, Protokolle aus Sitzungen erstellen, interne Weisungen durchsuchen. Für jeden Fall wird festgelegt, wer die Ergebnisse nutzt und welche Fehler unzulässig sind. Bakker et al. nennen die klare Definition von Aufgabe und Endnutzer als ersten Schritt. Häufigster Fehler: Es wird «die KI» allgemein getestet statt eines klar umrissenen Arbeitsschritts.
2. Testdatensatz aus realen Fällen aufbauen
Ein aussagekräftiger Datensatz besteht aus 30 bis 100 typischen Fällen pro Anwendung, einschliesslich schwieriger Grenzfälle. Fachpersonen erstellen dazu Referenzantworten. Synthetische oder stark vereinfachte Beispiele verfälschen das Ergebnis, weil sie die Komplexität echter Dossiers nicht abbilden. Echte Dossiers enthalten jedoch Personendaten, häufig auch besonders schützenswerte wie Gesundheits- oder Lohndaten. In Nectos werden solche Dokumente hochgeladen und analysiert, ohne dass sie die Schweiz verlassen. Die Prompt-Anonymisierung entfernt zusätzlich identifizierende Angaben aus Anfragen, und persönliche und geteilte Wissensdatenbanken halten den Testkorpus für das ganze Team an einem Ort.
3. Methoden und Metriken festlegen
Pro Anwendungsfall wird bestimmt, wie bewertet wird: automatisiert gegen Referenzantworten, per LLM-as-a-Judge mit einer schriftlichen Rubrik oder durch Fachpersonen. NIST hält im Bericht NIST AI 800-3 vom Februar 2026 fest, dass es keine Einheitsformel zur Messung von KI-Leistung gibt. Das verwendete Genauigkeitsmass sollte ausdrücklich definiert werden. Der Bericht unterscheidet zudem die Genauigkeit auf dem festen Testset von der verallgemeinerten Genauigkeit auf allen ähnlichen Aufgaben. Für Unternehmen zählt die zweite Grösse, weshalb der Testdatensatz die Bandbreite des Alltags abdecken muss.
4. Mehrfach durchführen und variieren
Sprachmodelle antworten nicht deterministisch. Die Princeton-Forschenden werteten über 500 Benchmark-Läufe von 14 Spitzenmodellen aus und empfehlen fünf Durchläufe pro Aufgabe, Tests mit umformulierten Eingaben und eine ausdrückliche Angabe von Vorgaben wie Format oder Länge. Ein Einzeldurchlauf, der zufällig gut ausfällt, ist kein Beleg für Eignung.

5. Ergebnisse analysieren und dokumentieren
Ausgewertet werden Mittelwerte, Streuung und vor allem die Fehlerarten: Erfundene Fundstellen, falsche Fristen oder übersehene Klauseln wiegen schwerer als stilistische Mängel. Die Stanford-Arbeit BetterBench empfiehlt, Evaluierungscode, Daten und Prompts so festzuhalten, dass die Prüfung wiederholbar ist. Im Unternehmen gehören dazu die verwendeten Modelle, Einstellungen, Datensätze und Bewertungsregeln. Die umfassenden Audit-Trails in Nectos erfassen die Nutzung im Arbeitsbereich und stützen diese Dokumentation gegenüber Geschäftsleitung, Datenschutzberatung oder Revision.
6. Entscheiden und Freigabe regeln
Auf Basis der Ergebnisse wird festgelegt, für welche Aufgaben das System freigegeben wird, für welche mit Kontrolle durch Fachpersonen und für welche nicht. Die Admin- und Zugriffssteuerung von Nectos setzt diese Entscheidung technisch um: Teams und Rollen erhalten genau die Wissensdatenbanken und Assistenten, die für ihren Anwendungsfall geprüft wurden.
Evaluierung vor und nach dem Go-live
Eine Evaluierung vor der Einführung beantwortet die Frage, ob ein System geeignet ist. Nach dem Go-live verändern sich jedoch Dokumente, Abläufe und Modelle. Deshalb wird die Prüfung regelmässig mit demselben Testdatensatz wiederholt, etwa bei jedem Modellwechsel und jedem neuen Anwendungsfall. Diese Wiederholung ist von Monitoring zu unterscheiden: Monitoring beobachtet das Live-Verhalten laufend, etwa über Protokolle, Antwortzeiten und Rückmeldungen der Nutzenden. Auffälligkeiten aus dem Betrieb werden zu neuen Testfällen für die nächste Evaluierung.
Besondere Sorgfalt verlangen KI-Agenten, also Systeme, die selbständig mehrere Schritte ausführen und Werkzeuge aufrufen. Eine Vergleichsstudie aus dem KDD-2026-Workshop zeigt, dass die Prüfung des vollständigen Ausführungsverlaufs auf 72 Testfällen das beste Verhältnis von Treffern zu Fehlalarmen erreichte (F1-Wert 0,90). Eine reine Textprüfung fand gleich viele Fehler, erzeugte aber fünfmal mehr Fehlalarme. Eine Übersichtsarbeit zu 15 Agenten-Benchmarks stellt fest, dass keiner davon Sicherheit in die Bewertung einbezieht. Unternehmen müssen diese Dimension daher selbst prüfen. Voraussetzung dafür ist eine lückenlose, nachvollziehbare Protokollierung.

Sprachmodelle mit echten Daten in der Schweiz prüfen
Für eine aussagekräftige LLM-Evaluierung braucht ein Unternehmen eine Umgebung, in der reale Dokumente ohne Datenabfluss ins Ausland verarbeitet werden. Nectos bietet dafür einen souveränen Schweizer KI-Arbeitsbereich mit privatem KI-Chat, Dokumentenanalyse, persönlichen und geteilten Wissensdatenbanken, Meeting-Transkription, branchenspezifischen Assistenten, Prompt-Anonymisierung und Audit-Trails. Alle Daten werden ausschliesslich auf Schweizer Servern gehostet und gemäss nDSG und DSGVO verarbeitet. Die Abonnements von Nectos kosten CHF 29.90 (Starter), CHF 49.90 (Pro) und CHF 99.90 (Pro+), jeweils pro Platz und Monat. Für einen ersten Test steht eine Trial-Version zur Verfügung.

Organisationen, deren Vorgaben einen Betrieb in der eigenen Infrastruktur verlangen, nutzen die Bereitstellung als BYOC oder On-Premise, der Support dafür kostet ab CHF 490 pro Monat. Das Pack Sécurité & Conformité ergänzt den Arbeitsbereich um zusätzliche Sicherheits- und Compliance-Leistungen.
Unsere Sicht auf die LLM-Evaluierung
Wir sehen die LLM-Evaluierung als Entscheidung über den Einsatz im Arbeitsalltag, nicht als Vergleich von Ranglisten. Ein Sprachmodell ist für eine Treuhandkanzlei, eine Praxis oder eine Personalabteilung dann geeignet, wenn es deren Aufgaben mit deren Dokumenten zuverlässig löst.
Daraus folgt eine Anforderung, die in vielen Leitfäden fehlt: Die Evaluierung selbst muss datenschutzkonform stattfinden. Wer echte Dossiers testet, verarbeitet Personendaten. Deshalb haben wir Nectos so gebaut, dass sämtliche Daten ausschliesslich in der Schweiz verarbeitet und gespeichert werden, nie für das Modelltraining genutzt werden und ohne versteckte Datenflüsse zu ausländischen KI-Anbietern bleiben.
Ebenso wichtig ist die Nachvollziehbarkeit. Audit-Trails, Zugriffssteuerung und ein Auftragsverarbeitungsvertrag auf Anfrage machen aus einem Test eine dokumentierte Grundlage für die Freigabe. So lassen sich Prüfung und Betrieb in derselben Umgebung durchführen, und die Ergebnisse der Evaluierung gelten auch für den Alltag.
Adopt
Häufige Fragen zur LLM-Evaluierung
Was ist eine LLM-Evaluierung?
Eine LLM-Evaluierung ist die systematische Prüfung eines Sprachmodells oder einer KI-Anwendung anhand definierter Aufgaben, Testdaten und Metriken. Sie bewertet Antwortqualität, Zuverlässigkeit und Risiken. Im Unternehmen kommen Datenschutz, Datenresidenz und Nachvollziehbarkeit als Kriterien hinzu.
Ist ChatGPT ein LLM oder generative KI?
Beides, auf unterschiedlichen Ebenen. Ein LLM ist das zugrunde liegende Sprachmodell, generative KI ist die Kategorie von Systemen, die neue Inhalte erzeugen. ChatGPT ist eine Chat-Anwendung, die auf grossen Sprachmodellen aufbaut und damit zur generativen KI gehört.
Wie viele Testfälle braucht eine aussagekräftige Evaluierung?
Für einen klar umrissenen Anwendungsfall bilden 30 bis 100 reale, von Fachpersonen bewertete Fälle eine praxistaugliche Grundlage. Wichtiger als die Menge ist die Abdeckung typischer Fälle und Grenzfälle. Jeder Fall sollte mehrfach durchlaufen werden, um die Streuung der Antworten zu erfassen.
Dürfen echte Kundendaten für die Evaluierung verwendet werden?
Die Verwendung echter Personendaten ist eine Datenbearbeitung im Sinne des Datenschutzgesetzes und erfordert eine rechtliche Grundlage sowie geeignete technische Schutzmassnahmen. Vor dem Test mit besonders schützenswerten Daten sollte die Datenschutzberatung des Unternehmens den Anwendungsfall prüfen. Eine Umgebung mit Verarbeitung ausschliesslich in der Schweiz, Prompt-Anonymisierung und Audit-Trails, wie sie Nectos bietet, unterstützt die Umsetzung dieser Anforderungen.
Quellen
- CSET Georgetown: Evaluating Large Language Models
- ETS: Wie bewerten wir große Sprachmodelle?
- Princeton: NIST Comment on Benchmark Reliability
- Bakker et al.: LLM Evaluation in Practice (LREC 2026)
- NIST AI 800-2: Practices for Automated Benchmark Evaluations
- NIST AI 800-3: Expanding the AI Evaluation Toolbox
- BetterBench: Assessing AI Benchmarks
- KDD 2026: Comparative Analysis of Agent Evaluation Frameworks
- From benchmarks to deployment: Review of agentic AI evaluation
