Ein KI-Audit lässt sich in fünf Arbeitsschritten vorbereiten: vollständiges Inventar aller KI-Systeme erstellen, Risiken je Anwendungsfall bewerten, Nachweise laufend sammeln, Verantwortlichkeiten dokumentieren und Lücken vor dem Prüfungstermin in einem internen Readiness-Review schließen. Maßstab sind in den USA vor allem das NIST AI Risk Management Framework und, für bestimmte Anwendungsfälle, spezifische Regeln wie das New Yorker Local Law 144. Dieser Leitfaden beschreibt jeden Schritt, die erforderlichen Unterlagen und die typischen Schwachstellen, die Prüfer finden.
Kurz gesagt
- Inventar zuerst: Ohne vollständige Liste aller KI-Anwendungen, einschließlich eingebetteter SaaS-Funktionen, Pilotprojekte und Schatten-KI, ist kein Audit belastbar.
- Risiko je Use Case: Priorisierung nach Geschäftsauswirkung, Datensensibilität und Folgen fehlerhafter Ausgaben.
- Nachweise kontinuierlich sammeln: Logs, Richtlinien, Freigaben und Verträge entstehen im Betrieb, nicht in der Woche vor dem Audit.
- Rahmenwerke kennen: NIST AI RMF 1.0 als freiwillige Referenz, NYC Local Law 144 als verbindliche Pflicht für bestimmte Recruiting-Tools.
- Werkzeuge mit Audit-Trail wählen: Jedes KI-Tool ohne nachvollziehbare Datenflüsse und Protokolle wird im Audit zur offenen Position.
Inhaltsverzeichnis
- Was ein KI-Audit prüft
- Relevante Rahmenwerke und Prüfkriterien
- Schritt 1: KI-Inventar erstellen
- Schritt 2: Risiken bewerten und priorisieren
- Schritt 3: Nachweise zusammenstellen
- Schritt 4: Verantwortlichkeiten festlegen
- Schritt 5: Lücken schließen und Readiness-Review durchführen
- Werkzeugwahl als Teil der Audit-Vorbereitung
- Unsere Sicht: Audit-Fähigkeit beginnt beim Datenfluss
- Häufige Fragen zur Vorbereitung eines KI-Audits
- Quellen
Was ein KI-Audit prüft
Ein KI-Audit ist eine strukturierte, evidenzbasierte Untersuchung, wie KI-Systeme in einer Organisation ausgewählt, konfiguriert, eingesetzt und überwacht werden. Geprüft werden typischerweise drei Ebenen:
- Daten: Herkunft, Rechtmäßigkeit der Verarbeitung, Qualität, Datenschutz und mögliche Verzerrungen.
- Modell und Ausgaben: Zuverlässigkeit, Fehlerquoten, Erklärbarkeit und Verhalten unter Belastung.
- Betrieb und Governance: Zuständigkeiten, Zugriffskontrollen, Monitoring, Umgang mit Vorfällen und regulatorische Konformität.
Das Ergebnis ist in der Regel ein schriftlicher Bericht mit Befunden, deren Schweregrad und empfohlenen Maßnahmen. Adressaten sind Geschäftsleitung, Verwaltungsrat, Kunden oder Aufsichtsbehörden.
Audit und Readiness-Prüfung: der Unterschied
Eine interne Bereitschaftsprüfung (Readiness Assessment) ist kein Audit im engeren Sinn. Sie dient der Vorbereitung: Lücken werden identifiziert, bevor ein externer oder interner Prüfer formell bewertet. KPMG beschreibt einen zweigleisigen Ansatz der internen Revision: Organisationen im Aufbau eines KI-Programms erhalten eine begleitende „Pre-Assurance“-Bewertung, reifere Organisationen ein Audit der Wirksamkeit implementierter Kontrollen, einschließlich Security- und Privacy-Reviews sowie Post-Deployment-Reviews.
Für die Praxis bedeutet das: Wer erstmals geprüft wird, profitiert von einer Readiness-Phase von mehreren Wochen. Wer bereits ein KI-Governance-Programm betreibt, sollte die Wirksamkeit der Kontrollen belegen können, nicht nur deren Existenz.
Relevante Rahmenwerke und Prüfkriterien
Prüfer bewerten gegen veröffentlichte Kriterien. Welche davon gelten, hängt von Standort, Branche und Anwendungsfall ab.
| Rahmenwerk | Geltungsbereich | Verbindlichkeit | Relevanz für die Vorbereitung |
|---|---|---|---|
| NIST AI RMF 1.0 | USA, sektorübergreifend | Freiwillig | Gliederung der Kontrollen nach GOVERN, MAP, MEASURE, MANAGE |
| NYC Local Law 144 | New York City, automatisierte Tools für Personalentscheidungen | Verpflichtend | Jährlicher Bias-Audit, Veröffentlichung, Hinweispflichten |
| SOX-relevante Kontrollen | Börsenkotierte US-Unternehmen | Verpflichtend, sofern Finanzprozesse betroffen | Markierung von KI-Use-Cases in rechnungslegungsrelevanten Prozessen |
| nDSG (Schweiz) | Bearbeitung von Personendaten in der Schweiz | Verpflichtend | Nachweis rechtmäßiger Datenbearbeitung und Bekanntgabe ins Ausland |
| DSGVO (EU) | Personendaten von Personen in der EU | Verpflichtend | Rechtsgrundlagen, Auftragsverarbeitung, Drittlandtransfers |
NIST AI Risk Management Framework
Das NIST AI RMF 1.0 aus dem Jahr 2023 ist freiwillig, sektorübergreifend und für Organisationen jeder Größe gedacht. Es definiert vier Funktionen: GOVERN, MAP, MEASURE und MANAGE. Dazu kommen sieben Merkmale vertrauenswürdiger KI: gültig und zuverlässig, sicher (safe), geschützt und resilient (secure), rechenschaftspflichtig und transparent, erklärbar und interpretierbar, datenschutzfördernd sowie fair mit kontrollierter schädlicher Verzerrung.
Für die Vorbereitung eignet sich das Framework als Gliederung: Jede Kontrolle, jedes Dokument und jeder Nachweis lässt sich einer der vier Funktionen zuordnen. Damit entsteht eine Struktur, die Prüfer unmittelbar nachvollziehen können.
NYC Local Law 144
Das New Yorker Gesetz betrifft automatisierte Tools für Personalentscheidungen (Automated Employment Decision Tools, AEDT). Gemäß den Regeln des Department of Consumer and Worker Protection dürfen Arbeitgeber und Personalvermittler ein solches Tool nur einsetzen, wenn es innerhalb des letzten Jahres einem Bias-Audit unterzogen wurde, Informationen zum Audit öffentlich zugänglich sind und bestimmte Hinweise an Bewerbende erfolgt sind. Unternehmen mit Recruiting-Prozessen in New York City sollten diesen Audit als eigenen Arbeitsstrang planen.
Schritt 1: KI-Inventar erstellen
Das Inventar ist die Grundlage jedes KI-Audits. PwC empfiehlt ein vollständiges und genaues Verzeichnis aller KI-Anwendungsfälle, das jeden Use Case mit den betroffenen Kerngeschäftsprozessen verknüpft und SOX-relevante oder anderweitig regulierte Fälle markiert. Die Organisation muss belegen können, dass sie den KI-Einsatz über alle Prozesse hinweg kennt und für jeden Fall das Risikoniveau bewertet hat.
Deloitte rät, über formale Projekte hinauszublicken. Zu erfassen sind:
- Eigenentwicklungen: intern trainierte oder feinjustierte Modelle.
- Eingekaufte KI-Software: spezialisierte Anwendungen für Buchhaltung, Recht, HR oder Kundenservice.
- Eingebettete KI-Funktionen: Assistenten in Office-, CRM- oder ERP-Plattformen, die oft ohne separate Beschaffung aktiviert werden.
- Automatisierungen mit Sprachmodellen: RPA-Bots und Workflows, die ein LLM aufrufen.
- Pilotprojekte: Experimente einzelner Abteilungen, auch wenn sie offiziell noch nicht produktiv sind.
- Schatten-KI: private Konten bei öffentlichen Chat-Diensten, die Mitarbeitende für berufliche Aufgaben nutzen.
Pro Eintrag sollte das Inventar mindestens folgende Felder enthalten: Bezeichnung, Anbieter, verantwortliche Person, Zweck, verarbeitete Datenkategorien, Speicher- und Verarbeitungsort, Nutzerkreis, Integrationen sowie Datum der letzten Risikobewertung.
Das Inventar ist kein einmaliges Projekt. Neue Funktionen in bestehender Software, Anbieterwechsel und Modell-Updates verändern das Risikobild laufend. Ein fester Meldeweg, über den Fachbereiche neue KI-Anwendungen vor der Nutzung anmelden, hält das Register aktuell.
Schatten-KI ist in der Regel die größte Lücke. Eine kurze, anonyme Umfrage unter Mitarbeitenden und eine Auswertung der Netzwerk- und Ausgabenprotokolle liefern meist schnell ein realistisches Bild.
Schritt 2: Risiken bewerten und priorisieren
Nicht jeder Use Case benötigt dieselbe Prüftiefe. Laut CPA Practice Advisor ist die KI-Nutzung in der internen Revision auf 90 % gestiegen; Use Cases sollten nach Geschäftsauswirkung, Datensensibilität und den Folgen ungenauer Ausgaben priorisiert und die Bewertung laufend aktualisiert werden, da KI kein statisches Risiko darstellt.
Eine praxistaugliche Bewertungsmatrix umfasst:
| Kriterium | Niedrig | Mittel | Hoch |
|---|---|---|---|
| Datensensibilität | Öffentliche Informationen | Interne Geschäftsdaten | Personendaten, Gesundheits-, Finanz- oder Mandatsdaten |
| Entscheidungswirkung | Entwurf mit menschlicher Prüfung | Empfehlung mit Einfluss auf Entscheidungen | Automatisierte Entscheidung über Personen |
| Autonomie | Frage-Antwort-Assistent | Teilautomatisierter Workflow | Agent mit eigenständigen Aktionen |
| Datenfluss | Verarbeitung im eigenen Rechtsraum | Verarbeitung bei Dienstleister mit Vertrag | Übermittlung an Drittstaaten ohne klare Kontrolle |
Datenschutz und Sicherheit
Die zentrale Frage lautet: Wohin fließen Prompts, Dokumente und Ausgaben, wer kann darauf zugreifen, und werden sie zum Training von Modellen verwendet? Für Unternehmen, die Personendaten nach Schweizer nDSG oder europäischer DSGVO bearbeiten, ist der Verarbeitungsort ein eigener Prüfpunkt. Erforderlich sind Datenflussdiagramme, Auftragsverarbeitungsverträge und eine dokumentierte Zugriffskontrolle.
Verzerrung und Erklärbarkeit
Das NIST unterscheidet Erklärbarkeit (wie eine Ausgabe zustande kam) und Interpretierbarkeit (warum sie entstand und was sie für den Nutzer bedeutet). Risiken mangelnder Erklärbarkeit lassen sich laut NIST mindern, indem die Funktionsweise eines Systems angepasst an Rolle, Wissen und Kompetenz der Nutzer beschrieben wird. Für die Vorbereitung heißt das: pro Nutzergruppe eine verständliche Systembeschreibung bereithalten.
Agentische KI
Deloitte weist darauf hin, dass autonome Agenten, die mit minimaler menschlicher Aufsicht planen und handeln, mehr Risiko einführen können als ein Chat-Assistent. Empfohlene Kontrollen: Zielausrichtung, Guardrails, Audit-Trails und Eingriffsmöglichkeiten durch Menschen (Human-in-the-Loop).
Zielkonflikte dokumentieren
Abwägungen, etwa zwischen Genauigkeit und Fairness oder zwischen Funktionsumfang und Datenminimierung, sind unvermeidlich. Prüfer akzeptieren sie in der Regel, wenn sie als bewusste, freigegebene Entscheidung dokumentiert sind.
Schritt 3: Nachweise zusammenstellen
Prüfer bewerten, was belegt ist. Folgende Unterlagen sollten vor dem Audit vollständig und aktuell vorliegen:
| Bereich | Nachweise |
|---|---|
| Governance | KI-Richtlinie, Nutzungsrichtlinie für Mitarbeitende, Rollen- und Verantwortlichkeitsmatrix, Freigabeprotokolle der Geschäftsleitung |
| Inventar | KI-Register mit Risikoklassifizierung je Use Case |
| Daten | Datenflussdiagramme, Verzeichnis der Bearbeitungstätigkeiten, Angaben zu Speicher- und Verarbeitungsort |
| Verträge | Auftragsverarbeitungsverträge, Lieferantenbewertungen, Zusicherungen zur Nicht-Nutzung für Modelltraining |
| Sicherheit | Zugriffskonzept, Rollen- und Berechtigungskonfiguration, Verschlüsselungsnachweise, Ergebnisse von Sicherheitstests |
| Betrieb | Nutzungs- und Audit-Logs, Monitoring-Berichte, Vorfallprotokolle |
| Aufsicht | Belege menschlicher Prüfung, dokumentierte Overrides, Eskalationswege |
| Änderungen | Änderungsprotokolle, Neubewertungen nach Modell- oder Versionswechseln |
CPA Practice Advisor betont, dass eine Governance-Richtlinie allein nicht zeigt, ob ein System wie beabsichtigt funktioniert. Prüfer testen deshalb zunehmend die operative Ebene: Ausnahmebehandlung, menschliche Übersteuerungen, die Nachverfolgung abgelehnter Fälle und Genauigkeitsprüfungen nach Modell-Updates eines Anbieters.
Daraus folgt eine Grundregel: Nachweise entstehen im laufenden Betrieb. Werkzeuge, die Nutzung, Zugriffe und Konfigurationsänderungen automatisch protokollieren, reduzieren den Aufwand vor dem Audit erheblich.
Schritt 4: Verantwortlichkeiten festlegen
Die Vorbereitung ist eine Querschnittsaufgabe. Bewährt hat sich eine klare Zuständigkeit pro Bereich:
- Geschäftsleitung oder Verwaltungsrat: Festlegung der Risikotoleranz, formelle Freigabe der KI-Richtlinie.
- Compliance und Datenschutz: Rechtliche Bewertung, Verzeichnis der Bearbeitungstätigkeiten, Verträge mit Anbietern.
- IT und Informationssicherheit: Inventar, Zugriffskontrolle, Logging, Sicherheitstests.
- Fachbereiche: Beschreibung der Use Cases, menschliche Prüfung der Ausgaben, Meldung neuer Anwendungen.
- Interne Revision: Readiness-Review und Koordination mit externen Prüfern.
Prüfer erwarten, dass Rechenschaft nachweisbar ist: unterschriebene Freigaben, Protokolle von Ausschusssitzungen und dokumentierte Entscheidungen zur Risikotoleranz.
Schritt 5: Lücken schließen und Readiness-Review durchführen
Die letzte Phase verläuft in vier Etappen:
- Scope festlegen: Welche Systeme, Standorte und Rahmenwerke umfasst das Audit?
- Gap-Analyse: Inventar und Nachweise gegen die gewählten Kriterien abgleichen, zum Beispiel gegen die vier NIST-Funktionen.
- Maßnahmen umsetzen: Lücken nach Schweregrad priorisieren. Typische Maßnahmen sind die Ablösung von Schatten-KI durch ein freigegebenes Werkzeug, die Ergänzung fehlender Verträge und die Aktivierung von Audit-Logs.
- Interner Probelauf: Eine Person, die nicht an der Umsetzung beteiligt war, prüft Stichproben wie ein externer Prüfer. Offene Punkte werden mit Verantwortlichen und Termin dokumentiert.
Ein offener Befund mit dokumentiertem Maßnahmenplan wird in der Regel anders bewertet als eine unbekannte Lücke. Transparenz über den Umsetzungsstand ist daher Teil der Vorbereitung.
Werkzeugwahl als Teil der Audit-Vorbereitung
Viele Befunde in KI-Audits entstehen nicht in eigenen Modellen, sondern in alltäglichen Werkzeugen: Chat-Assistenten, Dokumentenanalyse, Transkription. Wenn Mitarbeitende vertrauliche Unterlagen in öffentliche Dienste kopieren, fehlen Datenflussnachweis, Zugriffskontrolle und Protokoll.
Nectos ist ein souveräner KI-Arbeitsbereich, bei dem Daten ausschließlich auf Schweizer Servern gespeichert und verarbeitet werden, gemäß nDSG und DSGVO. Die Funktionen umfassen privaten KI-Chat, Dokumentenanalyse, persönliche und geteilte Wissensdatenbanken, Meeting-Transkription, Prompt-Anonymisierung, umfassende Audit-Trails sowie Admin- und Zugriffssteuerung. Daten werden nicht für das Modelltraining genutzt; ein Auftragsverarbeitungsvertrag ist auf Anfrage erhältlich.
Die Pläne beginnen bei CHF 29.90 pro Platz und Monat (Starter), Pro kostet CHF 49.90 und Pro+ CHF 99.90 pro Platz und Monat. Details zu den Nectos-Preisen und Plänen sowie zum Sicherheits- und Compliance-Paket stehen online. Für Organisationen, die die Plattform in eigener Infrastruktur betreiben möchten, gibt es den BYOC- und On-Premise-Betrieb, mit Support ab CHF 490 pro Monat.
Unsere Sicht: Audit-Fähigkeit beginnt beim Datenfluss
Wir beobachten, dass Organisationen KI-Audits häufig als Dokumentationsprojekt verstehen. Richtlinien werden geschrieben, Register angelegt, Verantwortliche benannt. Die eigentliche Schwachstelle liegt jedoch oft eine Ebene tiefer: im Datenfluss der Werkzeuge, die täglich genutzt werden.
Ein Prüfer fragt nicht nur, ob eine KI-Richtlinie existiert. Er fragt, wohin ein Prompt mit Mandatsdaten übertragen wurde, wer ihn einsehen konnte und ob dies belegt werden kann. Diese Fragen lassen sich nur beantworten, wenn das Werkzeug selbst Transparenz herstellt.
Deshalb haben wir Nectos so gebaut, dass Verarbeitung und Speicherung ausschließlich in der Schweiz erfolgen, ohne versteckte Datenflüsse zu ausländischen KI-Anbietern. Audit-Trails, Zugriffssteuerung und Prompt-Anonymisierung sind Bestandteil des Arbeitsbereichs, nicht nachträgliche Ergänzungen. Wie Daten konkret verarbeitet werden, legen wir auf unserer Seite zu den Datenflüssen bei Nectos offen.
Für Treuhand, Recht, Gesundheitswesen, Finanzen und HR bedeutet das: Ein großer Teil der Nachweise, die ein Audit verlangt, entsteht im Betrieb. Die Vorbereitung wird damit von einer Suche nach Belegen zu einer Prüfung vorhandener Protokolle.
Adopt
Häufige Fragen zur Vorbereitung eines KI-Audits
Wie lange dauert die Vorbereitung eines KI-Audits?
Die Dauer hängt von Anzahl und Risikoklasse der Systeme ab. Ein Unternehmen mit wenigen Standardwerkzeugen kann Inventar und Nachweise in einigen Wochen zusammenstellen. Organisationen mit Eigenentwicklungen, agentischen Workflows oder regulierten Prozessen sollten mehrere Monate einplanen.
Ist das NIST AI RMF verpflichtend?
Nein. Das NIST AI RMF 1.0 ist ein freiwilliges Rahmenwerk. Es dient in den USA dennoch häufig als Referenz für die Strukturierung von KI-Governance und eignet sich als Gliederung für Kontrollen und Nachweise.
Gehört Schatten-KI ins Audit?
Ja. Private Konten bei öffentlichen KI-Diensten, die für berufliche Aufgaben genutzt werden, gehören ins Inventar. Sinnvoll ist, sie durch ein freigegebenes Werkzeug mit Zugriffskontrolle und Protokollierung abzulösen und dies in der Nutzungsrichtlinie festzuhalten.
Welche Nachweise verlangen Prüfer bei KI-Chat-Tools?
Typisch sind Angaben zu Speicher- und Verarbeitungsort, ein Auftragsverarbeitungsvertrag, eine Zusicherung zur Nicht-Nutzung der Daten für Modelltraining, Zugriffskonfiguration und Nutzungsprotokolle. Werkzeuge mit integrierten Audit-Trails liefern diese Belege direkt aus dem Betrieb.
Wer führt ein KI-Audit durch?
Ein KI-Audit kann durch die interne Revision oder durch externe Prüfer erfolgen. Viele Organisationen beginnen mit einer internen Pre-Assurance-Bewertung, um Lücken zu schließen, bevor ein formelles Audit stattfindet. Für den Bias-Audit nach NYC Local Law 144 gelten eigene Anforderungen an die Unabhängigkeit, die vorab mit Rechtsberatung geklärt werden sollten.
Quellen
- NIST: Artificial Intelligence Risk Management Framework (AI RMF 1.0)
- NYC Department of Consumer and Worker Protection: Automated Employment Decision Tools
- KPMG: Auditing artificial intelligence
- PwC: Responsible AI and audits
- Deloitte: Internal Audit’s role in strengthening AI governance
- CPA Practice Advisor: AI Use Has Reached 90% in Internal Audit