AI-Risk-Management-Frameworks im Überblick

KI-Systeme bringen Risiken mit, die klassische Sicherheitskonzepte nicht abdecken. Frameworks für das AI-Risk-Management helfen, sie strukturiert zu steuern.

Inhalt

1. Typische KI-Risiken
2. EU AI Act
3. NIST AI-Risk-Management-Framework (AI RMF 1.0)
4. ISO/IEC 23894:2023 und 42001
5. Kernkomponenten des AI-Risikomanagements
6. Welches Framework ist das richtige?
7. Framework-Implementierung

Überblick: AI-Risk-Management-Frameworks

• KI-Systeme bringen spezifische Risiken mit, die klassische IT-Sicherheitsansätze nicht vollständig abdecken
• Für das AI-Risk-Management gibt es freiwillige Frameworks (NIST AI RMF, ISO/IEC 42001) und verbindliche Regulierung (EU AI Act)
• Der EU AI Act stuft KI-Systeme in Risikoklassen ein und knüpft daran unterschiedliche Pflichten
• ISO/IEC 42001 ist ein zertifizierbarer Standard für KI-Managementsysteme mit Anknüpfungspunkten zu ISO 27001
• Wirksames AI-Risk-Management erfordert kontinuierliches Monitoring, klare Governance und die Einbindung des Faktors Mensch – etwa durch strukturiertes Awareness-Training

Typische KI-Risiken: Was Unternehmen heute schon betrifft

Viele Unternehmen nutzen KI längst im Alltag, oft bevor klare Regeln bestehen. Ein Team testet ein neues Tool. Ein Ergebnis klingt plausibel und fließt in eine Entscheidung ein.

KI-Risiken entstehen nicht nur in komplexen KI-Systemen, sondern in normalen Arbeitsabläufen. AI-Risk-Management hilft, solche Situationen sichtbar zu machen und steuerbar zu halten.

Technische Risiken: Wenn falsche Ergebnisse richtig klingen

Ein Vertriebsteam lässt eine KI eine Account-Liste bewerten. Die KI macht in sich schlüssige Vorschläge: hohe Kaufwahrscheinlichkeit, passender Zeitpunkt, klare Priorisierung. Aber später schaut das Team genauer hin und entdeckt: Das KI-Modell bevorzugt bestimmte Branchen, weil es dieses Muster aus veralteten Trainingsdaten übernommen hat. Echte Chancen entgehen dem Unternehmen dadurch.

Generative KI verstärkt dieses Risiko. Sie ist großartig darin, Aussagen überzeugend zu verpacken. Doch stimmen muss der generierte Output deshalb längst nicht. Im Gegenteil: Erfundene Quellen, falsche Zahlen und nicht belegte Aussagen ergeben zusammen eine plausibel klingende, aber nicht korrekte Antwort. Hinzu kommt der Model Drift, also die Veränderung der Ergebnisqualität. Ein Modell, das heute zuverlässig arbeitet, kann nach einiger Zeit der Nutzung plötzlich schlechter antworten, weil sich Daten, Produkte oder Kundenverhalten geändert haben.

Hier kann AI-Risk-Management gegensteuern. Unternehmen brauchen Prüfungen im Betrieb: 

• Welche Ergebnisse werden kontrolliert? 
• Welche Fehler treten wiederholt auf? 
• Wann muss ein Modell neu bewertet werden?

AI Security Risks: Wenn eine Eingabe zum Angriff wird

AI Security Risks zeigen sich oft an Schnittstellen. Ein Chatbot beantwortet Fragen von Kunden und greift dafür auf interne Wissensdatenbanken zu. Ein Angreifer formuliert seine Eingabe so, dass der Bot seine normalen Vorgaben umgeht. Statt einer Standardantwort liefert er interne Hinweise, die nicht für Kunden gedacht waren.

Prompt Injection kann auch über Inhalte entstehen, die ein System verarbeitet. Ein Mitarbeitender lässt eine externe Webseite von einer KI zusammenfassen. Auf der Seite steht eine versteckte Anweisung, die das Modell beeinflusst. Die KI ignoriert daraufhin Teile ihrer Vorgaben oder gibt Inhalte aus, die sie nicht ausgeben sollte.

Bei Data Poisoning entsteht das Risiko früher. Wenn ein Unternehmen echtes Kundenfeedback nutzt, um ein Modell zu verbessern, müssen diese Daten vorab geprüft werden. Werden nämlich manipulierte Trainingsdaten tatsächlich genutzt, kann sich das Verhalten des KI-Modells unerwünscht verändern. Es bewertet zum Beispiel Fälle falsch, bevorzugt bestimmte Muster oder übersieht wesentliche Ausnahmen.

Adversarial Attacks betreffen meist Systeme für Bild-, Sprach- oder Mustererkennung, zum Beispiel in der Qualitätskontrolle. Bei einem Angriff könnte ein Zulieferer die KI-gestützte Prüfung umgehen, indem er Produktbilder fehlerhafter Teile so minimal verändert, dass Menschen kaum einen Unterschied sehen und das Modell den Mangel nicht entdeckt.

AI-Risk-Management muss solche Angriffswege mitdenken, besonders wenn KI mit Kundendaten, internen Systemen oder geschäftskritischen Prozessen verbunden ist.

AI Privacy Risks: Wenn Tempo wichtiger wird als Datenschutz

AI Privacy Risks entstehen häufig ohne böse Absicht. Zum Beispiel in der Personalabteilung: Eine HR-Mitarbeiterin möchte Bewerbungen schnell miteinander vergleichen. Im Handumdrehen lädt sie komplette Lebensläufe in ein öffentliches KI-Tool.

Das Team im Einkauf nutzt KI, um Vertragsentwürfe zusammenzufassen. Ein Mitarbeiter überlässt einem ungeprüften KI-Tool die vollständigen Dokumente, um Zeit zu sparen. Damit verlassen Daten wie Preise, Lieferbedingungen und Verhandlungsspielräume das Unternehmen.

Auch die Marketingabteilung setzt KI ein. Sie lädt Kundensegmente hoch, liefert dem KI-Modell Kampagnendaten und bisherige interne Analysen. Die KI antwortet umgehend mit brauchbaren Vorschläge. Aber niemand weiß, wo die eingegebenen Daten verarbeitet werden, ob sie gespeichert werden und wer darauf Zugriff haben könnte.

Shadow AI liegt noch eine Stufe darüber: Die Unternehmens-IT kann nicht jedes Tool sehen. Legal kennt nicht jede Nutzung. In der Führungsebene kommt häufig nur stark verzögert an, welche KI-Tools die Mitarbeitenden längst verwenden.

AI-Risk-Management muss hier beim Verhalten ansetzen und Mitarbeitende abholen: 

• Welche KI-Tools sind für die berufliche Nutzung freigegeben?
• Was darf eingegeben werden und was nicht?
• Wer ist die Ansprechperson für unklare Fälle?

Operationelle Risiken: Wenn KI still zum Standard wird

Operationelle Risiken wachsen meist langsam. Ein Controlling-Team nutzt KI zunächst nur dazu, Berichte zu kürzen. Dann erstellt sie erste Kommentierungen und letztlich fließen die Vorschläge direkt in Management-Unterlagen ein.

Der Prozess wirkt auf Anhieb effizienter, aber gleichzeitig geht Wissen verloren. 

1. Wenn niemand mehr prüft, welche Annahmen dem Bericht überhaupt zugrunde liegen. 
2. Wenn der manuelle Weg mit wachem Kopf gar nicht mehr stattfindet, wird er verlernt. 
3. Wenn die KI dann falsche Zusammenhänge erkennt, wandert der Fehler durch mehrere Ebenen, ohne dass es auffällt.

In der IT kann Ähnliches passieren, wenn ein Team KI nutzt, um Tickets zu klassifizieren. Anfangs spart das Zeit. Später verlassen sich alle auf die Zuordnung und übernehmen das Ergebnis ungeprüft. Schleichen sich dann aber Fehler in der Kategorisierung ein, verzögert sich die Bearbeitung kritischer Vorfälle.

Mit strukturiertem AI-Risk-Management lässt sich das regeln. 

• Wer prüft KI-Ergebnisse qualitativ?
• Wo muss ein Mensch immer kontrollieren und entscheiden?
• Welche Kennzahlen messen die Qualität der KI-Antworten?
• Und wer ist befugt, den Prozess zu unterbrechen, wenn der KI-Output auffällig ist?

AI Compliance Risks und AI Legal Risks: Wenn KI-Texte rechtliche Folgen haben

„Nahtlose Integration.“ „Höchste Ausfallsicherheit.“ „In wenigen Minuten einsatzbereit.“ Sätze wie diese entstehen schnell, wenn KI beim Texten hilft. Ob die Aussagen stimmen, prüft das Modell nicht.

Das wird zum Problem, sobald solche Aussagen live gehen. Nicht wegen des Wortlauts, sondern wegen den Fragen im Anschluss: Wer hat das freigegeben? Welche Aussage war belegt? Wer trägt die Verantwortung?

AI-Risk-Management bringt diese Fragen in einen überprüfbaren Prozess, auch mit Blick auf NIS2-Compliance.

• Welche KI ist im Einsatz?
• Wer darf sie nutzen?
• Wer prüft Aussagen, bevor sie live gehen?
• Welche Belege liegen vor?

Genau diese Antworten braucht es, bevor Legal, Audit oder Aufsicht nachhaken.

AI-Risk-Management-Frameworks

Klassische Software tut, was sie programmiert wurde zu tun. KI-Systeme tun, was sie aus Daten gelernt haben. Das klingt ähnlich, ist aber ein grundlegender Unterschied. Fehler in klassischer Software lassen sich lokalisieren. Fehler in KI-Modellen können systematisch sein, schwer erkennbar und kaum rückgängig zu machen.

AI-Risk-Management-Frameworks geben Unternehmen eine Struktur, um mit dieser Ausgangslage umzugehen und helfen dabei, AI-Governance aufzubauen. Dabei unterscheiden sie sich in ihrer Verbindlichkeit: Frameworks wie das NIST AI RMF oder ISO/IEC 42001 sind freiwillig. Der EU AI Act ist eine EU-Verordnung und gilt als solche unmittelbar in allen Mitgliedstaaten, ohne nationale Umsetzung. In der Praxis schließen sich beide Ansätze nicht aus.

EU AI Act

Der EU AI Act klassifiziert KI-Systeme nach dem Risiko, das sie für Grundrechte, Sicherheit und gesellschaftliche Werte darstellen. Die Einstufung bestimmt, welche Pflichten gelten. Risk Management im Kontext des EU AI Act beginnt deshalb nicht beim Toolnamen, sondern beim konkreten Einsatz.

NIST AI-Risk-Management-Framework (AI RMF 1.0)

Das NIST AI RMF wurde 2023 vom US-amerikanischen National Institute of Standards and Technology veröffentlicht. Es ist freiwillig und wird in der Praxis häufig als Referenz genutzt, weil es technologieneutral formuliert ist und sich auf unterschiedliche Organisationsgrößen anwenden lässt. Das AI RMF Core gliedert sich in vier Funktionen: Govern, Map, Measure und Manage.

Govern

Govern legt fest, wer im Unternehmen Verantwortung für KI-Risiken trägt. Dazu gehören freigaben, Richtlinien und Erwartungen an Mitarbeitende. Schulungen und strukturiertes Awareness-Training sind Teil dieser Governance-Schicht, weil menschliches Verhalten im Umgang mit KI-Systemen direkt auf das AI-Risk-Management einzahlt.

Map

Map schafft Übersicht über den KI-Einsatz im Unternehmen. Es beschreibt den Prozess, KI-Systeme im Unternehmen zu erfassen, ihren Einsatzkontext zu verstehen und betroffene Stakeholder zu identifizieren. Viele Organisationen stellen in diesem Schritt fest, dass mehr KI im Einsatz ist als intern bekannt war.

Measure

Measure bewrtet, wie wahrscheinlich ein Risiko ist und wie schwer die Folgen wären. Die Bewertung darf nicht nur einmalig stattfinden. KI-Systeme verändern sich, ihr Umfeld ebenso. Das muss das AI-Risk-Management realistisch abbilden.

Manage

Manage überführt Bewertungen in Maßnahmen: Risiken reduzieren, akzeptieren, übertragen oder weiter beobachten. Zuständigkeiten und Kontrollen müssen dafür eindeutig sein. Das Human-Risk-Management-Dashboard von SoSafe unterstützt dabei, den menschlichen Risikofaktor in diesem Prozess kontinuierlich sichtbar zu machen.

Für Teams mit Erfahrung im NIST Cybersecurity Framework wirkt die Logik des AI RMF nicht völlig fremd.

ISO/IEC 23894:2023 und 42001

Wer bereits nach ISO 27001 zertifiziert ist, hat für Informationssicherheit eine solide Basis. KI-spezifische Risiken deckt das allein aber nicht ab. Dafür gibt es zwei ergänzende Standards, die aufeinander aufbauen.

ISO/IEC 23894:2023

ISO/IEC 23894 ist ein Guide für das AI-Risk-Management. Er beschreibt, wie

Organisationen KI-bezogene Risiken erfassen und systematisch behandeln können. Er orientiert sich dabei an den Konzepten aus ISO 31000. Der Standard ist nicht zertifizierbar, bietet aber eine Basis, um KI-Risiken methodisch und strukturiert anzugehen.

ISO/IEC 42001

ISO/IEC 42001 definiert Anforderungen an ein KI-Managementsystem und ist zertifizierbar. Aufbau und Logik orientieren sich an bekannten ISO-Managementsystemstandards, was die Integration in bestehende Strukturen vereinfachen kann. Für Organisationen, die bereits nach ISO 27001 arbeiten, gibt es inhaltliche Schnittmengen, etwa in den Bereichen Risikomanagement, Dokumentation und interne Audits. Beide Standards decken dabei unterschiedliche Bereiche ab.

Aus CISO-Perspektive

In der Praxis geht es nicht um eine Entweder-oder-Entscheidung zwischen ISO/IEC 42001 und ISO 27001. KI-Systeme verarbeiten häufig schützenswerte Daten, greifen auf interne Systeme zu und beeinflussen Entscheidungen. Das sind Bereiche, die ISO 27001 bereits erfasst. Was hinzukommt, sind KI-spezifische Anforderungen: Modellverhalten, Trainingsdaten, Transparenz, menschliche Aufsicht. ISO/IEC 42001 schafft dafür den Rahmen, ISO/IEC 23894 liefert die methodische Grundlage für das AI-Risk-Management.

Kernkomponenten des AI-Risikomanagements

Ein Framework gibt die Struktur vor. Was im Betrieb zählt, sind die Prozesse dahinter. Unabhängig davon, welches Framework eine Organisation wählt, gibt es Komponenten, die in jedem wirksamen AI-Risk-Management wiederkehren.

Kontinuierliches Monitoring

Model Drift zeigt sich selten auf einen Schlag. Daten ändern sich, Nutzerverhalten verschiebt sich, Märkte bewegen sich. Ein Modell kann dadurch schlechtere Ergebnisse liefern, obwohl es technisch weiterläuft. Automatisiertes Monitoring mit definierten Schwellenwerten und klaren Eskalationswegen ist kein optionaler Schritt im AI-Risk-Management.

Dokumentation und Nachvollziehbarkeit

Ein KI-Tool ist schnell im Prozess. Testaccount, erster Use Case, erste Ergebnisse. Drei Monate später fragt Audit: Wer hat das freigegeben? Welche Daten wurden genutzt? Wurde das Ergebnis geprüft?

Fehlen dann Antworten, entsteht ein AI Compliance Risk. Gerade beim EU AI Act zählen Nachweise. Gute Dokumentation beginnt deshalb beim ersten Use Case, nicht erst vor dem Audit.

Governance für autonome Systeme

Autonome KI-Systeme geben nicht nur Antworten. Sie können Tickets verschieben, E-Mails vorbereiten, Aufgaben anstoßen oder Daten aus anderen Systemen ziehen. Damit wird ein Fehler schnell zur Prozesskette.

Deshalb brauchen autonome Systeme klare Stoppschilder: Was darf der Agent allein tun? Wann braucht er Freigabe? Wer sieht, was passiert? Und wer kann eingreifen, bevor aus einem Fehler mehrere werden?

Der Faktor Mensch

Technik und Prozesse allein reichen nicht. Mitarbeitende treffen täglich Entscheidungen darüber, welche KI-Tools sie nutzen, welche Daten sie eingeben und ob sie Ergebnisse hinterfragen. Das Human-Risk-Management-Dashboard  von SoSafe unterstützt dabei, eine Human Firewall zu entwickeln und diesen menschlichen Risikofaktor im AI-Risk-Management sichtbar zu machen.

Welches Framework ist das richtige?

Die Wahl des Frameworks hängt vom Kontext ab. Regulatorisches Umfeld, Reifegrad der KI-Nutzung und vorhandene Strukturen spielen alle eine Rolle. Die folgende Tabelle gibt eine erste Orientierung, ersetzt aber keine individuelle Einschätzung.

Diese Ansätze schließen sich nicht aus. Viele Organisationen nutzen das NIST AI RMF, um Risiken zu strukturieren, und ISO/IEC 42001, um ein KI-Managementsystem aufzubauen. Der EU AI Act setzt den rechtlichen Rahmen, an dem sich beide Ansätze ausrichten lassen.

Welche Kombination passt, hängt vom Unternehmen ab: 

• Wie reif sind die bestehenden Risikoprozesse?
• Welche KI-Systeme sind im Einsatz?
• Welche regulatorischen Pflichten gelten?
• Und wie viel Zeit, Budget und Fachwissen stehen für die Umsetzung bereit?

Framework-Implementierung

Unternehmen starten mit der Implementierung am besten dort, wo sie bereits Strukturen haben: Risikomanagement, Informationssicherheit, Datenschutz, interne Freigaben. Von dort aus lässt sich AI-Risk-Management Schritt für Schritt. KI-Risikomanagement wird so kein Zusatzprojekt, sondern Teil bestehender Abläufe.

1. Bestandsaufnahme

Zuerst braucht es Überblick: Welche KI ist im Einsatz? Neben offiziell beschafften Systemen zählen auch Testaccounts, Browser-Tools, Pilotprojekte und Fachbereichslösungen.

Hier zeigt sich oft Shadow AI. Teams nutzen KI, weil sie Zeit spart. Für AI-Risk-Management bleibt der Überblick nötig: Nur bekannte Systeme lassen sich bewerten, freigeben und absichern.

2. Risikoklassen und Regulierung klären

Nach der Bestandsaufnahme folgt die Einordnung. Fällt ein System unter den EU AI Act? Handelt es sich um ein Hochrisiko-System? Gibt es Vorgaben aus Branche, Datenschutz oder internen Richtlinien?

Diese Fragen entscheiden, wie viel Prüfung, Dokumentation und Kontrolle nötig ist. 

3. Framework auswählen und anpassen

Kein Framework passt unverändert. Das NIST AI RMF strukturiert KI-Risiken. ISO/IEC 42001 beschreibt ein KI-Managementsystem. Wer mit ISO 27001 arbeitet, kann bestehende Rollen, Prozesse und Kontrollen nutzen.

4. Governance verankern

Ein AI-Risk-Management-Framework braucht klare Zuständigkeiten: Wer gibt KI-Systeme frei? Wer prüft Ergebnisse? Wer stoppt einen Use Case, wenn Risiken sichtbar werden?

Mitarbeitende brauchen dazu Regeln und Schulungen, die echte Arbeitssituationen aufgreifen.

5. Monitoring und kontinuierliche Verbesserung

Nach dem Go-live verändert sich die Nutzung. Daten ändern sich, Anbieter liefern Updates, Teams nutzen Tools anders als geplant.

AI-Risk-Management braucht deshalb feste Prüfungen im Betrieb. Auffälligkeiten führen zu klareren Freigaben, technischen Prüfungen, besseren Vorgaben oder Schulungen.