AI Risk Assessment: Methodik für KI-Risikobewertung
5-Dimensionen-Scoring für KI-Systeme: Data, Model, Integration, Usage, Compliance. Mit Risk-Matrix und Beispiel-Assessments.
"Ist unser KI-System sicher?" – Diese Frage lässt sich nicht mit Ja oder Nein beantworten.
Die richtige Frage: "Welche Risiken hat unser KI-System, wie wahrscheinlich sind sie, und was sind die Auswirkungen?" Das beantwortet ein strukturiertes Risk Assessment – und es ist die Grundlage für jede fundierte Entscheidung zu Mitigationsmaßnahmen.
Warum AI-Risiken anders sind
| Dimension | Klassische IT | AI-Systeme |
|---|---|---|
| Determinismus | Input A → Output B (immer) | Input A → Output B, C oder D |
| Angriffsvektoren | Bekannt, kategorisiert (OWASP) | Neu: Prompt Injection, Poisoning, Jailbreaking |
| Testing | Vollständig möglich | Nie vollständig testbar |
| Bias | Selten relevant | Oft kritisch |
| Erklärbarkeit | Code lesen | Black Box |
| Drift | Software ändert sich nicht selbst | Models degradieren über Zeit |
Konsequenz: Klassische IT-Risk-Frameworks (ISO 27005, NIST RMF) reichen nicht. AI braucht spezifische Dimensionen.
Die 5 Dimensionen des AI-Risikos
Risk Score = Σ (Dimension Score × Weight)
Risk Matrix: Scores interpretieren
Beispiel-Assessment: HR-Screening-Chatbot
Systembeschreibung: Chatbot, der Bewerbungen vorfiltriert und Kandidaten für Interviews empfiehlt.
| Dimension | Score | Begründung |
|---|---|---|
| Data | 5 | PII: Namen, Lebensläufe, Kontaktdaten |
| Model | 3 | GPT-4 via Azure, bekannte Herkunft, aber Bias-Risiko |
| Integration | 3 | Read auf Bewerbungs-DB, Write auf Kandidaten-Status |
| Usage | 5 | Entscheidungen über Menschen (Einstellung), limitierte Review |
| Compliance | 5 | EU AI Act HIGH-RISK (HR-Entscheidungen) |
Berechnung:
(5×0.20) + (3×0.15) + (3×0.25) + (5×0.20) + (5×0.20) = 4.20
Risk Level: CRITICAL
Empfohlene Maßnahmen:
| Priorität | Maßnahme | Timeline |
|---|---|---|
| 1 | Human-in-the-Loop für ALLE Entscheidungen | Sofort |
| 2 | EU AI Act Compliance-Assessment | 30 Tage |
| 3 | Bias-Testing implementieren | 60 Tage |
| 4 | Vollständige Dokumentation nach Art. 11 | 90 Tage |
Beispiel-Assessment: Internes RAG-System
Systembeschreibung: RAG-System, das interne Dokumentation durchsucht und Fragen für Mitarbeiter beantwortet.
| Dimension | Score | Begründung |
|---|---|---|
| Data | 3 | Interne Dokumente, keine PII, keine Kundendaten |
| Model | 2 | Llama 3 self-hosted, kontrollierte Umgebung |
| Integration | 2 | Read-Only auf Dokumenten-Repository, keine Actions |
| Usage | 2 | Interne Produktivität, Human Review bei kritischen Fragen |
| Compliance | 2 | Minimal Risk (AI Act), Standard-DSGVO |
Berechnung:
(3×0.20) + (2×0.15) + (2×0.25) + (2×0.20) + (2×0.20) = 2.20
Risk Level: MEDIUM
Empfohlene Maßnahmen:
| Priorität | Maßnahme | Timeline |
|---|---|---|
| 1 | Input/Output-Logging implementieren | Dieses Quartal |
| 2 | Access Control verfeinern | Dieses Quartal |
| 3 | Quarterly Security Review | Ongoing |
Beispiel-Assessment: Betrugserkennungs-Model
Systembeschreibung: Fine-tuned Model zur Betrugserkennung im Finanzbereich.
| Dimension | Score | Begründung |
|---|---|---|
| Data | 5 | Finanztransaktionen, PII, Kontodaten |
| Model | 4 | Fine-Tuned auf eigenen Daten, Poisoning-Risiko |
| Integration | 4 | Read auf Transaktions-DB, kann Alerts triggern |
| Usage | 4 | Kritisch für Fraud Prevention, automatische Alerts |
| Compliance | 5 | Finanzregulierung + DSGVO + potenziell NIS2 |
Berechnung:
(5×0.20) + (4×0.15) + (4×0.25) + (4×0.20) + (5×0.20) = 4.40
Risk Level: CRITICAL
Empfohlene Maßnahmen:
| Priorität | Maßnahme | Timeline |
|---|---|---|
| 1 | Training Data Audit (Poisoning prüfen) | Sofort |
| 2 | Human Review für kritische Fraud-Alerts | Sofort |
| 3 | Adversarial Testing | 30 Tage |
| 4 | Model-Explainability für Audits | 60 Tage |
| 5 | Full Compliance Assessment (BaFin, DSGVO, NIS2) | 90 Tage |
Assessment-Prozess
Schritt 1: Inventar
Bevor Sie bewerten können, brauchen Sie Sichtbarkeit.
| Frage | Datenquelle |
|---|---|
| Welche AI-Systeme haben wir? | IT-Asset-Management, Shadow IT Discovery |
| Wer ist System Owner? | CMDB, Interviews |
| Welche Daten fließen? | Data Flow Mapping |
| Welche Integrationen? | Architektur-Dokumentation |
Schritt 2: Scoring
Für jedes System die 5 Dimensionen bewerten. Dokumentieren Sie die Begründung – nicht nur den Score.
Schritt 3: Priorisierung
Nicht alles auf einmal. Priorisieren Sie nach:
| Kriterium | Gewichtung |
|---|---|
| Risk Level | Critical/High zuerst |
| Effort vs. Impact | Quick Wins priorisieren |
| Compliance-Deadlines | EU AI Act überschreibt alles |
| Business Impact | Geschäftskritisch höher |
Schritt 4: Maßnahmen
| Risk Level | Maßnahmen-Beispiele |
|---|---|
| Critical | Human Oversight, System pausieren, Sofort-Audit |
| High | Controls implementieren, Monitoring verstärken |
| Medium | Quarterly Reviews, Dokumentation verbessern |
| Low | Im Rahmen regulärer Wartung adressieren |
Continuous Assessment
Ein einmaliges Assessment reicht nicht. AI-Systeme ändern sich, Risiken entwickeln sich.
Trigger für Re-Assessment
| Trigger | Beispiel |
|---|---|
| Model-Update | GPT-4 → GPT-4o Migration |
| Neue Datenquellen | CRM-Integration hinzugefügt |
| Berechtigungsänderung | Read-Only → Read-Write |
| Neuer Use Case | Produktivität → Entscheidungsunterstützung |
| Security Incident | Prompt Injection erkannt |
| Regulatorische Änderung | EU AI Act Deadline |
| Zeit | Mindestens jährlich |
Assessment-Kalender
| Frequenz | Scope | Verantwortlich |
|---|---|---|
| Quartalsweise | Critical/High-Risk Systeme | AI Security Lead |
| Halbjährlich | Medium-Risk Systeme | System Owner |
| Jährlich | Alle Systeme | AI Governance Board |
| Bei Änderungen | Betroffenes System | System Owner + Security |
EU AI Act Alignment
Ab Dezember 2027 (voraussichtlich) müssen High-Risk-Systeme ein dokumentiertes Risikomanagement nachweisen (Art. 9).
| EU AI Act Anforderung | Assessment-Dimension |
|---|---|
| Risiko-Identifikation | Alle 5 Dimensionen |
| Risiko-Bewertung | Scoring-Methodik |
| Risiko-Mitigation | Maßnahmen-Plan |
| Kontinuierliche Überwachung | Continuous Assessment |
| Dokumentation | Assessment-Records |
Tipp: Nutzen Sie das hier beschriebene Framework als Basis für Ihre Art. 9 Dokumentation.
Quick Wins: Hoher Impact, niedriger Aufwand
| Maßnahme | Risk Reduction | Effort | Typische Systeme |
|---|---|---|---|
| Human Oversight einführen | Hoch | Niedrig | Usage-Risk senken |
| Input/Output-Filtering | Hoch | Mittel | Integration-Risk senken |
| Logging aktivieren | Mittel | Niedrig | Alle Systeme |
| Access Control | Hoch | Mittel | Data-Risk senken |
| Model-Versionierung | Mittel | Niedrig | Model-Risk senken |
Die Frage für Ihr nächstes Security-Review
"Haben wir für jedes AI-System ein dokumentiertes Risk Assessment mit Score, Begründung und Maßnahmen-Plan?"
Wenn nein: Starten Sie mit Ihren drei kritischsten Systemen. Ein Assessment dauert 2-4 Stunden pro System – und schafft die Grundlage für alle weiteren Entscheidungen.
Weiterführend
- KI Security Framework – Von Assessment zu Implementation
- EU AI Act – High-Risk-Klassifizierung im Detail
- AI Policy erstellen – Assessment als Basis für Policy
- NIS2 und KI – Cybersecurity-Anforderungen
AI Security Insights
Einmal im Monat. Kein Spam.
Was passiert in der Welt der KI-Security? Welche Risiken sollten Sie kennen? Ich fasse das Wichtigste zusammen - verständlich, pragmatisch, ohne Buzzwords.