Risikomanagementsystem (RMS)

KI-Verordnung, Artikel 9 — Vorlage für Anbieter hochriskanter KI-Systeme

Wer ein Risikomanagementsystem einrichten muss. Nach Artikel 9 Absatz 1 der Verordnung (EU) 2024/1689 haben Anbieter hochriskanter KI-Systeme ein Risikomanagementsystem einzurichten, umzusetzen, zu dokumentieren und zu pflegen. Gemäß Art. 9 Abs. 2 ist es als kontinuierlicher iterativer Prozess über den gesamten Lebenszyklus zu führen, regelmäßig zu überprüfen und auf Grundlage von Tests und Daten aus der Beobachtung nach dem Inverkehrbringen systematisch zu aktualisieren (Art. 9 Abs. 2 Buchst. e).

Angaben zur Organisation

Organisation
KI-System
Zweckbestimmung
Verantwortlich für RMS
Datum
Version

1. Risikoidentifikation — Art. 9 Abs. 2 Buchst. a

Identifizieren und analysieren Sie die bekannten und vernünftigerweise vorhersehbaren Risiken, die das hochriskante KI-System bei bestimmungsgemäßer Verwendung für Gesundheit, Sicherheit oder Grundrechte bergen kann.

Beschreiben Sie Zweckbestimmung, bekannte Risiken, vernünftigerweise vorhersehbare Risiken sowie deren Quellen (Modellwahl, Trainingsdaten, Einsatzumgebung, Nutzerinteraktion).

2. Risikoschätzung und -bewertung — Art. 9 Abs. 2 Buchst. b

Schätzen und bewerten Sie die Risiken, die bei bestimmungsgemäßer Verwendung sowie unter Bedingungen vernünftigerweise vorhersehbarer Fehlanwendung auftreten können.

Eintrittswahrscheinlichkeit, Schwere, Risiken aus bestimmungsgemäßer Verwendung, Risiken aus vernünftigerweise vorhersehbarer Fehlanwendung und die angewandte Bewertungsmethodik.

3. Risikomanagementmaßnahmen — Art. 9 Abs. 3 und 5

Ergreifen Sie geeignete und gezielte Risikomanagementmaßnahmen zur Bewältigung der identifizierten Risiken und berücksichtigen Sie die Wirkungen ihrer kombinierten Anwendung.

Beschreiben Sie Maßnahmen zur Beseitigung oder Reduktion (Art. 9 Abs. 5 Buchst. a), Minderungs- und Kontrollmaßnahmen für nicht beseitigbare Risiken (Art. 9 Abs. 5 Buchst. b), Informationen an Betreiber und gegebenenfalls Schulungen (Art. 9 Abs. 5 Buchst. c) sowie die Berücksichtigung der kombinierten Wirkung der Maßnahmen (Art. 9 Abs. 3).

4. Restrisiko und Kommunikation an Betreiber — Art. 9 Abs. 5

Beschreiben Sie die nach Umsetzung der Maßnahmen verbleibenden Restrisiken, beurteilen Sie deren Akzeptabilität und erläutern Sie, wie diese Informationen an die Betreiber weitergegeben werden.

Restrisiken müssen als akzeptabel bewertbar sein; jedes einzelne Restrisiko sowie das relevante Gesamt-Restrisiko sind dem Betreiber mitzuteilen (Art. 9 Abs. 5).

5. Tests — Art. 9 Abs. 6 bis 8

Testen Sie das hochriskante KI-System, um die geeignetsten Risikomanagementmaßnahmen zu ermitteln und sicherzustellen, dass es seine Zweckbestimmung konsistent erfüllt und die Anforderungen in Kapitel III Abschnitt 2 einhält.

Testverfahren, Leistungskennzahlen, vorab festgelegte probabilistische Schwellenwerte (Art. 9 Abs. 7), Testfrequenz und etwaige Ergebnisse. Tests können gegebenenfalls unter realen Bedingungen nach Art. 60 durchgeführt werden.

6. Kontinuierliche Iteration, Überprüfung und Integration der Nachmarkt-Beobachtung — Art. 9 Abs. 2

Führen Sie das Risikomanagementsystem als kontinuierlichen iterativen Prozess über den gesamten Lebenszyklus des Systems, mit regelmäßiger systematischer Überprüfung und Aktualisierung.

Lebenszyklusplan, Aktualisierungsauslöser, Überprüfungsrhythmus, Dokumentationsführung und die Rückspeisung der Daten aus dem System zur Beobachtung nach dem Inverkehrbringen (Art. 72) in das RMS (Art. 9 Abs. 2 Buchst. e).

7. Besondere Erwägungen: Kinder und schutzbedürftige Gruppen — Art. 9 Abs. 9

Wenn das System für Kinder zugänglich ist oder sich auf Kinder bzw. andere schutzbedürftige Gruppen auswirken kann, prüfen Sie, ob die Risikomanagementmaßnahmen diesen Gruppen angemessen Rechnung tragen.

Geben Sie an, ob das System für Kinder zugänglich ist, identifizieren Sie potenziell betroffene schutzbedürftige Gruppen und beschreiben Sie zusätzliche Schutzmaßnahmen. Dokumentieren Sie gegebenenfalls die Integration in Risikomanagementrahmen des Finanzsektors (Art. 9 Abs. 10).