Grundlagen des KI-Risikomanagements – KI-Systeme richtig einstufen, Risiken erkennen und managen

Grundlagen des KI-Risikomanagements

Die KI-Verordnung (KI-VO) der Europäischen Union ist in Kraft getreten und erfordert ein risikobasiertes KI-Management. Je höher das Risiko eines KI-Systems, desto strenger und umfassender sind die Auflagen für dessen Einsatz. Für Unternehmen bedeutet das, KI-Systeme zu identifizieren, eine Risikoeinschätzung zu treffen und darauf basierend Maßnahmen zu ergreifen. Dieser Beitrag dient als Leitfaden für diesen Prozess zum KI-Risikomanagement.

1. Grundlagen des KI-Risikomanagements: Die KI-Inventur

Die Grundlage jeder Risikoklassifizierung ist die Erfassung sämtlicher potenzieller Risiken. Im Fall von KI-Systemen ist dies die Erfassung oder Inventur aller KI-Systeme, die für das Unternehmen relevant sind. Die KI-Verordnung definiert in Artikel 3 Nr. 1 ein KI-System als: „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt werden, die physische oder virtuelle Umgebungen beeinflussen können.“

Zur Konkretisierung dieser Definition hat die Europäische Kommission Leitlinien veröffentlicht, aus denen sich die folgenden sieben Kriterien ergeben:

1. Maschinengestütztes System: Es muss sich um ein System handeln, das auf Hardware und Software basiert und rechnergesteuert operiert.
2. Grad an Autonomie: Das System muss ein gewisses Maß an Unabhängigkeit von menschlicher Steuerung und Intervention aufweisen können.
3. Anpassungsfähigkeit (optional): Das System kann nach seiner Inbetriebnahme lernfähig sein und sein Verhalten ändern; dies ist aber keine zwingende Voraussetzung.
4. Ziele des KI-Systems: Das System operiert auf Basis expliziter oder impliziter Zielvorgaben.
5. Fähigkeit zu Schlussfolgerungen (Inferenz): Ein zentrales Merkmal ist die Fähigkeit, aus Eingabedaten eigenständig Schlussfolgerungen zu ziehen, um Ausgaben zu generieren.
6. Erzeugung von spezifischen Ausgaben: Die typischen Ausgaben sind Vorhersagen, Inhalte (z.B. Text, Bild, Video), Empfehlungen oder Entscheidungen.
7. Interaktion mit der Umgebung: Die generierten Ausgaben müssen in der Lage sein, physische oder virtuelle Umgebungen zu beeinflussen.

2. Risikoklassifizierung im KI-Risikomanagement:
Der entscheidende Schritt

Im zweiten Schritt des KI-Risikomanagements werden KI-Systeme den vier Risikoklassen der KI-Verordnung zugeordnet. Dieser Schritt ist entscheidend, weil sich daraus der Umfang regulatorischer Pflichten ergibt. Ohne eine strukturierte Risikobewertung ist ein regelkonformes KI-Risikomanagement nicht möglich. Die KI-VO unterscheidet folgende Risikokategorien:

• Verboten sind KI-Systeme, mit denen verbotene Praktiken gemäß Art. 5 KI-Verordnung betrieben werden, die Grundrechte und -Werte fundamental verletzen, wie manipulative Techniken, Social Scoring durch Behörden oder bestimmte biometrische Echtzeit-Fernidentifizierung. Die Einzelheiten ergeben sich aus Art. 5 KI-Verordnung.
• Hochrisiko-KI-Systeme gemäß Art. 6 KI-VO sind KI-Systeme, die ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen. Dies umfasst zum einen KI als Sicherheitskomponente eines Produkts, das unter eine der in Anhang I der KI-VO aufgeführten EU-Produktsicherheitsvorschriften fällt (z.B. Maschinenrichtlinie, Medizinprodukteverordnung) in regulierten Produkten (z.B. Medizinprodukten). Zum anderen erfasst sind KI-Systeme, die dazu bestimmt sind, in einem der in Anhang III der KI-VO aufgeführten Bereiche eingesetzt zu werden. Darunter fallen der Einsatz in der Medizin, in kritischen Infrastrukturen oder im Personalwesen. Für diese Systeme gelten umfangreiche Pflichten, insbesondere zum Risikomanagement.
• KI-Systeme mit begrenztem Risiko gem. Art. 52 KI-VO sind Systeme mit allgemeinem Einsatzzweck, die aber spezifische Risiken beinhalten, etwa Manipulations- oder Täuschungsrisiken. Das betrifft unter anderem Chatbots, Emotionserkennungssysteme oder Deepfakes. Hier sind primär Transparenzpflichten zu erfüllen, z.B. die Information der Nutzer über die Interaktion mit einer KI oder die Kennzeichnung KI-generierter Inhalte.
• KI mit geringem oder keinem Risiko sind KI-Systeme, die nicht in die ersten drei Risikoklassen fallen. Es ist die Restkategorie für Systeme mit geringem oder keinem Risiko. Die KI-VO sieht hierfür keine spezifischen Pflichten vor, jedoch müssen andere Rechtsvorschriften (z.B. DSGVO) beachtet werden.

3. Maßnahmen im KI-Risikomanagement zur Risikoverringerung

Zur Vermeidung von KI-Risiken und zur Herstellung von KI-Compliance müssen „nur“ noch die Maßnahmen der KI-Verordnung und ggf. weiterer Gesetze umgesetzt werden. Mit einer guten Risikoklassifizierung liegt der Ball also sprichwörtlich auf dem Elfmeterpunkt. Konkret gilt es also folgende Maßnahmen für die KI-Systeme der entsprechenden Risikoklassen zu treffen:

Das Vermeiden verbotener Praktiken erfordert von Unternehmen die Entwicklung und Implementierung interner KI-Richtlinien mit Geboten und Verboten für die Beschäftigten, damit verbotene Praktiken auch von diesen erkannt und unterlassen werden. Es gilt der Grundsatz, dass man nur auf die Einhaltung von Anforderungen hoffen kann, wenn diese kommuniziert und bekannt sind. Das reicht aber natürlich noch nicht aus. Beschäftigte müssen auch wirklich verstehen, was das für ihre tägliche Arbeit bedeutet. Das erfordert Mitarbeiterschulungen und die Förderung der KI-Kompetenz.

Für Hochrisiko-KI-Systeme greift ein umfangreicher Katalog an Anforderungen, die zu erfüllen sind. Die wichtigsten sind:

• KI-Risikomanagement im engeren Sinn gemäß Art. 9 KI-VO, also die Einrichtung, Anwendung, Dokumentation und Aufrechterhaltung eines kontinuierlichen, iterativen Risikomanagementprozesses über den gesamten Lebenszyklus des KI-Systems. Dies umfasst die Identifizierung, Analyse, Bewertung und Minderung von Risiken sowie deren kontinuierliche Überprüfung und Aktualisierung.
• Daten und Daten-Governance (Art. 10 KI-VO): Es muss sichergestellt werden, dass die für das Training, die Validierung und das Testen des KI-Systems verwendeten Datensätze von hoher Qualität sind (d.h. relevant, repräsentativ, fehlerfrei und vollständig), um Risiken und diskriminierende Ergebnisse zu minimieren.
• Technische Dokumentation (Art. 11 KI-VO i.V.m. Anhang IV): Anbieter müssen vor dem Inverkehrbringen oder der Inbetriebnahme eines Hochrisiko-KI-Systems eine umfassende technische Dokumentation erstellen und diese aktuell halten. Anhang IV der KI-VO listet die Mindestinhalte detailliert auf. Für kleine und mittlere Unternehmen (KMU) sind Vereinfachungen bei der Erstellung der technischen Dokumentation vorgesehen.
• Aufzeichnungspflichten (Art. 12 KI-VO): Hochrisiko-KI-Systeme müssen über Funktionen zur automatischen Protokollierung von Ereignissen („Logs“) während ihres Betriebs verfügen. Diese Protokolle sollen die Rückverfolgbarkeit der Ergebnisse gewährleisten und zur Überwachung sowie zur Aufklärung von Vorfällen dienen. Betreiber müssen diese Protokolle in der Regel für mindestens sechs Monate aufbewahren.
• Transparenz und Bereitstellung von Informationen für Betreiber (Art. 13 KI-VO): Hochrisiko-KI-Systeme müssen so gestaltet und mit solchen Informationen (insbesondere einer umfassenden Gebrauchsanweisung) versehen werden, dass die Betreiber die Funktionsweise des Systems verstehen, seine Ergebnisse angemessen interpretieren und es bestimmungsgemäß verwenden können.
• Menschliche Aufsicht (Art. 14 KI-VO): Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass eine wirksame menschliche Aufsicht während des Betriebs ermöglicht wird. Betreiber sind verpflichtet, für diese Aufsicht entsprechend qualifizierte Personen einzusetzen.
• Genauigkeit, Robustheit und Cybersicherheit (Art. 15 KI-VO): Hochrisiko-KI-Systeme müssen ein angemessenes Niveau an Genauigkeit, Robustheit gegenüber Fehlern oder Inkonsistenzen und Cybersicherheit während ihres gesamten Lebenszyklus erreichen und aufrechterhalten.
• Qualitätsmanagementsystem (Art. 17 KI-VO): Anbieter müssen ein Qualitätsmanagementsystem einrichten, dokumentieren, anwenden und aufrechterhalten, das die Einhaltung der KI-Verordnung gewährleistet.
• Konformitätsbewertungsverfahren (Art. 43 KI-VO): Vor dem Inverkehrbringen oder der Inbetriebnahme muss ein Konformitätsbewertungsverfahren durchgeführt werden. Die KI-VO sieht hierfür je nach Art des Hochrisiko-KI-Systems und der Anwendung harmonisierter Normen unterschiedliche Verfahren vor.
• Registrierung (Art. 49 KI-VO): Anbieter müssen sich und ihre Hochrisiko-KI-Systeme in einer von der EU-Kommission einzurichtenden Datenbank registrieren, bevor diese in Verkehr gebracht oder in Betrieb genommen werden.
• Pflichten für Betreiber (Art. 26 KI-VO): Betreiber von Hochrisiko-KI-Systemen müssen diese gemäß der Gebrauchsanweisung verwenden, die Qualität der Eingabedaten sicherstellen, den Betrieb überwachen, eine angemessene menschliche Aufsicht gewährleisten, Protokolle aufbewahren und Informationspflichten erfüllen.
• Grundrechte-Folgenabschätzung (Art. 27 KI-VO): Bestimmte Betreiber, insbesondere Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienstleistungen erbringen, müssen vor der ersten Inbetriebnahme bestimmter Hochrisiko-KI-Systeme eine Folgenabschätzung hinsichtlich der Auswirkungen auf die Grundrechte durchführen.

Für KI-Systeme mit begrenztem Risiko müssen die spezifischen Transparenzpflichten nach Art. 52 KI-VO erfüllt werden. Das erfordert insbesondere, Nutzer zu informieren, dass sie mit KI interagieren, und KI-generierte Inhalte als solche zu kennzeichnen.

Für KI-Systeme mit geringem oder keinem Risiko bestehen keine spezifischen Pflichten aus der KI-Verordnung. Dennoch sind andere Rechtsvorschriften (z.B. die DSGVO bei Verarbeitung personenbezogener Daten) zu beachten.

4. Praktische Handlungsempfehlungen für Unternehmen

Die KI-Verordnung stellt Unternehmen zweifellos vor neue und komplexe Herausforderungen. Die Notwendigkeit, KI-Systeme sorgfältig zu klassifizieren und, insbesondere im Hochrisikobereich, umfangreiche technische, organisatorische und dokumentarische Pflichten zu erfüllen. Diese Herausforderungen lassen sich aber mit dem Vorgehen klassischer Compliance- und Risikomanagement-Maßnahmen meistern. Wie immer gilt dafür: Auch der längste Weg beginnt mit dem ersten Schritt. Man sollte sich also frühzeitig mit dem KI-Risikomanagement auseinandersetzen, KI-Kompetenz in der Organisation aufbauen sowie Zuständigkeiten und Prozesse zum KI-Risikomanagement definieren.