juris Nachrichten

  • Die wichtigsten Entscheidungen
  • Gesetzesentwicklungen und -vorhaben
  • Tagesaktuelle Auswahl der juris Redaktion

Die juris Nachrichten App jetzt gratis herunterladen

Login
Autor:Dr. Lorenz Marx, LL.M., Wissenschaftlicher Mitarbeiter
Erscheinungsdatum:24.09.2021
Quelle:juris Logo
Fundstelle:jurisPR-ITR 19/2021 Anm. 2
Herausgeber:Prof. Dr. Dirk Heckmann, Technische Universität München
Zitiervorschlag:Marx, jurisPR-ITR 19/2021 Anm. 2 Zitiervorschlag

Der Artificial Intelligence Act der EU-Kommission: Risikobasierte Regulierung von KI-Systemen

A. Einführung

Am 21.04.2021 präsentierte die EU-Kommission ihren mit Spannung erwarteten Vorschlag für einen „Artificial Intelligence Act“1. Der Artificial Intelligence Act markiert einen wichtigen Schritt in der politischen Diskussion um die Regulierung von künstlicher Intelligenz (KI) und wurde durch zahlreiche Aktivitäten der EU-Organe vorbereitet. Im größeren Kontext reiht sich der Entwurf des Artificial Intelligence Act ein in das politische Ziel einer „Digital Decade“, das die EU-Kommission 2021 ausgerufen hat und in dem ein „European Way“ beschritten werden soll.2

B. Anwendungsbereich

I. Sachlicher Anwendungsbereich des Artificial Intelligence Act

Der sachliche Anwendungsbereich des Artificial Intelligence Act wird durch die erstmalige Legaldefinition von KI-Systemen in Art. 3 Abs. 1 Artificial Intelligence Act festgelegt. Danach ist ein KI-System eine Software, die auf Basis einer oder mehrerer in Anhang I des Artificial Intelligence Act aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren. Die folgenden Techniken und Konzepte sollen als KI-Techniken im Sinne des Artificial Intelligence Act gelten:

• Konzepte des maschinellen Lernens, mit beaufsichtigtem, unbeaufsichtigtem und bestärkendem Lernen unter Verwendung einer breiten Palette von Methoden, einschließlich Deep Learning (Anhang I Buchst. a) Artificial Intelligence Act);

• logik- und wissensgestützte Konzepte, einschließlich Wissensrepräsentation, induktiver (logischer) Programmierung, Wissensgrundlagen, Inferenz- und Deduktionsmaschinen, (symbolischer) Schlussfolgerungs- und Expertensysteme (Anhang I Buchst. b) Artificial Intelligence Act);

• statistische Ansätze, Bayessche Schätz-, Such- und Optimierungsmethoden (Anhang I Buchst. c) Artificial Intelligence Act).

II. Räumlicher Anwendungsbereich des Artificial Intelligence Act

Der räumliche Anwendungsbereich des Artificial Intelligence Act soll sich erstrecken auf:

• Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind (Art. 2 Abs. 1 Buchst. a) Artificial Intelligence Act);

• Nutzer von KI-Systemen, die sich in der Union befinden (Art. 2 Abs. 1 Buchst. b) Artificial Intelligence Act);

• Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, wenn das vom System hervorgebrachte Ergebnis in der Union verwendet wird (Art. 2 Abs. 1 Buchst. c) Artificial Intelligence Act).

C. Risikobasierte Regulierung von KI-Systemen

Kern des Artificial Intelligence Act ist ein abgestufter risikobasierter Regulierungsansatz. Danach werden KI-Systeme je nach Risikograd in vier Kategorien unterteilt und mit dem jeweiligen Risikograd korrespondierenden Regelungen unterworfen.

I. KI-Systeme mit unannehmbarem Risiko

Auf der höchsten Stufe identifiziert der Artificial Intelligence Act zunächst KI-Systeme, die eine klare Bedrohung für die grundlegenden Werte der EU wie die Sicherheit, die Lebensgrundlagen und die fundamentalen Grundrechte der Menschen darstellen. Diese als besonders schädlich eingestuften KI-Systeme sollen verboten werden (Art. 5 Abs. 1 Artificial Intelligence Act).

Zu dieser Kategorie von KI-Systemen mit unannehmbarem Risiko zählen:

• Systeme zur unterbewussten, unterschwelligen Manipulation oder zur Ausnutzung des Alters, psychischer oder physischer Schwächen, die einen physischen oder psychischen Schaden von Personen verursachen oder verursachen können (Art. 5 Abs. 1 Buchst. a) und b) Artificial Intelligence Act);

• Systeme für Social Scoring durch öffentliche Behörden, wenn dadurch Personen oder Personengruppen nachteilig oder unvorteilhaft behandelt werden, und zwar entweder in einem sozialen Kontext, der nicht in Zusammenhang mit den Umständen der ursprünglichen Datenerhebung oder -erzeugung steht, oder in einer Weise, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist (Art. 5 Abs. 1 Buchst. c) Artificial Intelligence Act);

• Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (Art. 5 Abs. 1 Buchst. d) Artificial Intelligence Act). Derartige Echtzeit-Fernidentifizierungssysteme sollen nur unter bestimmten Voraussetzungen ausnahmsweise zulässig sein (etwa zur zielgerichteten Suche von Opfern von Straftaten und vermissten Kindern, zur Abwendung substanzieller Gefahren für Leben oder körperliche Unversehrtheit natürlicher Personen oder eines Terroranschlags, Art. 5 Abs. 1 Buchst. d) Doppelbuchst. i) - iii) Artificial Intelligence Act). Auch in diesen Ausnahmefällen bedürfen Echtzeit-Fernidentifizierungssysteme einer Genehmigung einer Justizbehörde oder einer anderen unabhängigen Stelle und unterliegen angemessenen Beschränkungen im Hinblick auf die zeitliche und geografische Geltung und die abgefragten Datenbanken.

II. Hochrisiko-KI-Systeme

Auf der zweithöchsten Stufe identifiziert der Artificial Intelligence Act KI-Systeme, von denen ein hohes Risiko ausgeht, weil sie sich potentiell nachteilig auf die Sicherheit der Menschen oder ihre Grundrechte auswirken können.

Zu solchen Systemen gehören einerseits Sicherheitskomponenten von Produkten, die unter sektorale Rechtsvorschriften der EU fallen (Art. 6 Abs. 1 Artificial Intelligence Act). Bei diesen Systemen wird davon ausgegangen, dass von ihnen ein hohes Risiko ausgeht, wenn sie gemäß diesen sektoralen Rechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden müssen.

Zudem definiert Anhang III des Artificial Intelligence Act die folgenden weiteren Hochrisiko-Anwendungsbereiche von KI-Systemen:

• biometrische Identifizierung und Kategorisierung natürlicher Personen (Anhang III Nr. 1 Artificial Intelligence Act);

• Verwaltung und Betrieb kritischer Infrastrukturen (Anhang III Nr. 2 Artificial Intelligence Act);

• allgemeine und berufliche Bildung (Anhang III Nr. 3 Artificial Intelligence Act);

• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit (Anhang III Nr. 4 Artificial Intelligence Act);

• Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen (Anhang III Nr. 5 Artificial Intelligence Act);

• Strafverfolgung (Anhang III Nr. 6 Artificial Intelligence Act);

• Migration, Asyl und Grenzkontrolle (Anhang III Nr. 7 Artificial Intelligence Act);

• Rechtspflege und demokratische Prozesse (Anhang III Nr. 8 Artificial Intelligence Act).

Für solche Hochrisiko-KI-Systeme sieht der Artificial Intelligence Act strenge Vorgaben vor (Art. 8 ff. KI-VO-E), die bereits erfüllt sein müssen, bevor sie auf den Markt gebracht werden dürfen:

• Angemessene Risikomanagementsysteme: Anbieter von Hochrisiko-KI-Systemen müssen ein kontinuierliches, iteratives Risikomanagementsystem für den gesamten Lebenszyklus des KI-Systems einrichten (Art. 9 Artificial Intelligence Act). Dieses ist regelmäßig zu aktualisieren. Zudem ist ein Qualitätsmanagementsystem einzurichten (Art. 17 Artificial Intelligence Act).

• Daten-Governance: Hochrisiko-KI-Systeme, die mit Daten trainiert werden, müssen eine entsprechende Daten-Governance implementieren und dürfen nur relevante, repräsentative, fehlerfreie und vollständige Trainings-, Validierungs und Testdatensätze verwenden, um Risiken und diskriminierende Ergebnisse so gering wie möglich zu halten (Art. 10 Artificial Intelligence Act).

• Technische Dokumentation: Hochrisiko-KI-Systeme bedürfen einer technischen Dokumentation, die bestimmte Mindestinhalte aufweist und stets aktuell gehalten werden muss, um die Rückverfolgbarkeit von Ergebnissen zu ermöglichen (Art. 11 Artificial Intelligence Act).

• Aufzeichnungspflichten: Hochrisiko-KI-Systeme müssen eine Funktion enthalten, die eine automatische Aufzeichnung von Vorgängen und Ereignissen („Logs“) während des Betriebs ermöglicht (Art. 12 Artificial Intelligence Act).

• Transparenz- und Informationspflichten: Nutzern von Hochrisiko-KI-Systemen muss eine präzise, vollständige, korrekte und eindeutige Anleitung zur Verfügung gestellt werden, damit diese die Ergebnisse des KI-Systems entsprechend interpretieren können (Art. 13 Artificial Intelligence Act).

• Menschliche Aufsicht: Hochrisiko-KI-Systeme müssen zur Risikominimierung so gestaltet sein, dass sie effektiv durch Menschen überwacht werden können (Art. 14 Artificial Intelligence Act).

• Schließlich sind Hochrisiko-KI-Systeme – entsprechend dem jeweiligen Einsatzbereich – so zu gestalten, dass sie während ihres gesamten Lebenszyklus ein hohes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen (Art. 15 Artificial Intelligence Act).

Anbieter von Hochrisiko-KI-Systemen müssen die Konformität mit den vorgenannten Compliance-Vorgaben grundsätzlich in eigener Verantwortung bewerten und eine schriftliche EU-Konformitätserklärung abgeben (Art. 48 Artificial Intelligence Act).

Eingeführt wird auch eine CE-Kennzeichnung, welche Anbieter für zunächst fünf Jahre bei Erfüllung der Voraussetzungen an ihrem Produkt anbringen dürfen (Art. 49 Artificial Intelligence Act). Zudem richtet die EU-Kommission eine zentrale EU-Datenbank für eigenständige Hochrisiko-KI-Systeme ein (Art. 60 Artificial Intelligence Act). Anbieter von Hochrisiko-KI-Systemen müssen diese vor Inverkehrbringen oder Inbetriebnahme in die EU-Datenbank eintragen (Art. 51 Artificial Intelligence Act).

III. KI-Systeme mit geringem Risiko

Unterhalb der Hochrisikoschwelle stellt der Artificial Intelligence Act besondere Transparenzverpflichtungen für bestimmte KI-Systeme mit geringem Risiko auf (Art. 52 Artificial Intelligence Act). KI-Systeme wie Chatbots, die mit natürlichen Personen interagieren, müssen ihre Nutzer darüber informieren, dass sie mit einer Maschine und keiner echten Person interagieren (Art. 52 Abs. 1 Artificial Intelligence Act). Die betroffenen Personen sollen so in die Lage versetzt werden, eine informierte Entscheidung darüber zu treffen, ob sie derartige Anwendungen weiter nutzen und mit diesen interagieren wollen. Auch die Verwendung eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung sowie sog. „Deep Fakes“, also durch Systeme manipulierte oder generierte unreale Bild-, Audio- und Videodateien, muss grundsätzlich offengelegt werden (Art. 52 Abs. 2 und 3 Artificial Intelligence Act).

IV. KI-Systeme mit minimalem Risiko

Alle anderen KI-Systeme mit minimalem Risiko werden von dem Artificial Intelligence Act nicht erfasst und können (natürlich unter Einhaltung des allgemein geltenden Rechts) entwickelt und verwendet werden.

D. Auswirkungen für die Praxis

Noch handelt es sich beim Artificial Intelligence Act um einen ersten Gesetzesentwurf. Eine abschließende Beurteilung wäre daher verfrüht. In jedem Fall handelt es sich um ein äußerst ambitioniertes und weltweit bislang einzigartiges Regulierungsvorhaben im Bereich der Künstlichen Intelligenz (Gorzala, RdW digital exklusiv 2021/34, S. 5).

Zu begrüßen ist, dass die EU-Kommission einen risikobasierten Regulierungsansatz mit je nach den identifizierten Risiken abgestuften Regelungen (Verbot, Compliance-, Transparenzverpflichtungen) verfolgt. Bisweilen wird die sehr weit gefasste Definition von KI-Systemen kritisiert, die auch Verfahren wie Suchmethoden oder Expertensysteme und damit nicht nur KI im engeren Sinne, sondern im Ergebnis nahezu jedes Computerprogramm erfasse (Engelmann/Brunotte/Lütkens, RDi 2021, 317; Bomhard/Merkle, RDi 2021, 276, 278). Positiv ist in jedem Fall, dass der Artificial Intelligence Act einen technologieneutralen Definitionsansatz wählt, der im Lichte neuer technischer Entwicklungen angepasst werden kann – Art. 4 Artificial Intelligence Act ermächtigt die EU-Kommission, durch sog. delegierte Rechtakte die Liste der vom Artificial Intelligence Act erfassten Techniken und Konzepte zu aktualisieren und zu ergänzen. Zu Recht moniert wird weiterhin, dass der Entwurf des Artificial Intelligence Act eine zentrale rechtliche Herausforderung beim Einsatz autonomer Systeme, die Haftung, vollständig ausklammert (Geminn, ZD 2021, 354, 359; Bomhard/Merkle, RDi 2021, 276, 283).

Ebenfalls positiv hervorzuheben ist, dass die EU-Kommission parallel zu den regulatorischen Vorgaben für KI-Systeme einen Fokus auf Innovationsförderung, gerade im Bereich der KMU und Startups, setzt: Nach Art. 53 Artificial Intelligence Act können die Mitgliedstaaten „KI-Reallabore“ (Regulatory Sandboxes) einrichten. Diese sollen eine kontrollierte Umgebung bieten, in der innovative KI-Technologien für eine begrenzte Zeit auf der Grundlage eines mit den zuständigen Behörden vereinbarten Testplans entwickelt, erprobt und validiert werden können. Beim Zugang zu den KI-Reallaboren sollen KMU und Startups bevorzugt werden (Art. 55 Artificial Intelligence Act). Ob die KI-Reallabore zur Erfolgsgeschichte werden, wird naturgemäß maßgeblich von den Rahmenbedingungen der Förderung und der (nicht nur finanziellen) Ausstattung durch die Mitgliedstaaten abhängen.


Fußnoten


1)

Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, COM(2021) 206 final.

2)

Annexes to the Communication from the Commission to the European Parliament, the European Council, the Council, the European Economic and Social Committee and the Committee of the Regions. 2030 Digital Compass: the European way for the Digital Decade, COM(2021) 118 final.



Zur Nachrichten-Übersichtsseite