A. Einleitung: KI-Verordnung der EU
Am 01.08.2024 ist die KI-Verordnung (KI-VO) der Europäischen Union in Kraft getreten.1 Mit ihr wird ein einheitlicher Rechtsrahmen für die Implementierung und Verwendung von KI-Systemen in der Union geschaffen, um einen menschenzentrierten und vertrauenswürdigen KI-Einsatz in der Union zu ermöglichen, ein hohes Schutzniveau im Hinblick auf Grundrechte und Gemeinwohlinteressen sicherzustellen und Innovationen zu fördern.2 Geprägt wird die Verordnung durch typische produktsicherheitsrechtliche Elemente nach dem sog. New Legislative Framework wie einer Konformitätsbewertung für KI-Systeme vor Markteintritt und einem umfassenden Marktüberwachungsregime sowie einem risikobasierten Regulierungsansatz, der KI-Systeme nach gewissen Produkt- bzw. Produktkomponenteneigenschaften oder Einsatzparadigmen in verschiedene Risikokategorien kategorisiert und je nach Klassifizierung divergierende Rechtsfolgen vorsieht.3 Die einzelnen Vorgaben der KI-VO erlangen ausweislich Art. 113 KI-VO sukzessive Geltungskraft, einzelne Regelungen aus den Kapiteln I (allgemeine Bestimmungen inklusive Pflicht zur Förderung der KI-Kompetenz) und II (verbotene KI-Praktiken) der Verordnung gelten bereits seit Anfang Februar 2025. Als EU-Verordnung gilt die sekundärrechtliche KI-VO allgemein, verbindlich und unmittelbar in jedem Land der EU. Gleichzeitig enthält sie an einigen Stellen regulatorische Umsetzungsaufträge an die Mitgliedstaaten, die im Einzelnen zeitnah umgesetzt werden müssen. Vor kurzem wurde daher ein gemeinsamer Referentenentwurf von BMWK und BMJ für ein Gesetz zur Durchführung der KI-VO öffentlich (RefE), der in Art. 1 ein KI-Marktüberwachungsgesetz (KIMÜG) vorsieht. Der vorliegende Beitrag befasst sich mit Inhalt, Bedeutung und Auswirkungen dieses Referentenentwurfs.
B. Umsetzungsaufträge an die Mitgliedstaaten in der KI-VO
Die KI-VO enthält an einigen Stellen legislative Gestaltungs- und Regelungsaufträge an die Mitgliedstaaten, die von diesen einerseits verpflichtend innerhalb einer bestimmten Frist umzusetzen sind, andererseits aber auch lediglich Umsetzungsobliegenheiten enthalten.4
Ein zentrales Element des Regelungsauftrages an die Mitgliedstaaten ist die Etablierung einer mitgliedstaatlichen Behörden- und Aufsichtsstruktur im Hinblick auf die Marktüberwachung. Nach Art. 70 Abs. 1 Satz 1 KI-VO muss jeder Mitgliedstaat mindestens eine notifizierende Behörde i.S.d. Art. 28 KI-VO und mindestens eine Marktüberwachungsbehörde zur Durchsetzung der KI-VO i.S.d. Art. 74 ff. KI-VO einrichten oder benennen. Diese Einrichtung bzw. Benennung muss zeitnah, ausweislich des Art. 113 Unterabs. 3 Buchst. b KI-VO bis zum 02.08.2025 erfolgen. Nach Art. 70 Abs. 1 Satz 2 KI-VO müssen diese Behörden ihre Befugnisse unabhängig, unparteiisch und unvoreingenommen, faktisch also ohne Weisungsgebundenheit ausüben. Hinsichtlich der Marktüberwachungsbehörden als „zentrale Anlaufstellen“ (Art. 70 Abs. 2 Satz 3 KI-VO) sieht die KI-VO weitere Spezifikationen vor: im Rahmen von Finanzdienstleistungen (Art. 74 Abs. 6 KI-VO) sowie grundsätzlich bei bereits regulierten Produkten i.S.d. Anh. I Abschnitt A zur KI-VO (Art. 74 Abs. 3 KI-VO) sind die in diesem Rahmen schon etablierten Marktüberwachungsbehörden für die Aufsicht nach der KI-VO zuständig, nach Art. 74 Abs. 8 KI-VO in den Hochrisiko-Bereichen Biometrie, Strafverfolgung, Asyl und Grenzkontrolle sowie Justiz und Wahlen prinzipiell die nach der JI-RL5 zuständigen Behörden oder jede andere nach den Voraussetzungen der Art. 41 bis 44 JI-RL festgelegte Behörde. Daneben müssen die Mitgliedstaaten etwa nach Art. 57 Abs. 1 KI-VO grundsätzlich mindestens ein KI-Reallabor auf nationaler Ebene etablieren, gemäß Art. 18 Abs. 2 KI-VO die Bedingungen für die Bereithaltung der Anbieterdokumentation nach Art. 18 Abs. 1 KI-VO festlegen und nach Art. 99 Abs. 1 KI-VO Vorschriften für Sanktionen und weitere Durchsetzungsmaßnahmen unbeschadet der im Übrigen drohenden Sanktionen des Art. 99 KI-VO vorsehen.
C. Referentenentwurf eines Gesetzes zur Durchführung der KI-VO
Der RefE für ein Gesetz zur Durchführung der KI-VO mit Stand vom 04.12.2024 teilt sich als Artikelgesetz einerseits in das KIMÜG (Art. 1), das Gegenstand der vorliegenden Betrachtung ist, sowie Änderungen des § 2 Abs. 1 Hinweisgeberschutzgesetzes auf.
I. Zuständige Behörden, Zusammenarbeit und Befugnisse
1. BNetzA als zentrale nationale Aufsichtsbehörde
In § 2 Abs. 1 des RefE KIMÜG wird die Bundesnetzagentur (BNetzA) als die primär (soweit nicht anders bestimmt) zuständige Marktüberwachungsbehörde benannt. Diese kann nach § 2 Abs. 3 i.V.m. Art. 69 KI-VO zur Wahrnehmung dieser Aufgaben Sachverständige des wissenschaftlichen Gremiums auf EU-Ebene hinzuziehen und handelt i.S.d. Art. 70 Abs. 1 Satz 2 KI-VO gemäß § 2 Abs. 4 RefE KIMÜG unabhängig, unparteiisch und unvoreingenommen. Die BNetzA ist sowohl zentrale Anlaufstelle i.S.d. Art. 70 Abs. 2 Satz 3 KI-VO als auch die zentrale Beschwerdestelle (vgl. die §§ 5, 6 RefE KIMÜG) für Beschwerden i.S.d. Art. 85 KI-VO.6 Bei fehlender Zuständigkeit leitet sie die Beschwerde weiter an die zuständige Behörde i.S.d. § 7 RefE KIMÜG, was den Prozess für Beschwerdeführer erleichtern soll.7 Zudem übernimmt sie nach § 5 Abs. 3 RefE KIMÜG auch die Koordination mit dem auf EU-Ebene angesiedelten Büro für Künstliche Intelligenz (Art. 64 KI-VO). Zur Wahrnehmung der Aufgaben soll gemäß § 3 Abs. 1 RefE KIMÜG eine „Unabhängige Marktüberwachungskammer“ (UKIM) eingerichtet werden, welche sich aus Mitgliedern des Präsidiums der BNetzA und einer Geschäftsstelle zusammensetzt und auch die Kontrolle von KI-Systemen gemäß Art. 74 Abs. 8 KI-VO übernehmen soll (§ 3 Abs. 2 RefE KIMÜG). Mit Einrichtung der UKIM sollen besondere Anforderungen an die Unabhängigkeit der Behörde erfüllt werden.8 Die UKIM soll daher völlig unabhängig im Sinne einer gänzlichen Weisungsunabhängigkeit agieren, § 3 Abs. 5 RefE KIMÜG. § 4 RefE KIMÜG sieht die Einrichtung eines zentralen Koordinierungs- und Kompetenzzentrums (KoKIVO) für die KI-VO bei der BNetzA vor, die bei komplexen Entscheidungen zuständiger Behörden im Anwendungsbereich der KI-VO unterstützen (Nr. 1) und die Zusammenarbeit der zuständigen Behörden koordinieren (Nr. 2) soll. Zudem stellt sie Anleitungen zur Anwendung der KI-VO und technisches Fachwissen bereit (Nr. 3, 4), übernimmt die Aufstellung von Verhaltenskodizes i.S.d. Art. 95 Abs. 2 KI-VO (Nr. 5) und unterstützt die Innovationsförderung gemäß Kapitel VI der KI-VO (Nr. 6). Aus der Begründung zu § 3 RefE KIMÜG auf S. 21 des Entwurfes geht hervor, dass durch die zentrale Koordination und Bündelung von Ressourcen und Kompetenzen bei der BNetzA eine einheitliche Auslegung der Verordnung sichergestellt und zudem dem absehbaren KI-Fachkräftemangel entgegengewirkt werden soll, indem ein Konkurrenzkampf um diese knappen Ressourcen vermieden wird. Zudem wird an dieser Stelle erörtert, warum nicht die Datenschutzbehörden als Marktüberwachungsbehörde ausgewählt wurden, wie als Alternative in der KI-VO angedacht, diese sei primär auf Grundrechtsschutz fokussiert, so dass das Ziel der einheitlichen Marktregulierung, Rechtssicherheit und Innovationsförderung unterlaufen werden könnte.
2. Weitere zuständige Behörden, Zusammenarbeit und Befugnisse
§ 2 Abs. 1 KI-VO-RefE KIMÜG bestimmt, dass die Überwachung und Bewertung von Konformitätsbewertungsstellen der Deutschen Akkreditierungsstelle obliegen. In § 7 RefE KIMÜG werden sonstige zuständige Behörden benannt. Sofern KI-Systeme mit Produkten i.S.d. Anh. I Abschnitt A KI-VO zusammenfallen, sind die hiernach zuständigen Behörden gemäß Absatz 2 grundsätzlich ebenfalls für die Marktüberwachung nach der KI-VO zuständig. Inhaltlich umfassen die Aufgaben dabei die Aufsicht über verbotene Praktiken, Hochrisiko-KI-Systeme und Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme.9 Aus Absatz 2 ergibt sich, dass bei KI-Systemen in direkten Zusammenhang mit der Erbringung von Finanzdienstleistungen nicht die BNetzA die Marktüberwachung übernimmt, sondern die in den Rechtsvorschriften für Finanzaufsicht bestimmten Institute. In Bereichen, in denen es keine bereits bestehenden Behördenstrukturen gibt, wie etwa der kritischen Infrastruktur oder KI am Arbeitsplatz, ist die BNetzA zuständige Marktüberwachungsbehörde. § 8 RefE KIMÜG enthält weitere Regelungen hinsichtlich der Zusammenarbeit der zuständigen Behörden. Zunächst wird in Absatz 1 festgelegt, dass die Marktüberwachungsbehörden und die zu notifizierenden Behörden zur jeweiligen Aufgabenerfüllung zusammenarbeiten. Dazu gehört gemäß Absatz 2 insbesondere die gegenseitige Weiterleitung von Informationen über angestrebte Maßnahmen und in diesem Rahmen die Mitteilung von Beobachtungen und Feststellungen, die für die Erfüllung von Aufgaben potenziell bedeutsam sein können. Absatz 3 bestimmt schließlich, dass die Datenschutzbehörden, das BSI und das Bundeskartellamt (welchen nach der KI-VO eine eigenständige Bedeutung zukommt10) auch miteinzubeziehen sind, soweit deren Zuständigkeitsbereich berührt ist. Dabei werden die Marktüberwachungsbehörden i.S.d. Art. 74 Abs. 2 KI-VO verpflichtet, dem Bundeskartellamt jährlich alle erlangten Informationen, die für den Bereich der Wettbewerbsregeln von Interesse sein könnten, zu melden. Im Rahmen der Zusammenarbeit können die Behörden Informationen einschließlich personenbezogener Daten und Betriebs- und Geschäftsgeheimnisse austauschen. Durch die Inanspruchnahme von bereits bestehenden Behörden sollen Doppelstrukturen, die zum Nachteil betroffener Unternehmen gehen würden, vermieden und die sektorspezifische Expertise genutzt werden.11 Zudem sollen so der Verwaltungsaufwand minimiert und eine einheitliche und praktikable Rechtsanwendung erreicht werden.
§ 9 Abs. 1 RefE KIMÜG legt schließlich fest, dass den Marktüberwachungsbehörden für die Ausübung ihrer Tätigkeiten die Befugnisse des Art. 14 der Marktüberwachungsverordnung12 zustehen.
II. Innovationsförderung und KI-Reallabore
In § 10 RefE KIMÜG ist die nationale Errichtung und der Betrieb (mindestens) eines KI-Reallabors i.S.d. Art. 57, 58 KI-VO geregelt. Demnach hat die BNetzA die Aufgabe, ein solches zu errichten und zu betreiben. Auch bei dieser Aufgabe sollen die entsprechenden Behörden zusammenarbeiten, soweit deren Zuständigkeitsbereiche berührt sind. Nach Absatz 3 ist KMUs und Start-ups mit Sitz in der Union vorrangig Zugang zu den Reallaboren zu gewähren. Aus Absatz 5 ergibt sich die Ermächtigung für das BMWK, durch Rechtsverordnungen Näheres zu ihrer Einrichtung und ihrem Betrieb zu regeln. Insbesondere können dabei der BNetzA weitere Befugnisse übertragen werden, die zu ihrer Errichtung und Durchführung nötig sind, wobei auch die Ermächtigung zum Erlass von Rechtsverordnungen übertragen werden kann. In § 11 RefE KIMÜG wird nach Abs. 1 die Überwachung von Tests unter realen Bedingungen von Hochrisiko-KI-Systemen i.S.d. Art. 60 KI-VO geregelt. Die jeweils zuständigen Marktüberwachungsbehörden haben die Durchführung dieser Tests zu überwachen. Absatz 2 legt Näheres zur Durchführung der Tests fest. Bevor Anbieter von Hochrisiko-KI-Systemen nach Anhang III der KI-VO einen Test durchführen können, haben sie den Plan für den Test unter Realbedingungen vor der BNetzA vorzulegen, die den Test genehmigt, soweit er den Anforderungen aus Art. 60 Abs. 4 KI-VO entspricht. Der Test muss noch vor dem Inverkehrbringen oder der Inbetriebnahme des Systems stattfinden. Die Genehmigung gilt als erteilt, wenn ein Anbieter binnen 30 Tagen keine Antwort durch die Behörde erhält.
III. Sanktionen
In § 12 Abs. 1 RefE KIMÜG wird im Falle eines Verstoßes nach Art. 99 Abs. 3 bis 5 der KI-VO eine Anwendbarkeit des Gesetzes über Ordnungswidrigkeiten mit Ausnahme des § 17 OWiG erklärt. Beim Verfahren im Falle eines Verstoßes gelten, soweit nichts anderes bestimmt, die eben genannten Vorschriften sowie die allgemeinen Gesetze über das Strafverfahren, insbesondere die StPO und das GVG, wobei die in § 36 Abs. 1 Nr. 1 OWiG bestimmte Verwaltungsbehörde, die jeweils zuständige Marktüberwachungsbehörde ist.
D. Bedeutung des Entwurfs und Auswirkungen für die Praxis
Grundsätzlich bietet das im RefE vorgesehene KI-Marktüberwachungsgesetz ein stabiles Fundament für die KI-Aufsicht in Deutschland. Die Benennung der BNetzA als zentrale Aufsichtsbehörde ergibt aus verschiedenen Gründen Sinn, ist sie bereits jetzt schon mit Innovationsförderung und Marktüberwachung betraut und in Teilen komplett unabhängig.13 Gleichzeitig stößt der RefE KIMÜG auch in mehrfacher Hinsicht auf Kritik: Zum einen konfligiere die zentrale Ansiedlung der Marktüberwachung bei der BNetzA als Bundesoberbehörde und dort der UKIM mit der föderalistischen Kompetenzverteilung der Bundesrepublik zulasten der Zuständigkeit der Länder.14 Zum anderen wird speziell in Art. 74 Abs. 8 KI-VO für die Aufsicht in besonders sensiblen Bereichen explizit auf die zuständigen Datenschutzaufsichtsbehörden nach der JI-RL verwiesen. Indem die Aufsicht auch in diesen Bereichen nach § 3 Abs. 2 RefE KIMÜG auf die UKIM übertragen wird, drohe dadurch ein Unterlaufen der Vorgaben der KI-VO.15 Schließlich verpasst es der aktuelle RefE innerhalb des Regelungsauftrages des Art. 99 Abs. 1 KI-VO Sanktionen für allgemeine Pflichten der KI-VO außerhalb derer in Art. 99 Abs. 3-5 KI-VO wie etwa die Pflicht zur Förderung der KI-Kompetenz nach Art. 4 KI-VO vorzusehen und dieser unstreitig wichtigen rechtlichen Verpflichtung so Durchschlagskraft zu verleihen.
Der Referentenentwurf für ein KI-VO-Durchführungsgesetz ist zunächst als politische Leitlinie und Diskussionsgrundlage zu verstehen. Durch das verfassungsrechtlich bewährte Diskontinuitätsprinzip verfällt der Referentenentwurf für das Gesetz nämlich zunächst mit dem Ende der (aktuellen) 20. Legislaturperiode. Die neue Bundesregierung sollte auf Basis dieses Entwurfs zeitnah einen neuen Gesetzesentwurf zur Durchführung der KI-Verordnung einbringen und dabei bereits die angebrachten Kritikpunkte am RefE berücksichtigen. Dies ist nicht nur deshalb geboten, um den Regelungsauftrag innerhalb der verpflichtenden Frist bis August 2025 zu erfüllen und somit einem drohenden Vertragsverletzungsverfahren zu entgehen. Eine frühzeitige Umsetzung schafft überdies diejenige Rechtssicherheit für alle beteiligten Akteure, die für die Implementierung der KI-VO und somit einen einheitlichen EU-Rechtsrahmen für einen vertrauenswürdigen und menschenzentrierten KI-Einsatz in der EU erforderlich ist. Dies gilt ebenso für die Rechtspraxis, die schon vor der allgemeinen Geltung der KI-VO mit ihren umfassenden Compliance-Anforderungen und ihrer Implementierung befasst ist und daher zügig Klarheit über die deutsche KI-Governance-Struktur erhalten sollte. Die Ausgestaltung und Umsetzung eines KI-VO-Durchführungsgesetzes ist für die rechtliche Praxis daher von erheblicher Bedeutung.
