Stellungnahme vom 10. Oktober 2025 zum Entwurf eines Gesetzes zur Durchführung der Verordnung über künstliche Intelligenz (KI-VO) (Stand: 11. September 2025)

Der Gesetzentwurf sieht zu Unrecht von der Möglichkeit des Art. 74 Abs. 8 KI-VO ab, die Zuständigkeiten zur Überwachung der dort genannten Hochrisiko-KI-Systeme den deutschen Datenschutzaufsichtsbehörden zuzuweisen. Damit verfehlt er die eigene Zwecksetzung, bestehende Strukturen zu nutzen und Doppelstrukturen zu vermeiden (S. 21 des Gesetzesentwurfs). Die Datenschutzaufsichtsbehörden bleiben insb. nach der JI-Richtlinie für die gleichen Systeme zuständig, die Bundesnetzagentur (BNetzA) käme im Anwendungsbereich der KI-VO hinzu, der bürokratische Aufwand würde unnötig steigen. Soweit der Entwurf die Zuständigkeit der BNetzA für die Überwachung des Einsatzes von Hochrisiko-KI-Systemen durch Behörden der Länder vorsieht, verstößt diese Zuständigkeitszuweisung zudem gegen die föderale Zuständigkeitsordnung des Grundgesetzes.

Die DSK fordert eine Regelung, die diese Aufgaben den Datenschutzaufsichtsbehörden des Bundes und der Länder überträgt. Im Hinblick auf die noch offene Regelung zum Verhältnis der BNetzA zu den Datenschutzaufsichtsbehörden fordert die Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK) eine eindeutige Regelung, dass datenschutzrechtliche Fragen abschließend von der jeweils zuständigen unabhängigen Datenschutzaufsichtsbehörde beantwortet werden. Der Gesetzentwurf bedarf weiterhin dahingehend der Klarstellung, dass die Datenschutzaufsichtsbehörden in Bund und Ländern datenschutzrechtliche KI-Reallabore errichten und betreiben dürfen.

1. Die Regelung zur Durchführung des Art. 74 Abs. 8 KI-VO

Der Gesetzentwurf regelt die behördliche Aufsichtsstruktur zur Durchführung und Überwachung der KI-VO. Damit kommt er dem Auftrag der KI-VO nach, wonach innerhalb von 12 Monaten nach Inkrafttreten der KI-VO am 1. August 2024 national zuständige Behörden einzurichten oder zu benennen sind. Jenseits sektoraler Zuständigkeiten weist der Gesetzentwurf die allgemeinen Zuständigkeiten vollständig der BNetzA zu. Sofern Hochrisiko-KI-Systeme im Kontext von Strafverfolgung, Wahlen, Grenzkontrolle und Justizverwaltung (Art. 74 Abs. 8 i. V. m. Anhang III Nr. 1, 6, 7, 8 KI-VO) eingesetzt werden, können Marktüberwachungsbehörden jedoch nur bestimmte Behörden sein. Dies sind entweder die Datenschutzaufsichtsbehörden nach der Datenschutzgrundverordnung (DS-GVO) bzw. der JI-Richtlinie oder „jede andere gemäß denselben Bedingungen wie den in Artikel 41 bis 44 der Richtlinie (EU) 2016/680 festgelegten benannte“ Behörde.

Art. 74 Abs. 8 KI-VO stellt einen eindeutigen Zusammenhang zur Datenschutzaufsicht nach DS-GVO und JI-Richtlinie her. Wenn in einem der Mitgliedstaaten nicht eine Datenschutzaufsichtsbehörde, sondern eine gesondert eingerichtete völlig unabhängige Datenschutzbehörde bereits für die Einhaltung der Regelungen der JI-Richtlinie zuständig ist, soll auch eine solche schon bestehende Behörde als Marktüberwachungsbehörde benannt werden können. Damit wird auch den jeweiligen Gegebenheiten in den Mitgliedstaaten im Hinblick auf die Zuständigkeiten nach der JI-Richtlinie Rechnung getragen. Der Verordnungsgeber wollte damit die Möglichkeit eröffnen, bestehende Zuweisungen und entsprechend entwickelte Vollzugserfahrung nutzbar zu machen. Im Gesetzgebungsverfahren war der Erlaubnisvorbehalt beim Verbot des KI-Einsatzes durch Strafverfolgungsbehörden (Art. 5 Abs. 1 lit. h) KI-VO) überhaupt nur unter der Bedingung der Sicherstellung einer sachadäquaten Aufsicht konsensfähig.

Dies legt der Erwägungsgrund 159 KI-VO nahe. Dieser lautet:

„(159) Jede Marktüberwachungsbehörde für Hochrisiko-KI-Systeme im Bereich der Biometrie, die in einem Anhang zu dieser Verordnung aufgeführt sind, sollte — soweit diese Systeme für die Zwecke der Strafverfolgung, von Migration, Asyl und Grenzkontrolle oder von Rechtspflege und demokratischen Prozessen eingesetzt werden — über wirksame Ermittlungs- und Korrekturbefugnisse verfügen, einschließlich mindestens der Befugnis, Zugang zu allen personenbezogenen Daten, die verarbeitet werden, und zu allen Informationen, die für die Ausübung ihrer Aufgaben erforderlich sind, zu erhalten. Die Marktüberwachungsbehörden sollten in der Lage sein, ihre Befugnisse in völliger Unabhängigkeit auszuüben. Jede Beschränkung ihres Zugangs zu sensiblen operativen Daten im Rahmen dieser Verordnung sollte die Befugnisse unberührt lassen, die ihnen mit der Richtlinie (EU) 2016/680 übertragen wurden (Hervorhebung diesseitig). Kein Ausschluss der Offenlegung von Daten gegenüber nationalen Datenschutzbehörden im Rahmen dieser Verordnung sollte die derzeitigen oder künftigen Befugnisse dieser Behörden über den Geltungsbereich dieser Verordnung hinaus beeinträchtigen.“

Der Erwägungsgrund beschreibt die von der KI-VO festgelegten Marktüberwachungsbehörden somit als die Behörden, die die Befugnisse einsetzen können, „die ihnen mit der Richtlinie (EU) 2016/680 übertragen wurden“. Der Wortlaut spricht dafür, dass diese Übertragung in der Vergangenheit erfolgt sein muss. Zur Umsetzung der Richtlinie (EU) 2016/680 wurden die dort genannten Datenschutzbefugnisse den Datenschutzaufsichtsbehörden im Sinne dieser Richtlinie übertragen. Der Gesetzgeber sollte die fortbestehenden Kompetenzen und vorhandenen Erfahrungen der Datenschutzbehörden in der Aufsicht über die entsprechenden sensiblen Bereiche nutzen und keine Doppelzuständigkeiten für ein und denselben Lebenssachverhalt schaffen.

2. Die Beachtung der föderalen Zuständigkeitsordnung

Nach dem Gesetzentwurf soll der BNetzA auch die Zuständigkeit zukommen, den Einsatz von Hochrisiko-KI-Systemen durch die Behörden der Länder zu beaufsichtigen. Darin liegt ein klarer Verstoß gegen die Zuständigkeitsordnung des Grundgesetzes. Die Zuständigkeit muss vielmehr den ohnehin für die Aufsicht zuständigen Länderbehörden obliegen. Damit werden Doppelstrukturen und unnötiger bürokratischer Aufwand vermieden.

Die im Gesetzentwurf vorgenommene Zuweisung der Zuständigkeit an die BNetzA verstößt gegen die föderale Zuständigkeitsordnung des Grundgesetzes. Die Ausübung der staatlichen Befugnisse und die Erfüllung der staatlichen Aufgaben obliegt grundsätzlich den Ländern (Art. 30 GG). Die Länder führen die Bundesgesetze als eigene Angelegenheit aus, eine Bundesbehörde kann lediglich im spezifisch geregelten Fall zuständig sein (Art. 83, 72 Abs. 2 GG). Dies entspricht auch der Struktur der Behörden im Produktsicherheitsrecht, welche die Marktüberwachungs-Verordnung umsetzen (§ 4 MÜG, § 25 ProdSG). Da die KI-VO den Charakter einer Regelung des Produktsicherheitsrechts trägt (s. Erwägungsgrund 9 der KI-VO), ist die Verteilung der Verwaltungszuständigkeiten parallel zu konstruieren.

Nach Art. 87 Abs. 3 S. 1 GG können für Angelegenheiten, für die dem Bund die Gesetzgebung zusteht, selbständige Bundesoberbehörden errichtet werden. Als eine solche ist die BNetzA anzusehen. Diesen können unter den gleichen Voraussetzungen auch weitere Aufgaben zugewiesen werden. Die Begründung zum Gesetzentwurf nennt als Grundlage für die Gesetzgebungskompetenz des Bundes das Recht der Wirtschaft gemäß Art. 74 Nr. 11 GG. Die BNetzA soll allerdings z. B. auch zuständig sein für den KI-Einsatz in den Hochrisikobereichen biometrischer Fernidentifizierungssysteme durch die Polizei (Anhang III Nr. 1 a KI-VO), der allgemeinen und beruflichen Bildung an staatlichen Schulen (Anhang III Nr. 3 KI-VO) und in der Strafverfolgung (Anhang III Nr. 7 KI-VO), die nach Art. 3 Nr. 46 KI-VO auch die polizeiliche Gefahrenabwehr umfasst. Alle drei beispielhaft genannten Bereiche unterfallen jedoch der ausschließlichen Gesetzgebungs- und Verwaltungskompetenz der Länder. Soweit die Länderstellen KI-Systeme für einen Markt entwickeln, unterfallen sie zwar auch dem Recht der Wirtschaft. Soweit aber Schulbehörden oder Polizeibehörden der Länder KI-Systeme als Anbieter für eigene Zwecke entwickeln oder als KI-Betreiber anwenden und an keinem Marktgeschehen teilnehmen, unterfällt diese Tätigkeit nicht mehr dem Recht der Wirtschaft, sondern allein dem Schulrecht oder Polizeirecht der Länder und unterliegt damit der ausschließlichen Zuständigkeit der Länder.

Wollte die BNetzA umfassend den Einsatz von biometrischen Fernidentifikationssystemen durch eine Länderpolizei an den Anforderungen des Art. 5 Abs. 1 Buchst. h und Abs. 2 bis 5 KI-VO, die Entwicklung von Hochrisikosystemen im Schulbereich oder im Bereich der Gefahrenabwehr an den Anforderungen nach Art. 6 ff. KI-VO oder den Betrieb von KI-Systemen durch Schul- oder Polizeibehörden an den Anforderungen des Art. 26 KI-VO messen, müsste sie tief in Rechtsfragen eindringen, die im Kompetenzbereich der Länder liegen. Sie nähme dann also Prüfungen vor, die Länderbehörden vorbehalten sind. Damit verstößt eine Regelung, die das vorsieht, gegen die grundgesetzliche Verteilung der Verwaltungskompetenz.

3. Das Verhältnis der BNetzA zu den Datenschutzaufsichtsbehörden

Nach § 9 Abs. 4 des Gesetzentwurfs ist eine Regelung über das Verhältnis der BNetzA zu den Datenschutzaufsichtsbehörden noch offen. Die noch zu treffende Regelung muss sich an den bestehenden Aufgaben und Befugnissen der Datenschutzaufsichtsbehörden orientieren. Damit kann es nicht in Zweifel stehen, dass die Bewertung und Entscheidung zur Vereinbarkeit mit dem Datenschutzrecht den Datenschutzaufsichtsbehörden zustehen. Sie treffen die Letztentscheidung, die insoweit für andere Behörden wie die BNetzA bindend ist.

Wünschenswert ist eine Regelung zur effektiven Kooperation der BNetzA und der sektoralen Aufsichtsbehörden mit den Datenschutzaufsichtsbehörden. Dies umfasst einen allgemeinen Informationsaustausch ebenso wie die Zusammenarbeit im Einzelfall. Dies erfolgt auf der Grundlage des Prinzips der loyalen Zusammenarbeit des Art. 4 Abs. 3 EUV (EuGH, C-252/21, ECLI:EU:C:2023:537 - Meta Platforms u. a./Bundeskartellamt, Rn. 53).

4. Innovationsförderung durch KI-Reallabore in der Fläche

Für Innovationen im Bereich der KI-Anwendungen sind KI-Reallabore vor Ort von entscheidender Bedeutung. Dies sollte bei der Umsetzung der KI-VO in nationales Recht ausreichend berücksichtigt und im Wortlaut des § 13 klarer gefasst werden. Der Gesetzentwurf sieht in § 13 Abs. 1 die Einrichtung mindestens eines „zentralen“ KI-Reallabors vor. Einrichtung und Betrieb von KI-Reallaboren durch andere Behörden bleiben davon unberührt, § 13 Abs. 1 S. 2. Andere Behörden können KI-Reallabore im Sinne der KI-VO einrichten, sofern sie dafür zuständige Behörden sind. Dies umfasst zwei eng begrenzte Ausnahmefälle: Erstens, Behörden, die durch Bundes- oder Landesrecht zu Marktüberwachungsbehörden zur Ausführung der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften bestimmt wurden (§ 2 Abs. 2), und zweitens, die Bundesanstalt für Finanzdienstleistungsaufsicht (§ 2 Abs. 3). Dies könnte dahin verstanden werden, dass Länderbehörden aufgrund der Regelung im Durchführungsgesetz nur in diesen eng begrenzten Ausnahmefällen KI-Reallabore einrichten könnten, da sie ansonsten keine zuständigen Behörden sind.

Es bedarf der Klarstellung, dass die Datenschutzbehörden KI-Reallabore mit datenschutzrechtlichem Fokus einrichten und betreiben können. Wie die Differenzierung in § 13 des Referentenentwurfs zeigt, ist zwischen KI-Reallaboren (Art. 57, 58 KI-VO, § 13 Abs. 1) und anderen Reallaboren zu unterscheiden (§ 13 Abs. 2 S. 2). Die Bedeutung von KI-Reallaboren liegt in der besonderen Attraktivität für Entwickler von (zukünftigen) KI-Systemen, da die KI-VO nicht nur einen institutionellen Rahmen für ihre Einrichtung vorsieht, sondern auch materiell-rechtliche Wirkungen formuliert. Die in Art. 57 Abs. 12 KI-VO normierte Befreiung von Bußgeldern, sofern die (zukünftigen) Anbieter u. a. der Anleitung der zuständigen Behörden in gutem Glauben folgen, dürfte entscheidend für den Erfolg von KI-Reallaboren und deren Nutzung durch innovative Stellen sein. Ebenso wichtig ist die Anerkennung des Abschlussberichts gemäß Art. 57 Abs. 7 KI-VO. Dieser soll nach erfolgreichem Abschluss des KI-Reallabors die Konformität mit der KI-VO und, soweit eine Datenschutzbehörde im KI-Reallabor beteiligt war, mit der DS-GVO vermuten lassen. Dies sind zwei essenzielle Bestandteile für das Funktionieren des Mechanismus als Maßnahme der Innovationsförderung im Hinblick auf große wie kleine Anbieter – jedenfalls wenn (zukünftige) Anbieter motiviert werden sollen, das KI-Reallabor auch zu nutzen.

Der § 13 des Gesetzentwurfs kann als bloße Bestätigung des Art. 57 Abs. 1 KI-VO verstanden werden, um sicherzustellen, dass mindestens ein KI-Reallabor eingerichtet wird. Ungeachtet des Wiederholungsverbots sollte jedenfalls kein Hindernis für weitere KI-Reallabore daraus abgeleitet werden. Dies folgt aus Art. 57 Abs. 2 KI-VO. Zusätzliche KI-Reallabore sind auch auf regionaler und lokaler Ebene möglich. Wenn und soweit der BNetzA Einrichtung und Betrieb von KI-Reallaboren wie dargestellt auf die eng begrenzten Ausnahmefälle beschränken würde, wird verkannt, dass Innovation vor Ort entsteht – an Forschungseinrichtungen im öffentlichen Sektor oder an unternehmerischen Knotenpunkten auf Landesebene. Daher sieht die KI-VO bereits in Art. 57 Abs. 2 explizit die Möglichkeit vor, auch auf regionaler oder lokaler Ebene KI-Reallabore einzurichten. Erwägungsgrund 139 S. 3 KI-VO sieht vor, dass „KI‑Reallabore […] in der gesamten Union weithin verfügbar sein [sollen], und ein besonderes Augenmerk sollte auf ihre Zugänglichkeit für KMU, einschließlich Start-up-Unternehmen, gelegt werden“.