Öffentliche Einrichtungen im Wandel: Die Rolle des KI-Gesetzes

Öffentliche Einrichtungen und deren Angestellte müssen meist dieselben Regeln, Vorschriften und Gesetze befolgen, unabhängig davon, ob sie nun KI einsetzen oder nicht. Die Zahl der KI-spezifischen Vorschriften ist jedoch mit dem Inkrafttreten des EU-KI-Gesetzes signifikant in die Höhe geschnellt. 

Das KI-Gesetz gilt ab dem 2. August 2026, was zugleich die Frist für die Erfüllung der meisten Auflagen ist. Viele dieser Auflagen betreffen Einrichtungen des öffentlichen Dienstes. Aus diesem Grund ist jetzt ein guter Zeitpunkt, um die eigenen Abläufe unter dem Gesichtspunkt der Einhaltung des KI-Gesetzes zu bewerten. Bestimmte Verpflichtungen des KI-Gesetzes müssen 6 oder 12 Monate nach dem Inkrafttreten erfüllt werden, so kann sichergestellt werden, dass Einrichtungen diesen Verpflichtungen rechtzeitig nachkommen können.

Bietet meine Organisation bereits KI-Systeme an?

Es gibt Verpflichtungen für Anbieter von KI-Systemen und in geringerem Maße auch für Anwender:innen. Ein Bereitsteller ist eine Person oder eine Organisation, die ein KI-System professionell unter Aufsicht einsetzt. Ein Anbieter entwickelt ein KI-System oder lässt es entwickeln und bringt es auf den Markt. Er kann das KI-System auch unter seinem eigenen Namen oder seiner eigenen Marke in Betrieb nehmen. Dies kann sowohl gegen Bezahlung als auch kostenlos geschehen.

Der erste zu beachtende Punkt des KI-Gesetz ist die Definition eines Anbieters. Eine öffentliche Einrichtung, die ein KI-Element auf ihrer Website anbietet, gilt als Anbieter.

Dies gilt auch, wenn das KI-Element in Auftrag gegeben wurde und unter eigenen Namen läuft. Solche Einrichtungen müssen die Pflichten eines Anbieters erfüllen. Ihre Organisation kann also als Anbieter betrachtet werden, auch wenn sie selbst keine KI-Systeme entwickelt oder verkauft.

Mögliche Risiken durch die KI-Systeme meiner Organisation

Die im KI-Gesetz festgelegten Verpflichtungen hängen sowohl davon ab, ob die Organisation ein Anbieter oder ein Bereitsteller von KI-Systemen ist, als auch davon, wie hoch das mit dem System verbundene Risiko ist. KI-Systeme, die ein vernachlässigbares oder sehr geringes Risiko darstellen, wie z. B. Videospiel-Elemente, die KI verwenden, fallen überhaupt nicht in den Anwendungsbereich des KI-Gesetzes. KI-Systeme werden in drei risikobasierte Kategorien eingeteilt: verbotene, risikoreiche und sonstige Systeme. Die Risiken, die der Klassifizierung zugrunde liegen, betreffen die Gesundheit, die Sicherheit und die Grundrechte, einschließlich der Beeinflussung von Entscheidungsprozessen.

Da es sich hierbei in der Regel um Dinge handelt, die die Tätigkeit öffentlicher Stellen betreffen, kann man davon ausgehen, dass öffentliche Stellen besonders häufig risikoreiche und sonstige Systeme nutzen, die in den Anwendungsbereich des KI-Gesetzes fallen.

Zu den verbotenen KI-Praktiken gehören beispielsweise KI-gestütztes Social-Scoring, biometrische Echtzeit-Identifizierung im öffentlichen Raum (nur in Ausnahmefällen erlaubt), unterschwellige, manipulative oder betrügerische Techniken und die Ausnutzung der Schwachstellen von beispielsweise Kindern oder älteren Menschen.

Systeme mit hohem Risiko umfassen:

• KI-Systeme, die als Sicherheitskomponenten im Straßenverkehr eingesetzt werden
• KI-Systeme für die Wasser-, Gas-, Heizungs- oder Stromversorgung
• KI-Systeme für die Personalbeschaffung oder für die Entscheidung über Beförderung oder Beendigung von Angestellten
• KI-Systeme, die von Justizbehörden zur Erforschung und Auslegung von Sachverhalten und Gesetzen sowie zur Anwendung des Rechts auf konkrete Fälle genutzt werden

Anbieter von KI-Systemen mit hohem Risiko haben Verpflichtungen – in Bezug auf die Konformitätsbewertung, ein Qualitätsmanagementsystem und die Qualitätssicherung, die Dokumentation, die Gewährleistung einer wirksamen menschlichen Aufsicht sowie die Genauigkeit, Robustheit und Cybersicherheit des KI-Systems durch Design und Entwicklung.

Zu den Pflichten der Betreiber von KI-Systemen mit hohem Risiko gehören z. B. die Zuweisung menschlicher Aufsicht, die Sicherstellung der Nutzung gemäß den Anweisungen des Betreibers und die Führung automatisch erstellter Protokolle. Bereitsteller, bei denen es sich um Behörden oder EU-Institutionen handelt, müssen sich außerdem in einer EU-Datenbank registrieren lassen.

Bereitsteller, bei denen es sich um Einrichtungen des öffentlichen Rechts oder um private Unternehmen handelt, die öffentliche Dienstleistungen erbringen, müssen vor dem Einsatz eines KI-Systems mit hohem Risiko eine Bewertung der Auswirkungen auf die Grundrechte vornehmen, die sich aus der Nutzung des Systems ergeben können.

Auswirkungen für allgemeine KI-Modelle

Das KI-Gesetz enthält auch Verpflichtungen in Bezug auf KI-Modelle für allgemeine Zwecke. KI-Modelle mit allgemeinem Verwendungszweck sind in der Lage ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen. Sie werden unterteilt in Modelle mit Systemrisiko, d. h. Modelle, die hohe Auswirkungen haben, und Modelle, die kein Systemrisiko aufweisen.

Anbieter von Modellen mit systemischem Risiko müssen:

• Das Modell der Kommission melden.
• Eine Modellevaluierung einschließlich adversarialen Testens durchführen.
• Mögliche systemische Risiken auf EU-Ebene bewerten und mindern.
• Ernsthafte Vorfälle und Korrekturmaßnahmen verfolgen, dokumentieren und melden.
• Die Cybersicherheit gewährleisten, einschließlich der physischen Infrastruktur des Modells.

Verpflichtungen von Anbietern von Modellen mit und ohne Systemrisiko

• Technische Dokumentation erstellen und aktuell halten.
• Bestimmte Informationen an KI-Systemanbieter weitergeben, die das Modell in ihre KI-Systeme integrieren.
• Eine Richtlinie zum Schutz geistiger Eigentumsrechte haben.
• Eine detaillierte Zusammenfassung über die für das Training verwendeten Inhalte öffentlich zugänglich machen.

Welche allgemeinen Verpflichtungen sieht das KI-Gesetz vor?

Sowohl Anbieter als auch Betreiber von KI-Systemen müssen Maßnahmen ergreifen, um sicherzustellen, dass ihre Mitarbeitenden und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen zu tun haben, über ein ausreichendes Maß an KI-Kompetenzen verfügen. Das bedeutet, dass sie über die Fähigkeiten, das Wissen und das Verständnis verfügen, die es ihnen ermöglichen, KI-Systeme sachkundig einzusetzen und dabei ihre Rechte und Pflichten zu verstehen, sowie über die Chancen und Risiken von KI und die möglichen Schäden, die sie verursachen kann im Bilde sind. Die Beschreibung der KI-Kompetenz im KI-Gesetz ist noch recht allgemein gehalten, sollte aber konkreter werden, sobald die EU und andere Beamte zusätzliches Material zum KI-Gesetz veröffentlichen.

Eine weitere Verpflichtung, die sowohl die Anbieter als auch die Einführer betrifft, ist die Transparenz. Die Anbieter müssen sicherstellen, dass, wenn KI-Systeme direkt mit Menschen interagieren sollen, die betroffenen Menschen darüber informiert werden oder erkennen können, dass sie mit einem KI-System interagieren. Außerdem müssen sie dafür sorgen, dass von KI erzeugte synthetische Bilder, Audio-Dateien, Videos und Texte in einem maschinenlesbaren Format als künstlich erzeugt oder manipuliert gekennzeichnet und als solche erkennbar sind.

Die Anbieter müssen Personen informieren, die einem System zur Erkennung von Emotionen oder zur biometrischen Kategorisierung unterzogen werden. Die Einsatzstellen müssen auch so genannte Deepfakes oder KI-generierte oder manipulierte Bild-, Audio- oder Videoinhalte, die existierenden Personen, Objekten, Orten, Einrichtungen oder Ereignissen ähneln und einer Person fälschlicherweise als authentisch oder wahrheitsgemäß erscheinen würden, als künstlich erzeugt oder manipuliert offenlegen.

Auch Texte, die zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse veröffentlicht werden, müssen als künstlich erzeugt oder manipuliert gekennzeichnet werden, wenn keine menschliche Überprüfung oder redaktionelle Kontrolle des Textes stattfindet.

Das Gesetz ist da und wie gehts weiter?

Das Gesetz ist da und wie gehts weiter?

Wie ich bereits erwähnt habe, ist das KI-Gesetz in Kraft getreten und ab dem 2. August 2026 anwendbar. Allerdings gibt es einige Ausnahmen. Die wichtigsten für Anbieter und Betreiber von KI-Systemen sind, dass die allgemeinen Bestimmungen des KI-Gesetzes (einschließlich der Verpflichtung zur KI-Kenntnis) und die Bestimmungen über verbotene KI-Praktiken ab dem 2. Februar 2025 gelten und die Bestimmungen über KI-Modelle für allgemeine Zwecke ab dem 2. August 2025 gelten.  

Für KI-Systeme, die zum Zeitpunkt des Inkrafttretens bereits in Umlauf gebracht oder in Betrieb genommen wurden, gelten die folgenden Fristen:  

• Anders als bei der verbotenen Nutzung müssen Betreiber von KI-Systemen mit hohem Risiko, die vor dem 2. August 2026 in Umlauf gebracht oder in Betrieb genommen wurden, das KI-Gesetz nur dann einhalten, wenn diese Systeme ab diesem Zeitpunkt wesentliche Änderungen an ihrer Gestaltung aufweisen.   
• Anbieter und Betreiber von KI-Systemen mit hohem Risiko, die von Behörden eingesetzt werden sollen, müssen die erforderlichen Maßnahmen ergreifen, um die Anforderungen und Pflichten des KI-Gesetzes bis zum 2. August 2030 zu erfüllen, abgesehen von der verbotenen Nutzung.  
• Anbieter von KI-Modellen für allgemeine Zwecke, die vor dem 2. August 2025 in Umlauf gebracht wurden, müssen die erforderlichen Maßnahmen ergreifen, um den Verpflichtungen des KI-Gesetzes bis zum 2. August 2027 nachzukommen.
• Abgesehen von der verbotenen Verwendung müssen bestimmte EU-KI-Systeme, die vor dem 2. August 2027 in Umlauf gebracht oder in Betrieb genommen wurden, bis zum 31. Dezember 2030 mit dem KI-Gesetz in Einklang gebracht werden. 

Abschließende Gedanken

Öffentliche Stellen müssen die Verpflichtungen des KI-Gesetzes nicht nur bei der Planung und Umsetzung des KI-Einsatzes berücksichtigen, sondern beispielsweise auch bei der Beschaffung, damit sichergestellt werden kann, dass die beschafften Systeme mit dem KI-Gesetz konform sind. Dies kann eine Herausforderung sein, da das KI-Gesetz derzeit in vielerlei Hinsicht unklar ist, wenn es um seine genaue, konkrete Bedeutung geht. Auch die Anwendung vieler bereits geltender Gesetze und anderer Vorschriften, wie z.B. Urheberrechtsgesetze und -verordnungen, auf die Nutzung von KI ist teilweise unklar, da es z.B. wenig Rechtsprechung zur Auslegung gibt.

Bei Fragen oder Bedenken bezüglich des KI-Gesetzes sollte Hilfe in Anspruch genommen werden. Möglicherweise hat Dein Mitgliedstaat die für das KI-Gesetz zuständigen nationalen Behörden noch nicht benannt, aber das sollte bald geschehen. Wir erwarten, dass die Behörden sowohl auf nationaler als auch auf EU-Ebene Material zur Erläuterung des KI-Gesetzes erstellen werden. Das KI-Gesetz selbst enthält das Versprechen, dass dies geschehen wird, da die Aufgaben des KI-Büros und des KI-Rats auch die Erstellung von Dokumenten umfassen, die bei der Einhaltung des KI-Gesetzes helfen. Es ist jedoch nicht ratsam, einfach abzuwarten. Hilfe bei der Einhaltung des KI-Gesetzes erhältst Du natürlich auch von uns bei Gofore: Unsere erfahrenen technischen Expert:innen helfen gerne weiter.

Die risikoloseste Option wäre natürlich, überhaupt keine KI einzusetzen. Es ist jedoch nur selten sinnvoll, absichtlich auf technologische Entwicklungen zu verzichten.

Dies gilt insbesondere für KI, da hier erhebliche Vorteile zu erwarten sind, z. B. durch betriebliche Effizienz und Qualitätssicherung. Eine sorgfältige rechtliche Risikobewertung und die Sicherstellung der Angemessenheit interner Prozesse und Governance-Modelle sind wirksame Mittel, um die Nachhaltigkeit des eigenen Betriebs auch unter Compliance- oder rechtlichen Gesichtspunkten zu gewährleisten.

So kannst Du die Vorteile von KI in Deiner Organisation nutzen, ohne unangemessene rechtliche oder andere Risiken einzugehen. Es gilt einmal mehr, dass der kurzfristige Einsatz von Ressourcen langfristig eine verbesserte Qualität und Effizienz ermöglicht.