Pflichten von Anbietern und Betreibern von KI-Systemen in der EU – Zusammenfassung unter Berücksichtigung des Trilogs vom 7. Mai 2026

Die EU-Verordnung über Künstliche Intelligenz (KI-VO, Verordnung (EU) 2024/1689) ist am 1. August 2024 in Kraft getreten und wird stufenweise vollständig anwendbar. Sie gilt für alle Akteure – auch solche außerhalb der EU – die ein KI-System auf dem EU-Markt in Verkehr bringen, in Betrieb nehmen oder nutzen, sofern die Ergebnisse des KI-Systems in der EU verwendet werden. Die KI-VO verfolgt einen risikobasierten Ansatz und unterscheidet zwischen verbotenen KI-Praktiken, Hochrisiko-KI-Systemen, KI-Systemen mit begrenztem Risiko (Transparenzpflichten) und KI mit minimalem Risiko. Die Pflichten, die sich aus der KI-VO ergeben, hängen maßgeblich davon ab, ob ein Unternehmen als Anbieter (Provider) oder als Betreiber (Deployer) eines KI-Systems einzuordnen ist.

1. Definitionen: Anbieter und Betreiber

Anbieter (Provider)

Gemäß Art. 3 Nr. 3 KI-VO ist ein Anbieter eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringt oder das KI-System in Betrieb nimmt – unabhängig davon, ob dies entgeltlich oder unentgeltlich geschieht. Der Anbieter muss das System nicht zwingend selbst technisch entwickelt haben; entscheidend ist, dass er es unter eigenem Namen oder eigener Marke auf den Markt bringt oder in Betrieb nimmt. Auch die rein interne Nutzung eines selbst entwickelten KI-Systems macht den Entwickler zum Anbieter, da er das System „in Betrieb nimmt".

Betreiber (Deployer)

Gemäß Art. 3 Nr. 4 KI-VO ist ein Betreiber eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung nutzt, es sei denn, die Nutzung erfolgt im Rahmen einer persönlichen, nicht beruflichen Tätigkeit. Der Betreiber setzt also ein von einem Anbieter bereitgestelltes KI-System im eigenen betrieblichen Kontext ein, ohne es selbst auf den Markt zu bringen. Typische Beispiele sind ein Unternehmen, das ein KI-gestütztes Bewerbermanagement-Tool eines Drittanbieters einsetzt, oder eine Bank, die ein fremdes KI-basiertes Kreditscoring-System nutzt.

Abgrenzung und Rollenwechsel

Die Unterscheidung ist von zentraler Bedeutung, da Anbieter deutlich umfangreichere Pflichten tragen als Betreiber. In der Praxis kann ein Unternehmen gleichzeitig Anbieter für ein bestimmtes KI-System und Betreiber für ein anderes sein – etwa, wenn es ein eigenes KI-Rekrutierungstool entwickelt (Anbieter) und zugleich ein externes KI-Analysetool nutzt (Betreiber).

Besonders praxisrelevant ist der Rollenwechsel vom Betreiber zum Anbieter gemäß Art. 25 Abs. 1 KI-VO. Ein Betreiber wird zum Anbieter, wenn er ein Hochrisiko-KI-System unter eigenem Namen oder eigener Marke auf den Markt bringt, eine wesentliche Veränderung an einem Hochrisiko-KI-System vornimmt, oder den Verwendungszweck eines KI-Systems so ändert, dass es zu einem Hochrisiko-KI-System wird. 

In diesen Fällen übernimmt der Betreiber die vollständigen Anbieterpflichten für das betreffende System. 

2. Verbotene KI-Praktiken

Seit dem 2. Februar 2025 sind bestimmte KI-Anwendungen vollständig verboten, darunter Social Scoring, unterschwellige Manipulation, Echtzeit-Biometrie im öffentlichen Raum (mit engen Ausnahmen) sowie biometrische Kategorisierung zur Ableitung sensibler Merkmale. Seit dem Trilog-Ergebnis vom 7. Mai 2026 ist zudem der Einsatz von KI-Systemen verboten, die nicht-einvernehmliche sexuell explizite oder intime Inhalte (sogenannte „Nudifier-Apps") oder Material des sexuellen Kindesmissbrauchs erzeugen. Dieses Verbot gilt ab dem 2. Dezember 2026 und richtet sich sowohl an Anbieter als auch an Betreiber solcher Systeme.

3. Pflichten der Anbieter von Hochrisiko-KI-Systemen

Ein KI-System gilt als hochriskant, wenn es entweder als Sicherheitskomponente in einem Produkt eingesetzt wird, das unter EU-Produktsicherheitsrecht fällt, oder wenn es für bestimmte in Anhang III aufgelistete Anwendungsfälle (z. B. Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, Strafverfolgung, Migration) vorgesehen ist.

Anbieter tragen die Hauptlast der Compliance-Pflichten unter der KI-VO. 

Im Einzelnen müssen sie:

• Ein umfassendes Risikomanagementsystem über den gesamten Lebenszyklus des Systems einrichten und aufrechterhalten (Art. 9). 
• Eine angemessene Datengovernance sicherstellen, d. h. Trainings-, Validierungs- und Testdaten müssen relevant, repräsentativ und möglichst fehlerfrei sein (Art. 10). 
• Umfassende technische Dokumentation erstellen, die die Konformität des Systems nachweist (Art. 11, Anhang IV). 
• Das System für automatische Protokollierung (Logging) relevanter Ereignisse entwerfen (Art. 12). 
• Den Betreibern geeignete Gebrauchsanweisungen bereitstellen, die Zweckbestimmung, Leistungsmerkmale, Einschränkungen und Anforderungen an die menschliche Aufsicht umfassen (Art. 13).
• Das System so gestalten, dass eine wirksame menschliche Aufsicht (Human Oversight) durch den Betreiber ermöglicht wird (Art. 14). 
• Angemessene Genauigkeit, Robustheit und Cybersicherheit gewährleisten (Art. 15). 
• Ein Qualitätsmanagementsystem einrichten (Art. 17).
• Vor dem Inverkehrbringen eine Konformitätsbewertung durchführen, eine EU-Konformitätserklärung erstellen und die CE-Kennzeichnung anbringen (Art. 43, 47, 48). 
• Das System in der öffentlichen EU-Datenbank registrieren (Art. 49). 
• Nach dem Inverkehrbringen ein Post-Market-Monitoring-System betreiben, schwerwiegende Vorfälle melden und erforderliche Korrekturmaßnahmen ergreifen (Art. 72, 73).
• Mit den zuständigen Behörden kooperieren und auf Anfrage die Konformität nachweisen.

4. Pflichten der Betreiber von Hochrisiko-KI-Systemen

Die Pflichten der Betreiber sind weniger umfangreich als jene der Anbieter, jedoch keineswegs unerheblich. 

Betreiber müssen insbesondere:

• Das Hochrisiko-KI-System gemäß den Gebrauchsanweisungen des Anbieters nutzen und entsprechende technische und organisatorische Maßnahmen umsetzen (Art. 26). 
• Die menschliche Aufsicht durch qualifiziertes Personal sicherstellen und entsprechende Personen benennen (Art. 26). 
• Die Eingabedaten auf Relevanz und Repräsentativität prüfen, soweit sie die Kontrolle über die Daten haben (Art. 26). 
• Den Betrieb des KI-Systems überwachen und bei identifizierten Risiken oder schwerwiegenden Vorfällen den Anbieter bzw. die zuständige Marktaufsichtsbehörde informieren (Art. 26).
• Von dem KI-System betroffene natürliche Personen informieren, wenn das System Entscheidungen über sie trifft oder unterstützt, und auf Verlangen eine verständliche Erklärung der Entscheidung bereitstellen (Art. 26, 86). 
• Sofern es sich um öffentliche Stellen oder bestimmte sensible Anwendungsfälle handelt, vor dem ersten Einsatz eine Grundrechte-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA) durchführen (Art. 27).
• Bei Einsatz am Arbeitsplatz die betroffenen Arbeitnehmer und deren Vertreter vorab informieren (Art. 26).
• Die automatisch erzeugten Protokolle (Logs) aufbewahren (Art. 26). 

Eine Zusammenfassung von diesem Teil unseres Beitrags finden Sie hier als Schaubild.

5. Transparenzpflichten für Anbieter und Betreiber (Art. 50)

Ab dem 2. August 2026 gelten die Transparenzpflichten des Art. 50 KI-VO für beide Rollen gleichermaßen. 

Die Pflichten sind dabei unterschiedlich verteilt:

Anbieter müssen sicherstellen, dass KI-Systeme, die direkt mit natürlichen Personen interagieren (z. B. Chatbots), so gestaltet sind, dass die betroffene Person informiert wird, dass sie mit einem KI-System kommuniziert. 

Zudem müssen KI-generierte Inhalte in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt erkennbar sein (Watermarking).

Betreiber müssen Personen informieren, wenn sie einem Emotionserkennungs- oder biometrischen Kategorisierungssystem ausgesetzt sind. 

Sie müssen außerdem offenlegen, wenn Deepfakes – also durch KI erzeugte oder manipulierte Bild-, Audio- oder Videoinhalte – verwendet werden. 

Ebenso müssen Betreiber offenlegen, wenn durch KI erzeugte oder manipulierte Texte veröffentlicht werden, die der Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse dienen.

Die Frist für die Implementierung von Watermarking- und Transparenzlösungen für KI-generierte Inhalte wurde durch den Trilog vom 7. Mai 2026 auf den 2. Dezember 2026 festgelegt (verkürzt von 6 auf 3 Monate Übergangsfrist).

6. Pflichten für Anbieter von General-Purpose-KI-Modellen (GPAI)

Seit dem 2. August 2025 gelten besondere Pflichten für Anbieter von allgemeinen KI-Modellen (GPAI). Diese Pflichten treffen ausschließlich Anbieter; Betreiber haben in Bezug auf GPAI-Modelle allein keine eigenständigen Pflichten – wohl aber in Bezug auf KI-Systeme, die auf GPAI-Modellen aufbauen. 

Alle GPAI-Anbieter müssen:

• Technische Dokumentation erstellen und pflegen. 
• Nachgelagerten Anbietern ausreichende Informationen und Dokumentation bereitstellen. 
• Eine Richtlinie zur Einhaltung des EU-Urheberrechts implementieren. Eine Zusammenfassung der Trainingsinhalte veröffentlichen. 

Für GPAI-Modelle mit systemischem Risiko (ab 10²⁵ FLOP Rechenleistung) gelten zusätzlich folgende Pflichten: 

• Durchführung von Modellevaluierungen und Adversarial Testing, 
• Meldung schwerwiegender Vorfälle, 
• Bewertung und Minderung systemischer Risiken sowie Gewährleistung angemessener Cybersicherheit.

7. Änderungen durch den Trilog vom 7. Mai 2026 (Digital Omnibus on AI)

Das vorläufige Abkommen vom 7. Mai 2026 zwischen Rat und Europäischem Parlament bringt wesentliche Änderungen, die sowohl Anbieter als auch Betreiber betreffen.

Verschobene Anwendungsfristen für Hochrisiko-Pflichten: Für eigenständige Hochrisiko-KI-Systeme (Anhang III) gelten die Pflichten ab dem 2. Dezember 2027 (statt 2. August 2026). Für Hochrisiko-KI-Systeme in regulierten Produkten gelten die Pflichten ab dem 2. August 2028 (statt 2. August 2027).

Weitere wesentliche Änderungen umfassen:

• Vermeidung von Doppelregulierung bei Maschinen: Für KI-Systeme in Maschinenbauprodukten genügt die Einhaltung der sektoralen Sicherheitsvorschriften (Maschinenverordnung); sie werden von der direkten Anwendung der KI-VO befreit.
• Engere Definition der „Sicherheitskomponente": KI-Systeme, die Nutzer lediglich unterstützen oder die Leistung optimieren, gelten nicht automatisch als hochriskant, wenn ihr Ausfall keine Gesundheits- oder Sicherheitsrisiken verursacht.
• Erweiterung der KMU-Privilegien auf kleine Midcap-Unternehmen (SMC): Bestimmte Erleichterungen, die bislang nur für KMU galten, werden auf kleine Midcap-Unternehmen ausgedehnt.
• Verarbeitung sensibler Daten zur Bias-Erkennung: Unter dem strengen Maßstab der „strikten Notwendigkeit" dürfen personenbezogene Daten zur Erkennung und Korrektur von Verzerrungen verarbeitet werden – sowohl für Hochrisiko- als auch Nicht-Hochrisiko-KI-Systeme.
• Registrierungspflicht bei Selbstbefreiung: Anbieter, die ihre Systeme gemäß Art. 6 Abs. 3 als nicht-hochriskant einstufen, müssen diese dennoch in der EU-Datenbank registrieren.
• Stärkung des AI Office: Die Durchsetzungsbefugnisse des EU-KI-Büros werden für bestimmte KI-Systeme, insbesondere solche auf Basis von GPAI-Modellen, ausgebaut.
• Regulatorische Sandboxes: Die Frist zur Einrichtung nationaler KI-Regulierungssandboxes wird auf den 2. August 2027 verschoben.

8. KI-Kompetenz (AI Literacy)

Seit dem 2. Februar 2025 sind sowohl Anbieter als auch Betreiber von KI-Systemen verpflichtet, ein ausreichendes Maß an KI-Kompetenz bei ihren Mitarbeitern und sonstigen mit dem Betrieb und der Nutzung von KI-Systemen befassten Personen sicherzustellen (Art. 4). 

9. Sanktionen

Bei Verstößen gegen die KI-VO drohen erhebliche Geldbußen, die sowohl Anbieter als auch Betreiber treffen können:

• Bis zu 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes bei verbotenen KI-Praktiken.
• Bis zu 15 Mio. EUR oder 3 % bei Verstößen gegen sonstige Pflichten (einschließlich der Hochrisiko-Pflichten und GPAI-Pflichten).
• Bis zu 7,5 Mio. EUR oder 1,5 % bei Bereitstellung unrichtiger Informationen an Behörden.

10. Weiteres Vorgehen

Das vorläufige Abkommen vom 7. Mai 2026 muss noch formell vom Europäischen Parlament und dem Rat angenommen werden; dies soll vor dem 2. August 2026 geschehen. Anbieter und Betreiber sollten bereits jetzt ihre KI-Systeme klassifizieren, ihre jeweilige Rolle bestimmen, prüfen ob ihre Systeme unter die Hochrisiko- oder Verbotskategorien fallen, und mit dem Aufbau der erforderlichen Compliance-Strukturen beginnen. Die durch den Trilog gewonnene zusätzliche Übergangsfrist bietet die Gelegenheit, sich gründlich auf die neuen Anforderungen vorzubereiten.