Rechtliche Rahmenbedingungen beim Einsatz von KI-AGENTEN

KI-Agenten gelten als nächste Entwicklungsstufe der Künstlichen Intelligenz und eröffnen Unternehmen neue Möglichkeiten zur Automatisierung komplexer Aufgaben. Während sich die Diskussion bislang vor allem auf generative Sprachmodelle fokussierte, rücken nun Systeme in den Vordergrund, die eigenständig planen, entscheiden und handeln können. Mit dem Inkrafttreten der KI-Verordnung und den weiterhin geltenden Datenschutzvorgaben entsteht ein komplexer Rechtsrahmen, der den Einsatz solcher Agenten prägt. Unternehmen müssen sich frühzeitig mit den regulatorischen Anforderungen auseinandersetzen, um Chancen der Technologie nutzen und zugleich Compliance-Risiken vermeiden zu können. Im Folgenden werden die Funktionsweise, die rechtliche Einordnung sowie die wesentlichen Handlungsfelder für Unternehmen näher beleuchtet.

I. Funktionen von KI-Agenten

KI-Agenten sind spezialisierte Systeme, die auf der Grundlage von Large Language Models (LLMs) oder ähnlichen Technologien eigenständig Aufgaben planen, ausführen und dabei kontinuierlich anpassen können. Im Unterschied zu klassischen KI-Anwendungen oder regelbasierten Automatisierungen (z. B. Robotic Process Automation) verfügen sie über eine Art „kognitives Zentrum“, das Zielvorgaben des Nutzers in Handlungsschritte übersetzt, Zwischenergebnisse bewertet und weitere Aktionen entsprechend ableitet. Ihre Funktionsweise wird durch drei zentrale Mechanismen geprägt: (1) Planungs- und Ausführungsschleifen, die in iterativen Zyklen komplexe Aufgaben in Teilaufgaben zerlegen, (2) Retrieval-Augmented Generation (RAG), bei dem externe Wissensbestände kontextabhängig eingebunden werden, sowie (3) Tool-Calling, also die Fähigkeit, externe Programme, Schnittstellen oder Datenbanken direkt anzusteuern.

Diese Eigenschaften eröffnen vielfältige Einsatzmöglichkeiten in der Unternehmenspraxis. Im administrativen Bereich können KI-Agenten etwa Rechnungen automatisiert erfassen und verarbeiten, in der Rechtsabteilung Verträge analysieren oder in HR-Prozessen das Onboarding neuer Mitarbeiter unterstützen. Auch im operativen Geschäft gewinnen sie an Bedeutung. So lassen sich beispielsweise Kundenanfragen über Chatbots oder personalisierte Produktempfehlungen über E-Commerce-Agenten bearbeiten, während im Recruiting intelligente Systeme Bewerbungsunterlagen vorselektieren und geeignete Kandidaten identifizieren. In all diesen Fällen zeichnet die Agenten aus, dass sie nicht nur Informationen bereitstellen, sondern selbstständig Entscheidungen treffen und Prozesse steuern können.

Das Risikoprofil kann sich damit erheblich von anderen KI-Systemen unterscheiden, denn während LLMs bislang primär Text generierten, können KI-Agenten aktiv in Geschäftsabläufe eingreifen und Handlungen mit realwirtschaftlichen Konsequenzen auslösen. Der Grad der Autonomie bestimmt dabei maßgeblich, wie stark menschliche Kontrolle verbleibt und wie hoch das Risiko fehlerhafter oder unvorhergesehener Handlungen ist. Unternehmen sehen sich daher vor die Aufgabe gestellt, das Potenzial von KI-Agenten zur Effizienzsteigerung mit einem sorgfältigen Management möglicher Fehlentscheidungen auszubalancieren.

II. Einordnung in die KI-Verordnung

Die Europäische KI-Verordnung unterscheidet grundsätzlich zwischen zwei Ebenen: Zum einem den zugrunde liegenden „KI-Modellen“ und zum anderen den darauf aufbauenden „KI-Systemen“. Ein KI-Modell bildet die technische Basis, zum Beispiel ein großes Sprachmodell, während das KI-System die konkrete Anwendung darstellt, die Unternehmen einsetzen. Für beide Ebenen gelten eigene Regeln, die sich teilweise überschneiden können.

Auf der Modellebene kommt es nicht auf den konkreten Einsatzzweck an, sondern auf die Fähigkeiten des Modells selbst. Modelle, die für ein breites Spektrum an Aufgaben geeignet sind, werden als „Modelle mit allgemeinem Verwendungszweck“ eingestuft. Das trifft typischerweise auf die großen Sprachmodelle zu, die die Grundlage vieler KI-Agenten bilden. Anbieter solcher Modelle müssen nach Art. 53 ff. KI-VO umfangreiche Transparenz- und Dokumentationspflichten erfüllen. Wird ein Modell zusätzlich als besonders leistungsstark und weitreichend eingestuft, kann es als Modell „mit systemischem Risiko“ klassifiziert werden, was zusätzliche Auflagen wie Modellevaluierungen nach sich zieht.

Auf der Systemebene entscheidet dagegen der Verwendungszweck. Wird ein KI-Agent in sehr unterschiedlichen Kontexten eingesetzt oder verfügt er über weitreichende Steuerungsmöglichkeiten, etwa weil er eigenständig mit Browsern oder Betriebssystemen interagieren kann, kann er als „KI-System mit allgemeinem Verwendungszweck“ gelten. Wird er dagegen in einem besonders sensiblen Bereich wie dem Personalmanagement, der Bildung oder in kritischen Infrastrukturen eingesetzt, fällt er in die Kategorie der Hochrisiko-Systeme. In diesem Fall gelten strenge Vorgaben, insbesondere zur menschlichen Kontrolle und zur Daten-Governance. Je höher der Autonomiegrad eines Agenten, desto größer ist die Anforderung an die Überwachung, was die Balance zwischen Effizienzgewinnen und Aufsichtspflichten schwierig macht.

Insgesamt zeigt sich, dass KI-Agenten an der Schnittstelle beider Regelungsebenen der KI-VO stehen. Verwender von KI-Systemen mit allgemeinem Verwendungszweck unterliegen zunächst nur Transparenzpflichten (siehe Art. 50 KI-VO). Zugleich können KI-Agenten  in sensitiven Einsatzbereichen hohe Compliance-Anforderungen auslösen. Das Zusammenspiel beider Regimes erhöht die Komplexität der Compliance und offenbart zugleich auch Regelungslücken. Problematisch ist, dass der risikobasierte Ansatz die spezifischen Gefahren von Agenten-Systemen nur unzureichend erfasst. So kann ein scheinbar unkritischer Anwendungsfall, wie etwa ein Reisebuchungsagent, erhebliche Risiken bergen, wenn das System in der Lage ist, selbstständig einen Computer oder Browser zu steuern. Die KI-VO adressiert solche Risiken bislang nicht ausreichend, da sie primär auf den beabsichtigten Verwendungszweck abstellt und weniger auf die technischen Fähigkeiten des Agenten.

III. Schnittstellen zum Datenschutzrecht

Der Einsatz von KI-Agenten wirft nicht nur Fragen der KI-Verordnung, sondern in gleichem Maße des Datenschutzrechts auf. Da die Systeme typischerweise auf großen Sprachmodellen basieren und häufig in der Cloud betrieben werden, besteht das Risiko, dass personenbezogene Daten oder vertrauliche Unternehmensdaten unkontrolliert an Dritte übertragen oder gar zu Trainingszwecken weiterverwendet werden. Für Unternehmen bedeutet dies, dass die Grundprinzipien der DSGVO wie Rechtmäßigkeit, Zweckbindung und Datenminimierung strikt einzuhalten sind. Besonders problematisch ist, dass KI-Agenten oft nicht nur Informationen verarbeiten, sondern aktiv in Geschäftsprozesse eingreifen und dadurch neue Datenströme erzeugen, die dokumentiert und abgesichert werden müssen.

Ein zentrales Instrument ist hierbei die Datenschutz-Folgenabschätzung nach Art. 35 DSGVO, die explizit auch für Hochrisiko-KI-Systeme nach Art. 26 KI-VO gefordert wird. Sie ist immer dann erforderlich, wenn der Einsatz von KI-Agenten voraussichtlich ein hohes Risiko für die Rechte und Freiheiten der Betroffenen mit sich bringt, was bei typischen Anwendungsfeldern wie Recruiting, Compliance-Monitoring oder u.U. auch Vertragsanalyse häufig der Fall sein wird. Unternehmen müssen dabei nicht nur prüfen, welche Daten verarbeitet werden, sondern auch, wo diese Daten gespeichert, verschlüsselt und weitergegeben werden. Gerade bei Cloud-Szenarien sind Transfer Impact Assessments und die Absicherung durch Standardvertragsklauseln unverzichtbar, um den Vorgaben zu internationalen Datenübermittlungen (Art. 44 ff. DSGVO) zu genügen.

Hinzu kommen technische und organisatorische Maßnahmen im Sinne von Art. 32 DSGVO, die an die Besonderheiten von KI-Agenten angepasst sein müssen. Klassische Schutzmechanismen wie reine Transportverschlüsselung reichen nicht aus, wenn ein Agent externe Tools aufruft oder eigenständig Schnittstellen ansteuert. Vielmehr müssen Konzepte wie Zero-Trust-Architekturen, Edge-Pre-Processing oder strenge Zugriffskontrollen etabliert werden, um die Vertraulichkeit und Integrität der Daten zu sichern. Zudem ist es notwendig, Auftragsverarbeiter sorgfältig auszuwählen und deren Compliance über Zertifikate oder Audits regelmäßig nachzuweisen.

Gerade an den Schnittstellen zwischen DSGVO und KI-VO zeigt sich, dass Unternehmen einen integrierten Ansatz benötigen. Während die KI-VO vor allem auf die technische Sicherheit und die Risikoklassifizierung abstellt, setzt die DSGVO mit ihren Grundprinzipien und Betroffenenrechten den Rahmen für die Verarbeitung personenbezogener Daten. Ein effektives Datenschutz- und IT-Sicherheitskonzept muss beide Regelungswerke zusammendenken und so ausgestaltet sein, dass sowohl regulatorische als auch praktische Risiken adressiert werden.

IV. Schnittstellen zum Data Act

Neben der KI-VO und der DSGVO kann auch der europäische Data Act für den Einsatz von KI-Agenten bedeutsam werden, dessen Übergangsfristen am 12. September 2025 ausgelaufen ist (wir berichteten). Der Data Act regelt den Zugang zu und die Weitergabe von Daten, die durch vernetzte Produkte oder verbundene Dienste erzeugt werden. Für KI-Agenten, die gerade durch ihre Fähigkeit zum autonomen Zugriff auf unterschiedliche Datenquellen Mehrwert schaffen, ist dies ein zentraler Anknüpfungspunkt. Sie können etwa Maschinendaten aus Produktionsanlagen, Sensordaten aus Fahrzeugen oder Nutzungsdaten aus IoT-Geräten nutzen, um eigenständig Prozesse zu optimieren oder Entscheidungen vorzubereiten.

Dabei ist allerdings zu beachten, dass sich der Data Act auf Rohdaten bezieht, die unmittelbar durch die Nutzung eines vernetzten Produkts anfallen. Diese müssen Herstellern und Drittparteien zugänglich gemacht werden. Nicht umfasst sind dagegen sogenannte „abgeleitete Daten“, also Informationen, die erst durch eine nachgelagerte Verarbeitung oder Analyse entstehen (vgl. ErwG 15). Daten, die ein KI-Agent im Rahmen seiner Tätigkeit generiert wie Reports, Prognosen oder Empfehlungen fallen deshalb grundsätzlich nicht unter die Zugangsverpflichtungen.

Für Unternehmen bedeutet dies einerseits, sie können durch KI-Agenten die neu geschaffenen Zugangsrechte nach dem Data Act effizient ausschöpfen und so Daten, die bisher in Datensilos gebunden waren, besser nutzbar machen. Andererseits entstehen neue Pflichten, da die Weitergabe solcher Daten an Agentensysteme die Einhaltung vertraglicher Vorgaben, technischer Standards und die Abgrenzung zu personenbezogenen Daten erfordert.

V. Schnittstellen zum Cyber Resilience Act

Neben dem Data Act gewinnt auch der europäische Cyber Resilience Act (CRA) für den Einsatz von KI-Agenten zunehmend an Bedeutung. Der CRA ist seit Dezember 2024 in Kraft und wird ab Ende 2027 vollumfänglich angewendet. Er legt erstmals verbindliche Mindestanforderungen an die Cybersicherheit für alle Produkte mit digitalen Elementen fest, die auf dem EU-Markt angeboten werden – darunter fallen auch KI-Agenten, sofern sie mit Netzwerken oder anderen Systemen verbunden sind.

Hersteller, Importeure und Händler sind verpflichtet, Cybersicherheitsaspekte bereits in der Produktentwicklung („Security by Design“) und in den Standardeinstellungen („Security by Default“) zu berücksichtigen. Dazu gehören unter anderem die Durchführung systematischer Risikobewertungen, die Integration von Schwachstellenmanagement und die Bereitstellung von Sicherheitsupdates über den gesamten Produktlebenszyklus. Ein zentrales Element ist die Transparenzpflicht, etwa durch die Erstellung einer Software Bill of Materials (SBOM), die alle verwendeten Komponenten dokumentiert.

Für KI-Agenten bedeutet dies, dass sie nicht nur datenschutzkonform, sondern auch nachweislich cyberresilient gestaltet und betrieben werden müssen. Die Einhaltung der CRA-Anforderungen ist künftig Voraussetzung für die CE-Kennzeichnung und damit für den Marktzugang in der EU. Verstöße können zu erheblichen Sanktionen führen, einschließlich Bußgeldern und Produktrückrufen.

VI. Schnittstellen zur eIDAS 2.0-Verordnung (EUDI Wallet)

Mit der Novellierung der eIDAS-Verordnung und der Einführung der European Digital Identity Wallet (EUDI-Wallet) entsteht ein europaweit einheitlicher Rahmen für digitale Identitäten und Vertrauensdienste. Spätestens ab Anfang 2027 müssen alle EU-Mitgliedstaaten ihren Bürgern und Unternehmen mindestens eine zertifizierte EUDI-Wallet bereitstellen, die als digitaler Ausweis, Nachweis und Authentifizierungsinstrument dient.

Für KI-Agenten eröffnet dies neue Möglichkeiten, insbesondere im Bereich der sicheren und automatisierten Identitätsprüfung, des Onboardings und der Interaktion mit Kunden und Geschäftspartnern. KI-Agenten könnten künftig direkt auf verifizierte Identitätsdaten und Attribute zugreifen, die vom Nutzer kontrolliert und freigegeben werden. Dies erhöht die Sicherheit und Compliance bei Transaktionen, reduziert den Aufwand für manuelle Prüfungen und ermöglicht neue, automatisierte Geschäftsmodelle – etwa im Finanzsektor, Gesundheitswesen oder bei digitalen Vertragsabschlüssen.

Allerdings müssen Unternehmen, die von diesen neuen Möglichkeiten Gebrauch machen, sicherstellen, dass KI-Agenten die Wallet-Daten datenschutzkonform und vertrauenswürdig verarbeiten. Die Wallet-Pflicht betrifft ab 2027 alle regulierten Branchen, in denen starke Authentifizierung oder KYC-Prozesse vorgeschrieben sind.

VII. Schnittstellen zum BFSG (Barrierefreiheitsstärkungsgesetz)

Mit dem BFSG setzt Deutschland den European Accessibility Act (RL (EU) 2019/882) um; seit dem 28. Juni 2025 sind bestimmte Produkte und verbrauchergerichtete Dienstleistungen barrierefrei zu gestalten.

Für KI Agenten ist das relevant, sobald sie Bestandteile solcher Angebote sind – etwa Chat  oder Voice Agenten in Online Shops, Banking Apps, Ticket  und Buchungssystemen oder Kommunikationsdiensten.

Die Anforderungen adressieren u. a. Websites/Apps im elektronischen Geschäftsverkehr (§ 19 BFSGV) sowie weitere erfasste Dienste (Telekommunikation, Bank, Verkehr), einschließlich Benutzerschnittstellen und Funktionalität. Technischer Bezugspunkt sind die EN 301 549 (mit Verweisen auf WCAG Kriterien) und harmonisierte Normen; sie begründen eine Konformitätsvermutung. Für Dienstleister besteht eine (sektorbezogene) Kleinstunternehmen Ausnahme, nicht jedoch für betroffene Produkte. Die Marktüberwachung erfolgt durch die Länder; bei Verstößen drohen behördliche Maßnahmen und Bußgelder (teils bis zu 100.000 €).

Für die Praxis heißt das: KI Agenten dürfen keine neuen Barrieren schaffen und müssen bei Anwendbarkeit des BFSG mit Hilfstechnologien kompatibel, multimodal bedienbar (Alternative zu reiner Spracheingabe/ ausgabe) und in barrierefreien Nutzerpfaden integriert sein.

VIII. Handlungsempfehlungen für Unternehmen

Hier nun eine vorläufige Zusammenfassung von Handlungsempfehlungen zum rechtskonformen Einsatz von KI-Agenten. 

1. Einsatzfelder, Autonomie und Risiken systematisch bewerten

• Analysieren Sie, in welchen Geschäftsbereichen KI-Agenten eingesetzt werden sollen und welchen Autonomiegrad diese Systeme haben.
• Führen Sie eine umfassende Risikobewertung durch, simulieren Sie Szenarien und legen Sie (insbesondere bei Hochrisiko-KI) fest, ob und wie menschliche Kontrolle („Human in/on/out of the Loop“) gewährleistet bleibt.
• Berücksichtigen Sie dabei nicht nur klassische Fehlerrisiken, sondern auch regulatorische, ethische und technische Risiken (z. B. Barrierefreiheit, Cybersicherheit, Datenintegrität).

2. Regulatorische Einordnung und Compliance sicherstellen

• Prüfen Sie, ob Ihr KI-Agent als Hochrisiko-System, als System mit allgemeinem Verwendungszweck oder als Bestandteil regulierter Branchen (z. B. Finanzwesen, Gesundheit, kritische Infrastrukturen) gilt.
• Berücksichtigen Sie die Anforderungen der KI-Verordnung, des Data Act, des Cyber Resilience Act, der eIDAS 2.0-Verordnung und des BFSG.
• Dokumentieren Sie die rechtliche Klassifizierung, definieren Sie interne Verantwortlichkeiten und bereiten Sie sich auf behördliche Prüfungen und Zertifizierungen vor (z. B. CE-Kennzeichnung, ISO 42001/27001).

3. Datenschutz und Datensicherheit ganzheitlich adressieren

• Führen Sie bei Verarbeitung personenbezogener Daten eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO durch, insbesondere bei Hochrisiko-KI.
• Wählen Sie sichere Betriebsmodelle (Cloud, On-Premise, Hybrid), implementieren Sie Verschlüsselung, Zugriffskontrollen, Logging und Zero-Trust-Architekturen.
• Prüfen Sie internationale Datenübermittlungen (Transfer Impact Assessment, Standardvertragsklauseln) und stellen Sie die Compliance von Auftragsverarbeitern sicher.

4. Cybersicherheit und Resilienz nach CRA sicherstellen

• Integrieren Sie bei eigener Entwicklung Cybersicherheitsanforderungen bereits in der Produktentwicklung („Security by Design“ und „Security by Default“).
• Führen Sie systematische Risikobewertungen und Schwachstellenmanagement durch, stellen Sie regelmäßige Sicherheitsupdates bereit und dokumentieren Sie alle Komponenten (Software Bill of Materials – SBOM).
• Beachten Sie, dass die Einhaltung der CRA-Vorgaben Voraussetzung für den Marktzugang und die CE-Kennzeichnung ist.

5. Digitale Identitäten und Wallet-Integration nach eIDAS 2.0 planen

• Bereiten Sie Ihre KI-Agenten auf die Integration der EUDI-Wallet vor, um sichere und automatisierte Identitätsprüfungen und Authentifizierungen zu ermöglichen.
• Stellen Sie sicher, dass Wallet-Daten datenschutzkonform und vertrauenswürdig verarbeitet werden und die Anforderungen an regulierte Branchen (KYC, starke Authentifizierung) erfüllt sind.

6. Barrierefreiheit nach BFSG und European Accessibility Act gewährleisten

• Prüfen Sie, ob Ihre KI-Agenten als Bestandteil verbrauchergerichteter Produkte oder Dienstleistungen nach dem BFSG gelten und damit barrierefrei gestaltet werden müssen.
• Sorgen Sie in diesem Fall für multimodale Bedienbarkeit, Kompatibilität mit Assistenztechnologien und die Einhaltung der EN 301 549/WCAG-Kriterien.
• Dokumentieren Sie die Barrierefreiheitsmerkmale, halten Sie Konformitätserklärungen vor und bereiten Sie sich auf Marktüberwachung und mögliche behördliche Prüfungen vor.

7. Governance, Monitoring und kontinuierliche Verbesserung etablieren

• Richten Sie ein interdisziplinäres Governance-Modell ein (IT, Recht, Datenschutz, Fachabteilungen), das den Einsatz von KI-Agenten laufend überwacht und steuert.
• Führen Sie regelmäßige Audits, Output-Monitoring und Mitarbeiterschulungen durch.
• Nutzen Sie etablierte Managementsysteme (z. B. ISO 27001 für Informationssicherheit, ISO 42001 für KI-Management).

8. Vertragsgestaltung und Haftung absichern

• Schließen Sie mit externen Anbietern klare Verträge zu Haftung, Sicherheit, Audit-Rechten und Zugang zu Agenten-Auswertungen ab.
• Vermeiden Sie Lock-in-Risiken und regeln Sie die Nutzung und Auswertung von Agentendaten vertraglich.

9. Kommunikation und Transparenz gegenüber Stakeholdern sicherstellen

• Informieren Sie Nutzer, Geschäftspartner und Behörden transparent über den Einsatz, die Funktionsweise und die Schutzmaßnahmen Ihrer KI-Agenten.
• Stellen Sie sicher, dass alle Informationspflichten (z. B. zu Barrierefreiheit, Datenschutz, Sicherheit) erfüllt werden.

IX. Fazit, Chancen und Ausblick

KI-Agenten markieren den nächsten großen Entwicklungsschritt der Künstlichen Intelligenz und versprechen erhebliche Effizienzgewinne in zahlreichen Unternehmensbereichen. Auch bieten sie eine erhebliche Chance für die einsetzenden Unternehmen: Kunden werden sich zukünftig diejenigen Vertragspartner aussuchen, die ihre eigenen Geschäftsprozesse mit KI-Agenten bestmöglich automatisiert haben, denn dies ist Grundlage für eine hohe Leistungsfähigkeit in der Vertragserfüllung. Gleichzeitig bewegen sie sich in einem komplexen regulatorischen Umfeld aus KI-Verordnung und Datenrecht, das hohe Anforderungen an Transparenz, Sicherheit und Verantwortlichkeit stellt. Für Unternehmen bedeutet dies, dass Chancen und Risiken eng beieinanderliegen. In den kommenden Jahren ist zu erwarten, dass Standardisierungen, Zertifizierungen und Privacy-Enhancing-Technologien für mehr Rechtssicherheit sorgen werden. Bis dahin bleibt die aktive Gestaltung von Compliance und IT-Sicherheit der Schlüssel für einen verantwortungsvollen und zugleich wettbewerbsfähigen Einsatz von KI-Agenten.

Dieser Beitrag wurde in Zusammenarbeit mit unserer stud. Mitarbeiterin Emily Bernklau erstellt.