Neue Orientierungshilfe der Datenschutzkonferenz zur rechtskonformen Nutzung und Entwicklung von KI-Systemen

Mit der wachsenden Bedeutung von Künstlicher Intelligenz (KI) rücken auch datenschutzrechtliche Fragestellungen stärker in den Fokus. Bereits im Mai 2024 veröffentlichte die Datenschutzkonferenz (DSK) eine erste Orientierungshilfe zur datenschutzkonformen Anwendung von KI (wir berichteten). Die im Juni 2025 veröffentlichte Orientierungshilfe der DSK legt nun erstmals konkrete technische und organisatorische Maßnahmen zum Schutz personenbezogener Daten fest, die bei der Entwicklung und dem Betrieb von KI-Systemen zu beachten sind. Im Zentrum stehen dabei sieben sogenannte Gewährleistungsziele: Datenminimierung, Transparenz, Vertraulichkeit, Integrität, Verfügbarkeit, Intervenierbarkeit sowie Nichtverkettung. Die Orientierungshilfe strukturiert die Anforderungen entlang des Lebenszyklus eines KI-Systems – von der ersten Konzeption über Entwicklung und Einführung bis zum Betrieb. Im Folgenden fassen wir für Sie die zentralen Vorgaben praxisorientiert zusammen und zeigen auf, was Betreiber und Hersteller jetzt beachten sollten.

I. Designphase

In der Designphase wird festgelegt, welche Daten für das geplante KI-System erforderlich sind, zu welchem Zweck sie verarbeitet werden und ob dafür eine Rechtsgrundlage besteht. Die DSK betont, dass eine Verarbeitung nur dann zulässig ist, wenn sie notwendig und rechtmäßig ist. Auch öffentlich zugängliche Daten dürfen nur verwendet werden, wenn ihre Herkunft zweifelsfrei rechtmäßig ist.

Die Auswahl der Daten und der Systemarchitektur muss dokumentiert werden. Die Orientierungshilfe empfiehlt die Nutzung von standardisierten Dokumentationsmethoden wie „Datasheets for Datasets“. Dabei sind unter anderem Datentypen, Quellen, Erhebungsmethoden und Erhebungszeiträume festzuhalten. Bereits hier muss geprüft werden, ob sich der Zweck auch mit anonymisierten oder synthetischen Daten erreichen lässt.

Außerdem ist hier der Grundsatz der Datenminimierung zu beachten. Das bedeutet, dass nur Daten erhoben werden dürfen, die für den verfolgten Zweck erforderlich sind. Die Auswahl des KI-Algorithmus kann dabei helfen, den Umfang zu begrenzen. Auch besonders sensible Merkmale oder indirekte Rückschlüsse über sogenannte Proxy-Daten sind kritisch zu prüfen (z. B. Rückschlüsse auf die Herkunft aufgrund der Postleitzahl).

Zugleich muss sichergestellt werden, dass betroffene Personen vor der Nutzung ihrer Daten informiert werden können. Dafür sind ausreichende Zeiträume zwischen Erhebung und Modelltraining einzuplanen. Die Einhaltung der datenschutzrechtlichen Betroffenenrechte und behördlicher Anordnungen ist organisatorisch und technisch vorzubereiten.

Darüber hinaus müssen Maßnahmen getroffen werden, um die Qualität und Integrität der Daten sicherzustellen, Manipulationen zu erkennen und ungewollte Rückschlüsse aus den Trainingsdaten zu vermeiden. Vertraulichkeit ist durch Verfahren wie Zugriffsbeschränkungen oder differenzielle Privatsphäre abzusichern.

II. Entwicklungsphase

In der Entwicklungsphase erfolgt die Datenaufbereitung, das Training des Modells sowie dessen Validierung. Die Daten sind dabei so zu transformieren, dass sie zweckgerichtet und datensparsam genutzt werden. Personenbezug soll entfernt werden, wenn er für das Modell nicht erforderlich ist.

Die DSK verlangt, dass Auswahl und Nutzung der Algorithmen dokumentiert werden. Dazu gehört auch die Definition von Qualitätszielen und die Entwicklung geeigneter Testverfahren. Die Validierung muss die Eignung des Modells für den festgelegten Zweck belegen.

Auch in dieser Phase gilt der Grundsatz der Datenminimierung. Nur notwendige Daten dürfen verwendet werden, und jede Komponente eines Systems darf nur auf die für sie erforderlichen Informationen zugreifen. Zudem darf das Modell keine Informationen lernen oder ausgeben, die über den Zweck hinausgehen.

Es ist sicherzustellen, dass Modellverhalten nachvollziehbar bleibt und Ergebnisse bei Bedarf hinterfragt oder korrigiert werden können. Die Entwicklungsumgebung muss zudem gegen Ausfälle und Datenverlust abgesichert sein.

Schließlich sind wieder Integrität und Vertraulichkeit sicherzustellen. Integrität umfasst sowohl die Korrektheit der Daten als auch die Robustheit des Modells gegen fehlerhafte oder manipulierte Eingaben. Die Vertraulichkeit betrifft insbesondere das Risiko, dass sensible Inhalte durch das Modell reproduziert werden. Zwischenergebnisse mit Personenbezug sind zu vermeiden oder besonders zu schützen.

III. Einführungsphase

Die Einführungsphase betrifft die Bereitstellung des fertig entwickelten KI-Systems in der Produktivumgebung. Datenschutzrechtlich relevant ist sie dann, wenn bei der Installation oder Konfiguration personenbezogene Daten verarbeitet werden.

Die DSK fordert, dass zentrale Entscheidungen zur Nutzung des Systems dokumentiert und in verständlicher Form bereitgestellt werden, insbesondere gegenüber betroffenen Personen. Dabei geht es um Zweck, Funktionsweise, mögliche automatisierte Entscheidungen, Einflussmöglichkeiten des Menschen und die bestehenden Betroffenenrechte.

Bereits bei der Softwareverteilung müssen datenschutzfreundliche Voreinstellungen („privacy by default“) berücksichtigt werden. Modelle dürfen nur mit den Daten ausgeliefert werden, die für ihren konkreten Zweck notwendig sind. Bei parametrischen Modellen (z. B. Neuronalen Netzen) sollten personenbezogene Trainingsdaten nicht verteilt werden, bei nicht-parametrischen Modellen kann das jedoch technisch erforderlich sein.

Die Vertraulichkeit spielt insbesondere dann eine große Rolle, wenn personenbezogene Daten zusammen mit dem Modell ausgeliefert werden. Dabei ist entscheidend, ob das Modell lokal oder serverbasiert genutzt wird. Bei lokaler Verarbeitung erhöht sich das Risiko für Datenlecks, was bei der Konzeption der Einführung berücksichtigt werden muss.

IV. Betrieb und Monitoring

Im laufenden Betrieb muss sichergestellt werden, dass das KI-System ausschließlich zu den vorgesehenen Zwecken verwendet wird und alle relevanten Datenschutzprinzipien dauerhaft eingehalten werden.

Die DSK hebt hervor, dass Modellentscheidungen nachvollziehbar und überprüfbar sein müssen. Relevante Parameter und Verarbeitungsschritte sind revisionssicher zu dokumentieren. Auch bei Updates oder nach Veränderungen muss das System erneut geprüft und validiert werden.

Ergibt sich im Betrieb, dass das Modell mehr Daten verarbeitet als notwendig, muss es angepasst oder neu trainiert werden. Dasselbe gilt, wenn eine diskriminierende Wirkung einzelner Merkmale erkennbar wird.

Das System muss technisch so ausgestaltet sein, dass Betroffenenrechte wie Auskunft, Berichtigung und Löschung auch nach Inbetriebnahme umgesetzt werden können. Insbesondere bei einer Löschanfrage sind auch betroffene Modelle oder Trainingsdaten zu prüfen. Gegebenenfalls ist ein Nachtraining oder Machine Unlearning erforderlich.

Zudem ist die Integrität des Systems durch kontinuierliche Qualitätssicherung zu gewährleisten. Dazu gehören regelmäßige Tests auf unerwünschte Modellveränderungen sowie Maßnahmen gegen gezielte Angriffe, etwa durch manipulierte Eingaben. Bei Systemen, die selbstständig lernen, ist die Rückkopplung besonders zu kontrollieren, da eine Weiterverarbeitung der Eingabedaten eine Zweckänderung darstellen kann.

Vertraulichkeit bleibt auch im Betrieb ein zentrales Thema. Die DSK betont, dass insbesondere bei öffentlich zugänglichen KI-Systemen geeignete Schutzmaßnahmen gegen Modellextraktion oder ungewollte Preisgabe sensibler Inhalte getroffen werden müssen.

V. Fazit und Checkliste

Die Orientierungshilfe der DSK macht deutlich, dass Datenschutz bei KI-Systemen kein nachgelagerter Kontrollpunkt ist, sondern von der ersten Idee bis zum laufenden Betrieb integraler Bestandteil des Entwicklungsprozesses sein muss. Entscheidend ist nicht nur die Einhaltung der DSGVO, sondern auch die konsequente Umsetzung der sieben Gewährleistungsziele: Datenminimierung, Transparenz, Vertraulichkeit, Integrität, Verfügbarkeit, Intervenierbarkeit und Nichtverkettung.

Besonders kritisch sind die Auswahl und Dokumentation der verwendeten Daten, die Prüfung der Rechtsgrundlagen sowie der Umgang mit sensiblen oder schwer kontrollierbaren Modellverhalten im Betrieb. Datenschutzkonforme KI erfordert durchgehende Planung, Kontrolle und die Bereitschaft, technische Gestaltung mit rechtlichen Anforderungen zu verbinden.

Um den Überblick zu behalten, empfiehlt es sich, die datenschutzrechtlichen Anforderungen entlang der vier Lebenszyklusphasen systematisch zu prüfen – die folgende Checkliste bietet hierfür eine kompakte Orientierung.

1. Designphase

• Ist der Zweck der Verarbeitung eindeutig definiert und liegt eine geeignete Rechtsgrundlage vor?
• Wurde geprüft, ob anonymisierte oder synthetische Daten ausreichen, um auf personenbezogene Daten zu verzichten?
• Sind Prozesse vorgesehen, um Betroffene vor dem Training zu informieren und ihre Rechte auszuüben?

2. Entwicklungsphase

• Werden nur die personenbezogenen Daten verarbeitet, die für das Trainingsziel zwingend erforderlich sind?
• Ist das Modell gegen ungewollte Lerneffekte, diskriminierende Ergebnisse und Datenverzerrungen abgesichert?
• Wurden Validierung, Testverfahren und Nachvollziehbarkeit des Modellverhaltens dokumentiert?

3. Einführungsphase

• Ist das System standardmäßig datenschutzfreundlich konfiguriert („Privacy by Default“)?
• Werden mit dem Modell nur solche Daten ausgeliefert, die für den Einsatz notwendig sind?
• Ist bei lokaler Nutzung die Vertraulichkeit sensibler Informationen technisch geschützt?

4. Betrieb und Monitoring

• Wird das Modell regelmäßig überprüft, um Fehlentwicklungen, Zweckabweichungen oder Diskriminierung zu erkennen?
• Können Auskunfts-, Lösch- und Berichtigungsrechte auch nach Inbetriebnahme technisch umgesetzt werden?
• Bestehen Schutzmechanismen gegen Modellextraktion, Rückschlüsse auf Trainingsdaten und unerlaubte Weiterverarbeitung?

Dieser Beitrag wurde in Zusammenarbeit mit unserer stud. Mitarbeiterin Emily Bernklau erstellt.