AI ACT: Ist ChatGPT von OpenAI als Hochrisiko-KI zu qualifizieren?

Seit der breiten Einführung von ChatGPT und vergleichbaren Sprachmodellen setzen Unternehmen generative KI-Systeme zunehmend auch in geschäftskritischen Prozessen ein, etwa bei der Texterstellung, im Kundensupport oder in der Personalvorauswahl. Mit dem Inkrafttreten der europäischen KI-Verordnung (KI-VO) im August 2024 stellt sich nun die Frage, unter welchen Voraussetzungen der Einsatz solcher Systeme rechtlich als Hochrisiko-KI gilt. Während ChatGPT als allgemeines Sprachmodell zunächst keiner spezifischen Risikokategorie zugeordnet wird, kann seine Nutzung in sensiblen Anwendungsbereichen insbesondere im Beschäftigungskontext die Schwelle zur Hochrisiko-Klassifizierung überschreiten. Der folgende Beitrag erläutert die Systematik der KI-VO und zeigt, wann der Einsatz von ChatGPT als Hochrisiko-KI im Sinne der Verordnung gilt und welche rechtlichen Folgen sich daraus ergeben.

I. Risikobasierter Ansatz der KI-VO

Die KI-Verordnung folgt einem abgestuften System der Risikobewertung, das Pflichten und Verbote nach dem Gefährdungspotenzial einer Anwendung differenziert. Ziel ist es, einerseits Innovation zu ermöglichen und andererseits den Schutz von Sicherheit und Grundrechten sicherzustellen. Entsprechend unterscheidet die Verordnung vier Hauptkategorien von KI-Systemen.

KI-Praktiken mit unannehmbarem Risiko sind vollständig untersagt. Hierunter fallen insbesondere Anwendungen, die Menschen manipulieren oder kriminelles Verhalten aufgrund persönlicher Merkmale vorhersagen.

Hochrisiko-KI-Systeme unterliegen dagegen strengen Anforderungen an Datenqualität, Transparenz, Dokumentation und Überwachung. Sie betreffen Bereiche, in denen algorithmische Entscheidungen erhebliche Auswirkungen auf die Lebensführung oder Rechte natürlicher Personen haben – etwa im Gesundheitswesen, im Bildungsbereich oder bei der Beurteilung und Auswahl von Beschäftigten.

Systeme mit begrenztem Risiko müssen vor allem Transparenzpflichten erfüllen. Nutzerinnen und Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren und deren Funktionsweise nachvollziehen können. Beispiele sind Chatbots im Kundensupport oder Systeme zur automatisierten Inhaltserstellung.

Für KI-Anwendungen mit minimalem Risiko etwa zur Spamerkennung oder in Computerspielen bestehen keine spezifischen regulatorischen Anforderungen.

Daneben erfasst die KI-VO ausdrücklich KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI, GPAI), die für eine Vielzahl von Anwendungen eingesetzt werden können und je nach Nutzungszweck in jede der vorgenannten Kategorien fallen. Zu dieser Gruppe gehören generative Sprachmodelle wie ChatGPT. Ihr rechtlicher Status hängt damit entscheidend vom konkreten Einsatzkontext ab.

II. ChatGPT als generative KI

Als generatives Sprachmodell ist ChatGPT nicht auf einen bestimmten Aufgabenbereich beschränkt, sondern kann in unterschiedlichen betrieblichen Zusammenhängen wie der Erstellung von Texten, der Bearbeitung von Daten oder der Unterstützung interner Entscheidungsprozesse eingesetzt werden. Für bestimmte Anwendungen sieht die KI-Verordnung spezifische Transparenzpflichten vor, die in Art. 50 KI-VO geregelt sind und unabhängig von einer möglichen Hochrisikoeinstufung gelten (wir berichteten). Sie sollen sicherstellen, dass Nutzer erkennen können, wenn sie mit KI-generierten oder KI-veränderten Inhalten interagieren.

Im Unternehmenskontext ist Art. 50 KI-VO vor allem dann relevant, wenn ChatGPT zur Erstellung oder Bearbeitung von Inhalten verwendet wird, die extern kommuniziert oder veröffentlicht werden. Dies betrifft etwa die Erstellung von Texten für Webseiten, Pressemitteilungen oder Marketingkampagnen, aber auch automatisierte Chatbots, die mit Kunden in Kontakt treten. In all diesen Fällen ist kenntlich zu machen, dass der jeweilige Inhalt ganz oder teilweise durch ein KI-System erzeugt oder verändert wurde. Dagegen sind interne Entwürfe, Notizen oder andere rein innerbetriebliche Anwendungen regelmäßig nicht kennzeichnungspflichtig, solange sie nicht für eine breitere Öffentlichkeit bestimmt sind.

Die Offenlegung muss in klarer und eindeutiger Weise erfolgen und spätestens zum Zeitpunkt der ersten Interaktion oder Veröffentlichung bereitstehen. Ein kurzer Hinweis wie „Erstellt mit Unterstützung von KI“ genügt, sofern er deutlich erkennen lässt, dass der Inhalt technisch generiert wurde. Für Textinhalte gilt die Transparenzpflicht insbesondere dann, wenn sie der öffentlichen Information über politische, wirtschaftliche oder gesellschaftliche Themen dienen. Wird ein solcher Beitrag mithilfe von ChatGPT verfasst oder wesentlich verändert, ist offenzulegen, dass er KI-gestützt erstellt wurde.

Von dieser Pflicht ausgenommen sind Inhalte, die einer menschlichen Überprüfung und redaktionellen Kontrolle unterliegen und für die eine natürliche oder juristische Person die inhaltliche Verantwortung übernimmt. Wird ein durch ChatGPT erstellter Text vor Veröffentlichung überprüft, überarbeitet und freigegeben, kann daher auf eine Kennzeichnung verzichtet werden. Der Gesetzgeber geht in diesen Fällen davon aus, dass die Gefahr irreführender oder unbeaufsichtigter Veröffentlichungen durch die redaktionelle Verantwortung hinreichend reduziert wird.

Verstöße gegen die Transparenzpflichten können nach Art. 99 Abs. 4 KI-VO mit Bußgeldern von bis zu 15 Mio. Euro oder drei Prozent des weltweiten Jahresumsatzes geahndet werden. Neben finanziellen Sanktionen drohen insbesondere Reputationsschäden, wenn KI-generierte Inhalte ohne Kennzeichnung verbreitet werden und dadurch der Eindruck entsteht, sie stammten von Menschenhand.

III. ChatGPT als Hochrisiko-KI

Ob der Einsatz von ChatGPT die Pflichten für Hochrisiko-KI-Systeme auslöst, richtet sich nach Art. 6 Abs. 2 in Verbindung mit Anhang III KI-VO. Danach gelten KI-Systeme als hochriskant, wenn sie in einem der in Anhang III aufgeführten Anwendungsbereiche eingesetzt werden. Entscheidend ist somit nicht die technische Funktionsweise des Modells, sondern sein konkreter Verwendungszweck.

Art. 6 Abs. 2 ergänzt die Regelung des Abs. 1, der sich auf KI-Systeme bezieht, die Teil eines Produkts oder Sicherheitsbauteils sind und einer gesonderten Konformitätsbewertung unterliegen. Abs. 2 erweitert diesen Anwendungsbereich auf sogenannte stand-alone-Systeme, also KI-Anwendungen, die unabhängig von einer bestimmten Hardwareumgebung betrieben werden können. ChatGPT fällt typischerweise in diese Kategorie, da es sich um ein universell einsetzbares Sprachmodell handelt, das in unterschiedlichen organisatorischen und technischen Kontexten verwendet werden kann.

Zweck der Vorschrift ist es, auch solche Systeme zu erfassen, deren Einsatz aufgrund ihrer sozialen oder grundrechtlichen Auswirkungen ein hohes Risiko birgt. Dabei ist maßgeblich, ob der Einsatzkontext geeignet ist, die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen zu beeinträchtigen. Die Risikobewertung knüpft daher nicht an das Modell selbst, sondern an den intendierten Einsatzbereich an also daran, „wofür“ und „wie“ das System verwendet wird.

1. Verwendungszweck nach Anhang III

Anhang III der KI-VO nennt insgesamt acht übergeordnete Hochrisikobereiche, darunter die Nutzung von KI in der Strafverfolgung, im Bildungswesen und im Beschäftigungskontext. Für den praktischen Einsatz von ChatGPT besonders relevant ist Anhang III Nr. 4, der KI-Systeme erfasst, „die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten“.

Wird ChatGPT in einem dieser Kontexte eingesetzt etwa um Bewerbungen automatisiert zu prüfen, Eignungstests auszuwerten oder Personalentscheidungen vorzubereiten, liegt regelmäßig eine Hochrisiko-Anwendung im Sinne des Art. 6 Abs. 2 i. V. m. Anhang III vor. Gleiches gilt, wenn ChatGPT zur Profilbildung oder Bewertung von Mitarbeiterleistungen eingesetzt wird. Auch die gezielte Ausspielung personalisierter Stellenanzeigen an bestimmte Gruppen kann unter die Vorschrift fallen, sofern der KI-gestützte Auswahlmechanismus Einfluss auf die Chancen Einzelner hat.

Die Praxis zeigt, dass gerade solche Systeme erhebliche Grundrechtsrisiken bergen. Frühere Fälle etwa algorithmische Bewerbungsfilter oder diskriminierende Stellenausspielungen großer Plattformen haben verdeutlicht, dass bereits subtile Verzerrungen in Trainingsdaten oder Modellarchitekturen zu Benachteiligungen führen können. Vor diesem Hintergrund ist die Einbeziehung von Beschäftigungs- und Auswahlprozessen in den Hochrisikokatalog folgerichtig.

2. Bedeutung des Art. 6 Abs. 3 KI-VO

Art. 6 Abs. 3 sieht eine Ausnahme von der Hochrisiko-Einstufung vor, wenn der Anbieter nachweisen kann, dass das betreffende System keine erheblichen Risiken für die Grundrechte oder die Sicherheit natürlicher Personen mit sich bringt. Diese Ausnahmeregelung trägt dem Umstand Rechnung, dass nicht jeder KI-gestützte Prozess im Personalbereich zwingend hochriskant ist.

Für ChatGPT kann dies insbesondere dann gelten, wenn das System keine automatisierten Entscheidungen trifft, sondern lediglich als Hilfsmittel dient etwa zur Formulierung von Bewerbungsschreiben, zur Vorbereitung von Vorstellungsgesprächen oder zur Unterstützung menschlicher Bewertungen. Voraussetzung ist allerdings, dass der menschliche Entscheidungsträger jederzeit die Kontrolle über den Prozess behält und die KI-gestützten Ergebnisse kritisch überprüft.

Ob die Ausnahme greift, hängt somit von der konkreten Implementierung im Unternehmen ab. Je stärker ChatGPT in Entscheidungsprozesse eingebunden ist, desto eher wird die Einstufung als Hochrisiko-System zu bejahen sein. Wird das Modell hingegen lediglich zur Textaufbereitung oder analytischen Unterstützung genutzt, ohne dass daraus unmittelbare Entscheidungen folgen, kann der Einsatz als begrenzt riskant angesehen werden.

3. Bewertung und Abgrenzung

Die Einordnung generativer KI-Systeme wie ChatGPT verdeutlicht die zentrale Bedeutung des Einsatzkontexts in dem risikobasierten Ansatz der KI-Verordnung. ChatGPT selbst ist kein Hochrisiko-System, kann jedoch durch seine Integration in kritische Prozesse insbesondere im Bereich Beschäftigung und Personalmanagement diesen Charakter annehmen. Maßgeblich ist, ob der Einsatz geeignet ist, über Chancen, Rechte oder den Zugang zu Beschäftigung zu entscheiden.

Damit sind Unternehmen gefordert, bei der Implementierung von ChatGPT eine sorgfältige Zweckbestimmung und Risikoanalyse vorzunehmen. Sie müssen dokumentieren, ob und in welchem Umfang das System Einfluss auf Entscheidungen mit Grundrechtsbezug hat, und gegebenenfalls die umfangreichen Pflichten für Hochrisiko-KI-Systeme erfüllen.

IV. Rechtliche Folgen bei Klassifizierung als Hochrisiko-KI

Wird der Einsatz von ChatGPT nach Art. 6 Abs. 2 i. V. m. Anhang III als Hochrisiko-KI eingestuft, treffen Unternehmen als Betreiber umfassende Pflichten nach Art. 26 KI-VO. Sie müssen sicherstellen, dass das System nur gemäß seiner Zweckbestimmung und den mitgelieferten Anleitungen verwendet wird.

Zentrale Bedeutung hat die menschliche Aufsicht: Nur qualifizierte Personen dürfen ChatGPT-basierte Anwendungen überwachen, die Systemausgaben prüfen und gegebenenfalls korrigierend eingreifen. Zudem müssen Betreiber gewährleisten, dass die verwendeten Eingabedaten dem vorgesehenen Zweck entsprechen und keine diskriminierenden Verzerrungen enthalten.

Darüber hinaus sind der Betrieb und die Systemleistung fortlaufend zu überwachen. Werden Risiken oder schwerwiegende Vorfälle festgestellt, ist der Anbieter und gegebenenfalls die zuständige Behörde zu informieren, bis das Problem behoben ist. Betreiber müssen außerdem automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren und Beschäftigte vor Inbetriebnahme eines Hochrisiko-Systems am Arbeitsplatz über dessen Einsatz informieren.

Schließlich verlangt die Verordnung Transparenz gegenüber Betroffenen. Personen, die Entscheidungen unterliegen, die durch ChatGPT bei Nutzung als Hochrisiko-KI unterstützt oder beeinflusst werden, müssen über die Nutzung des Systems informiert werden. Unternehmen sollten daher interne Prozesse und Zuständigkeiten klar regeln, um die Einhaltung der Betreiberpflichten nachweisbar sicherzustellen.

V. Fazit und Ausblick

ChatGPT ist als generatives Sprachmodell nicht von vornherein als Hochrisiko-KI einzustufen. Maßgeblich ist der konkrete Verwendungszweck: Wird das System in sensiblen Bereichen wie der Personalvorauswahl, Leistungsbewertung oder Entscheidungsunterstützung eingesetzt, kann eine Einstufung nach Art. 6 Abs. 2 i. V. m. Anhang III KI-VO jedoch naheliegen. In diesen Fällen greifen die umfangreichen Betreiberpflichten des Art. 26 KI-VO, die den sicheren, transparenten und nachvollziehbaren Einsatz gewährleisten sollen.

Für Unternehmen bedeutet dies, den Einsatz von ChatGPT frühzeitig rechtlich zu prüfen, interne Kontrollmechanismen und Aufsichtsprozesse zu etablieren und Mitarbeitende im Umgang mit generativer KI zu schulen. Die praktische Herausforderung der kommenden Jahre wird darin bestehen, die Potenziale solcher Systeme zu nutzen, ohne die durch die KI-Verordnung gezogenen rechtlichen Grenzen zu überschreiten.

Dieser Beitrag wurde in Zusammenarbeit mit unserer stud. Mitarbeiterin Emily Bernklau erstellt.