AI Act: Welche Aufgaben entstehen beim Einsatz von KI im Unternehmen?

Zuerst klären: Wo wird KI eingesetzt?

Nicht jede automatisierte Software ist automatisch ein KI-System im Sinne des AI Acts. Für die Einordnung kommt es insbesondere darauf an, wie das System arbeitet und wie es aus Eingaben Ergebnisse wie Inhalte, Empfehlungen, Vorhersagen oder Entscheidungen ableitet.

Bevor einzelne Pflichten bewertet werden können, benötigt das Unternehmen einen Überblick über seine Einsatzfälle. Dazu gehören auch KI-Funktionen in Bürosoftware, Personalsoftware, Kundenplattformen oder Sicherheitssystemen.

Für eine erste Einordnung sollten Unternehmen erfassen:

1. welches System eingesetzt wird
2. welchem Zweck der Einsatz dient
3. welche Abteilung verantwortlich ist
4. wer das System verwendet
5. welche Daten verarbeitet werden
6. ob Ergebnisse Entscheidungen über Personen beeinflussen
7. ob Inhalte für Kunden oder die Öffentlichkeit erzeugt werden
8. ob das System selbst entwickelt oder von einem Anbieter bezogen wurde

Der AI Act schreibt nicht pauschal ein Dokument mit der Bezeichnung „KI-Inventar“ vor. Ohne einen solchen Überblick lassen sich die weiteren Aufgaben in der Praxis jedoch kaum zuverlässig einordnen.

Welche Rolle hat das Unternehmen?

Die meisten Unternehmen, die ein fremdes KI-System in eigener Zuständigkeit für betriebliche Zwecke verwenden, sind Betreiber. Das gilt beispielsweise, wenn Beschäftigte einen eingekauften KI-Assistenten oder eine KI-Funktion innerhalb vorhandener Software nutzen.

Ein Unternehmen kann Anbieter sein, wenn es ein KI-System selbst entwickelt oder entwickeln lässt und unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt.

Bei Hochrisiko-KI-Systemen kann auch ein bisheriger Betreiber zum Anbieter werden, wenn er das System unter eigenem Namen anbietet, wesentlich verändert oder den vorgesehenen Zweck so ändert, dass ein bisher nicht hochriskantes System zu einem Hochrisiko-KI-System wird.

Nicht jede Konfiguration oder Anpassung löst automatisch Anbieterpflichten aus. Die Rolle sollte trotzdem vor der Einführung und bei wesentlichen Änderungen erneut geprüft werden.

Verbotene KI-Praktiken ausschließen

Bestimmte KI-Praktiken sind unabhängig von der Unternehmensgröße verboten. Die ursprünglichen Verbote gelten seit dem 2. Februar 2025.

Dazu gehören unter bestimmten Voraussetzungen beispielsweise:

1. manipulative oder täuschende Anwendungen, die erhebliche Schäden verursachen können
2. die Ausnutzung besonderer Schutzbedürftigkeit
3. bestimmte Formen des Social Scoring
4. bestimmte biometrische Kategorisierungen
5. bestimmte Anwendungen zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen
6. bestimmte Formen individueller Vorhersagen von Straftaten

Ein durch den AI Omnibus ergänztes Verbot betrifft KI-Systeme, die bestimmte nicht einvernehmliche intime Inhalte oder Material über sexuellen Kindesmissbrauch erzeugen oder manipulieren. Dieses zusätzliche Verbot gilt ab dem 2. Dezember 2026.

Nicht jedes System mit einer ähnlichen Funktion fällt automatisch unter ein Verbot. Entscheidend sind Zweck, Funktionsweise und Einsatzkontext. Kritische Anwendungen müssen deshalb vor ihrem Einsatz gesondert geprüft werden.

KI-Kompetenz organisieren

Anbieter und Betreiber müssen Maßnahmen ergreifen, um die Entwicklung der KI-Kompetenz ihrer Beschäftigten und anderer Personen zu unterstützen, die in ihrem Auftrag mit KI-Systemen arbeiten.

Dabei sind insbesondere Vorkenntnisse, Erfahrung, Ausbildung, Einsatzkontext und die vom System betroffenen Personen zu berücksichtigen. Ein bestimmtes Kompetenzniveau jeder einzelnen Person muss nicht garantiert werden.

Der AI Act schreibt weder ein einheitliches Schulungsformat noch eine bestimmte Zertifizierung vor. Welche Maßnahmen angemessen sind, hängt vom jeweiligen Einsatz ab.

Geeignete Maßnahmen können sein:

1. verständliche Regeln für erlaubte und nicht erlaubte Anwendungen
2. Schulungen zu typischen Fehlern und Grenzen von KI
3. Hinweise zum Umgang mit vertraulichen und personenbezogenen Daten
4. Vorgaben zur menschlichen Prüfung von Ergebnissen
5. zusätzliche Schulungen für sensible Einsatzbereiche

Eine interne Dokumentation der durchgeführten Schulungen, Hinweise und sonstigen Maßnahmen ist empfehlenswert.

Transparenzpflichten beachten

Seit dem 2. August 2026 gelten Transparenzpflichten für bestimmte KI-Systeme und KI-Inhalte. Welche Pflicht besteht, hängt auch davon ab, ob das Unternehmen Anbieter oder Betreiber ist.

Anbieter von KI-Systemen, die unmittelbar mit Menschen interagieren, müssen ihre Systeme grundsätzlich so gestalten, dass betroffene Personen über die Interaktion mit KI informiert werden.

Anbieter von Systemen, die synthetische Inhalte erzeugen, müssen außerdem bestimmte technische Kennzeichnungen ermöglichen. Für Systeme, die bereits vor dem 2. August 2026 in Verkehr gebracht wurden, gilt für diese technische Kennzeichnung eine begrenzte Übergangsfrist bis zum 2. Dezember 2026.

Für Betreiber können insbesondere Pflichten entstehen, wenn sie:

1. Systeme zur Emotionserkennung oder biometrischen Kategorisierung einsetzen
2. KI-Systeme zur Erzeugung oder Manipulation von Deepfakes verwenden und die Inhalte gegenüber anderen Personen einsetzen
3. KI-generierte oder manipulierte Texte veröffentlichen, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren

Für redaktionell geprüfte Texte können Ausnahmen gelten, wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung übernimmt.

Nicht jede interne Nutzung eines Textassistenten führt automatisch zu einer Kennzeichnungspflicht.

Hochrisiko-KI rechtzeitig erkennen

Bestimmte KI-Systeme können aufgrund ihres vorgesehenen Zwecks als Hochrisiko-KI-Systeme eingestuft werden. Dazu können Anwendungen in Personal, Bildung, kritischer Infrastruktur, Kreditwürdigkeitsprüfung und weiteren sensiblen Bereichen gehören.

Die Regeln für Hochrisiko-KI-Systeme nach Anhang III gelten ab dem 2. Dezember 2027. Für Hochrisiko-KI-Systeme, die Sicherheitsbestandteile bestimmter regulierter Produkte sind oder selbst solche Produkte darstellen, gelten die einschlägigen Anforderungen ab dem 2. August 2028.

Betreiber solcher Systeme müssen sich unter anderem auf folgende Aufgaben vorbereiten:

1. Nutzung entsprechend den Anweisungen des Anbieters
2. menschliche Aufsicht durch entsprechend kompetente und befugte Personen
3. Überwachung des Betriebs und Reaktion auf erkannte Risiken
4. Meldung schwerwiegender Vorfälle an die vorgesehenen Stellen
5. Verwendung hinreichend relevanter und repräsentativer Eingabedaten, soweit diese unter ihrer Kontrolle stehen
6. Aufbewahrung der unter ihrer Kontrolle stehenden Protokolle grundsätzlich für mindestens sechs Monate, soweit keine andere Vorschrift etwas Abweichendes verlangt
7. rechtzeitige Information der Beschäftigten und ihrer Vertretungen, wenn das System am Arbeitsplatz eingesetzt wird

Bestimmte öffentliche Stellen, Anbieter öffentlicher Dienstleistungen sowie Betreiber bestimmter Systeme zur Kreditwürdigkeitsprüfung oder Risikobewertung müssen vor dem Einsatz zusätzlich eine Grundrechte-Folgenabschätzung durchführen. Je nach Betreiber und System können außerdem Registrierungspflichten bestehen.

Andere Vorschriften gelten weiterhin

Der AI Act ersetzt weder die DSGVO noch andere bestehende Anforderungen.

Werden personenbezogene Daten verarbeitet, bleiben insbesondere Rechtsgrundlage, Transparenz, Zweckbindung, Datenminimierung und gegebenenfalls eine Datenschutz-Folgenabschätzung zu prüfen. Auch die Grenzen ausschließlich automatisierter Entscheidungen können relevant sein.

Beim Einsatz im Arbeitsverhältnis sollte frühzeitig geprüft werden, welche Unterrichtungs-, Beratungs- und Mitbestimmungsrechte des Betriebsrats bestehen. Das kann etwa bei technischen Einrichtungen zur Überwachung von Verhalten oder Leistung sowie beim Einsatz von KI für personelle Auswahlentscheidungen relevant werden.

Daneben können Informationssicherheit, Urheberrecht, Nutzungsrechte, Geschäftsgeheimnisse und branchenspezifische Anforderungen zu beachten sein.

Eine Einordnung nach dem AI Act bedeutet deshalb nicht automatisch, dass der Einsatz auch nach allen anderen Vorschriften zulässig ist.

Die kurze Checkliste

Unternehmen sollten:

1. ihre KI-Einsatzfälle erfassen
2. Rolle und vorgesehenen Zweck bestimmen
3. verbotene Praktiken ausschließen
4. Datenschutz und Informationssicherheit berücksichtigen
5. Maßnahmen zur KI-Kompetenz organisieren
6. mögliche Transparenzpflichten festlegen
7. Hochrisiko-Systeme frühzeitig erkennen
8. Verantwortlichkeiten, Entscheidungen und Prüfstände dokumentieren

Von der Einzelanwendung zum laufenden KI-Prozess

Die Umsetzung des AI Acts endet nicht mit einer einmaligen Einordnung oder Sammlung von Unterlagen. Die Aufgaben hängen vom konkreten Einsatz und von der jeweiligen Rolle ab.

Sie müssen erneut bewertet werden, wenn sich Funktionen, Daten, Einsatzbedingungen oder Verwendungszwecke ändern.

WaPo begleitet Unternehmen dabei, Einsatzfälle, Verantwortlichkeiten, Prüfungen und daraus entstehende Maßnahmen in einen nachvollziehbaren Arbeitsablauf zu bringen.

So wird aus einzelnen KI-Anwendungen ein steuerbarer Prozess, bei dem Entscheidungen und offene Aufgaben sichtbar bleiben.