Wer ist überhaupt “Betreiber”?
Wer ein Hochrisiko-KI-System nicht selbst entwickelt, sondern im Rahmen der eigenen Tätigkeit einsetzt, ist Betreiber im Sinne des EU AI Act – etwa ein Personalbereich, der ein KI-gestütztes Bewerbungs-Screening nutzt, oder eine Bank, die ein Kreditscoring-System einer Fremdanbieterin einsetzt. Art. 26 richtet sich genau an diese Rolle und ist damit für die meisten Unternehmen relevanter als die Pflichten der Anbieter, da Sie in der Praxis häufiger Nutzerin als Herstellerin eines KI-Systems sind.
Nutzung nach Anleitung und menschliche Aufsicht
Art. 26 Abs. 1 verlangt geeignete technische und organisatorische Maßnahmen, damit das System entsprechend der beigefügten Betriebsanleitung verwendet wird. Das klingt selbstverständlich, ist es in der Praxis aber nicht: Wer Anleitungen nicht liest, archiviert oder an operative Teams weitergibt, verstößt bereits gegen Abs. 1 – unabhängig davon, ob im Ergebnis etwas schiefgeht.
Abs. 2 verpflichtet Sie, die menschliche Aufsicht natürlichen Personen zu übertragen, die über die “erforderliche Kompetenz, Ausbildung und Befugnis” verfügen. Eine reine Formalie – etwa eine E-Mail mit “Sie sind jetzt zuständig” – reicht nicht. Es braucht dokumentierte Schulung, klar definierte Eingriffsrechte und tatsächliche organisatorische Befugnis, Entscheidungen des Systems zu stoppen oder zu korrigieren. Typische Lücke: Die Aufsichtsperson ist benannt, aber weder geschult noch mit Weisungsbefugnis ausgestattet, wodurch die Aufsicht faktisch ins Leere läuft.
Eingabedaten, Monitoring und Meldepflichten
Soweit Sie Kontrolle über die Eingabedaten haben, müssen diese laut Abs. 4 der Zweckbestimmung entsprechen und ausreichend repräsentativ sein. Das betrifft vor allem Fälle, in denen Sie eigene Datensätze in ein fremdes System einspeisen – hier tragen Sie die Verantwortung für Qualität und Repräsentativität, nicht die Anbieterin.
Abs. 5 verlangt laufende Überwachung des Betriebs anhand der Betriebsanleitung. Besteht Grund zur Annahme, dass die bestimmungsgemäße Verwendung ein Risiko nach Art. 79 Abs. 1 birgt, müssen Sie die Nutzung unverzüglich aussetzen und Anbieter beziehungsweise Marktüberwachungsbehörde informieren. Bei einem schwerwiegenden Vorfall gilt eine gestufte Meldekette: zuerst der Anbieter, dann Einführer oder Händler und die zuständigen Behörden. Finanzinstitute können diese Überwachungspflicht über bestehende Governance-Vorgaben aus dem Finanzdienstleistungsrecht erfüllen – ein doppeltes System ist dann nicht erforderlich.
Protokollierung und Information der Beschäftigten
Abs. 6 verpflichtet Sie, automatisch erzeugte Protokolle des Systems mindestens sechs Monate aufzubewahren, soweit diese Ihrer Kontrolle unterliegen und sofern nicht anderes Unionsrecht – etwa Datenschutzrecht – abweichende Fristen vorsieht. In der Praxis fehlt häufig eine klare Zuordnung: Wer genau ist für die Protokollarchivierung zuständig, wenn das System bei einer Drittanbieterin läuft? Ohne vertragliche Klärung droht eine Lücke, die im Ernstfall – etwa bei einer Marktüberwachungsanfrage – nicht mehr zu schließen ist.
Setzen Sie ein Hochrisiko-KI-System am Arbeitsplatz ein, schreibt Abs. 7 vor, Arbeitnehmervertretung und betroffene Beschäftigte vor Inbetriebnahme zu informieren – im Einklang mit den einschlägigen Mitbestimmungsregeln. Diese Pflicht wird regelmäßig übersehen, weil sie eher arbeitsrechtlich als KI-rechtlich verortet wird und in Compliance-Projekten oft niemandem zugeordnet ist.
Ergänzend verlangt Abs. 9, die vom Anbieter nach Art. 13 bereitgestellten Informationen zu nutzen, um eigene Pflichten zur Datenschutz-Folgenabschätzung nach Art. 35 DSGVO zu erfüllen. KI-Compliance und Datenschutz-Compliance sind hier also ausdrücklich verzahnt – wer eine DSFA ohne Rückgriff auf die Anbieterinformationen erstellt, lässt eine vom Gesetzgeber vorgesehene Erleichterung ungenutzt.
Typische Lücken im Überblick
In der Beratungspraxis wiederholen sich dieselben Muster: benannte, aber nicht befähigte Aufsichtspersonen; fehlende vertragliche Klärung der Protokollierungspflicht bei Cloud- oder SaaS-Lösungen; keine Eskalationskette für den Fall eines schwerwiegenden Vorfalls; vergessene Information der Arbeitnehmervertretung. Jede dieser Lücken ist für sich genommen unauffällig – in Summe ergeben sie aber ein erhebliches Haftungsrisiko, sobald ein Hochrisiko-KI-System produktiv eingesetzt wird.
Ob Ihr Unternehmen als Betreiberin eines Hochrisiko-KI-Systems gilt und welche der Pflichten aus Art. 26 für Sie konkret greifen, lässt sich mit unserem kostenlosen Risiko-Check unter /einstufung in wenigen Minuten klären.