Verbotene KI-Anwendungen

Um diese Rechte zu schützen, wurden acht Verbote für den Einsatz von KI formuliert. Nicht alle Verbote sind absolut, und es ist daher wichtig zu prüfen, ob eine beabsichtigte Anwendung von KI unter eine Ausnahmekategorie fällt und daher unter bestimmten Bedingungen noch zulässig ist.

Diese Verbote gelten nicht nur für Parteien, die ein solches KI-System vermarkten (Anbieter), sondern grundsätzlich auch für Parteien, die ein solches System verwenden (Betreiber). Es ist daher ratsam, vor dem Einsatz eines KI-Systems zu prüfen, ob es unter eine dieser verbotenen Kategorien fällt. In der Tat ist die strengste Sanktion innerhalb der AI-Verordnung für Verstöße gegen dieses Verbot reserviert, denn es können Geldbußen von bis zu € 35.000.000,= oder 7 % des weltweiten Gesamtumsatzes eines Unternehmens verhängt werden.

1. Manipulative Techniken

Unter keinen Umständen ist es zulässig, das Verhalten von Personen durch den Einsatz manipulativer KI-Techniken so wesentlich zu ändern, dass ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird.

Nicht jede Technik, die das Verhalten von Menschen beeinflusst, kann als manipulativ im Sinne der Verordnung eingestuft werden. So wurde präzisiert, dass die derzeitigen allgemeinen Werbepraktiken nicht darunterfallen, obwohl argumentiert werden kann, dass sie die freie Entscheidung der Menschen in gewissem Maße beeinflussen.

Um unter dieses Verbot zu fallen, muss der Grad der Manipulation deutlich höher sein. Ein Beispiel ist die Nutzung der „virtuellen Realität“ in einer Weise, dass eine Person nicht mehr zwischen Realität und Fiktion unterscheiden kann.

2. Missbrauch von Vulnerabilität oder Schutzbedürftigkeit

Dass manche Menschen gefährdeter sind, um ausgebeutet zu werden, kann z.B. auf Alter, Minderjährigkeit, eine bestimmte Behinderung, extreme Armut oder die Zugehörigkeit zu einer bestimmten Minderheit zurückzuführen sein. Ein KI-System, das eines dieser Merkmale missbraucht, um das Verhalten dieser Personen in einer Weise zu beeinträchtigen, die ihnen selbst oder anderen Schaden zufügt oder zufügen kann, ist verboten.

Dieses Verbot steht jedoch bestimmten medizinischen KI-Anwendungen nicht entgegen, die beispielsweise Menschen mit psychischen Erkrankungen zugutekommen könnten. Hier ist es wichtig, dass der Einsatz von KI immer den geltenden medizinischen Standards und Gesetzen entspricht und dass die ausdrückliche Zustimmung des Patienten oder seines gesetzlichen Vertreters eingeholt wurde.

3. Soziale Bewertungen

Ein KI-system, das Personen über einen bestimmten Zeitraum auf Grundlage ihres Verhaltens eine Bewertung zuweist und Konsequenzen damit verknüpft, steht im Widerspruch zum EU-Grundsatz der Nichtdiskriminierung.

Dies bedeutet jedoch nicht, dass KI nicht zur Beurteilung von Personen auf Grundlage ihres Verhaltens eingesetzt werden darf und um Konsequenzen damit zu verknüpfen. So ist beispielsweise der Einsatz von KI zur Bestimmung der Höhe von Leistungen grundsätzlich zulässig, obwohl dies auch weitreichende Folgen für die betroffenen Personen haben kann.

4. Profiling bzw. Risikobewertung in Bezug auf Straftaten

Es ist verboten, KI-Systeme einzusetzen, die allein auf Grundlage persönlicher Merkmale (wie Geburtsort, Anzahl der Kinder oder Autotyp) und Profiling (die automatisierte Sammlung und Verarbeitung von Daten über eine Person, um ein Bild von ihrem Verhalten zu erhalten und vorherzusagen) die Wahrscheinlichkeit analysieren, dass eine Person eine Straftat begehen wird.

Der Einsatz von KI bei der Beurteilung von Personen im Rahmen strafrechtlicher Ermittlungen ist jedoch zulässig, wenn bereits ein auf objektiven und überprüfbaren Tatsachen beruhender und durch menschliche Einschätzung begründeter Verdacht besteht, dass diese Person an einer Straftat beteiligt ist.

5. Datenbanken zur Gesichtserkennung
Die groß angelegte, wahllose Durchsuchung des Internets und der Bilder von Überwachungskameras zur Erfassung von Gesichtsbildern verletzt das Recht auf Privatsphäre der betroffenen Personen. Wenn dies zu dem Zweck geschieht, eine Datenbank mit Gesichtsbildern zu erstellen oder zu erweitern, ist der Einsatz eines KI-Systems zu diesem Zweck verboten.

6. Ableiten bzw. Erkennen von Emotionen

Da Menschen Emotionen auf unterschiedliche Weise zeigen, besteht die Möglichkeit, dass ein KI-System, das Emotionen erkennt, eine diskriminierende Wirkung haben könnte, wenn an seine Ausgabe Konsequenzen geknüpft werden. Aus diesem Grund ist der Einsatz eines KI-Emotionserkennungssystems am Arbeitsplatz oder in der Ausbildung verboten, es sei denn, das System wird ausschließlich zu medizinischen oder sicherheitstechnischen Zwecken eingesetzt, beispielsweise von einem Arbeitsmediziner. Die Erkennung von Schmerzen und Müdigkeit fällt jedoch nicht unter die Emotionserkennung. So ist beispielsweise ein KI-System, das Müdigkeit bei einem Lkw-Fahrer erkennt, nicht verboten.

7. Biometrische Kategorisierung

KI-Systeme, die Menschen auf Grundlage biometrischer Daten (wie Größe, Augenfarbe oder Gangart) in Gruppen einteilen, um besondere personenbezogene Daten über diese Personen abzurufen, sind verboten. Zu den besonderen personenbezogenen Daten gehören politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen, Ethnie, Sexualleben oder sexuelle Orientierung.

Eine Ausnahme von diesem Verbot gilt, wenn ein solches System im Bereich der Strafverfolgung, zum Filtern oder Kennzeichnen rechtmäßig erlangter personenbezogener Daten verwendet wird.

8. (Biometrische) Echtzeit-Fernidentifizierung

Systeme zur biometrischen Echtzeit-Fernidentifizierung verwenden Live-Kamerabilder von öffentlichen Plätzen, um Personen auf Grundlage ihrer persönlichen Daten zu erkennen. Bei ausreichender Kameraüberwachung könnte das System so den Standort einer Person in einer Stadt verfolgen. Der Einsatz dieser Systeme für die Strafverfolgung, z.B. zum Aufspüren eines Verdächtigen, ist im Prinzip verboten, es sei denn, es werden strenge Bedingungen erfüllt.

Zum einen darf das System nur zu den folgenden Zwecken eingesetzt werden:

• Die gezielte Suche nach Opfern von Entführung, Menschenhandel, sexueller Ausbeutung oder anderen vermissten Personen.
• Verhinderung einer unmittelbaren Bedrohung für das Leben oder die körperliche Unversehrtheit einer Person.
• Verhinderung eines terroristischen Anschlags.
• Aufspüren einer Person, die einer schweren Straftat verdächtigt wird, wie Terrorismus, Menschenhandel, sexuelle Ausbeutung von Kindern und Kinderpornografie, Drogenhandel, Waffenhandel, Mord, schwere Körperverletzung, Handel mit menschlichen Organen, Handel mit nuklearen Substanzen oder Entführung.

Wenn eine der oben genannten Situationen eintritt, ist der Einsatz eines Echtzeit-Identifizierungssystems durch die Polizei nur dann zulässig, wenn zu diesem Zweck eine richterliche Anordnung vorliegt, es sei denn, es handelt sich um eine sehr dringende Situation, in der die richterliche Überprüfung nachträglich erfolgen muss.

Haftungsausschluss
Dieses Dokument dient lediglich der Information und es können daraus keine Rechte abgeleitet werden. Für weitere eigenständige Recherchen konsultieren Sie bitte die anderen Informationsdokumente von Kienhuis Legal zur AI-Verordnung.

Bei speziellen Fragen wenden Sie sich bitte an unser German Desk.

von: Roeland de Bruin, Kienhuis legal, German Desk