Reflexion unterstützen oder Emotionen erkennen? Wo die Grenze für KI in der Begleitung verläuft

Die Analyse KI in der Begleitung endet mit einer offenen Frage: Wo genau verläuft die Grenze zwischen „Reflexion unterstützen“ und „Emotionen erkennen“, wenn Sprachmodelle freie Texte verarbeiten? Dieser Text ordnet ein, was dazu belegt ist – und was Rechtsauslegung und Praxis noch klären müssen.

Zwei verschiedene Aufgaben

	Reflexion unterstützen	Emotionen erkennen
Frage an das System	„Wie kann ich das, was die Person geschrieben hat, strukturieren oder weiterfragen?“	„Was fühlt die Person?“
Ergebnis	Rückfrage, Zusammenfassung, Struktur	Zuschreibung eines inneren Zustands
Wer bleibt Deutungsinstanz?	die Person selbst	das System
Fehlerfolge	schwache Rückfrage, leicht zu verwerfen	falsche Etikettierung, die Folgen haben kann

These: Der entscheidende Unterschied ist nicht die Technik, sondern die Deutungshoheit. Eine Funktion, die Fragen stellt, überlässt die Deutung der Person. Eine Funktion, die Gefühle benennt oder bewertet, übernimmt sie.

Was die Forschung zum Gefühlsausdruck sagt

Eine umfangreiche Übersichtsarbeit prüft die verbreitete Annahme, aus Gesichtsbewegungen lasse sich der emotionale Zustand verlässlich ablesen.¹ Das Ergebnis der Autor:innen: Menschen lächeln zwar häufiger, wenn sie glücklich sind, und runzeln die Stirn, wenn sie traurig sind – mehr, als der Zufall erwarten ließe. Doch wie Emotionen ausgedrückt werden, variiert erheblich zwischen Kulturen, Situationen und sogar Personen innerhalb einer Situation; zudem können ähnliche Bewegungsmuster mehr als eine Emotionskategorie ausdrücken.¹

Die Arbeit untersucht Gesichtsausdrücke, nicht Texte. Eine Übertragung ist ausdrücklich eine These: Wenn schon der Gesichtsausdruck kein eindeutiges Signal ist, dürfte auch der sprachliche Ausdruck stark von Person, Kontext und Gewohnheit abhängen. Einen Beleg für Texte liefert die Übersichtsarbeit nicht.

Was das Recht regelt

Die KI-Verordnung (EU) 2024/1689 definiert ein Emotionserkennungssystem als KI-System, das dazu dient, Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten festzustellen oder abzuleiten (Art. 3 Nr. 39).² Biometrische Daten sind personenbezogene Daten zu körperlichen, physiologischen oder verhaltensbezogenen Merkmalen, etwa Gesichtsbilder (Art. 3 Nr. 34).² Erwägungsgrund 18 stellt klar, dass körperliche Zustände wie Schmerz oder Müdigkeit nicht erfasst sind, ebenso wenig das bloße Erkennen offensichtlicher Ausdrücke wie eines Stirnrunzelns oder einer erhobenen Stimme – es sei denn, daraus werden Emotionen abgeleitet.³

Art. 5 Abs. 1 lit. f verbietet den Einsatz von KI-Systemen, die Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen ableiten, außer aus medizinischen oder Sicherheitsgründen.⁴ Erwägungsgrund 44 begründet das mit Zweifeln an der wissenschaftlichen Grundlage solcher Systeme und mit dem Machtungleichgewicht im Arbeitskontext.⁵

Daraus ergeben sich Fragen, die sich aus dem Gesetzestext allein nicht beantworten lassen:

• Fällt die Auswertung reiner Texteingaben unter die Definition, die an biometrische Daten anknüpft? Nach dem zitierten Wortlaut ist das fraglich; eine verbindliche Auslegung ist hier nicht belegt.
• Gilt ein Coaching, das ein Unternehmen für Beschäftigte finanziert, als „Arbeitsplatz“?
• Was bedeutet „ableiten“, wenn ein Sprachmodell nur eine Zusammenfassung mit Gefühlsvokabular formuliert?

Diese Fragen gehören vor dem Einsatz juristisch geprüft. Die Analyse ist keine Rechtsberatung.

Eine Praxisregel statt einer Grenzlinie

Weil die Grenze weder wissenschaftlich noch rechtlich scharf ist, hilft eine konservative Gestaltungsregel (These):

1. Fragen statt Etikettieren. Funktionen formulieren Rückfragen („Was war daran für Sie am schwierigsten?“), aber keine Zuschreibungen („Sie wirken frustriert“).
2. Keine Gefühlswerte als Ausgabe. Keine Scores, Ampeln oder Stimmungsdiagramme, die aus Texten, Stimme oder Bild abgeleitet sind.
3. Keine Weitergabe an Dritte. Was ein System über eine Person ableitet, erreicht weder Vorgesetzte noch Organisation (siehe Wirkung messen).
4. Selbstauskunft zuerst. Wenn Stimmungen erfasst werden, dann durch die Person selbst, mit eigener Einschätzung und eigener Formulierung.
5. Transparenz. Die Person weiß, womit sie interagiert (Art. 50 KI-Verordnung, siehe KI in der Begleitung).

Wann diese Unterscheidung nicht entscheidend ist

Für Funktionen ganz ohne Auswertung persönlicher Inhalte – Terminverwaltung, Erinnerungen, Dokumentenablage – stellt sich die Frage nicht. Und bei akuter Belastung oder Krisen ist ohnehin keine KI-Funktion das richtige Instrument, sondern der Weg zu Fachleuten (siehe Grenzen der Begleitung). Wie sich die Bereitschaft zur Offenheit gegenüber Systemen auswirkt, beschreibt Offenheit gegenüber Maschinen.

Offene Fragen

• Wie zuverlässig lassen sich Emotionen aus freien Texten ableiten, und gelten die Befunde zum Gesichtsausdruck dafür überhaupt?
• Wie legen Aufsichtsbehörden und Gerichte die Verbotsnorm für textbasierte Systeme im Beschäftigungskontext aus?
• Verändert das Wissen, dass ein System Gefühle benennen könnte, was Menschen schreiben?

Alle hier verwendeten Quellen stehen im Evidenzregister.

---

Offenlegung: Guidance Observatory wird von BA Entertainment herausgegeben. BA Entertainment betreibt mit Co;Gether zugleich eine Plattform für professionelle Begleitung. Diese Analyse beschreibt Prinzipien und nennt keine Anbieter.

Quellen

1. Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M., & Pollak, S. D. (2019). Emotional expressions reconsidered: Challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest, 20(1), 1–68. https://doi.org/10.1177/1529100619832930 ↩ ↩²

2. Art. 3 Nr. 34 und Nr. 39 Verordnung (EU) 2024/1689 (KI-Verordnung). https://eur-lex.europa.eu/eli/reg/2024/1689/oj ↩ ↩²

3. Erwägungsgrund 18 Verordnung (EU) 2024/1689. ↩

4. Art. 5 Abs. 1 lit. f Verordnung (EU) 2024/1689. ↩

5. Erwägungsgrund 44 Verordnung (EU) 2024/1689. ↩