Algorithmenaversion: Warum Menschen Systemen nach einem Fehler schneller misstrauen als Menschen

In fünf Studien verloren Teilnehmende nach dem Fehler eines Algorithmus schneller das Vertrauen als nach demselben Fehler eines Menschen, auch wenn der Algorithmus besser war. Was das für KI in der Begleitung bedeutet.

Die Analyse zum Automationsbias beschrieb, dass Menschen Systemen manchmal zu sehr folgen. Die Studien zur Algorithmenaversion zeigen die Gegenrichtung: Menschen meiden Systeme, nachdem sie sie Fehler machen sahen. Beides gehört zur Frage, wie sich KI in der Begleitung sinnvoll einsetzen lässt.

Die Studienreihe im Überblick

Dietvorst, Simmons und Massey beschreiben, dass evidenzbasierte Algorithmen Vorhersagen im Schnitt genauer treffen als menschliche Prognostiker, Menschen sich bei der Wahl aber oft für die menschliche Prognose entscheiden. Diese Neigung nennen sie Algorithmenaversion.¹

In fünf Studien sahen Teilnehmende entweder einen Algorithmus, einen Menschen, beide oder keinen von beiden Prognosen erstellen. Danach entschieden sie, ob sie ihre Vergütung an die künftigen Prognosen des Algorithmus oder des Menschen koppeln wollten.¹

Befund	Inhalt
Wer den Algorithmus zuvor arbeiten sah	war weniger zuversichtlich und wählte ihn seltener
Auch bei besserer Leistung des Algorithmus	blieb die Abneigung bestehen
Erklärung der Autor:innen	Vertrauen in Algorithmen sinkt nach demselben Fehler schneller als in Menschen

Das galt auch für Teilnehmende, die den Algorithmus besser abschneiden sahen als den Menschen.¹

Was daraus für Begleitung folgen könnte

Die Studien betreffen Vorhersagen in Experimenten, keine Begleitung. These: Das Ergebnis liefert dennoch eine Prüffrage für Einführung und Kommunikation von Werkzeugen.

Wie wird mit Fehlern umgegangen? These: Wenn ein Werkzeug einen Fehler macht, ist die Reaktion von Fachpersonen und Klient:innen möglicherweise strenger als bei menschlichen Fehlern. Das sollte in der Erwartung eingeplant werden.
Wird Leistung sichtbar gemacht? Die Teilnehmenden sahen den Algorithmus auch dann skeptisch, wenn er besser war.¹ These: Wer nur Einzelfehler sieht, kann die Gesamtleistung falsch einschätzen.
Wird beides geprüft, Übervertrauen und Misstrauen? Zusammen mit dem Automationsbias gilt: Beide Fehlhaltungen sind möglich, und welche überwiegt, hängt vom Kontext ab.

Grenzen

Prognoseaufgaben. Die Experimente betreffen Vorhersagen, bei denen sich Fehler messen lassen. In Begleitprozessen lässt sich Richtigkeit seltener beziffern.
Keine Coaching-Studie. Die Studien untersuchen weder Coaches noch Klient:innen.
Experimentelle Anreize. Die Wahl wurde an eine Vergütung gekoppelt, im Alltag gibt es diese Kopplung meist nicht.

Wann diese Erkenntnis nicht gilt

Wo ein Werkzeug keine Prognose und keinen Vorschlag liefert, sondern nur Verwaltungsaufgaben erledigt, steht Vertrauen in seine Vorhersage nicht im Mittelpunkt. Dann sind Datenschutz und Zuverlässigkeit die zentralen Fragen, siehe die Analyse zur Software-Architektur.

Offene Fragen

Gilt die schnellere Abkehr nach Fehlern auch bei Sprachmodellen in Begleitprozessen?
Hilft es, Fehlerquoten vorab offenzulegen?
Wie unterscheiden sich Erwartungen von Fachpersonen und Klient:innen?

Alle hier verwendeten Quellen stehen im Evidenzregister.

Offenlegung: Guidance Observatory wird von BA Entertainment herausgegeben. BA Entertainment betreibt mit Co;Gether zugleich eine Plattform für professionelle Begleitung. Diese Analyse beschreibt Prinzipien und nennt keine Anbieter.

Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114–126. https://doi.org/10.1037/xge0000033 ↩ ↩² ↩³ ↩⁴