Technology
Automationsbias: Wenn Menschen den Vorschlägen eines Systems zu sehr vertrauen
Eine systematische Übersicht mit 74 Studien zeigt, wann Menschen automatisierten Empfehlungen zu stark folgen und was dagegen hilft. Was das für KI-gestützte Begleitung bedeutet, in der Vorschläge nach Autorität klingen.
In der Analyse KI in der Begleitung ging es darum, was ein System übernehmen kann. Die Analyse zur Offenheit gegenüber Maschinen fragte, was Menschen einem System erzählen. Hier geht es um die Gegenrichtung: Wie stark folgen Fachleute dem, was ein System ihnen vorschlägt, auch wenn es falsch liegt?
Was die Übersicht untersucht
Goddard, Roudsari und Wyatt werteten die Forschung zu Automationsbias aus. Von 13 821 gefundenen Arbeiten erfüllten 74 die Einschlusskriterien. Der Schwerpunkt lag auf dem Gesundheitswesen, die Übersicht zog aber Literatur aus mehreren Forschungsfeldern heran. Untersucht wurden die Häufigkeit und Schwere des Effekts, Faktoren, die ihn verstärken, und Maßnahmen, die ihn abschwächen.1
Die Autor:innen beschreiben ein Muster: Entscheidungsunterstützung verbessert die Leistung im Mittel, doch es fehlt oft die Aufmerksamkeit für neue Fehler, die das System selbst einführt.1
Was Automationsbias verstärkt und was ihn mindert
| Bereich | Befund der Übersicht |
|---|---|
| Person | Kognitiver Stil, Erfahrung mit der Aufgabe, Vertrauen und Selbstvertrauen beeinflussten den Effekt |
| Umfeld | Arbeitslast, Aufgabenkomplexität und Zeitdruck beeinflussten ihn, weil sie Denkressourcen binden |
| Einführung | Schulung und das Betonen der eigenen Verantwortung wirkten mildernd |
| Gestaltung | Position des Vorschlags auf dem Bildschirm, aktuelle Angaben zur Sicherheit der Ausgabe und das Bereitstellen von Information statt einer Empfehlung wirkten mildernd |
Diese Tabelle fasst die Angaben des Abstracts zusammen.1 Die Übersicht unterscheidet außerdem den Automationsbias von der automationsbedingten Selbstzufriedenheit, also der unzureichenden Überwachung der Systemausgaben.1
Was daraus für Begleitung folgen könnte
Die Übersicht untersucht keine Begleitung. These: Das Muster lässt sich dennoch als Prüffrage übertragen, weil KI-gestützte Werkzeuge in Begleitprozessen ebenfalls Vorschläge machen, etwa Gesprächszusammenfassungen, Themenhinweise oder Formulierungen.
- Wer trägt die Verantwortung? Die Übersicht nennt das Betonen der Verantwortung als mildernden Faktor. These: In der Begleitung sollte klar sein, dass die Fachperson entscheidet, nicht das Werkzeug.
- Information oder Empfehlung? Das Bereitstellen von Information statt einer Empfehlung nannte die Übersicht als mildernde Gestaltung.1
- Wie sicher ist die Ausgabe? Angaben zur Sicherheit des Systems nannte die Übersicht als mildernde Gestaltung.1
- Unter welchem Druck wird entschieden? Zeitdruck und hohe Arbeitslast beeinflussten den Effekt.1 These: Wer viele Sitzungen am Tag vor- und nachbereitet, ist anfälliger dafür, Vorschläge ungeprüft zu übernehmen.
Grenzen
- Anderes Feld. Die Studien stammen überwiegend aus dem Gesundheitswesen, nicht aus Coaching oder Mentoring.
- Entscheidungssysteme, keine Sprachmodelle. Die Übersicht stammt aus dem Jahr 2012 und bezieht sich auf klassische Entscheidungsunterstützung. Wie sich Menschen gegenüber heutigen Sprachmodellen verhalten, beantwortet sie nicht.
- Keine Maßnahme ist ein Garant. Die Übersicht beschreibt Faktoren, die den Effekt abschwächen können, keine, die ihn beseitigen.
Wann diese Erkenntnis nicht gilt
Wo ein Werkzeug keine Empfehlung ausspricht, etwa bei reiner Transkription oder Terminverwaltung, steht Automationsbias nicht im Mittelpunkt. Dort geht es eher um Datenschutz und Genauigkeit als um Übervertrauen.
Offene Fragen
- Zeigt sich Automationsbias auch bei sprachlich flüssigen Empfehlungen in Begleitprozessen?
- Reicht eine Angabe zur Sicherheit einer Ausgabe, wenn Fachpersonen unter Zeitdruck arbeiten?
- Wie lässt sich die Verantwortung der Fachperson im Alltag so verankern, dass sie nicht formal bleibt?
Alle hier verwendeten Quellen stehen im Evidenzregister.
Offenlegung: Guidance Observatory wird von BA Entertainment herausgegeben. BA Entertainment betreibt mit Co;Gether zugleich eine Plattform für professionelle Begleitung. Diese Analyse beschreibt Prinzipien und nennt keine Anbieter.