Wirkung messen, ohne Vertraulichkeit zu brechen

In der Arbeitsdefinition haben wir Data & Governance als eine von vier Säulen beschrieben, und in der Architektur-Analyse den Vertraulichkeits-Konflikt: Organisationen wollen wissen, ob sich Begleitung lohnt, die Inhalte der Begleitung sind aber vertraulich.

Dieser Text beantwortet eine der dort offenen Fragen: Welche Kennzahlen sind für Organisationen aussagekräftig, ohne die Vertraulichkeit zu gefährden?

Warum der Konflikt real ist

Begleitung wirkt über eine Beziehung, in der offen gesprochen werden kann. Wer befürchten muss, dass Gesagtes bei der Führungskraft oder in einer Personalakte landet, spricht anders – oder gar nicht. These: Eine Messung, die Vertrauen kostet, zerstört genau das, was sie messen will.

Umgekehrt ist „Wir messen nichts“ keine Lösung. Die Forschung zeigt positive Effekte von Coaching auf der Ebene der einzelnen Person, weist aber zugleich darauf hin, dass Langzeit- und Organisationseffekte kaum untersucht sind.¹ Wer Begleitung verantwortet, braucht also eigene, begründete Hinweise auf Wirkung.

Vier Ebenen der Wirkung

Für die Evaluation von Weiterbildung ist das Modell von Kirkpatrick weit verbreitet. Es unterscheidet vier Ebenen: Reaktion, Lernen, Verhalten und Ergebnisse.² Auf Begleitung übertragen, zeigt es, dass jede Ebene eine andere Datenquelle braucht – und eine andere Vertraulichkeitsregel.

Ebene	Frage	Typische Datenquelle	Wer darf sehen?
Reaktion	War die Begleitung hilfreich?	kurze Rückmeldung der begleiteten Person	Organisation nur aggregiert
Lernen	Was hat sich an Einsicht oder Fähigkeit verändert?	Selbsteinschätzung, Reflexion	nur begleitete Person und Begleiter:in
Verhalten	Wird anders gehandelt?	Selbsteinschätzung, freiwillige Rückmeldung aus dem Umfeld	Organisation nur aggregiert und mit Zustimmung
Ergebnisse	Verändert sich etwas in Team oder Organisation?	vorhandene Organisationskennzahlen, z. B. Bindung oder Engagement	Organisation, ohne Verknüpfung mit Einzelbegleitungen

Zwei Beobachtungen folgen daraus:

• Die Ebene „Lernen“ gehört der begleiteten Person. Hier entstehen die persönlichsten Inhalte. Sie sollten die Beziehung nicht verlassen.
• Die Ebene „Ergebnisse“ braucht keine Begleitungsdaten. Organisationen haben meist eigene Kennzahlen. Aussagekräftig wird der Vergleich über Zeit oder zwischen Gruppen – nicht die Verknüpfung mit einzelnen Gesprächen.

Die Sichtrechte-Matrix

Aus den Ebenen lässt sich eine einfache Regel ableiten, wer welche Art von Information sehen darf:

Information	Begleitete Person	Begleiter:in	Organisation
Persönliche Notizen und Reflexionen	✓	nur wenn geteilt	–
Gesprächsinhalte	✓	✓	–
Termine und Teilnahme	✓	✓	nur aggregiert
Rückmeldung zur Begleitung	✓	aggregiert	nur aggregiert
Themen der Begleitung	✓	✓	nur aggregiert, ab Mindestgruppe
Organisationskennzahlen	–	–	✓

Die Matrix ist bewusst streng. Jede Abweichung – etwa ein Zwischenbericht an die auftraggebende Führungskraft – sollte ausdrücklich, vorab und für jede Begleitung einzeln vereinbart werden, nicht über Voreinstellungen einer Software entstehen. Die DSGVO verlangt ohnehin, nur die Daten zu verarbeiten, die für den Zweck nötig sind, und datenschutzfreundliche Voreinstellungen zu wählen.³

Mindestgruppen: Aggregation allein schützt nicht

„Nur aggregiert“ klingt sicher, ist es aber nicht automatisch. Wenn in einer Abteilung nur zwei Personen begleitet werden, verrät ein Durchschnitt fast alles über beide. Die Datenschutzforschung beschreibt dieses Problem seit Langem; ein bekanntes Modell ist k-Anonymität: Jeder Eintrag in einer Auswertung muss von mindestens k−1 anderen ununterscheidbar sein.⁴

Für Begleitung heißt das praktisch:

1. Eine Mindestgruppengröße festlegen und dokumentieren. Unterhalb dieser Schwelle zeigt die Auswertung nichts an – auch nicht „zu wenige Daten“ für eine benennbare Einheit.
2. Filter begrenzen. Wer Auswertungen beliebig nach Abteilung, Standort, Alter und Zeitraum schneiden kann, erzeugt am Ende Gruppen der Größe eins.
3. Freitexte nicht aggregieren. Wörtliche Aussagen sind oft identifizierend, auch ohne Namen.

Welche Schwelle angemessen ist, hängt von Organisationsgröße und Fragestellung ab. Wichtig ist, dass sie vor der ersten Auswertung feststeht – und nicht angepasst wird, wenn ein Ergebnis interessant erscheint.

Was sich daraus für Kennzahlen ergibt

Kennzahlen, die für Organisationen aussagekräftig sind und die Vertraulichkeit wahren, haben drei Eigenschaften:

• Sie beschreiben Zugang und Nutzung, nicht Inhalte: Wer hat Begleitung in Anspruch genommen, wie lange, wie regelmäßig – ab Mindestgruppe.
• Sie beruhen auf Rückmeldungen, die für die Organisation gedacht sind, nicht auf Material, das für die Beziehung gedacht war.
• Sie verbinden Begleitung und Organisationsergebnisse über Gruppen und Zeiträume, nicht über Einzelpersonen.

Kennzahlen, die diese Eigenschaften nicht haben – etwa Fortschrittsberichte über einzelne Personen an deren Vorgesetzte –, können im Einzelfall vereinbart werden. Als Standard einer Infrastruktur taugen sie nicht.

Offene Fragen

• Wie lässt sich Wirkung auf der Ebene „Verhalten“ erfassen, ohne das Umfeld der begleiteten Person zu Beobachtenden zu machen?
• Welche Mindestgruppengrößen sind in kleinen Organisationen überhaupt erreichbar – und was ist die Alternative, wenn nicht?
• Wie verändert sich die Offenheit in Begleitungen, wenn Menschen wissen, dass gemessen wird, auch wenn sie wissen, wie?

Alle hier verwendeten Quellen stehen im Evidenzregister.

---

Offenlegung: Guidance Observatory wird von BA Entertainment herausgegeben. BA Entertainment betreibt mit Co;Gether zugleich eine Plattform für professionelle Begleitung. Diese Analyse beschreibt Prinzipien und nennt keine Anbieter.

Quellen

1. Theeboom, T., Beersma, B., & van Vianen, A. E. M. (2014). Does coaching work? A meta-analysis on the effects of coaching on individual level outcomes in an organizational context. The Journal of Positive Psychology, 9(1), 1–18. https://doi.org/10.1080/17439760.2013.837499 ↩

2. Kirkpatrick, D. L., & Kirkpatrick, J. D. (2006). Evaluating training programs: The four levels (3rd ed.). Berrett-Koehler. ISBN 978-1-57675-348-4 ↩

3. Art. 5 Abs. 1 lit. c DSGVO (Datenminimierung) und Art. 25 DSGVO (Datenschutz durch Technikgestaltung und datenschutzfreundliche Voreinstellungen). ↩

4. Sweeney, L. (2002). k-anonymity: A model for protecting privacy. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 10(5), 557–570. https://doi.org/10.1142/S0218488502001648 ↩