Kommentar: Evaluation kann Kirche helfen, wenn sie gut gemacht ist

Evaluationsleiterin Dr. Miriam Zimmer hat eine Antwort auf Joachim Franks Artikel zur „BWL-isierung“ des Erzbistums Köln verfasst. Polemik gegenüber der Evaluation sei keine Lösung, wissenschaftliche und gut gemachte Evaluation sei ein wichtiges Instrument auch für die Kirche.

Am Montag, den 9. September, veröffentlichte Joachim Frank in seiner Kolumne beim Kölner Stadtanzeiger eine scharfe Kritik an Kardinal Woelkis aktueller Befragung der erzbischöflichen „Funktionsbereiche“. Wütend liest sich der Artikel und verständnislos. Nach Gängelung, Zeitdruck, Ökonomisierung und großer Verunsicherung klingt der Subtext. Als Leiterin eines Forschungszentrums, das seit nunmehr fünf Jahren Evaluationen für kirchliche Organisationen durchführt und dazu beitragen möchte, dass Seelsorge und Diakonie, kirchliche Veranstaltungen und Gottesdienste, Kommunikation und Organisation ihre Wirkungspotenziale besser entfalten, kann ich diese Kolumne nicht unkommentiert lassen. Um das Fazit vorwegzunehmen: Es wird eine Praxis berichtet, die zwar mit Begriffen der Wirkungsforschung (etwa Output, Outcome, Impact, Messung, Validierung und strategischen Zielen) hantiert, allerdings, wenig mit einer gut gemachten und korrekten Evaluation zu tun hat. Frank löste bei mir das Bedürfnis aus, Evaluation und diejenigen, die redliche Wirkungsforschung und -analysen, auch im Raum der Kirche, betreiben, in Schutz nehmen zu wollen. Ich möchte warnen vor der schnellen Verurteilung einer ganzen Zunft, anhand eines wahrscheinlich zu Recht als zweifelhaft zu bezeichnenden Beispiels.

Dabei stelle ich drei Anmerkungen vorweg. Erstens, ich beurteile die Befragungsinitiative anhand des Berichtes. Zweitens, mein Text ist intentional und keine objektive Abhandlung. Er möchte aufklären und Verständnis schaffen für das Feld der Wirkungsorientierung und Evaluation. Drittens handelt es sich beim Kölner Beispiel meiner Einschätzung nach nicht um eine Evaluation im eigentlichen Sinne. Da allerdings mit ähnlichen Konzepten und Instrumenten gearbeitet wird, werde ich hier deutlich machen, was Kriterien für eine ernsthafte Evaluation sind.

Evaluation ist Wissenschaft

Zunächst einmal so viel: Evaluation (-sforschung) ist eine anerkannte wissenschaftliche Disziplin, die danach strebt, Wirkungen von Praxis zu erforschen, die Fachgesellschaften unterhält und Qualitätsstandards ausgearbeitet hat. Wirkungsforschung entstand in non-profit Arbeitsfeldern, wie der Entwicklungszusammenarbeit und der Bildung. Dort sollte nachvollzogen werden, ob und wie Ziele erreicht werden und welcher Einsatz von Ressourcen, welche Aktivitäten die Gelingenswahrscheinlichkeit erhöhen. Evaluation hilft, Wirkungszusammenhänge zu verstehen, die eigene Wirksamkeit erfahrbar zu machen, zu lernen und Handeln zielgerichtet anzupassen. Und ja, Evaluation kann auch Datengrundlagen schaffen, um evidenzbasierte Entscheidungen zu treffen. Damit Evaluation allen Beteiligten nützt und eben nicht als Machtinstrument missbraucht wird, hat die Deutsche Gesellschaft für Evaluation (DeGEval) Standards entwickelt, die bei einer Wirkungsmessung anzulegen sind. Die vier Kernkriterien sind Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit.

Unser Forschungszentrum arbeitet gemäß der Kriterien der DeGEval. Wir haben in vielen Projekten die Erfahrung gemacht, dass Auftraggebende, Beteiligte und weitere Stakeholder:innen in unterschiedlicher Weise profitieren. Oft haben wir selbst erlebt, wie durch die Evaluation das Handeln pastoraler Mitarbeitender sichtbar und wertgeschätzt wurde, wie sie Aufmerksamkeit und Selbstwirksamkeit erfuhren, wie sie eine transparente Datengrundlage gewannen, um nächste Schritte zu planen, auch um überlegte Konsequenzen zu ziehen, wenn es sein musste. Erfahrungsgemäß zahlt die Einhaltung der Standards auch auf die Güte der Wirkungsmessung an sich ein. Sind etwa Evaluationsziele nicht im Vorfeld verständigt und anerkannt, dann werden Erhebungsinstrumente wie Fragebögen oft nicht richtig angewandt und die Datengrundlage verliert an Qualität.

Zweifelhafte Herangehensweise in Köln

Der Artikel von Joachim Frank berichtet mehrere Versäumnisse dieser Art.

Verständigung über den Zweck der Evaluation: Wirkungsorientierung gewinnt einen Sitz im Leben vor allem durch Kommunikation; nämlich die Kommunikation von Anliegen und die Klärung von Evaluationszwecken. Beteiligte und Evaluator:innen benötigen die Information, was mit der Evaluation erreicht werden soll. Der Artikel berichtet nur, dass am Ende des Fragebogens von der Beantwortung abhängt, welche Ressourcen einem Arbeitsbereich künftig zugewiesen werden. Es wird aber weder ein Evaluationszweck genannt noch eine angemessene Kommunikation darüber, die der Erhebung vorangestellt war.

Wirkungsziele der Erzdiözese: Im Sinne einer Wirkungslogik sollten erstens Wirkungsziele benannt, dann zweitens die Praxis ausgerichtet und erst drittens die Effekte gemessen werden. Was und wie letztlich gemessen wird, das wird von Anfang an mitkommuniziert, sodass sich die Akteure daran orientieren können. Was wir im Kölner Fall berichtet bekommen, ist eine so genannten ex-post-Messung, die die Betroffenen vor die paradoxe Situation stellt, dass ihr vergangenes Handeln anhand neu geschaffener Kriterien bewertet wird. Dieser Umstand lässt Ihnen keinerlei Handlungsmöglichkeiten und dient in der Gesamtperspektive auch nicht dem Ziel einer Verbesserung organisationaler Wirksamkeit.

Unparteiische Durchführung und Berichterstattung: Ein weiteres Kriterium, das die Validität der Ergebnisse beeinflusst, ist die unparteiische Durchführung und Berichterstattung von Wirkungsanalysen. Die Trennung zwischen dem Messen und Bewerten, zwischen strategischen Interessen und möglichst objektiven Daten scheint im berichteten Fall ebenfalls nicht gegeben zu sein. Kam doch der Fragebogen direkt aus der Strategieabteilung des Bistums.

Frank schreibt zum Schluss, „[i]m Erzbistum geht derweil die Sorge um, dass es längst beschlossene Sache sei, wo Gelder gestrichen und Stellen gekürzt werden sollen“, von einem „Schattenboxen“ ist die Rede. Angesichts des berichteten Vorgehens, dem es an Kommunikation, Partizipation, Prozesstransparenz und Commitment fehlt, muss hier in Frage gestellt werden, ob diese Art des Vorgehens zu einer stärkeren Wirkungsorientierung des Erzbistums überhaupt einen Beitrag leisten kann. Und, steht die vermeintlich aus den Daten abgeleitete Konsequenz vor der Erhebung dieser Daten fest, wird nicht nur das Vertrauen der Mitarbeitenden in die Kirchenleitung und ihre Führungsmethoden verspielt, sondern auch das Evaluieren an sich ungerechtfertigterweise als Legitimationsmittel willkürlicher Machtausübung disqualifiziert.

Dr. Miriam Zimmer ist Religionssoziologin, Evaluatorin und Netzwerkforscherin. Sie leitet seit 2019 das Kompetenzzentrum für Pastorale Evaluation am zap. Ihre Dissertation zu Religion und die Veränderungsdynamiken religiöse Organisation ist 2022 erschienen.