Kategorie-Archiv: Evaluation

Wirkungsmessung in der Freien Wohlfahrtspflege – Methoden und ihre Grenzen

Dritter Sektor, Evaluation, impact, Nonprofit-Organisation, NPO, , , ,

Auch in der Freien Wohlfahrtspflege wird die Wirkungsmessung ein zunehmend wichtiges Thema, um die eigene Existenz und Effektivität vor Geldgebern, Politik und Gesellschaft zu legitimieren.

Um einen Überblick über die unterschiedlichen Methoden der Wirkungsmessung zu erhalten, hat das Heidelberger Centrum für soziale Investitionen und Innovationen (CSI) im Auftrag der Bundesarbeitsgemeinschaft der Freien Wohlfahrtspflege ein Transparenzgutachten durch Kehl/Glänzel/Then/Mildenberger erstellt, das im März 2016 veröffentlicht wurde und online verfügbar ist.

Die Forscher untersuchten insgesamt 48 (!) Ansätze zur Wirkungsmessung und zwar nach folgenden Kriterien: methodische Qualität, Quantifizierung und Monetarisierung von Wirkung, Wirkungsdimensionen und -ebenen, Standardisierungsgrad und Ressourcenaufwand, Einsatzfelder und Adressaten. Die Ergebnisse der Analyse sind in einer Tabelle im Anhang des Berichts (S. 71- 86 zusammengefasst).

Das Fazit der Forscher (siehe CSI-Gutachten S. 6f):

  • Die meisten Ansätze betrachten gar nicht den impact (= Nettowirkung) von Maßnahmen, sondern nur den output, d.h. die Leistungen und Güter, die eine Organisation erstellt.  Manche fokussieren auch auf den outcome (= Bruttowirkung), der entsteht, wenn unterschiedliche outputs zusammenkommen. Betrachtet man nur den outcome ist es nicht möglich, einen eindeutigen Zusammenhang zwischen einer einzelnen Maßnahme und einer konkreten Wirkung herzustellen
  • Die Mehrheit der Ansätze konzentriert sich auf nur eine Wirkungsdimension, nämlich die ökonomische, und lässt andere Wirkungsdimensionen (soziale, kulturelle, politische) außen vor
  • Die meisten Ansätze beschränken sich auf die Ebene der Klienten (Mikro) oder auf die gesamtgesellschaftliche Ebene (Makro) und vernachlässigen die Ebene der Organisation (Meso)

Keiner der Ansätze wird der Komplexität von Wohlfahrtsverbänden gerecht, die nicht nur soziale Dienstleistungen erbringen, sondern auch noch weitere Funktionen haben: nämlich Interessen zu vertreten, Menschen zu integrieren und Beteiligungsmöglichkeiten zu bieten.

Die Forscher raten deshalb dazu,  unterschiedliche Ansätze miteinander zu kombinieren. Sie selbst halten fünf davon für Methoden mit größerem Potenzial für Nonprofits, sofern diese Ansätze methodisch und inhaltlich erweitert  und kombiniert werden: Kosten-Nutzen-Analyse, Quality-of-Life-Analyse, IRIS, SROI, Politische Diskursnetzwerkanalyse.

Empfohlen wird auch, auf unterschiedlichen Verbandsebenen unterschiedliche Wirkungsdimensionen in den Blick zu nehmen, also bspw. auf Bundes- und Landesebene sich eher mit den den politischen und ökonomischen Wirkungsdimensionen zu befassen und auf der lokalen Ebene in den Einrichtungen selbst mit den sozialen und kulturellen Dimensionen.

Die Herausforderung liegt darin, dass innerhalb der Freien Wohlfahrtspflege das Thema “Wirkungsmessung” hoch umstritten ist. Analyse-Methoden mit einem rein ökonomischen Blickwinkel werden abgelehnt (und das ist auch gut so). Gleichzeitig fehlt es verbandsintern an den notwendigen Ressourcen und Kompetenzen, um Wirkungsmessungen durchzuführen.

Die Wissenschaftler schlagen deshalb ein mehrstufiges Verfahren der Wirkungsmessung vor, bei dem die Bundesebene der Freien Wohlfahrtspflege eine wichtige Rolle spielen würde, wenn es darum geht, festzulegen, was überhaupt im Rahmen einer Wirkungsmessung gemessen werden sollte (S. 63).

Tatsächlich ist die Erarbeitung einer Basis-Indikatorik, anhand derer die Wirkung gemessen werden kann, für die Freie Wohlfahrtspflege sinnvoll. Aber ich bin der Ansicht, dass diese nicht top down oder von Externen erabeitet werden sollte, sondern ausgehend von der lokalen Ebene, in enger Kooperation mit der Zivilgesellschaft.  Dass so etwas funktioniert, zeigt der Kommunale Index für Inklusion, der in der Praxis getestet und überarbeitet wurde.

Für eine Sozialarbeit mit bürgerschaftlichem Profil

Co-Design, Community, Demokratisierung, Dritter Sektor, Evaluation, impact, Kommune, Koproduktion, Nonprofit-Organisation, NPO, open data, Partizipation, Profession, Social Media, soziale Dienste, Sozialeinrichtung, Wissen, , , ,

Wenn eine Demokratisierung des Dritten Sektors notwendig ist, um Bürgern Mitgestaltungsmöglichkeiten zu eröffnen ( siehe Koproduktion und Co-Design), dann benötigt die soziale Profession ein neues Rollenmodell. Dann reichen das “heroische” und das “altruistische” Berufs-Paradigma nicht mehr aus. Sondern es wird ein neues Selbstverständnis notwendig, damit die Profession Bürgerbeteiligung akzeptieren und fördern kann.

Harington und Beddoe arbeiten in einem aktuellen Aufsatz (“Civic practice: a new professional paradigm for social work” , Journal of Social Work 2013) die grundlegenden Eigenschaften eines neuen Berufs-Profils heraus, das sie das “bürgerschafliche” nennen:

Die bürgerschaftlich ausgerichtete Sozialarbeit integriert Partizipation in ihren Alltag. Sie zielt nicht nur auf das Betreuen, Helfen und Unterstützen, sondern auch auf den “civic outcome” ihrer Arbeit, d.h. auf die Folgen, die soziale Dienste für den bürgerschaftlichen Status der einzelnen Nutzer als auch für die Zivilgesellschaft als Ganzes haben.

Das Territorium des “civic practioners” sind nicht – wie bisher – die öffentlichen oder wohlfahrtsverbandlichen Institutionen. Sein Territorium ist das Gemeinwesen, er orientiert sich an den Bedürfnissen und Bestrebungen der Communities, die hier angesiedelt sind. Während in sozialen Diensten traditionell der Fallbezug vorherrscht, verfolgt der bürgerschaftlich ausgerichtete Sozialarbeiter gemeinwesenbezogene Ziele: er will die Kompetenzen in der Zivilgesellschaft fördern, Barrieren abbauen, und das Selbstbewußtsein von Bürgern bzw. Identitäten stärken (Harington/Beddoe 2013).

Entscheidungen werden kollaborativ mit den betroffenen Stakeholdern gefällt. Die soziale Arbeit nimmt nicht die Rolle des neutralen Experten ein, der über den Dingen steht . Vielmehr spielt die persönliche Ausrichtung des Sozialarbeiters an sozialem Wandel und an Gerechtigkeit eine wichtige Rolle in dem Modell einer bürgerschaftlich orientierten Profession: “Practice ethos based on explicit statement of values and personal commitment to social change and justice” (Harington/Beddoe 2013, 11).

Die soziale Profession arbeitet aktiv als Interessenvertretung an einem solchen sozialen Wandel mit, indem sie die Informationen über soziale Exklusion und darüber, was im Rahmen öffentlicher Sozialprogramme funktioniert und nicht funktioniert, sammelt, analysiert und mit anderen teilt. Speziell die Evaluation von Programmen sollte nicht Externen überlassen bleiben. Die Autoren rufen die soziale Profession dazu auf, sich stärker um Zahlen (the “numbers game”) zu kümmern. Wenn dies die Sozialarbeit nicht selbst macht, dann machen es andere, – mit dem Ergebnis, dass das Wissen der Praktiker vor Ort und betroffener Bürger selbst in Evaluations- und Impact-Studien zu wenig einfließt: “so-called independent research effectively silences both users’ and practitioners’ experience of the world” (Scheyett, zit. nach Harington/Beddoe 2013, 14).

Das Wissen um soziale Probleme und um die Wirkung sozialstaatlicher Programme im Alltag vergrößert seinen Wert, wenn es mit anderen geteilt wird und wenn andere ihren Beitrag dazu leisten können . Harington/Beddoe rufen die soziale Arbeit deshalb dazu auf, Wissensbestände gemeinsam mit Bürgern, Communities und Kolleg/innen aufzubauen. Wer bisher noch eine Begründung für die Relevanz von open data für Nonprofits gesucht hat, findet sie in dem Modell der “bürgerschaftlich augerichteten Sozialarbeit”, das die beiden Autoren entwerfen.

Die soziale Profession sollte sich überlegen, wie sie soziale Medien nutzen kann, um ihr Wissen mit anderen zu teilen und Wissenssammlungen im Netz aufzubauen. Speziell der Online-Kartierung sollte eine größere Bedeutung beigemessen werden. Es ist schade, dass so viele (kleine) soziale Organisationen nicht wissen, wie gut man Web-Karten nutzen kann, um Bedarfe und Ressourcen zu kartieren. Aber auch Wikis oder Blogs können eine wichtige Rolle spielen, wenn es darum geht, kollaborativ Wissen darüber zu sammeln, welche Prozesse und Programme auf örtliche Ebene funktionieren und welche nicht (vgl. das GrassrootsWiki oder AdmittingFailure).

Messung des impacts von gemeinnützigen Organisationen – welche Methoden gibt es?

crowdsourcing, Dritter Sektor, Evaluation, Nonprofit-Organisation, NPO, Öffentlichkeit, Partizipation, Sozialeinrichtung, Stakeholder, Strategie, Transparenz, Ziele, , , , , ,

Auf welche Weise man die Wirkung gemeinnütziger Projekte auf die Gesellschaft – den “social impact” – messen kann und ob man den impact der Projekte überhaupt messen sollte, ist im Dritten Sektor immer noch hoch umstritten.

Die kontroverse Debatte zwischen zivilgesellschaftlichen Akteuren und Vertretern der Wirkungsmessung wurde auch im Unterausschuss “Bürgerschaftliches Engagement” des Bundestags sichtbar. Hier stand PHINEO, eine Bertelsmann-Gründung, mit den eigenen Wirkungsanalysen in der Kritik. PHINEO reiht sich ein in die vielen unterschiedlichen Projekte, die weltweit entwickelt werden, um die Leistungsfähigkeit von gemeinnützigen Organisationen transparenter zu machen. Auf diese Weise will man Spendern, Stiftern und engagierten Unternehmen, die eine gute Organisation für ihr “Investment” suchen, Informationen und Hilfe an die Hand geben. Zu nennen sind hier Plattformen und Projekte wie Give Well, Philanthropedia, Charity Navigator, das Center for Effective Philanthropy und das Charting Impact Projekt. Einen guten Überblick über die Akteure der strategischen bzw. outcome-orientierten Wohltätigkeit liefert der Beitrag von Paul Brest in der Stanford Social Innovation Review.

Wie virulent das Thema Wirkungsmessung ist, zeigt auch die Gründung der “Social Impact Analysis Association” in London – ebenfalls ein Bertelsmann-Projekt – , die professionelle Wirkungsanalysten zu einem Austausch über Messmethoden zusammenbringen möchte.

In einem Aufsatz für das International Journal of Nonprofit and Voluntary Sector Marketing setzen sich Polonsky und Grau (2011), zwei amerikanische Forscher, mit den Methoden zur sozialen Wirkungsmessung auseinander.

Ihnen zufolge liegt das Grundproblem des Themas darin, dass es keine allgemein akzeptierte Definition des “social impact” gibt, – jeder Akteur – Spender, NPO-Mitarbeiter, Unternehmensvertreter, Nutzer von Diensten – versteht darunter etwas anderes und würde die Wirkungsanalyse anhand unterschiedlicher Kriterien durchführen. Die beiden Forscher ziehen sich auf die Definition zurück, dass unter dem “social impact” die gesamte Wirkung zu verstehen ist, die eine gemeinnützige Organisation auf ihre Stakeholder hat (Polonsky/Grau 2011, 196).

Weshalb eine Evaluation der Wirkung von Nonprofits sinnvoll ist, beantworten Polonsky/Grau wie folgt (2011,197f):

1. Eine solche Untersuchung kann zur kritischen Überprüfung von Organisationspraxis und -strukturen beitragen. So ist z.B. unklar, ob die in den vergangenen Jahren durchgeführte Ökonomisierung der gemeinnützigen Dienstleister tatsächlich zu besseren gesellschaftlichen Ergebnissen ihrer Projekte geführt hat.
2. Spender wünschen sich zunehmend mehr Transparenz im Nonprofit-Sektor. Sie wollen von den Trägern wissen, wie effektiv Spenden eingesetzt werden, d.h. wie gut – oder weniger gut – soziale Probleme von der Organisation gelöst werden konnten
3. Das Aufzeigen der eigenen Wirkung kann zu einer größeren Gleichbehandlung von Projekten führen, die momentan aufgrund der unterschiedlichen Popularität von Themen und Klienten nicht gegeben ist

Welche Argumente zählen die Forscher gegen die Wirkungsmessung auf?

1. Nonprofits werden zu strategischem Verhalten, das auf Effektivität zielt, animiert.
2. Der Zwang zu möglichst hohem impact schränkt die Risikofreude und die Lust am Experimentieren und damit auch die Lernmöglichkeiten ein.
3. Wenn die Wirkungsmessung von externen Partnern verlangt wird – von Spendern, Stiftungen, dem Staat – dann werden Nonprofits Indikatoren aufgezwungen, die sie selbst für ihre Arbeit niemals wählen würden. Polonsky und Grau sprechen von dem Gefühl Gemeinütziger, “that they are being micro-managed by major funders” (2011, S. 198).
4. Werden die Ergebnisse der Wirkungsmessung veröffentlicht oder wird ein Ranking erstellt, dann müssen Einrichtungen mit geringem impact mit einem Abfluß von Spendenmitteln rechnen.

Polonsky und Grau stellen die populärsten Ansätze, die zur Wirkungsmessung in der Praxis benutzt werden, vor. Das Problem ist, dass die Ansätze sich sehr voneinander unterscheiden und insofern auch die Messergebnisse untereinander nicht vergleichbar sind. Jeder Ansatz verfolgt eine ganz bestimmte, eingeschränkte Perspektive, die der Multidimensionalität von Nonprofits nicht gerecht wird.

Der ROI (Return on Investment) fokussiert auf die Finanzströme in gemeinnützigen Organisationen. Untersucht wird, welcher finanzielle Mehrwert den Investitionen gegenüber steht. Der SROI (Social Return on Investment) untersucht auch Finanzströme, bezieht aber die Kosten und den outcome für die unterschiedlichen Stakeholder mit ein. Der QIA (Qualitative Impact Approach) konzentriert sich auf die qualitative Erhebung der Leistungsfähigkeit einer Organisation bzw. ihrer capacities.

Aus den Ausführungen der Forscher über die drei Messmethoden lässt sich ihr jeweiliges Profil bestimmen:

 

 

 

 

 

 

Häufig wird versucht, die Ansätze zu kombinieren und quantitative und qualitative Messmethoden zusammenzubringen. Dennoch wird es unmöglich sein, von “oben herab” ein Messmodell zu entwickeln, das alle befriedigt – zu unterschiedlich sind die Auffassungen darüber, was der Dritte Sektor leisten soll, welche Wirkungen erwünscht sind und wie man diese am Besten analysieren kann.

Holger Kimmer vom Projekt Zivilgesellschaft in Zahlen regt an, in den Wirkungsanalysen über den Nonprofit-Bereich neben Effizienz und Effektivität auch die zivilgesellschaftlichen Aktivitäten einer gemeinnützigen Organisation bzw. ihre demokratische Leistungsfähigkeit zu berücksichtigen. Wie könnte dies jenseits von top-down-Konzepten realisiert werden?

Man müsste vor Ort in den Einrichtungen die Evaluationskriterien mit den unterschiedlichen Stakeholdern gemeinsam erarbeiten. Die Rolle der Freiwilligen wäre es, hier die bürgerschaftliche Perspektive in die Diskussion einzubringen. Die dezentral und kollaborativ erarbeiteten Evaluationskriterien müssten dann auf Sektorebene zu einem Katalog zusammengefasst werden, der wiederum auf die lokale Ebene wirkt. Man könnte so die Pluralität der Perspektiven – auch die zivilgesellschaftliche – besser in der Evaluation abbilden, als dies top-down-Konzepte leisten.

Die Evaluationskriterien der Stakeholder könnte eine Organisation im Rahmen eines World-Cafés oder einer Open Space-Veranstaltung abfragen, – siehe meinen letzten Blogbeitrag über “Führung in Vereinen, – vom ‘Held’ zum ‘Gastgeber'”.

Zusätzlich könnte der Dritte Sektor bzw. könnten die großen Verbände auch online eine öffentliche Diskussion darüber anstoßen, was Bürger von Nonprofits erwarten, was ihnen ganz besonders wichtig ist und welche Kriterien sich für eine Messung des impacts eignen könnten.

Mehr Öffentlichkeit und Bürgerbeteiligung wird aber gescheut von den großen Trägern. Sie bevorzugen Gespräche hinter verschlossenen Türen und “untereinander” (UA 2011, S. 13), statt mit den Bürgern. Dabei ist Transparenz das A und O, wenn es um Evaluation geht. Evaluationskriterien und -abläufe müssen offengelegt werden, damit jeder beurteilen kann, auf welcher Grundlage und durch wen der impact eines Trägers gemessen wurde.

Gemeinnützige Organisationen fühlen sich gegenüber Akteuren wie PHINEO in der Defensive – die Diskussion im oben erwähnten Unterausschuss belegt dies. Nonprofits sollten in der Tat selbst aktiv werden und Wirkungsansätze entwickeln, die ihren Vorstellungen und ihrer Komplexität besser entsprechen, – aber nicht hinter verschlossenen Türen, sondern gemeinsam mit ihren (Bürger)Stakeholdern.