Schlagwort-Archiv: Evaluation

Messung des impacts von gemeinnützigen Organisationen – welche Methoden gibt es?

Auf welche Weise man die Wirkung gemeinnütziger Projekte auf die Gesellschaft – den “social impact” – messen kann und ob man den impact der Projekte überhaupt messen sollte, ist im Dritten Sektor immer noch hoch umstritten.

Die kontroverse Debatte zwischen zivilgesellschaftlichen Akteuren und Vertretern der Wirkungsmessung wurde auch im Unterausschuss “Bürgerschaftliches Engagement” des Bundestags sichtbar. Hier stand PHINEO, eine Bertelsmann-Gründung, mit den eigenen Wirkungsanalysen in der Kritik. PHINEO reiht sich ein in die vielen unterschiedlichen Projekte, die weltweit entwickelt werden, um die Leistungsfähigkeit von gemeinnützigen Organisationen transparenter zu machen. Auf diese Weise will man Spendern, Stiftern und engagierten Unternehmen, die eine gute Organisation für ihr “Investment” suchen, Informationen und Hilfe an die Hand geben. Zu nennen sind hier Plattformen und Projekte wie Give Well, Philanthropedia, Charity Navigator, das Center for Effective Philanthropy und das Charting Impact Projekt. Einen guten Überblick über die Akteure der strategischen bzw. outcome-orientierten Wohltätigkeit liefert der Beitrag von Paul Brest in der Stanford Social Innovation Review.

Wie virulent das Thema Wirkungsmessung ist, zeigt auch die Gründung der “Social Impact Analysis Association” in London – ebenfalls ein Bertelsmann-Projekt – , die professionelle Wirkungsanalysten zu einem Austausch über Messmethoden zusammenbringen möchte.

In einem Aufsatz für das International Journal of Nonprofit and Voluntary Sector Marketing setzen sich Polonsky und Grau (2011), zwei amerikanische Forscher, mit den Methoden zur sozialen Wirkungsmessung auseinander.

Ihnen zufolge liegt das Grundproblem des Themas darin, dass es keine allgemein akzeptierte Definition des “social impact” gibt, – jeder Akteur – Spender, NPO-Mitarbeiter, Unternehmensvertreter, Nutzer von Diensten – versteht darunter etwas anderes und würde die Wirkungsanalyse anhand unterschiedlicher Kriterien durchführen. Die beiden Forscher ziehen sich auf die Definition zurück, dass unter dem “social impact” die gesamte Wirkung zu verstehen ist, die eine gemeinnützige Organisation auf ihre Stakeholder hat (Polonsky/Grau 2011, 196).

Weshalb eine Evaluation der Wirkung von Nonprofits sinnvoll ist, beantworten Polonsky/Grau wie folgt (2011,197f):

1. Eine solche Untersuchung kann zur kritischen Überprüfung von Organisationspraxis und -strukturen beitragen. So ist z.B. unklar, ob die in den vergangenen Jahren durchgeführte Ökonomisierung der gemeinnützigen Dienstleister tatsächlich zu besseren gesellschaftlichen Ergebnissen ihrer Projekte geführt hat.
2. Spender wünschen sich zunehmend mehr Transparenz im Nonprofit-Sektor. Sie wollen von den Trägern wissen, wie effektiv Spenden eingesetzt werden, d.h. wie gut – oder weniger gut – soziale Probleme von der Organisation gelöst werden konnten
3. Das Aufzeigen der eigenen Wirkung kann zu einer größeren Gleichbehandlung von Projekten führen, die momentan aufgrund der unterschiedlichen Popularität von Themen und Klienten nicht gegeben ist

Welche Argumente zählen die Forscher gegen die Wirkungsmessung auf?

1. Nonprofits werden zu strategischem Verhalten, das auf Effektivität zielt, animiert.
2. Der Zwang zu möglichst hohem impact schränkt die Risikofreude und die Lust am Experimentieren und damit auch die Lernmöglichkeiten ein.
3. Wenn die Wirkungsmessung von externen Partnern verlangt wird – von Spendern, Stiftungen, dem Staat – dann werden Nonprofits Indikatoren aufgezwungen, die sie selbst für ihre Arbeit niemals wählen würden. Polonsky und Grau sprechen von dem Gefühl Gemeinütziger, “that they are being micro-managed by major funders” (2011, S. 198).
4. Werden die Ergebnisse der Wirkungsmessung veröffentlicht oder wird ein Ranking erstellt, dann müssen Einrichtungen mit geringem impact mit einem Abfluß von Spendenmitteln rechnen.

Polonsky und Grau stellen die populärsten Ansätze, die zur Wirkungsmessung in der Praxis benutzt werden, vor. Das Problem ist, dass die Ansätze sich sehr voneinander unterscheiden und insofern auch die Messergebnisse untereinander nicht vergleichbar sind. Jeder Ansatz verfolgt eine ganz bestimmte, eingeschränkte Perspektive, die der Multidimensionalität von Nonprofits nicht gerecht wird.

Der ROI (Return on Investment) fokussiert auf die Finanzströme in gemeinnützigen Organisationen. Untersucht wird, welcher finanzielle Mehrwert den Investitionen gegenüber steht. Der SROI (Social Return on Investment) untersucht auch Finanzströme, bezieht aber die Kosten und den outcome für die unterschiedlichen Stakeholder mit ein. Der QIA (Qualitative Impact Approach) konzentriert sich auf die qualitative Erhebung der Leistungsfähigkeit einer Organisation bzw. ihrer capacities.

Aus den Ausführungen der Forscher über die drei Messmethoden lässt sich ihr jeweiliges Profil bestimmen:

 

 

 

 

 

 

Häufig wird versucht, die Ansätze zu kombinieren und quantitative und qualitative Messmethoden zusammenzubringen. Dennoch wird es unmöglich sein, von “oben herab” ein Messmodell zu entwickeln, das alle befriedigt – zu unterschiedlich sind die Auffassungen darüber, was der Dritte Sektor leisten soll, welche Wirkungen erwünscht sind und wie man diese am Besten analysieren kann.

Holger Kimmer vom Projekt Zivilgesellschaft in Zahlen regt an, in den Wirkungsanalysen über den Nonprofit-Bereich neben Effizienz und Effektivität auch die zivilgesellschaftlichen Aktivitäten einer gemeinnützigen Organisation bzw. ihre demokratische Leistungsfähigkeit zu berücksichtigen. Wie könnte dies jenseits von top-down-Konzepten realisiert werden?

Man müsste vor Ort in den Einrichtungen die Evaluationskriterien mit den unterschiedlichen Stakeholdern gemeinsam erarbeiten. Die Rolle der Freiwilligen wäre es, hier die bürgerschaftliche Perspektive in die Diskussion einzubringen. Die dezentral und kollaborativ erarbeiteten Evaluationskriterien müssten dann auf Sektorebene zu einem Katalog zusammengefasst werden, der wiederum auf die lokale Ebene wirkt. Man könnte so die Pluralität der Perspektiven – auch die zivilgesellschaftliche – besser in der Evaluation abbilden, als dies top-down-Konzepte leisten.

Die Evaluationskriterien der Stakeholder könnte eine Organisation im Rahmen eines World-Cafés oder einer Open Space-Veranstaltung abfragen, – siehe meinen letzten Blogbeitrag über “Führung in Vereinen, – vom ‘Held’ zum ‘Gastgeber'”.

Zusätzlich könnte der Dritte Sektor bzw. könnten die großen Verbände auch online eine öffentliche Diskussion darüber anstoßen, was Bürger von Nonprofits erwarten, was ihnen ganz besonders wichtig ist und welche Kriterien sich für eine Messung des impacts eignen könnten.

Mehr Öffentlichkeit und Bürgerbeteiligung wird aber gescheut von den großen Trägern. Sie bevorzugen Gespräche hinter verschlossenen Türen und “untereinander” (UA 2011, S. 13), statt mit den Bürgern. Dabei ist Transparenz das A und O, wenn es um Evaluation geht. Evaluationskriterien und -abläufe müssen offengelegt werden, damit jeder beurteilen kann, auf welcher Grundlage und durch wen der impact eines Trägers gemessen wurde.

Gemeinnützige Organisationen fühlen sich gegenüber Akteuren wie PHINEO in der Defensive – die Diskussion im oben erwähnten Unterausschuss belegt dies. Nonprofits sollten in der Tat selbst aktiv werden und Wirkungsansätze entwickeln, die ihren Vorstellungen und ihrer Komplexität besser entsprechen, – aber nicht hinter verschlossenen Türen, sondern gemeinsam mit ihren (Bürger)Stakeholdern.

Wer ist an Entscheidungen beteiligt? Entscheidungsmacht in NPOs evaluieren

Organisationen verteilen Entscheidungskompetenzen an ihre Stakeholder-Gruppen ganz unterschiedlich. Wer wo und wie mitbestimmen darf, hängt von der Eigentümerstruktur einer Einrichtung und ihren Zielen ab.

Welche Stakeholder-Gruppen haben in For-profit, Nonprofit und kommunalen Sozialeinrichtungen das Sagen? Eine neue empirische Studie aus den USA von Avner Ben-Ner und Ting Ren (2010) geht dieser Frage nach. Fast 700 amerikanische Organisationen aus der Kinderbetreuung, der Altenpflege und der lokalen Behindertenbetreuung gaben Auskunft über die Allokation von Entscheidungsmacht. Das Ergebnis zeigt, dass in gemeinnützigen und kommunalen Einrichtungen die Angestellten, Bewohner, Angehörigen und die örtliche Gemeinschaft mehr Mitsprachemöglichkeiten haben als in For-profit Einrichtungen. Gleichzeitig ist aber das Ausmaß der Möglichkeiten dieser Stakeholder-Gruppen, an substantiellen Entscheidungen mitzuwirken, in beiden Einrichtungsarten (gemeinnützig/kommunal) gering. In allen drei Bereichen (for-profit/nonprofit/kommunal) dominiert die Geschäftsführung die Entscheidungsprozesse.

Ich finde es interessant, einen empirischen Blick auf die Allokation von Entscheidungskompetenzen zu werfen, denn “Entscheidungsmacht kann erst geteilt werden, wenn Klarheit darüber herrscht, wer sie ausübt” (Wright u.a. 2010, 82).

Wenn zivilgesellschaftliche Akteure mehr Mitsprache in gemeinnützigen Einrichtungen bekommen sollen – und selbst die Bundesregierung mahnt neuerdings mehr Mitsprache für freiwillige Helfer in Institutionen an, siehe hier, S. 3 – dann ist es sinnvoll, zuerst eine Evaluation der Entscheidungsstrukturen in Nonprofits durchzuführen. Oftmals sind die formellen und informellen Entscheidungsverläufe den Beteiligten in gemeinnützigen Organisationen selbst nicht ganz bewusst (vgl. Wright u.a. 2010), so dass eine Evaluation von Entscheidungsprozessen Sinn macht. Erst wenn über den Ist-Zustand von Mitsprachemöglichkeiten Klarheit herrscht, kann ein Soll-Zustand entworfen werden.

Nun geben aber diejenigen, die Entscheidungsbefugnisse innehaben, diese nur ungern ab bzw. nur dann, wenn sie keine andere Option sehen. Weshalb sollten Nonprofits hier eine Ausnahme bilden? Weil der Wettbewerb zwischen gemeinnützigen Organisationen um die Ressource ‘Freiwillige Helfer’, mit der sehr häufig sehr nachlässig umgegangen wird (vgl. meinen letzten Blogbeitrag) es erfordert, dass Nonprofits sich ernsthaft Gedanken über eine Umverteilung von Entscheidungskompetenzen machen. Immerhin haben neue Generationen von Helfern andere inhaltliche Ansprüche an das Freiwilligenengagement als die Nachkriegsgenerationen, die bescheiden waren, wenn es um Mitsprache ging. Wer also neue Unterstützer und Helfer gewinnen möchte, muss Teilhabemöglichkeiten bieten.

Eine (Selbst)Evaluation interner Entscheidungsprozesse mit Blick auf die Einbeziehung der unterschiedlichen Stakeholder-Gruppen wäre in NPOs höchst angebracht. Ebenso die Konzeption eines Soll-Zustandes, der zivilgesellschaftliche Akteure in die Entscheidungsfindung gemeinnütziger Organisationen stärker einbezieht.

Ein leicht anzuwendendes Evaluations-Tool für Nonprofits sind die Kreise der Entscheidung, die von Wright/Block/Unger von der Forschungsgruppe Public Health des Wissenschaftszentrums Berlin im Rahmen eines Präventionsforschungsprojekts im Gesundheitsbereich entworfen wurden. Die Kreise der Entscheidung (siehe unten) sind auf der – sehr empfehlenswerten Webseite – partizipative-qualitaetsentwicklung.de zu finden (und im begleitenden Buch , S. 82), mit einer detaillierten Anleitung zum Gebrauch und vielen anderen wertvollen Informationen:

Kreise der Entscheidung (von Wright/Block/Unger)

KreisederEntscheidung

Die Kreise der Entscheidung umfassen unterschiedliche Beteiligungsmöglichkeiten, – je weiter eine Stakeholder-Gruppe vom inneren Kreis der Entscheidungsmacht entfernt ist, desto weniger Teilhabemöglichkeiten besitzt sie. Mit Hilfe der Kreise kann eine gemeinnützige Einrichtung für einzelne Projekte, für einzelne Entscheidungsphasen, für bestimmte Fachgebiete usw. die bestehenden Partizipationsstrukturen klären und neue entwerfen. Besonders informativ wird die Evaluation, wenn man unterschiedliche Gruppen daran beteiligt, also bspw. die Nutzer der Einrichtung, die Angehörigen, die Geldgeber, die Partner aus der Verwaltung usw.

Sofern gemeinnützige Organisationen für die stärkere Partizipation von zivilgesellschaftlichen Akteuren bereit sind, können sie ihre Weiterentwicklung hin zu community-orientierten Einrichtungen, die nicht nur Betreuungsleistungen erbringen, sondern soziales Kapital und bürgerschaftliche Kompetenzen aufbauen, erfolgreich bewältigen. Gerade die Mitarbeiter von Nonprofits, die laut der oben zitierten Studie von Ben-Ner und Ren (2010) an strategischen Entscheidungen nicht substantiell beteiligt sind, könnten hier zu wertvollen Verbündeten der Bürger werden.