Schlagwort-Archiv: NPO

Wirkungsmessung in der Freien Wohlfahrtspflege – Methoden und ihre Grenzen

Auch in der Freien Wohlfahrtspflege wird die Wirkungsmessung ein zunehmend wichtiges Thema, um die eigene Existenz und Effektivität vor Geldgebern, Politik und Gesellschaft zu legitimieren.

Um einen Überblick über die unterschiedlichen Methoden der Wirkungsmessung zu erhalten, hat das Heidelberger Centrum für soziale Investitionen und Innovationen (CSI) im Auftrag der Bundesarbeitsgemeinschaft der Freien Wohlfahrtspflege ein Transparenzgutachten durch Kehl/Glänzel/Then/Mildenberger erstellt, das im März 2016 veröffentlicht wurde und online verfügbar ist.

Die Forscher untersuchten insgesamt 48 (!) Ansätze zur Wirkungsmessung und zwar nach folgenden Kriterien: methodische Qualität, Quantifizierung und Monetarisierung von Wirkung, Wirkungsdimensionen und -ebenen, Standardisierungsgrad und Ressourcenaufwand, Einsatzfelder und Adressaten. Die Ergebnisse der Analyse sind in einer Tabelle im Anhang des Berichts (S. 71- 86 zusammengefasst).

Das Fazit der Forscher (siehe CSI-Gutachten S. 6f):

  • Die meisten Ansätze betrachten gar nicht den impact (= Nettowirkung) von Maßnahmen, sondern nur den output, d.h. die Leistungen und Güter, die eine Organisation erstellt.  Manche fokussieren auch auf den outcome (= Bruttowirkung), der entsteht, wenn unterschiedliche outputs zusammenkommen. Betrachtet man nur den outcome ist es nicht möglich, einen eindeutigen Zusammenhang zwischen einer einzelnen Maßnahme und einer konkreten Wirkung herzustellen
  • Die Mehrheit der Ansätze konzentriert sich auf nur eine Wirkungsdimension, nämlich die ökonomische, und lässt andere Wirkungsdimensionen (soziale, kulturelle, politische) außen vor
  • Die meisten Ansätze beschränken sich auf die Ebene der Klienten (Mikro) oder auf die gesamtgesellschaftliche Ebene (Makro) und vernachlässigen die Ebene der Organisation (Meso)

Keiner der Ansätze wird der Komplexität von Wohlfahrtsverbänden gerecht, die nicht nur soziale Dienstleistungen erbringen, sondern auch noch weitere Funktionen haben: nämlich Interessen zu vertreten, Menschen zu integrieren und Beteiligungsmöglichkeiten zu bieten.

Die Forscher raten deshalb dazu,  unterschiedliche Ansätze miteinander zu kombinieren. Sie selbst halten fünf davon für Methoden mit größerem Potenzial für Nonprofits, sofern diese Ansätze methodisch und inhaltlich erweitert  und kombiniert werden: Kosten-Nutzen-Analyse, Quality-of-Life-Analyse, IRIS, SROI, Politische Diskursnetzwerkanalyse.

Empfohlen wird auch, auf unterschiedlichen Verbandsebenen unterschiedliche Wirkungsdimensionen in den Blick zu nehmen, also bspw. auf Bundes- und Landesebene sich eher mit den den politischen und ökonomischen Wirkungsdimensionen zu befassen und auf der lokalen Ebene in den Einrichtungen selbst mit den sozialen und kulturellen Dimensionen.

Die Herausforderung liegt darin, dass innerhalb der Freien Wohlfahrtspflege das Thema „Wirkungsmessung“ hoch umstritten ist. Analyse-Methoden mit einem rein ökonomischen Blickwinkel werden abgelehnt (und das ist auch gut so). Gleichzeitig fehlt es verbandsintern an den notwendigen Ressourcen und Kompetenzen, um Wirkungsmessungen durchzuführen.

Die Wissenschaftler schlagen deshalb ein mehrstufiges Verfahren der Wirkungsmessung vor, bei dem die Bundesebene der Freien Wohlfahrtspflege eine wichtige Rolle spielen würde, wenn es darum geht, festzulegen, was überhaupt im Rahmen einer Wirkungsmessung gemessen werden sollte (S. 63).

Tatsächlich ist die Erarbeitung einer Basis-Indikatorik, anhand derer die Wirkung gemessen werden kann, für die Freie Wohlfahrtspflege sinnvoll. Aber ich bin der Ansicht, dass diese nicht top down oder von Externen erabeitet werden sollte, sondern ausgehend von der lokalen Ebene, in enger Kooperation mit der Zivilgesellschaft.  Dass so etwas funktioniert, zeigt der Kommunale Index für Inklusion, der in der Praxis getestet und überarbeitet wurde.

Nutzer-Partizipation in Nonprofits – neue Daten aus der Forschung

Welche Konsultations- und Partizipationsformen bieten gemeinnützige Organisationen ihren Nutzern an? Welchen Einfluss haben Nutzer auf  Entscheidungen von Nonprofits? Wie groß ist der Impact von Nutzern verglichen mit anderen Stakeholder-Gruppen, die für gemeinnützige Organisationen wichtig sind?

Diese Fragen untersucht die Studie von Lore Wellens /Marc Jegers, die im Frühjahr 2016 in der Zeitschrift Nonprofit Management & Leadership (Bd. 26, Heft 3, S. 295-312). veröffentlicht wurde . Die Forscher haben dafür die Antworten der Geschäftsführer/innen von 790 großen belgischen Nonprofit-Organisationen aus 14 Fachbereichen ausgewertet.

Der Studie zufolge bieten die meisten gemeinnützigen Organisationen ihren Nutzern Verfahren an, um deren Beschwerden oder Zufriedenheit abzufragen, nämlich 75% der Einrichtungen bzw. 67% (S. 300). Bedeutend weniger sehen einen Nutzerbeirat vor (31%) oder einen Sitz für einen Nutzer-Vertreter im Vorstand (22%). Wobei NPOs aus dem Gesundheits- und Sozialbereich führend sind, wenn es um Nutzer-Beiräte geht. 42% der Einrichtungen haben einen solchen Beirat, der allerdings auch immer häufiger vom Gesetzgeber vorgeschrieben wird.  Insgesamt gibt es viele gemeinnützige Einrichtungen (35%), die zwar keine formalen Verfahren anbieten, um Nutzer an ihrer Strategie- und Politikformulierung zu beteiligen, dafür aber informelle Beteiligungsmöglichkeiten. Generell wählen Nonprofits Verfahren mit geringem Personal- und Zeitaufwand, also eher Fragebögen als Beiräte (S. 299).

Trotz unterschiedlicher Konsultations- und Partizipationsverfahren schätzen die befragten Nonprofit-Geschäftsführer/innen den Impact der Nutzer auf die Entscheidungen einer NPO als geringer ein als den anderer wichtiger Stakeholdergruppen (S. 302):  51% der Befragten halten den Nutzer-Impact für wichtig/sehr wichtig/entscheidend.  Aber als noch viel wichtiger werden der Staat  (80%), der Vorstand (86%) und das Management (97%) wahrgenommen. Nur 7,3 % der Befragten sehen einen Impact von freiwillig Engagierten auf die Politikformulierung, ein interessantes Detail, das inhaltlich zu einem der letzten Artikel hier im Blog passt.

Die Autoren schließen aus diesem Ergebnis, dass es sich bei vielen der angebotenen Verfahren für die Nutzer-Partizipation und -Konsultation um symbolische Politik handelt, streng genommen sogar um eine „Zeit- und Geldverschwendung“ (S. 308) seitens der Organisation und der Nutzer, wenn man allein den Impact der Verfahren im Auge hat.  Für die Autoren ist einer der Ansatzpunkte, um den Einfluss der Nutzer auf die Entscheidungen der Organisation zu erhöhen, die Qualität der Partizipations- und Konsultationsverfahren zu verbessern, um die es ihnen zufolge in Nonprofits nicht gut bestellt ist: „(…) the formal mechanisms in place are not perceived to be of good quality.“ (Wellens/Jegers 2016, 302).

Was fördert und was hemmt die Social Media-Nutzung durch Nonprofits?

Welche Faktoren fördern und welche bremsen die Nutzung sozialer Medien durch gemeinnützige Organisationen?

Eine Studie aus den USA von Nah/Saxton, die im März 2013 in New Media & Society (Heft 2, 294-313) veröffentlicht wurde, untersucht anhand der 100 größten amerikanischen Nonprofits, welche Organisations- und Umweltfaktoren dazu führen, dass gemeinnützige Akteure soziale Medien nutzen.

Der Begriff „Nutzung“ wird operationalisiert in „Präsenz in den sozialen Medien“, „Häufigkeit von Updates“ und „Dialogorientierung“. Letztere wurde durch die qualitative Untersuchung von über 2400 Tweets und über 1000 Status Updates auf Facebook untersucht. Twitter und Facebook bilden die zwei Social Media-Plattformen, auf denen die Studie basiert. Der Untersuchszeitraum war in 2009.

Die Studie kommt zu folgenden Ergebnissen (siehe Nah/Saxton 2013, 306f):

Gemeinnützige Organisationen, die sich über Gebühren und Entgelte finanzieren, sind eher in den sozialen Medien aktiv. Ebenso wie jene Nonprofits, die von Spendern abhängig sind. Organisationen, die sich über staatliche Förderung finanzieren, sind in den sozialen Medien weniger aktiv. Auch Organisationen mit hohen Fundraising- und Lobbying-Ausgaben nutzen soziale Medien seltener und weniger dialogorientiert. In beiden Fällen stehen die hohen Ausgaben für offline-Aktivitäten, aber nicht für Online-Engagement.

Effiziente Organisationssteuerung und Social Media- Nutzung stehen in einem engem Zusammenhang. Ebenso spielt die Existenz einer Organisations-Webseite mit hoher Reichweite eine ganz wichtige Rolle: Nonprofits, die über eine solche Webseite verfügen, besitzen die Kompetenzen und Ressourcen, um auch den Schritt in die sozialen Medien zu unternehmen.

Gemeinnützige Organisationen, die auf Mitgliedschaft basieren und auf demokratischen Strukturen aufbauen, sind eher weniger im Social Web aktiv: die bestehenden Mitsprachemöglichkeiten für die eigenen Mitglieder machen eine Präsenz in den sozialen Medien und deren dialogorientierte Nutzung weniger wahrscheinlich.

Diesen letzten Aspekt finde ich sehr interessant. Zusammen mit der empirisch belegten Bedeutung einer Organisations-Webseite mit hoher Reichweite kann so die Social Media-Abstinenz vieler Vereine und Sozialverbände auf lokaler Ebene erkärt werden.

Da häufig Stadtteileinrichtungen von Verbänden oder Stadtteil-Gruppen über keine selbstverwaltete Webpräsenz verfügen – die Organisationswebseite wird vom (über)örtlichen Träger zentral gepflegt – fehlen in den Stadtteilen häufig die Kompetenzen, Mittel und Erfahrungen, die es für ein Engagement in den sozialen Medien braucht. So ist der Aufbau von sozialem Kapital über das Internet im Quartier für die dortigen Organisationen nicht möglich.

Ebenso wirkt sich die Konzentration auf interne Beteiligungsstrukturen wie Mitgliederversammlungen und Fachgruppen negativ auf eine Social Media-Präsenz aus und auf die Dialogbereitschaft gegenüber der gesamten Öffentlichkeit.

Umgekehrt bedeuten diese Ergebnisse, dass Vereine und Verbände lokal und stadtteilbezogen mehr in die Internetkompetenzen der Akteure investieren müssen. Und dass ihr binnenorientierter Blick sich zur Gesellschaft hin weiten muss, wenn eine Social Media-Präsenz angestrebt wird.

Die Studie zeigt am Schluss auch auf, dass es problematisch ist, von „den“ sozialen Medien generell zu sprechen. Obwohl bspw. ein positiver Zusammenhang zwischen Spenderabhängigkeit und Social Media-Nutzung existiert, korreliert hier nur Facebook positiv, aber nicht Twitter (Nah/Saxton 2013, 304, 306), was bedeutet, dass die einzelnen Tools und die Organisationsmerkmale in ganz unterschiedlichem Zusammenhang stehen.

Wichtig ist, die Beschränkungen der dennoch hochinteressanten Studie nicht aus den Augen zu verlieren: untersucht wurden lediglich die größten Nonprofit-Organisationen, nicht aber kleinere und mittlere.