Belege für Wirkungen und Kosten

Messen lassen sich diese Wirkungen häufig nur schwer, und zwar auch, weil die für die Messung erforderlichen Ressourcen oft nicht zur Verfügung stehen. Möglich ist jedoch immer eine Wirkungs-Orientierung: Bereits in der Planungsphase und in der (Konzeption) der Maßnahme wird klar formuliert, welche konkreten Veränderungen bei den Zielgruppen erreicht werden sollen. Dabei wird auch erläutert, wie die geplanten Aktivitäten zu den angestrebten Veränderungen beitragen sollen und anhand welcher Indikatoren zu überprüfen ist, ob und in welchem Umfang die angestrebten Veränderungen auch tatsächlich erreicht werden. 

Kosten umfassen nicht nur die Ausgaben für Personal, Sachmittel und Miete. Dazu gehören z. B. auch die Nutzung vorhandener Räumlichkeiten oder der zeitliche Aufwand, den Ehrenamtliche durch ihre Tätigkeiten beitragen. Eine vollständige Erfassung der Kosten berücksichtigt nicht nur den Aufwand für die Durchführung der Maßnahme, sondern auch den Aufwand für die Planung, und zwar aller beteiligten Akteurinnen und Akteure. Kosten im Sinne von Geld- oder Zeitaufwand können außerdem bei den Personen entstehen, die an der Maßnahme teilnehmen. Die vollständige Erfassung der Kosten kann daher sehr aufwändig sein. 

Wenn es nicht möglich ist, Wirkungen und Kosten vollständig und genau zu erfassen, sollte trotzdem überlegt werden, wie sich Wirkungen beschreiben und Kosten so gut wie möglich schätzen lassen. Je genauer diese Darstellung ist, umso besser. Schon relativ allgemeine Informationen können wichtige Angaben liefern, sowohl für die Durchführung der aktuellen Maßnahme (Dokumentation und Evaluation, Qualitätsmanagement) als auch für die Planung künftiger Maßnahmen. 

Die Erhebung von Daten zu Wirkungen und Kosten wird in den meisten Fällen nur mit wissenschaftlicher Unterstützung möglich sein. Erforderlich ist die Bereitstellung der nötigen Erhebungsinstrumente, wobei es oft notwendig ist, diese an die jeweilige Maßnahme anzupassen. Da jede Maßnahme ihre eigenen Ziele hat, werden für die Erfassung der Wirkungen jeweils passende Indikatoren benötigt. Bevor Instrumente zur Erhebung der Kosten eingesetzt werden können, muss zudem geprüft werden, wer wem welche Kosten überhaupt in Rechnung stellen kann. Auch aus diesem Grund müssen die Erhebungsinstrumente immer gemeinsam und in einer Kooperation aus Wissenschaft und Praxis entwickelt werden, d. h. die Vorschläge aus der Wissenschaft müssen immer an die lokalen Möglichkeiten angepasst werden. Auch für die Auswertung der erhobenen Daten ist meist wissenschaftliche Unterstützung erforderlich, wobei diese jedoch immer auf eine dienende Rolle beschränkt, bleibt: Sie soll nicht die Spielregeln bestimmen, sondern dort unterstützen, wo sie gebraucht wird. 

Die Ziele der Maßnahme sind zwar definiert, es lässt sich jedoch nicht sagen, ob und in welchem Umfang sie erreicht werden. Der Konzeption ist nicht zu entnehmen, mit welchen Indikatoren und Methoden der Datenerhebung die Wirkungen erfasst werden sollen. Auch eine Wirkungs-Orientierung ist nicht belegt, d. h. es fehlen genaue Begründungen dafür, warum erwartet wird, dass die Ziele mit den geplanten Maßnahmen erreicht werden. Allgemeine Hinweise auf wissenschaftliche Studien oder vergleichbare Projekte reichen dazu nicht aus. Zwar werden einzelne Ergebnisse dokumentiert (z. B. die Zahl der Teilnehmenden), doch können sie nur sehr grobe Hinweise auf die Zielerreichung geben. Ähnlich ist es auch bei den Kosten: Entweder sie werden überhaupt nicht berichtet oder die vorhandenen Angaben sind zu unvollständig bzw. ungenau, um eine – wenn auch grobe – Schätzung der tatsächlichen Kosten zu ermöglichen.

Die Ziele sind klar formuliert und mit messbaren Indikatoren ausgestattet. Die Vorgehensweise zur Erreichung der Ziele ist durch Verweise auf wissenschaftliche Studien und/oder praktische Erfahrungen gut begründet. Dabei wird auch die Frage kritisch reflektiert, ob und inwieweit bei anderen Maßnahmen gesammelte Erfahrungen auf die aktuelle Maßnahme übertragbar sind. Die Kosten für Planung und Durchführung der Maßnahme lassen sich zumindest grob abschätzen.

Die Wirkungs-Orientierung ist hier noch klarer nachzuvollziehen als in Stufe 2: Alle Veränderungen, die bei der Zielgruppe erreicht werden sollen, sind klar definiert. In der Konzeption wird ausführlich erläutert, wie die geplanten Aktivitäten dazu beitragen sollen, die angestrebten Veränderungen zu erreichen. Festgelegt wird auch, wie und mithilfe welcher Indikatoren und Erhebungsverfahren diese Veränderungen gemessen werden sollen. Es gibt ein detailliertes Konzept zur fortlaufenden Dokumentation der Kosten für Planung und Durchführung. Erfasst werden dabei nicht nur direkte finanzielle Kosten (z. B. für Personal, Material und Miete), sondern auch indirekte Kosten wie Zeitaufwand oder Nutzung bereits vorhandener Räumlichkeiten.

Sowohl zu den Wirkungen als auch zu den Kosten werden Daten nach einem standardisierten Verfahren erhoben, welches auch bei anderen Maßnahmen verwendet und von externen Expertinnen und Experten als aussagekräftig bewertet wird. Die Daten zu Wirkungen und Kosten werden einrichtungsübergreifend und fortlaufend ausgewertet. Dies geschieht nach Möglichkeit durch externe Expertinnen und Experten – nicht nur, weil dafür erhebliche Ressourcen erforderlich sind, sondern auch, um eine möglichst objektive Analyse der Wirkungen und Kosten zu gewährleisten.