Dokumentation und Evaluation

Die Dokumentation bildet Inhalte und Ergebnisse von Arbeitsprozessen ab. Hierzu gehören beispielsweise Besprechungsprotokolle, die Dokumentation von Veranstaltungsverläufen und -ergebnissen sowie die Sammlung erstellter Materialien. Wird sie lediglich zur Kontrolle der Normerfüllung vorgegebener Standards genutzt, wird die Dokumentation häufig als überflüssige bürokratische Auflage empfunden. Die Dokumentation gewährleistet jedoch, dass Konzeption und Umsetzung einer Maßnahme auch nach längerer Zeit und auch für Außenstehende oder neue Mitarbeitende nachvollziehbar und überprüfbar bleiben. 

Als Evaluation werden Verfahren zur Bewertung bezeichnet, die auf einer systematischen Datenerhebung, -erfassung und -analyse beruhen. Evaluationen analysieren dokumentierte, aber auch neu erhobene bzw. gewonnene Informationen und bewerten sie systematisch vor dem Hintergrund der in der Konzeption formulierten Ziele. Sie weisen darauf hin, wie Prozesse – und im weiteren Verlauf auch deren Ergebnisse – verbessert werden können. Evaluationen können intern als Selbstevaluation durchgeführt werden, oder auch als Fremdevaluation durch externe Fachleute bzw. mit deren Unterstützung. 

Wichtig ist der Zeitpunkt der Evaluation. Erfolgt sie begleitend zur laufenden Arbeit, können die Ergebnisse unmittelbar in die Umsetzung der Aktivitäten einfließen. Dies wird „formative Evaluation“ genannt und erfolgt überwiegend als Prozessevaluation. Eine Ergebnisevaluation prüft rückblickend, ob und in welchem Umfang die definierten Ziele der Maßnahme erreicht wurden, und welche Effekte sie darüber hinaus hatte. Dies wird als „summative Evaluation“ bezeichnet. 

Evaluationen können eine oder mehrere Qualitätsdimensionen haben, insbesondere Planungs-, Struktur-, Prozess- und Ergebnisqualität (Qualitätsmanagement). Die strukturelle Qualität wird selten getrennt evaluiert, jedoch zumeist in Prozess- und Ergebnisevaluationen berücksichtigt. Es ist wichtig, dass Umfang und Methodik der Evaluation an den Gegenstand und die Komplexität der Fragestellung angepasst sind. 

Arbeitsabläufe und -ergebnisse werden nur gelegentlich und nicht systematisch dokumentiert. Der Nutzen der Dokumentation im Sinne eines Qualitätsmanagements wird nicht ersichtlich. Es gibt keine verbindlichen Vorgaben zu Inhalt und Format der Dokumentation, zur Ablage oder zur Aufbereitung und Kommunikation der Ergebnisse.

Für die Dokumentation der Tätigkeiten werden Fragestellungen und Regeln festgelegt. Diese berücksichtigen die jeweiligen Datenschutzbestimmungen. Auf dieser Grundlage können Informationen und Daten für eine interne oder externe Evaluation bereitgestellt werden (vgl. Umsetzungsstufe 4).

Die Mitarbeitenden reflektieren die Inhalte der Dokumentation anlassbezogen und im Hinblick auf die Ziele des Projektes, um Schlussfolgerungen zu ziehen.

Die folgende Differenzierung interner Evaluation (Selbstevaluation) und externer Evaluation (Fremdevaluation) enthält keine Bewertung. Welcher der beiden Evaluationstypen im Einzelfall geeignet und umsetzbar ist, hängt von der Maßnahme, ihrem Kontext und den verfügbaren Ressourcen ab.

4a Interne Evaluation (Selbstevaluation)

Ausgehend von Daten aus der Dokumentation und, wo immer dies möglich ist, zusätzlichen Informationsquellen (Methoden-Mix), werden die Ergebnisse einer Maßnahme anhand der methodischen Vorgaben der Selbstevaluation systematisch überprüft und bewertet. Die Zielerreichung wird diskutiert und Möglichkeiten zur Weiterentwicklung der Maßnahme identifiziert.

4b Externe Evaluation (Fremdevaluation)

Eine externe Institution (z. B. ein wissenschaftliches Institut oder eine Hochschule) wird beauftragt, die Maßnahme zu evaluieren (z. B. im Rahmen eines wissenschaftlichen Begleitforschungsprojekts oder einer Qualifizierungsarbeit wie Projektstudium, Hausarbeit, Bachelor- oder Masterarbeit). Die Evaluierenden stimmen die Inhalte und Methoden der Evaluation mit den Auftraggebenden und Mitarbeitenden ab. Sie nutzen die im Rahmen der Dokumentation erhobenen Daten und ergänzen sie ggf. durch eigene Erhebungen. Dazu befragen sie z. B. die Mitarbeitenden und/oder Personen aus den Zielgruppen. Die externe Evaluation sollte bereits vor und während der Umsetzung der Maßnahme einbezogen werden, um Indikatoren der Zielerreichung zu benennen und um zu prüfen, ob bzw. inwieweit die Umsetzung entsprechend des Konzeptes gelingt, oder ob die Vorgehensweise angepasst werden muss (begleitende oder formative Evaluation). Bei einer summativen Evaluation werden die Zielerreichung und bei Bedarf weitere Aspekte (Vorgehensweise, Qualität etc.) abschließend beurteilt (Bilanzierung). Im Verlauf oder nach Abschluss der Evaluation stellen die externen Evaluierenden die Ergebnisse vor und entwickeln gemeinsam mit den Mitarbeitenden Ideen für die Weiterentwicklung der Maßnahme.