Equal-Ostbayern - Brücken zur Arbeit

Evaluation der Entwicklungspartnerschaft "Equal-Ostbayern"

Gliederung:

Was ist Evaluation?
Wer sind die Partner im Prozess der Evaluation?
Evaluationskonzept der Entwicklungspartnerschaft
Erfassung von Stammdaten in "Equal II-Online
Evaluations- und Finanzdaten durch "Mephisto"
Ergebnisse der Evaluation

Was ist Evaluation?

Die Evaluation eines Projektes (Projektevaluation) wie Equal-Ostbayern dient in großem Maße der Erfolgskontrolle dieser Unternehmung. Nach C. W. Müller ist unter Evaluation "die akkurate Einschätzung des Wertes einer Einrichtung oder Maßnahme mit Methoden und Instrumenten der empirischen (erfahrungsverarbeitenden) Sozialforschung" (Müller, C.W., 1996, S.189) zu verstehen. Demzufolge ist es das erklärte Ziel der Evaluation, mittels sozialwissenschaftlicher Forschungsmethoden wie Befragung, Beobachtung und Inhaltsanalyse, die Prozesse und Ergebnisse innerhalb der Entwicklungspartnerschaft hinsichtlich ihrer Effizienz und ihres Erfolges zu analysieren und zu bewerten. Da eine Bewertung aus interner Sicht möglicherweise zu Verzerrungen im projektbegleitenden Prozess der Evaluation führen kann, wird diese von einem externen Evaluator (Fremdevaluator) durchgeführt. Die Evaluation hat die Aufgabe, die Fortschritte der Entwicklungspartnerschaft von Beginn an systematisch und unter regelmäßiger Rückkopplung an die Entwicklungspartner zu beobachten und zu analysieren. Ausgehend von einer Bestandsaufnahme der Ausgangssituation sowie der Ziele und Erwartungen aller beteiligten Akteure sollen durch die kontinuierliche Prozessbegleitung Defizite rechtzeitig erkannt und Erfolge übertragbar gemacht werden.

Wer sind die Partner im Prozess der Evaluation?

Die Evaluation erfolgt durch den Lehrstuhl für Mikrosoziologie an der Technischen Universität Dresden. Lehrstuhlinhaber ist Prof. Dr. Karl Lenz, für die Evaluation der Entwicklungspartnerschaft „Brücken zur Arbeit“ ist Bernhard Wagner (M.A.) verantwortlich.

Kontaktdaten:

TU Dresden

Herr Wagner

Chemnitzer Str. 46a, 01069 Dresden
01062 Dresden
Tel.: 0351 463 37371
Fax: 0351 463 37371
Email: bernhard.wagner@tu-dresden.de

Die Aufgabe unseres Evaluationspartners wird die permanente Analyse und Kontrolle unserer Projekte sein, um so auch bei eventuellen Fehlentwicklungen regulative Interventionen durchführen zu können. Bei diesem Vorhaben wird eng mit der EU und dem Bundesministerium für Arbeit und soziales kooperiert.

Evaluationskonzept der Entwicklungspartnerschaft

A. Grundlagen des Evaluierungskonzepts

Die Entwicklungspartnerschaft „Brücken zur Arbeit“ stellt ein recht komplexes Gestaltungsprojekt dar. Evaluation bezieht sich in diesem Kontext u.a. auf die Initiierung von Innovationen – also bislang unbekannter Prozesse und Wirkungen - , auf die „Messung“ der Qualität sehr komplexer Handlungszusammenhänge wie auch auf die Begleitung eines komplexen Projektverbundes.

Damit ist ein Gegenstand formativer Evaluation beschrieben, der vorwiegend explorative Methoden erfordert, da die Projektziele erst konkretisiert, die verschiedenen Ansätze erst entwickelt und umgesetzt werden müssen. Im Konzept einer formativen Evaluation versteht sich wissenschaftliche Begleitung als Instrument der Qualitätsentwicklung bzw. Qualitätssicherung. „Der Evaluationsgegenstand ist lediglich vorläufig abgesteckt und wird im Fortgang des Entwicklungsprozesses neu konturiert, je nach den Interessen der Organisationen, Gruppierungen oder Personen, die am Programm beteiligt sind“.

Die Evaluation soll dabei von Anfang an in die Projektentwicklung eingebunden sein, von der Entwicklung von Zielvorstellungen über die Entwicklung geeignet erscheinender Maßnahmen sowie deren Erprobung bis hin zu einem auf seine Güte und Eignung getesteten (endgültigen) Konzept.

Formative Evaluation ist insofern ein „offenes“ Konzept, als darin - nach einer Charakterisierung von Beywl - „die Bestimmung der Feinziele, Fragestellungen, Hypothesen usw. zentrale Aufgabe des Evaluationsprozesses selbst (ist) ... Besonders die Eingangsphase einer Evaluation, aber auch die anschließenden Erhebungs-, Auswertungs-, Interpretations- und Berichtsarbeiten werden weitestmöglich auf die Bedürfnisse der Beteiligtengruppen abgestimmt“.

Der Ablauf einer so verstandenen formativen Evaluierung ist „iterativ, schleifenartig, ist ein fortwährendes Fragenstellen, Antworten, Bewerten, Informieren und Aushandeln. Jede ‚Schleife’ gliedert sich in drei Hauptphasen: Gegenstandsbestimmung, Informationssammlung, Ergebniseinspeisung. Der Zyklus ist entsprechend dem Programmfortschritt wiederholt zu durchlaufen.“

In ihrer bewertenden Funktion besteht die zentrale Aufgabe der Evaluation in der (Zwischen- wie abschließenden) Bewertung des Erreichten unter Bezugnahme auf die Ausgangssituation und die Ziele des Gesamtprojektes wie auch der Teilprojekte (summative Evaluation). Wesentlich ist dabei die Entwicklung und Anwendung von qualitativen und quantitativen Erhebungsinstrumenten, die einen Vergleich der Situation zu Projektbeginn und zu Projektende ermöglichen und somit den Entwicklungsprozess bzw. den Projektfortschritt valide abbilden.

Dabei sind vor allem zwei Aspekte hervorzuheben:

Unser Ziel ist nicht eine bloße „ex post-Bewertung“ (= „summative Evaluation“), die nach getaner Arbeit auftaucht und anhand mitgebrachter Kriterien den Projekterfolg feststellt. Die Bewertung des Erfolges und Misserfolges der Aktivitäten der Projekte erfolgt hier stets mit dem Ziel, zeitnah Schlussfolgerungen aus den Ergebnissen zu ziehen und diese zur Sicherstellung eines erfolgreichen weiteren Projektverlaufs an die Partner zurückzuspiegeln.

Im Sinne eines dialogischen Ansatzes heißt dies auch, dass die Kriterien für die Bewertung (die Indikatoren des Projekterfolges) nicht von uns gleichsam von außen vorgegeben werden sollen, sondern dass diese Kriterien bzw. Indikatoren < i>gemeinsam mit den Projektakteuren gewonnen und ggf. revidiert werden.

Das vorliegende Konzept zur Evaluation von „Brücken zur Arbeit“ nimmt also sowohl Funktionen formativer als auch summativer Evaluation wahr.

Abbildung 1: Evaluation als Qualitätssicherung:

Bei unseren Evaluationsaktivitäten orientieren wir uns an den „Standards für Evaluation“ der Deutschen Gesellschaft für Evaluation, die in detaillierter Form Vorgaben zur Gewährleistung der Standards Nütz-lichkeit, Durchführbarkeit, Fairness und Genauigkeit enthalten.

B. Methoden der Evaluation

Prinzipiell steht im Rahmen des Begleit- und Bewertungsprozesses das ganze Instrumentarium quantitativer und qualitativer empirischer Methoden zur Verfügung. Im Sinne eines auch methodisch offenen Evaluationskonzeptes werden geeignete Erhebungs- und Auswertungsmethoden in Abhängigkeit vom Pro-jektverlauf und den sich daraus ergebenden Notwendigkeiten ausgewählt. Nicht die Methoden dürfen den Gegenstand bestimmen, sondern der Gegenstand erfordert ggf. eine flexible Methodenwahl.

Der Einsatz quantitativer und qualitativer Methoden erfolgt komplementär. Während quantitative Methoden vorwiegend der Reduktion empirischer Komplexität dienen und eine Vergleichbarkeit verschiedener Aktivitäten zu unterschiedlichen Zeitpunkten erlauben, sind qualitative Methoden vor allem angezeigt zur Erfassung der Komplexität des empirischen Feldes – insbesondere der qualitativen Ziele der EP „Brücken zur Arbeit“, die sich weitgehend einer simplen Quantifizierung entziehen.

Standardisierte Befragungen eignen sich also insbesondere dafür, das Maß der Zielerreichung hinsichtlich bereits feststehender, vorab definierter Kriterien (Zielkatalog) zu messen. Dadurch lässt sich feststellen, wie weit diese Ziele erreicht wurden bzw. welche der vorab vermuteten Effekte in welchem Maße eingetreten sind.

Allerdings beziehen sich standardisierte Fragestellungen immer nur auf vorab definierte Merkmale oder vorab vermutete Effekte. Um hingegen nicht-intendierte Folgen (nicht vermutete Probleme etc.) zu erschließen, sind offene, d.h. qualitative Befragungsverfahren notwendig. Qualitative Methoden ermöglichen es, „neue“ Aspekte (also unbekannte Probleme, unvermutete Effekte) ans Tagslicht zu befördern. Nur durch qualitative und „offene“ Befragungsverfahren können Einsichten über ungeplante, „überraschende“ Aspekte, Ergebnisse oder Effekte gewonnen werden. Vor allem aber lassen sich nur durch offene qualitative Verfahren Einsichten in Begründungszusammenhänge oder Motive der Befragten gewinnen. Während standardisierte Verfahren „nur“ messen können, wie etwas ist, sollen qualitative Verfahren Aufschluss darüber liefern, warum etwas so ist wie es ist.

C. Leistungen der Evaluation

Die konkrete Umsetzung des Evaluationskonzeptes ist natürlich abhängig vom Projektfortschritt und der sich ergebenden Entwicklungsdynamik. Voraussichtlich wird die Evaluation – nach Abstimmung mit der EP-Koordination – folgende Leistungen erbringen:

a) Präzisierung und Operationalisierung der Ziele

Evaluation kann nur dann erfolgreich sein, wenn sie klare und detaillierte Zielformulierungen hinsichtlich der Projektziele insgesamt wie auch der einzelnen Aktivitäten zum Ausgangspunkt hat. Sie muss genau wissen, welche Ziele das Programm/die einzelne Maßnahme verfolgt um den Grad der Zielerreichung feststellen zu können. Ziele in sozialen Interventionsprogrammen sind häufig zu unscharf formuliert, bleiben implizit oder sind nicht ausreichend operationalisiert (= „messbar gemacht“). Viele Projekte scheitern an der Diffusität der Ziele!

Da die EP „Brücken zur Arbeit“ auf komplexe soziale Interventionen zielt, ist eine Erfolgskontrolle nur möglich, wenn es gelingt, die abstrakten Ziele insoweit zu operationalisieren, dass sie „messbar“ werden. Eine „Zielevaluation“ trägt zunächst dazu bei, eine explizite Formulierung der Ziele zu erhalten und diese auf logische Stimmigkeit, Exaktheit, Vollständigkeit und Überprüfbarkeit zu untersuchen.

Dabei müssen die Kriterien bzw. Indikatoren zur Bewertung immer aus zwei unterschiedlichen Perspektiven entwickelt werden:

Zum einen ist die Konsistenz der von den Teilprojekten verfolgten Ziele zu analysieren, d.h.: Entsprechen die operativen Ziele der Teilprojekte deren Leitzielen, sind die gewählten Mittel geeignet, diese operativen Ziele zu verwirklichen?

Zum anderen ist die Kompatibilität der Ziele der Teilprojekte mit dem Programm des Gesamtprojektes zu überprüfen (z.B. auch hinsichtlich der „Querschnittsziele“): Das schönste Ergebnis ist im Sinne des Programms zwecklos, wenn es nicht auf dem Boden des Programms steht!

Die sodann notwendige Operationalisierung konkretisiert die zunächst abstrakten Leitziele und macht sie einer Überprüfung (als konkretisierte operationale Handlungsziele) erst zugänglich. Erst dann kann die Bestimmung der konkreten Mittel zur Erreichung dieser Ziele erfolgen. Die Operationalisierung der Ziele ist somit eine logische und wesentliche Voraussetzung für eine spätere Wirkungsevaluation. Sie soll im intensiven Dialog zwischen Projektakteuren und Evaluation erfolgen.

Hieraus werden dann Indikatoren zur Feststellung des Projektfortschritts (Zwischenbewertung) bzw. des Projekterfolges (Endbewertung) abgeleitet und in ein geeignetes methodisches Instrumentarium umgesetzt.

b) Analyse der Projektfortschritte - Kontinuierliche Rückkopplung der Ergebnisse an die EP

Hierzu zählen selbstverständlich die Leistungen

Beobachten und Analyse der Umsetzung des Arbeitsprogramms der EP,

Identifizierung von Fehlentwicklungen (einschl. ggf. Intervention),

Entwicklung und Analyse von Verlaufs-, Ergebnis- und Wirkungsindikatoren.

Ein Nutzen der Evaluation für die EP und ihre Teilprojekte ist nur dann zu erwarten, wenn die Rückkopplung von (Zwischen-)Ergebnissen zeitnah und in einer für die „PraktikerInnen“ der Teilprojekte verständlichen und nachvollziehbaren Form geschieht. Die periodische und zeitnahe Rückkopplung der Evaluationsergebnisse an die EP ist die Voraussetzung, um Fehlentwicklungen und problematische Tendenzen rechtzeitig zu erkennen und ggf. auf dem Wege der Intervention zu beheben.

Die Sicherung der Qualitätsstandards soll auch durch die zeitweilige aktive Teilnahme des Evaluators an zentralen EP-Aktivitäten gewährleistet werden.

Dabei können zur „Arbeit auf Distanz“ intensiv die Möglichkeiten der online-Kommunikation (qualitative und quantitative online-Erhebungen; Bereitstellung eines online-Forums zum kontinuierlichen Austausch) genutzt werden. Die face-to-face-Kommunikation mit den EP- bzw. Projektverantwortlichen (im Rahmen von Evaluationsforen bzw. Workshops) sowie periodische Projektbesuche sind allerdings unverzichtbar.

Schematisch lässt sich der Ansatz einer dialogischen Evaluation wie folgt darstellen:

Abb. 2: Der Zyklus dialogischer Evaluation

Konkret kann die Rückkopplung von (Zwischen-)Ergebnissen und ein damit verbundenes Verfahren der „kommunikativen Validierung“ etwa wie folgt aussehen:

Beispielhafter Ablauf

c) Analyse der Netzwerkkooperation

Eine weitere Leistung der Evaluation ist die kontinuierliche Analyse der Kooperations- bzw. Kommunikationsprozesse im EP-Netzwerk – einschließlich strategischen und transnationalen Partnern – und darüber hinaus im regionalen Umfeld. Fragen zu entsprechenden Kontakten und Kooperationen der Teilprojekte sind deshalb ein wichtiger Bestandteil der Evaluation.

Dabei sind einerseits die Struktur und die Entwicklungsdynamik des EP-Netzwerkes Gegenstand der Evaluation, andererseits die Wirkungen der EP und der einzelnen EP-Partner nach „außen“, also bzgl. regionaler Unternehmen, Verbände oder Institutionen sowie natürlich nicht zuletzt bzgl. der Zielgruppen der EP.

d) Evaluation der transnationalen Aktivitäten

Die Aktivitäten des Evaluators hinsichtlich der Evaluation der transnationalen Aktivitäten hängt natürlich entscheidend von den sich entwickelnden transnationalen Aktivitäten sowie von dem durch die EP gewählten Modell der Kooperation ab.

In Kooperation mit den Evaluator/innen der transnationalen Partner-EP´s sollte hier zur Feststellung der Zielerreichung bzgl. der transnationalen Kooperation ein gemeinsames Instrumentarium erarbeitet werden. Angestrebt wird hier ein (standardisierter) Erhebungsbogen oder ein Leitfaden mit Fragen an die verantwortlichen Mitglieder der „Transnational Management Group“ sowie ggf. auch an die TeilnehmerInnen einzelner Meetings, der in allen beteiligten Entwicklungspartnerschaften eingesetzt werden kann. Dies sollte nicht nur am Ende (wo es für Änderungen ja zu spät wäre), sondern mindestens im Sinne einer Zwischenbilanz auch schon mindestens einmal im Jahr 2006 geschehen.

Auf EP-Ebene sollen in einer Zwischenbewertung (2006) und in einer Abschlussbewertung die beteiligten Partner

nach ihrem Beitrag zur transnationalen Kooperation

und nach ihrem "Gewinn" aus der transnationalen Kooperation befragt werden.

e) Unterstützung bei Dokumentation und Verbreitung von Innovationen bzw. "Best Practice-Modellen

Die Aufbereitung der erarbeiteten Ergebnisse für den Mainstreaming-Prozess ist eine wichtige Aufgabe der EP insgesamt, die die Unterstützung der Evaluation erfahren wird. Eine wesentliche Leistung der Evaluation besteht dabei in der Unterstützung bei der Erarbeitung von Best Practice-Modellen und „Innovationspotentialen“ („dichte Beschreibungen“, Fallstudien). Hier soll aufgrund der qualitativen Zielsetzungen der EP ein Verfahren gewählt werden, dass über bloße quantitativ orientierte Benchmarkingprozesse hinausgeht. Dazu bieten sich qualitative Verfahren der kommunikativen Validierung der erreichten Projektergebnisse an, die im Rahmen von EP-weiten „Innovationsplena“ durchgeführt werden können. Diese sollen eine qualitative Beschreibung und kommunikative Validierung von „Best Practice-Modellen“ sowie deren gezielte Verbreitung ermöglichen.

f) Unterstützung des Mainstreamingprozesses

Zur Unterstützung der Mainstreamingaktivitäten der EP leistet die Evaluation einerseits einen Beitrag über ihre Einbindung in mehrere Kooperationszusammenhänge: So über ihre Kooperation mit den Evaluator/innen anderer EP´s bzw. der Programmevaluation, über ihre Einbindung in wissenschaftliche Netzwerke – z.B. über den Arbeitskreis „Evaluation von Mehrebenen-Programmen und Netzwerken“ innerhalb der Deutschen Gesellschaft für Evaluation (Degeval) sowie über Tagungen und Kongresse im Rahmen der Deutschen Gesellschaft für Soziologie (DGS) – und schließlich durch den Erfahrungstransfer aus der Evaluation von weiteren EQUAL-Entwicklungspartnerschaften in der zweiten Förderperiode.

Zum anderen ist die Analyse der Mainstreamingaktivitäten ein selbstverständlicher Bestandteil der prozessbegleitenden Analysen.

g) Bewertungsfunktion und Ergebnissicherung (Summative Evaluation)

Die Bewertung und Ergebnissicherung, für die das gesamte Instrumentarium der empirischen Forschungsmethoden zur Verfügung steht, ist ein selbstverständlicher Kernbestandteil des Evaluationsauftrages. Hierzu wird sich die Evaluation eng an die Vorgaben im „Programm der Gemeinschaftsinitiative EQUAL“ (PGI) sowie an die Anforderungen der Programmevaluation halten.

Von entscheidender Bedeutung ist hierbei die o.g. systematische Zielfindung und Zieloperationalisierung, mit deren Hilfe aussagekräftige Indikatoren für die Bewertung der Aktivitäten und Ergebnisse der EP bzw. ihrer Teilprojekte gewonnen werden müssen.

h) Kooperation mit Programmevaluation

Die Kooperation mit der Programmevaluation umfasst gemäß den Vorgaben für EQUAL

1) die Erstellung standardisierter Kurzberichte,
2) die Bedienung des „Common Minimum“ sowie
3) eine Kooperation im Rahmen von Tagungen und Workshops.

Die aus unserer Begleittätigkeit im Rahmen der ersten EQUAL-Förderphase bereits erprobte Zusammenarbeit mit der Programmevaluation, sowohl hinsichtlich der Entwicklung des „common minimum“ als auch hinsichtlich der Teilnahme an entsprechenden Veranstaltungen (z.B. zur Evaluation von Querschnittsthemen u.a.) sind selbstverständlicher Bestandteil unseres Begleitkonzepts.