[:en] Rudolph, Alexandra (BMZ); von Schiller, Armin; Strupat, Christoph (DIE): Evidence for Learning – How to use impact assessments more effectively[:de]Rudolph, Alexandra (BMZ); von Schiller, Armin; Strupat, Christoph (DIE): Lernen aus Evidenz – Wie Wirkungsanalysen besser genutzt werden können[:]

[:en]

The relevance of impact assessments is not a new topic in development cooperation. There is an increasingly strong consensus in development policy that it is crucial to assess interventions by using rigorous methods. In Germany, the value and relevance of independent rigorous impact assessments has grown in recent years, although impact assessments are far less institutionalised than in other major donor countries.

There are many good reasons to support more impact assessments. These include, for instance, holding implementing agencies accountable and legitimising development cooperation by showing positive impacts where these are demonstrable. In the policy discussion, however, the goal to learn dominates the debate. Impact assessments, in theory, create knowledge that leads practitioners to change their strategies to achieve better results.

Unfortunately, donors and implementing agencies severely underutilise impact assessments, particularly in the German context. Several factors hinder the proper implementation of impact assessments and the proper use of their results. For instance, first, the external validity of results is restricted. As a result, any insights about what worked (or did not work) cannot be easily transferred to other contexts. Second, the perception that the assessments’ main purpose is not to learn but to appraise the performance of programmes or even individuals increases scepticism among practitioners. It is natural that under these circumstances, the problem of bias towards positive reporting becomes more prominent and in some cases there is even open resistance towards rigorous impact assessments.

Many of the challenges that the development community faces in using evidence from impact assessments could be mitigated by building more constructive relationships between researchers and practitioners. Unfortunately, impact assessments conducted by external researchers are increasingly seen as parallel and peripheral to the day-to-day work of practitioners. The cause of this trend is not only a problem of incentives to support rigorous impact assessment by practitioners, but also a problem of communication between practitioners and researchers. On the one hand, researchers need to make results accessible and useful for practitioners. It is especially crucial to explain the intuition behind methodological approaches in order to get the practitioners on board. On the other hand, practitioners need to make clear what their learning interests are, and to discuss their constraints and fears openly. Project planning must also ensure that practitioners have enough time available to be meaningfully involved in the impact assessment process.

We consider that setting up impact assessments in the form of accompanying research can help to achieve a more constructive relationship between practitioners and researchers. At the German Development Institute (DIE) we are collecting positive experiences using this approach in countries like Benin, Malawi and Mozambique. The cornerstone of this model is regular advisory exchange on the design and implementation of impact assessments in close cooperation between the researchers engaged as independent evaluators and the agencies implementing the development interventions under evaluation. In contrast to short-term consultancy-based assessments, this model aims to develop a trustworthy, long-term working relationship between all actors. This facilitates a joint learning process while ensuring an independent impact assessment. In the best-case scenario, the programmes that are implementing the interventions do not have to cover the financial costs of the impact assessment because external donors provide this.

This model can increase the quality and usefulness of impact assessments as well as improving discussions about their results. In addition, there are benefits for researchers and practitioners beyond the specific impact assessment. Researchers learn more about the challenges of implementing interventions in the field as well as how to present their results beyond the research community, while practitioners learn about the advantages and limitations of rigorous impact assessments and increase their capacity to understand and use evidence generated outside their project.

This is not to say that all impact assessments should be set up in this fashion. There are multiple ways to set up independent impact assessments and all of them have their benefits. Our experience indicates that impact assessments based on accompanying research are particularly good at improving the quality and use of the assessment’s results as well as brings benefits that go beyond the specific assessment. As the policy community pushes to increases the use impact assessments, we should think more carefully about how to assure a better use of generated evidence. Impact assessment based on accompanying independent research is a model that has a relevant contribution to make in this context.

Alexandra Rudolph is working at the Federal Ministry for Economic Cooperation and Development (BMZ), Christoph Strupat und Armin von Schiller are researchers at the German Development Institute / Deutsches Institut für Entwicklungspolitik (DIE).

Source: Website German Development Institute, 02.10.2017[:de]

Die Bedeutung von Wirkungsanalysen ist in der Entwicklungszusammenarbeit kein neues Thema. Es gibt einen zunehmenden Konsens in der Entwicklungspolitik, dass es wichtig ist, Interventionen mittels rigoroser Wirkungsstudien zu beurteilen. In Deutschland haben Wert und Bedeutung von unabhängigen, rigorosen Wirkungsanalysen in den vergangenen Jahren zugenommen, obwohl sie weit weniger institutionalisiert sind als in anderen wichtigen Geberländern.

Es gibt viele gute Gründe für den verstärkten Einsatz von Wirkungsanalysen. Dazu gehört z.B. die Durchführungsorganisationen rechenschaftspflichtig zu machen und Entwicklungszusammenarbeit zu legitimieren, indem positive Wirkungen aufgezeigt werden. Lernen aus Wirkungsanalysen dominiert die derzeitige Debatte. Wirkungsanalysen schaffen – nach der Theorie – Wissen, das Praktiker dazu bringt, ihre Strategien und Projekte so zu verändern, dass bessere Ergebnisse erzielt werden können.

Leider nutzen Geber und Durchführungsorganisationen Wirkungsanalysen viel zu wenig, vor allem im deutschen Kontext. Mehrere Faktoren behindern ihre Anwendung und die Nutzung der Ergebnisse. Erstens ist die externe Validität der Ergebnisse rigoroser Wirkungsanalysen beschränkt. Folglich können Einsichten der Analyse nicht einfach auf andere Zusammenhänge und Länder übertragen werden. Zweitens erhöht die Wahrnehmung, dass nur die Leistungen von Programmen oder sogar Einzelpersonen bewertet werden zu einer negativen Voreingenommenheit in einigen Fällen sogar zu offenen Widerstand gegenüber Wirkungsanalysen.

Vielen Herausforderungen, denen sich die Entwicklungszusammenarbeit bei der Nutzung von Evidenz durch Wirkungsanalysen gegenüber sieht, könnte durch gemeinsames Handeln von Forschern und Praktikern begegnet werden. Leider werden Wirkungsanalysen, die von externen Forschern durchgeführt werden, zunehmend von Praktikern als zusätzliche und periphere Aufgabe ihrer täglichen Arbeit angesehen. Der Grund für diesen Trend liegt nicht nur in den mangelnden Anreizen rigorose Wirkungsanalysen zu unterstützen, er ist auch einem Kommunikationsproblem zwischen Forschern und Praktikern geschuldet. Einerseits müssen Forscher die Ergebnisse für Praktiker zugänglich und nutzbar machen, insbesondere um die Intuition hinter den verschiedenen methodischen Ansätzen zu erklären. Andererseits müssen Praktiker deutlich machen, was ihre Lerninteressen sind und ihre Grenzen und Befürchtungen offen diskutieren. Die Projektplanung muss auch sicherstellen, dass Praktiker genügend Zeit haben, um sinnvoll in die Planung der Wirkungsanalyse einbezogen zu werden.

Wir sind der Ansicht, dass Begleitforschung in denen Wirkungsanalysen eingebettet sind dazu beitragen können, die Zusammenarbeit zwischen Praktikern und Forschern zu verbessern. Am Deutschen Institut für Entwicklungspolitik (DIE) sammeln wir positive Erfahrungen mit diesem Ansatz in Ländern wie Benin, Malawi und Mosambik. Der Eckpfeiler dieses Modells ist ein regelmäßiger Austausch über Konzeption und Umsetzung von Wirkungsanalysen in enger Zusammenarbeit zwischen den als unabhängige Gutachter eingesetzten Forschern und den Durchführungsorganisationen der zu evaluierenden Entwicklungsmaßnahmen. Im Gegensatz zu kurzfristigen beratungsbezogenen Analysen, zielt dieses Modell darauf ab, eine zuverlässige, langfristige Arbeitsbeziehung zwischen allen Akteuren zu entwickeln. Dies erleichtert einen gemeinsamen Lernprozess und gewährleistet zugleich unabhängige Wirkungsanalysen. Im besten Fall müssen die Durchführungsorganisationen, die finanziellen Kosten der Wirkungsstudien nicht tragen, weil externe Geber dafür aufkommen.

Dieses Modell kann die Qualität und den Nutzen von Wirkungsanalysen erhöhen und die Diskussion der Ergebnisse verbessern. Forscher lernen mehr über die Herausforderungen bei der praktischen Umsetzung von Entwicklungsmaßnahmen sowie über die Präsentation ihrer Ergebnisse jenseits der Forschungsgemeinschaft, während Praktiker etwas über Vorteile und Grenzen rigoroser Wirkungsanalysen erfahren und außerhalb ihres Projekts erzeugte Evidenz besser verstehen und nutzen.

Das heißt nicht, dass alle Wirkungsanalysen auf diese Weise durchgeführt werden sollten. Es gibt verschiedene Möglichkeiten, unabhängige Wirkungsstudien durchzuführen. Nach unserer Erfahrung sind Wirkungsanalysen innerhalb von Begleitforschungsprojekten, besonders gut geeignet, die Qualität und Nutzung der Ergebnisse zu verbessern. Die Politik drängt dazu, Wirkungsanalysen stärker einzusetzen. Es geht aber nicht nur um mehr Analysen sondern auch um eine bessere Nutzung der erzeugten Evidenz. Wirkungsanalyse innerhalb von Begleitforschungsprojekten zu integrieren, ist ein Modell, das in diesem Zusammenhang einen wichtigen Beitrag leisten kann.

Alexandra Rudolph ist tätig am Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), Christoph Strupat und Armin von Schiller sind wissenschaftliche Mitarbeiter am Deutschen Institut für Entwicklungspolitik (DIE).

Quelle: Website Deutsches Institut für Entwicklungspolitik, 02.10.2017[:]