[:en]
The current crisis is giving evidence-informed policy-making and rigorous impact evaluation substantial momentum as the mainstream media increasingly turns to scientific findings to counteract uncertainty and disorientation among the general public.
In the light of this appetite for empirical guidance, an enormous quantity of policy briefs, datasets, fact sheets, opinion pieces, evidence hubs, blog posts, newsletters, webinars, and new initiatives related to the Covid-19 pandemic has been published or initiated over the last months. As of June 2020, a machine-learning algorithm had identified more than 32,000 published and pre-published Covid-19-related articles. Although the field of medicine dominates the literature, resources on the socioeconomic impacts and mitigation measures in low- and middle-income countries are rapidly increasing in number too.
There has always been a gap between what is known from evidence and what is implemented in development practice. There are multiple reasons for this, with information overload and high search and screening costs potentially being at its core. These obstacles are amplified in the current crisis, due to the enormous number of Covid-19 resources produced in a very short period of time.
We have tried to blaze a trail through the jungle of Covid-19 evidence – searching, screening, assessing, and structuring the resources produced by well-known organizations working on development or relevant evidence. This included more than 50 different stakeholders, such as development agencies, research institutions, and multilateral development organizations. We encountered a number of difficulties: the sheer number of websites containing Covid-19 resources, and discriminating between which websites to consult and which to ignore. It is challenging to understand the content and functioning of each resource, and the evidence base and quality of the resources are often impossible to assess. Frequently, the target audience (policy-makers, researchers, project implementers) is not specified. It seems far-fetched to expect political decision makers and project implementers to succeed in this chaotic information search.
To provide some guidance, we came up with:
A list of stand-out-trees among the Covid-19 evidence jungle, i.e. some resources that we consider particularly helpful for decision makers in policy and practice as well as for researchers.
A list of recommendations for producers of Covid-19 resources that might help them to grow more stand-out-trees – recommendations to make the jungle more accessible and increase its effectiveness.
Let’s start with how to grow a stand-out-tree within the Covid-19 evidence jungle.
– Clearly flag what type of evidence your Covid-19 resource is based on. For example, it could be based on opinion, rigorous impact evaluations, or systematic reviews – or be rooted in analysis of macroeconomic data.
– Link the original sources/evidence if you use secondary sources. Here’s a previous entry in this DEval blog series as an example of how to approach this, and another one from the Campbell Collaboration.
– Indicate your target audience. Knowing for whom this is relevant can speed up information search for everyone.
– Present information in an understandable, non-complex, and maybe innovative way. With every additional tree in the jungle, the quality of this so-called knowledge brokering becomes more important.
– Each resource in the Covid-19 jungle has been set up with the best of intentions. However, members of the evidence community need to coordinate the provision of key resources on a single platform, and to jointly advertise this platform to ensure that synergies are harnessed and duplications avoided. Though some coordination attempts have been made, notably the work by the OECD Covid-19 evaluation coalition and a number of other collaborations out of which some are presented below, we see a need for stronger joint action towards a one-stop-shop of Covid-19 resources.
Now let us turn to the existing stand-out-trees in the Covid-19 evidence jungle. This list is non-extensive – other valuable resources are out there.
A. Covid-19 resources mostly relevant to decision makers in policy and practice
– This J-PAL blog series is a great example of concise blog posts rooted in rigorous evidence, linking all its sources. It summarizes rigorous evidence on different socio-economic topics and currently has a focus on Covid-19-relevant evidence. For example, this blog post summarizes existing knowledge on how to increase uptake of healthy behaviours and to improve the delivery of health products and services. Other topics include cash transfers, mobile money, gender-based violence and schooling.
-Similarly, this blog series by 3ie is another excellent example of how to present existing evidence in an easily understandable way. It features Covid-19-related blog posts on a wide range of topics, such as handwashing, ways to improve maternal and child health, and vaccinations, as well as challenges and opportunities in data collection during pandemics. For example, check out this evidence-summarizing blog post on how social media can be used for community health outreach during the pandemic.
– This evidence collection by evidence aid features Covid-19-relevant systematic reviews, including topics such as prevention of transmission, treatment of infected people, and socioeconomic consequences. The collection also provides plain-language summaries for all reviews.
– The Africa UN Knowledge Hub for COVID-19 provides a collection of information and resources, including country data, country responses, and knowledge products on potential impacts of mitigation efforts relevant to Africa.
– The COVID-END has devoted one part of their platform to decision-makers (the other one is aimed at researchers). Apart from a collection of selected resources and practical tips and tools for those supporting decision-makers with respect to evidence use, it includes a taxonomy of decisions, particularly with respect to different mitigation measures that could be taken.
B. Covid-19 resources mostly relevant to researchers and evaluators
– The IPA RECOVR Hub pools various research-relevant information, such as ongoing research projects and current funding opportunities. It also demonstrates one of the few coordination efforts, as multiple partners are contributing to this hub.
– The Development Impact blog of the World Bank had a two-part piece on how to conduct a phone survey in times of Covid-19 (see Part I and Part II). It reflects a high level of expertise and gives detailed and very practice-oriented guidance on the use of phone surveys.
– Similarly, ODI has collected an extensive list of resources on different challenges and best practices for collecting primary data in a Covid-19 era.
– Oxford University’s policy tracker measures and ranks the strength of government responses to Covid-19 along 17 dimensions for more than 160 countries. This may prove to be a useful resource for measuring impacts of Corona responses.
– The Global Partnership for Sustainable Development Data (itself a commendable example of concerted action) has created a list of useful Covid-19 resources with a focus on datasets, visualizations, maps, and tools. They use nice, to-the-point descriptions for each resource.
– The C3.ai data lake has integrated multiple data sets, sourced from all over the globe, in a unified and frequently updated data model, making data analysis much easier.
While the content of the resources above is tailored to the Covid-19 pandemic, evidence that was created before the pandemic might be relevant to decisions in the current crisis, too. These two further sources systematically and thematically synthesize findings from single-impact evaluations as well as systematic reviews:
– The 3ie evidence hub hosts 3,745 impact evaluations, 730 systematic reviews, and 20 evidence gap maps that you can browse by a range of filters such as sector, country, or funding organization.
– Similarly, the Campbell Collaboration repository holds systematic reviews and evidence gap maps that you can also filter by sector and country, among others.
We hope these stand-out-trees will help you navigate the jungle!
Source: German Institut for Development Evaluation, 07.09.2020
[:de]
Die gegenwärtige Krise gibt der evidenzbasierten politischen Entscheidungsfindung und der rigorosen Wirkungsevaluierung erheblichen Auftrieb, da die Mainstream-Medien mehr denn je auf wissenschaftliche Erkenntnisse zurückgreifen, um Unsicherheit und Desorientierung in der breiten Öffentlichkeit entgegenzuwirken.
Angesichts dieses Bedarfs nach empirischer Unterstützung sind in den letzten Monaten riesige Mengen an Covid-19-Ressourcen veröffentlicht oder initiiert worden – darunter Policy Briefs, Datensätze, Fact Sheets, Stellungnahmen, Evidence Hubs, Blog-Artikel, Newsletter, Webinare und neue Initiativen im Zusammenhang mit der Covid-19-Pandemie. Ein Machine-Learning-Algorithmus hat bis Juli 2020 mehr als 32.000 wissenschaftliche Veröffentlichungen und Vor-Veröffentlichungen zum Thema Covid-19 identifiziert. Obwohl der Bereich der Medizin in der Literatur dominiert, beschäftigen sich auch immer mehr Quellen damit, welche sozioökonomischen Auswirkungen die Pandemie in Ländern mit niedrigen und mittleren Einkommen hat und welche Minderungsmaßnahmen getroffen werden könnten.
Es gab schon immer eine Kluft zwischen dem, was in der Wissenschaft bekannt ist, und dem, was in der Entwicklungspraxis umgesetzt wird. Dafür gibt es verschiedene Gründe – insbesondere stellen die Suche nach Informationen und die Durchsicht des Materials bei einer Flut an Quellen ein großes Hindernis dar. Diese Probleme werden in der gegenwärtigen Krise durch die enorme Anzahl von Covid-19-Informationsquellen, die in sehr kurzer Zeit bereitgestellt wurden, noch verstärkt.
Wir haben versucht, uns einen Weg durch den Dschungel der Covid-19-Evidenz zu bahnen, indem wir die Covid-19-Ressourcen bekannter Organisationen aus dem Bereich Entwicklungszusammenarbeit und Evidenz gesichtet, geprüft, bewertet und strukturiert haben. Untersucht wurde Material von mehr als fünfzig verschiedenen Akteuren, wie Geber-Organisationen, Forschungseinrichtungen und multilateralen Entwicklungsorganisationen. Dabei stießen wir auf eine Reihe von Schwierigkeiten: Einerseits die schier endlose Zahl der Websites, die Informationen zu Covid-19 enthalten, und andererseits die Entscheidung, welche Websites konsultiert werden sollten und welche nicht. Es ist eine Herausforderung, den Inhalt und die Funktionsweise jeder einzelnen Informationsquelle zu verstehen. Ebenso sind die Evidenzbasis und die Qualität der einzelnen Quellen oft nicht einfach zu bewerten. Häufig ist das Zielpublikum (politische Entscheidungsträger*innen, Forscher*innen, Projekt-Durchführende) nicht näher spezifiziert. Es erscheint viel verlangt, von politischen Entscheidungsträgern und Projekt-Durchführenden zu erwarten, dass sie bei dieser chaotischen Informationssuche erfolgreich sind.
Um eine Orientierungshilfe zu geben, haben wir zwei Dinge ausgearbeitet:
Eine Liste von Ressourcen, die aus dem Covid-19-Evidenz-Dschungel herausragen, da wir sie für die Entscheidungsfindung in Politik und Praxis sowie für Forscher*innen für besonders hilfreich halten.
Eine Liste mit Empfehlungen für Personen, die solche besonders hilfreichen Covid-19-Ressourcen schaffen möchten – Empfehlungen also, um den Dschungel besser zugänglich zu machen und die Effektivität zu erhöhen.
Beginnen wir damit, wie sich eine herausragende Ressource im Covid-19-Evidenz-Dschungel schaffen lässt.
1. Kennzeichnen Sie deutlich, auf welcher Art von Evidenz Ihr Covid-19-Material basiert. Es könnte z.B. auf einer persönlichen Meinung, rigorosen Wirkungsevaluierungen oder Systematic Reviews basieren – oder auf der Analyse makroökonomischer Daten.
2. Verlinken Sie die ursprünglichen Quellen, wenn Sie Sekundärquellen verwenden. Hier ein früherer Eintrag in dieser DEval-Blog-Serie als Beispiel, wie das aussehen könnte. Ein weiteres Positiv-Beispiel liefert die Campbell Collaboration.
3. Nennen Sie die Zielgruppe Ihres Beitrags. Wenn man weiß, für wen die Informationen relevant sind, kann dies die Informationssuche für alle Beteiligten beschleunigen.
4. Präsentieren Sie die Informationen in einer verständlichen, unkomplizierten und vielleicht auch innovativen Weise. Mit jedem weiteren Baum im Dschungel wird die Qualität dieses sogenannten knowledge brokering
5. Jede Informationsquelle im Covid-19-Dschungel wurde mit den besten Absichten eingerichtet. Die Mitglieder der Evidenz-Community sollten sich jedoch koordinieren um wichtige Ressourcen auf einer einzigen Plattform bereitzustellen und diese gemeinsam zu bewerben. Das würde sicherstellen, dass Synergien genutzt und Doppelungen vermieden werden. Einige Koordinierungsversuche wurden bereits unternommen, insbesondere die Kooperation der OECD Covid-19 Evaluation Coalition sowie eine Reihe weiterer, von denen einige im Folgenden vorgestellt werden. Dennoch sehen wir die Notwendigkeit eines noch entschlosseneren gemeinsamen Vorgehens im Hinblick auf eine zentrale Anlaufstelle für Covid-19-Ressourcen.
Wenden wir uns nun den bereits existierenden und besonders hilfreichen Ressourcen zu, die aus dem Covid-19-Evidenz-Dschungel herausragen. Diese Liste erhebt dabei keinen Anspruch auf Vollständigkeit – es gibt noch weitere nützliche Informationsquellen.
A. Covid-19-Informationsquellen, die hauptsächlich für Entscheidungsträger*innen in Politik und Praxis relevant sind
– Diese J-PAL Blog-Serie liefert hervorragende Beispiele für prägnante Blog-Artikel, die sich auf wissenschaftliche Evidenz stützen und all ihre Quellen verlinken. Die verschiedenen Blog-Posts fassen rigorose Evidenz zu verschiedenen sozioökonomischen Themen zusammen und setzen dabei derzeit einen Schwerpunkt auf Covid-19-relevante Evidenz. Dieser Blog-Artikelbeispielsweise fasst vorhandene wissenschaftliche Erkenntnisse darüber zusammen, wie die Einhaltung von Covid-19-Richtlinien verbessert werden kann. Weitere Themen sind u.a. Cash Transfers, mobile Geldtransaktionen, geschlechterspezifische Gewalt und Schulbildung.
– Diese Blog-Serie von 3ie ist ein ähnlich gutes Beispiel, wie vorhandene wissenschaftliche Erkenntnisse auf leicht verständliche Weise präsentiert werden können. In der Blog-Serie finden sich Artikel zu einem breiten Spektrum von Themen im Zusammenhang mit Covid-19, wie Hygienemaßnahmen, Verbesserung von Mutter-Kind-Gesundheit, Impfungen sowie Herausforderungen und Chancen bei der Datenerhebung in Zeiten einer Pandemie. Beispielsweise lohnt ein Blick in diesen Blog-Beitrag, der Erkenntnisse zusammenfasst, wie soziale Medien während der Pandemie für die Gesundheitsförderung in der Gemeinde genutzt werden können.
– Diese Evidenz-Sammlung von evidenceaid enthält Covid-19-relevante Systematic Reviews zu Themen wie Übertragungs-Prävention, Behandlung von Infizierten und sozio-ökonomischen Folgen. Die Sammlung beinhaltet Zusammenfassungen in einfacher Sprache für alle enthaltenen Reviews.
– Der Africa UN Knowledge Hub für COVID-19 bietet eine Sammlung von Informationen und Quellen, darunter Länderdaten, Länderreaktionen und Erkenntnisse über die potenziellen Auswirkungen von Minderungsmaßnahmen, die für Afrika relevant sind.
– Das Netzwerk COVID-END widmet Entscheidungsträger*innen einen Teil seiner Plattform(der andere Teil richtet sich an Forscher*innen). Sie enthält eine Covid-19-Ressourcen-Sammlung und praktische Instrumente für diejenigen, die Entscheidungsträger*innen darin unterstützen, Evidenz zu nutzen. Außerdem bietet sie eine Systematik zur Entscheidungsfindung (Taxonomie), im Hinblick auf verschiedene Minderungsmaßnahmen, die aktuell ergriffen werden könnten.
B. Covid-19-Informationsquellen, die hauptsächlich für Wissenschaftler*innen und Evaluator*innen relevant sind
– Der IPA RECOVR Hub bündelt verschiedene forschungsrelevante Informationen, wie laufende Forschungsprojekte und aktuelle Finanzierungsmöglichkeiten. Er stellt auch eine der wenigen umfangreich koordinierten Ressourcen dar, da diverse Partner zu diesem Hub beitragen.
– Der Development Impact-Blog der Weltbank stellt einen zweiteiligen Beitrag über die Durchführung von Telefonumfragen in Zeiten von Covid-19 bereit (siehe Teil I und Teil II). Er spiegelt ein hohes Maß an Fachwissen wider und gibt eine detaillierte und sehr praxisorientierte Anleitung für den Einsatz von Telefonumfragen.
– Auch das ODI hat eine umfangreiche Liste von Informationen zu verschiedenen Herausforderungen und Best Practices für die Sammlung von Primärdaten in Covid-19-Zeiten
– Der Policy Tracker der Universität Oxford misst und bewertet die Wirksamkeit von staatlichen Reaktionen auf Covid-19 in 17 Dimensionen für mehr als 160 Länder. Dies könnte sich als nützliche Ressource erweisen, um zu messen, wie wirkungsvoll verschiedene Corona-Reaktionen sind.
– Das Netzwerk Global Partnership for Sustainable Development Data (das selbst ein positives Beispiel für eine konzertierte Aktion ist) hat eine Liste nützlicher Covid-19-Ressourcenerstellt, deren Schwerpunkt auf Datensätzen, Visualisierungen, Karten und nützlichen Tools liegt. Die jeweiligen Quellen werden kurz und prägnant beschrieben.
– Der C3.ai data lake hat zahlreiche Datensätze aus der ganzen Welt in ein einheitliches und häufig aktualisiertes Datenmodell integriert, was die Datenanalyse erheblich erleichtert.
Während der Inhalt der oben genannten Informationsquellen auf die Covid-19-Pandemie zugeschnitten ist, kann auch wissenschaftliche Evidenz, die vor der Pandemie gewonnen wurde, für Entscheidungen in der aktuellen Krise relevant sein. Die folgenden Quellen fassen Erkenntnisse aus einzelnen rigorosen Wirkungsevaluierungen sowie aus Systematic Reviews thematisch zusammen:
– Der 3ie evidence hub bietet 3.745 Wirkungsevaluierungen, 730 Systematic Reviews und 20 Evidence Gap Maps, die sich anhand einer Reihe von Filtern wie Sektor, Land oder Finanzierungsorganisation durchsuchen lassen.
– In ähnlicher Weise enthält das Repositorium der Campbell Collaboration Systematic Reviews und Evidence Gap Maps, die sich ebenfalls u.a. nach Sektoren und Ländern filtern lassen.
Wir hoffen, dass diese Liste Ihnen dabei hilft, sicher durch den Evidenz-Dschungel der Covid-19 Ressourcen zu navigieren!
Quelle: Deutsches Evaluierungsinstitut der deutschen Entwicklungszusammenarbeit, 09.07.2020
[:]