Tussentijdse evaluatie van het IMF-fonds Data for Decisions (D4D)

Achtergrond
In opdracht van het Internationaal Monetair Fonds (IMF) voerde SEO de tussentijdse evaluatie uit van het IMF-fonds Data for Decisions (D4D). Dit thematische trustfonds was in 2017 door het IMF opgericht met als doel besluitvormers te voorzien van meer en betere data, om daarmee ‘evidence-based’ macro-economisch beleid te verbeteren en bij te dragen aan de Sustainable Development Goals (SDG’s). Het fonds financierde activiteiten gericht op capaciteitsopbouw (Capacity Development, ofwel ‘CD’) via vier modules: (1) Addressing Data Needs and Quality Concerns, (2) Financial Access Survey, (3) Online Learning en (4) Statistical Information Management. De evaluatie betrof Fase I (juni 2018-april 2021) van het D4D-fonds en beoordeelde het fonds aan de hand van de OECD-DAC-criteria. Doel van de evaluatie was om hiermee input te leveren voor Fase II van het fonds en om bredere lessen te trekken.

Methode
SEO paste het Updated Common Evaluation Framework van het IMF toe, waarbij een fondsbrede portfolio-analyse werd gecombineerd met diepgaande casestudies. Het evaluatieteam analyseerde de Results-Based Management (RBM)-data van het IMF, voortgangsrapportages en budgetinformatie; voerde een grootschalige enquête uit onder ontvangers en aanbieders van CD, alsmede onder donoren; en hield interviews met IMF-medewerkers, nationale autoriteiten en ontwikkelingspartners. Vijf landencasestudies binnen Module 1, gecombineerd met specifieke beoordelingen van Module 2 en Module 3, leverden bottom-up bewijs over resultaten en goede praktijken.

Bevindingen
De belangrijkste bevindingen waren als volgt:

• Relevantie: De CD-activiteiten (technische assistentie en training) sloten goed aan bij behoeften van landen, IMF-prioriteiten en SDG-gerelateerde datalacunes, en waren vooral gericht op landen die de meeste ondersteuning nodig hadden. Stakeholders vonden het ontwerp van de CD-activiteiten doorgaans in lijn met nationale prioriteiten, maar nationale autoriteiten waren niet altijd voldoende betrokken bij de werkplanning, wat het eigenaarschap soms beperkte.
• Effectiviteit: CD-projecten resulteerden grotendeels in betere dataverzameling en -publicatie en in versterkte vaardigheden van medewerkers. Ongeveer 80 procent van de beoordeelde “milestones” werd grotendeels of volledig behaald. Factoren die de resultaten soms beperkten waren de coronapandemie, kennislacunes, het ontbreken van meerjarige landprojectplannen en beperkte follow-up.
• Impact en duurzaamheid: De impact was het sterkst in landen waar de nieuwe of de verbeterde data daadwerkelijk werden gebruikt door nationale autoriteiten, IMF-landenteams of derden (bijvoorbeeld in schuldhoudbaarheidsanalyses of bij de uitgifte van Eurobonds). Factoren die de duurzaamheid van de impact bedreigden waren beperkte steun vanuit senior management, onvoldoende binnenlandse middelen, of zwakke institutionele arrangementen om kennis te borgen.
• Coherentie: De interne samenhang tussen D4D-activiteiten en andere IMF-activiteiten (surveillance, kredietverlening en andere CD) was over het algemeen goed, vooral waar IMF-landenteams en regionale CD-centra nauw betrokken waren. De externe coherentie met gerelateerde activiteiten van de Wereldbank en andere CD-aanbieders was doorgaans goed, maar enigszins wisselend tussen modules en landen.
• Efficiëntie: Ondanks beperkte informatie over de kosten per project suggereerden de casestudies dat het fonds waar voor zijn geld bood, dankzij de sterke kennisoverdracht en verstandige kostenbesparende maatregelen (zoals het omzetten van offline naar online-activiteiten). De budgetrealisatie was laag in de eerste fase, deels door de coronapandemie, maar stakeholders waren in grote lijnen tevreden over de snelheid, het aantal en de duur van de CD-activiteiten.

Aanbevelingen
De belangrijkste aanbevelingen waren als volgt:

• Ga van een puur ‘CD delivery’-model naar een gestructureerde ‘change management’-aanpak die organisatieverandering, middelenallocatie en datagebruik door beleidsmakers actief ondersteunt.
• Vereis dat projectvoorstellen een analyse opnemen over de behoeften van datagebruikers (nationale autoriteiten, IMF-medewerkers en derden) en betrek nationale autoriteiten sterker bij het formuleren van doelen en werkplannen.
• Beoordeel en documenteer eigenaarschap en absorptiecapaciteit systematisch en gebruik dit bij het prioriteren en faseren van CD-ondersteuning.
• Versterk monitoring en evaluatie op het niveau van datagebruikers door gebruikersgerichte indicatoren toe te voegen, verantwoordelijkheden voor follow-up te verduidelijken en budget te reserveren voor monitoring op gebruikersniveau.
• Versterk coördinatie en synergie met andere ontwikkelingspartners en tussen D4D-modules (met name tussen online learning en persoonlijke technische assistentie) en combineer daarbij online en offline CD.