Evaluatie van FMO’s capaciteitsontwikkelingsfonds ‘B-CD’

Het onderzoek
Namens het Nederlandse ministerie van Buitenlandse Zaken (BuZa) voerde SEO de evaluatie uit van het fonds voor capaciteitsontwikkelings (‘B-CD’) dat de Nederlandse ontwikkelingsbank (FMO) beheerde tussen 2015 en 2020. In juli 2015 kende BuZa een subsidie toe aan FMO ten behoeve van capaciteitsontwikkeling (Capacity Development, ofwel CD) van FMO-klanten op de thema’s ‘Groen’ en ‘Gender.’ Naast een algemene analyse van de B-CD-portfolio evalueerde SEO 10 representatieve B-CD projecten om de efficiëntie, additionaliteit en effectiviteit van het B-CD-fonds te beoordelen. SEO voerde deze evaluatie gelijktijdig uit met de SEO-evaluatie van het FMO-MASSIF fonds.

Resultaten

• Algemene portfolio-analyse:
  • De B-CD-subsidie werd succesvol gebruikt voor het identificeren en financieren van CD-projecten op de thema’s ‘Groen’ en ‘Gender’.
  • De B-CD-subsidie was onderbenut: na aflopen van de subsidieperiode was ongeveer 80 procent van de subsidie gecommitteerd.
  • De B-CD portfolio bleef binnen de limieten wat betreft geografische doelstellingen.
• Efficiëntie:
  • De aanbestedingsregels voor B-CD-projecten waren (aanvankelijk) niet altijd duidelijk en werden derhalve niet consequent toegepast. Als gevolg hiervan was de selectie van consultants voor B-CD-projecten niet altijd transparant.
  • Desalniettemin bleken de kosten van internationale consultants die werden ingehuurd voor de implementatie van B-CD-projecten redelijk en in overeenstemming met de internationale markttarieven, zelfs wanneer er geen concurrerende aanbesteding plaatsvond.
• Additionaliteit van de B-CD subsidie van BuZa voor FMO:
  • De financiële additionaliteit van het B-CD-fonds was enigszins gering in vergelijking met andere beschikbare CD-fondsen van FMO.
  • Het B-CD-fonds had echter hoge niet-financiële additionaliteit voor FMO zelf, in de zin dat het FMO ertoe aanzette meer gender- en groene projecten na te streven.
  • Er zijn aanwijzingen dat B-CD ‘katalytische effecten’ had op zowel FMO als haar cliënten.
• Additionaliteit van B-CD projecten voor FMO klanten:
  • De financiële additionaliteit ten opzichte van de eigen financiering van klanten gaf een gemengd beeld.
  • De financiële additionaliteit ten opzichte van andere ontwikkelingsbanken was van een gemiddeld niveaau.
  • De niet-financiële additionaliteit van B-CD projecten was gemiddeld tot hoog, en was het hoogst wanneer FMO zelf de consultant selecteerde of in staat was invloed uit te oefenen op de specifieke project-doelstellingen of het ontwerp van het project.
• Effectiviteit:
  • De B-CD-subsidie was een effectief instrument voor BuZa in die zin dat het FMO ertoe aanzette zich meer (of eerder) op ‘gender’- en ‘groene’ projecten te richten dan FMO anders vermoedelijk had gedaan.
  • De meeste project-doelstellingen werden behaald, maar deze hadden veelal betrekking op ‘outputs’ (bv. verstrekte training, opgeleverde rapporten) of korte-termijnresultaten (bv. installatie van nieuwe systemen).
  • FMO monitorde en rapporteerde de lange-termijnresultaten van CD-projecten niet systematisch, hetgeen SEO als een verbeterpunt identificeerde (met concrete aanbevelingen).

Methoden
SEO gebruikte een combinatie van kwalitatieve en kwantitatieve onderzoeksmethoden voor deze evaluatie. Het gebruik van meerdere methoden en de ‘triangulatie’ van meerdere informatiebronnen hielpen om eventuele vertekeningen (bias) te minimaliseren. Daarnaast zorgden zorgvuldige en transparante procedures voor steekproefselectie ervoor dat de conclusies zo min mogelijk afhingen van een specifieke selectie van casestudies of geïnterviewden.

De belangrijkste methoden en bronnen waren:

• Review van programma- en projectdocumenten, eerdere evaluaties en andere relevante literatuur.
• Statistische analyse van B-CD portfoliodata.
• Semi-gestructureerde interviews met relevante FMO-medewerkers over de aanbesteding, aansturing en monitoring van CD-projecten.
• Casestudies van 10 representatieve B-CD-projecten, bestaande uit documentanalyse, data-analyse en semigestructureerde interviews met diverse belanghebbenden.