Evaluation of the FMO-MASSIF Fund (2015-2019)

Het onderzoek
Op verzoek van het Nederlandse ministerie van Buitenlandse Zaken voerde SEO de evaluatie 2015-2019 uit van het investeringsfonds ‘MASSIF’ dat de Nederlandse Ontwikkelingsbank (FMO) namens de Nederlandse overheid beheert. De hoofddoelstelling van MASSIF is het verbeteren van de toegang tot financiële diensten voor micro-ondernemers en het midden- en kleinbedrijf (MKB), met specifieke focus op: ‘the unbanked’, landbouw en rurale gebieden, vrouwelijke ondernemers, en innovaties in inclusief ondernemen. De evaluatie was zowel gericht op het afleggen van verantwoording als op het trekken van lering, waarbij o.a. gekeken werd naar doeltreffendheid, additionaliteit, katalytische en demonstratie-effecten, en de impact op eindklanten. De evaluatie omvatte ook een beoordeling van de risicobeheerpraktijken van FMO op het gebied van milieu, maatschappij en goed bestuur (Environmental, Social, and Governance – ESG). Naast een algeheel portfolio-review besloeg de evaluatie een grondige beoordeling van 20 representatieve MASSIF-investeringen in Sub-Sahara Afrika, MENA, Zuid-Azië, Zuidoost-Azië, Centraal-Azië en Latijns-Amerika. Deze casestudies voerde SEO uit in samenwerking met Oxford Policy Management (OPM).

Resultaten
FMO’s management van het MASSIF-fonds was over het algemeen efficiënt en in overeenstemming met het mandaat en de nieuwe strategie van het fonds. De investeringscriteria van MASSIF werden over het algemeen correct toegepast en de geografische doelstellingen grotendeels behaald (met ongeveer 40 procent van de investeringen in Afrika en 25 procent in Azië). Zoals bedoeld nam het MASSIF-fonds gemiddeld genomen meer risico dan het commerciële FMO-A fonds, waardoor de financiële resultaten van MASSIF volatieler waren dan die van FMO-A. De operationele kosten van MASSIF waren echter vergelijkbaar met die van soortgelijke fondsen.

De beoordeelde MASSIF-investeringen waren grotendeels ‘additioneel’ en vaak katalytisch. Uit onze casestudies bleek dat vrijwel alle MASSIF-investeringen additioneel waren ten opzichte van zowel (a) de commerciële markt als (b) het kernkapitaal van ontwikkelingsfinancieringsinstellingen, waaronder ook dat van FMO. In veel gevallen was de MASSIF-investering een eerste en noodzakelijke stap voor haar cliënten om toegang te verkrijgen tot de internationale kapitaalmarkt. Daarnaast mobiliseerde MASSIF vaak aanvullende investeringen door de vermeende of feitelijke risico’s van deze cliënten te verminderen. Voorts bleek uit de casestudies dat de door MASSIF gefinancierde projecten voor capaciteitsontwikkeling (Capacity Development, ofwel CD) vaak niet-financiële toegevoegde waarde hadden. FMO zou de effecten van dergelijke CD-projecten echter systematischer kunnen meten en rapporteren.

De impact van MASSIF-investeringen op het niveau van eindklanten was moeilijk te beoordelen, aangezien FMO nog bezig was met het verbeteren van het resultatenraamwerk en de instrumenten voor effectmeting van MASSIF. Ten tijde van de evaluatie verzamelde FMO reeds een aantal relevante effectindicatoren op het niveau van doelgroepen (bv. het aandeel agri-leningen of leningen aan vrouwelijke ondernemers; het aantal mannen en vrouwen werkzaam bij FMO-cliënten). Hierover werd echter nog niet systematisch gerapporteerd. Bovendien was er slechts beperkte informatie beschikbaar op het niveau van eindklanten, zoals veranderingen in hun toegang tot financiering, werkgelegenheid of inkomens. Ook bleek het moeilijk om dergelijke waargenomen veranderingen toe te schrijven aan MASSIF, behalve als onderdeel van verdiepende investeringsevaluaties die soms worden uitgezet door FMO.

De procedures voor het classificeren en beheersen van ESG-risico’s voor MASSIF-investeringen waren over het algemeen deugdelijk. FMO beoordeelde alle MASSIF-investeringen op potentiële ESG-risico’s (zoals mensenrechtenschendingen), en hanteerde adequate methodes om dergelijke risico’s te mitigeren en te beheersen. In de toekomst kan FMO echter nog een duidelijker link leggen tussen de geïdentificeerde ESG-risico’s en CD-projecten die dergelijke risico’s verminderen.

Methoden
Deze evaluatie gebruikte een combinatie van kwalitatieve en kwantitatieve onderzoeksmethoden. Het gebruik van meerdere methoden en de ‘triangulatie’ van meerdere informatiebronnen hielpen om eventuele vertekeningen (bias) te minimaliseren. Daarnaast zorgden zorgvuldige en transparante procedures voor steekproefselectie ervoor dat de conclusies zo min mogelijk afhingen van een specifieke selectie van casestudies of geïnterviewden.

De belangrijkste methoden en bronnen waren:

• Review van programma- en projectdocumenten, eerdere evaluaties en andere relevante literatuur.
• Reconstructie van de beleidstheorie (Theory of Change) van MASSIF.
• Semi-gestructureerde interviews met relevante FMO-medewerkers, waaronder het management van MASSIF, Investment Officers, ESG-specialisten en leden van FMO’s evaluatieafdeling en impactteams.
• Case-studies van 20 representatieve MASSIF-investeringen (in Sub-Sahara-Afrika, MENA, Zuid-Azië, Zuidoost-Azië, Centraal-Azië en Latijns-Amerika), op basis van documentanalyse en semigestructureerde interviews met relevante FMO-medewerkers, MASSIF-cliënten, mede-investeerders, leden van bestuursorganen en adviescomités, en andere lokale en internationale belanghebbenden (deels in persoon en deels online).
• Statistische analyse van MASSIF portfoliodata en impactdata.
• Analyse van secundaire databronnen ten behoeve van benchmarking (bv. nationale indicatoren m.b.t. toegang tot financiering)