Evaluation of PSD and Toolkit

Het onderzoek
In opdracht van de Rijksdienst voor Ondernemend Nederland (RVO) voerden SEO en MDF Training & Consultancy (MDF) een tussentijdse evaluatie uit van RVO’s Private Sector Development (PSD) Toolkit en de eindevaluatie van diens voorganger, PSD Apps.

RVO beheerde beide programma’s namens het Nederlandse ministerie van Buitenlandse Zaken (MFA, cluster DDE) om ambassades te ondersteunen bij het creëren van een gunstig ondernemingsklimaat, het wegnemen van handelsbarrières en het koppelen van lokale en Nederlandse zakenpartners. De PSD Toolkit volgde PSD Apps in 2019 op, met minder focus op het Nederlandse bedrijfsleven en juist een sterkere focus op de Duurzame Ontwikkelingsdoelstellingen (SDG’s) en de Sahellanden. De belangrijkste doelen zijn (a) het versterken van de private sector in doellanden, met –waar mogelijk – het gebruik van Nederlandse kennis en vaardigheden; en (b) het vergroten van de impact van andere Nederlandse programma’s gericht op private sector ontwikkeling en/of ontwikkelingssamenwerking in brede zin.

Het primaire doel van deze evaluatie was om lessen te trekken uit het verleden en aanbevelingen te formuleren voor verbetering van de programma’s. SEO en MDF voerden de MTE uit tussen maart en december 2022.

Resultaten
Het evaluatieteam concludeerde dat PSD Toolkit/Apps als geheel (tot nu toe) goed heeft gepresteerd ten opzichte van de OESO-DAC evaluatiecriteria, met ruimte voor verdere verbeteringen op het gebied van externe coherentie en continuïteit:

• Relevantie: PSD Toolkit/Apps was grotendeels relevant voor de PSD-prioriteiten van nationale autoriteiten. De relevantie voor de Nederlandse ambassades (economische diplomatie) overheerste echter soms, omdat de PSD Toolkit interventies niet altijd duidelijk vraaggestuurd waren (vanuit het perspectief van de programmalanden). Verder waren PSD Toolkit projecten vaak relevant voor Nederlandse bedrijven (door de focus op sectoren waarin Nederland een comparatief voordeel heeft) maar minder voor de transversale doelen waaronder de SDG’s.
• Coherentie: De interne samenhang van PSD Toolkit projecten is verbeterd sinds PSD Apps. Hoewel er nog steeds talrijke opzichzelfstaande interventies waren, heeft PSD Toolkit de projecten beter aan elkaar gekoppeld. De externe samenhang kan echter nog worden verbeterd omdat er geen structurele coördinatie was met andere ontwikkelingspartners, waardoor overlap niet volledig werk voorkomen.
• Doeltreffendheid: De PSD Toolkit was het meest effectief op het gebied van economische diplomatie (uitkomsttraject 3). In termen van directe steun aan de particuliere sector (uitkomsttraject 1) en verbetering van het gunstig klimaat (uitkomsttraject 2) waren de PSD-maatregelen doeltreffend wat betreft het leveren van outputs en kortetermijnresultaten, maar de bijdragen aan de doelen op hoger niveau bleven klein of onduidelijk.
• Duurzaamheid: PSD Toolkit besteedde meer aandacht aan economische duurzaamheid dan PSD Apps. De inspanningen om PSD Toolkit projecten met elkaar te verbinden verhoogde de kans op voortdurende impact, maar de mate van follow-up (vanuit PSD Toolkit zelf of andere PSD-initiatieven) werd niet systematisch gemonitord.
• Efficiency: De identificatie-, opstart- en uitvoerprocessen van projecten waren over het algemeen tijdig en kosteneffectief, maar het projectbeheer tijdens de projectuitvoer werd vaak als lastig ervaren (in verhouding tot de projectomvang). Veel belanghebbenden waardeerden daarnaast zowel PSD Apps als de Toolkit vanwege diens snelheid en flexibiliteit.

Methoden
SEO en MDF evalueerden de PSD Toolkit/Apps aan de hand van de OESO-DAC evaluatiecriteria, zowel op programma- als op projectniveau. Op beide niveaus paste het evaluatieteam ‘triangulatie’ van een mix van kwantitatieve en kwalitatieve informatiebronnen toe om tot een algemene beoordeling te komen:

• Beoordeling op programmaniveau:
  • Portfolio-analyse van de beschikbare M&E-gegevens voor alle projecten
  • Uitgebreide deskresearch en diepte-interviews met belanghebbenden op programmaniveau
  • Grootschalige enquête onder een groot aantal belanghebbenden (waaronder uitvoerende partners, PSD-coaches, PSD-partners en vertegenwoordigers van het MFB)
• Beoordeling op projectniveau:
  • Uitgebreide beoordeling van een steekproef van 121 projecten;
  • Vijf diepgaande casestudies (“Deep Dives”) in Burkina Faso, Marokko, Nigeria, Oeganda en Vietnam.