Evaluatie van ‘Programma Uitzending Managers’ (PUM), 2017 – 2020

Het Onderzoek
In opdracht van het Ministerie van Buitenlandse Zaken (MinBuza) heeft SEO een evaluatie uitgevoerd van het Programma Uitzending Managers (PUM), een vrijwilligersorganisatie opgericht in 1978. Via PUM geven Nederlandse experts met ervaring in het bedrijfsleven op vrijwillige basis advies en training aan het midden- en kleinbedrijf (MKB) en bedrijfsondersteunende organisaties in ontwikkelingslanden. Hiermee beoogt PUM de kennis, vaardigheden en prestaties van hun cliënten te vergroten om zodoende bij te dragen aan  duurzame economische ontwikkeling van het MKB. De evaluatie besloeg de periode 2017 – 2020, waarin MinBuza een totale subsidie van 45 miljoen euro aan PUM verstrekte. Het doel van de evaluatie was tweeledig: (1) verantwoording afleggen over de besteding van publieke middelen; (2) lessen trekken voor toekomstige programmering. SEO’s evaluatie-activiteiten vonden plaats tussen september 2020 en maart 2021, inclusief veldwerk in Oeganda en Myanmar dat werd uitgevoerd door SEO’s lokale consultants ter plaatse.

Resultaten

• Effectiviteit: De PUM experts werden alom gewaardeerd om hun technische deskundigheid en werden gezien als effectief in het overdragen van kennis. Er waren sterke aanwijzingen, gebaseerd op enquêtegegevens en casestudies, dat de adviezen van PUM over het algemeen de bedrijfspraktijken en -prestaties van haar cliënten hielpen verbeteren, vooral in de minst ontwikkelde landen.

• Relevantie: De meeste stakeholders waren het erover eens dat het door PUM verstrekte advies in het algemeen goed aansloot bij de feitelijke behoeften van PUM- cliënten. PUM leek echter niet altijd die cliënten, sectoren of landen te selecteren waar het advies van PUM de grootste impact zou kunnen hebben. De relevantie van PUM voor de doelstellingen van MinBuza op het gebied van private sector ontwikkeling (PSD) was over het algemeen groot, maar kan nog verder verbeteren.
• Additionaliteit: Meerdere bronnen gaven aan dat de adviesdiensten van de PUM in hoge mate een aanvulling vormden op wat op de lokale of de internationale markt beschikbaar was. Zelfs wanneer soortgelijke diensten op de lokale of internationale markt beschikbaar waren, droeg PUM volgens vele stakeholders bij aan veranderingen in ontwikkelingsrelevante resultaten die zonder PUM niet tot stand zouden zijn gekomen. Desalniettemin is er een inherent risico op marktverstoring, gezien het feit dat PUM als vrijwilligersorganisatie haar diensten onder de marktprijs kan aanbieden. Om dit risico te verminderen dient PUM meer maatregelen te nemen om te waarborgen dat de aangeboden diensten additioneel blijven ten opzichte van de markt.
• Coherentie: Er waren gemengde aanwijzingen met betrekking tot de interne en externe coherentie van de PUM. Met name de coördinatie met andere Nederlandse PSD-programma’s was nog voor verbetering vatbaar.
• Efficiëntie: De totale kosten per PUM missie was licht gestegen tussen 2017 en 2019, wat een indicatie is van afgenomen efficiëntie. In dezelfde periode was het aantal missies per FTE ongeveer gelijk gebleven. Daarnaast leek het matchen van PUM-cliënten met PUM-experts efficiënt te verlopen, maar waren er nog efficiëntieslagen mogelijk wat betreft de voorbereiding van missies en het regelen van follow-ups.

Methodes
Deze evaluatie werd uitgevoerd met een mix van kwalitatieve en kwantitatieve evaluatiemethoden. Het evaluatieteam gebruikte hierbij Contributie-analyse als algemene evaluatiemethode en een ‘Embedded Case Study Approach’ voor de casestudies. De evaluatiemethodologie volgde de criteria van OESO-DAC en de Donor Committee for Enterprise Development (DCED). De voornaamste kwantitatieve en kwalitatieve informatiebronnen bestonden uit:

• Uitgebreide deskreview van programma- en projectdocumenten en casestudie specifieke achtergrondliteratuur;
• Reconstructie en ontwikkeling van een nieuwe “Theory of Change” (ToC) voor de PUM, ontwikkeld samen met PUM tijdens een ToC-workshop;
• Grondige analyse van monitoringsdata uit de eigen systemen van PUM en secundaire data voor het benchmarken van de resultaten;
• Statistische analyse van bestaande data van PRIME (een doorlopend jaarlijks onderzoek dat door PUM wordt uitgevoerd in samenwerking met Wageningen Economic Research);
• Ontwerp, uitvoering en analyse van een nieuw ontworpen online stakeholderonderzoek onder een breed scala van PUM-stakeholders;
• Interviews en focusgroepsdiscussies met het management van PUM, lokale vertegenwoordigers van PUM, MinBuZa en vertegenwoordigers van twee vergelijkbare door de Nederlandse overheid gefinancierde programma’s voor de ontwikkeling van de private sector.
• Diepgaande casestudies van 10 PUM-projecten in twee landen (Uganda en Myanmar), uitgevoerd in samenwerking met lokale consultants. De casestudies omvatten zowel casus-specifieke deskresearch als diepte-interviews en focusgroepsdiscussies met een verscheidenheid aan PUM-belanghebbenden, resulterend in twee afzonderlijke casestudierapporten (één per land).