Tussentijdse evaluatie van Pro-ARIDES

Achtergrond
Op verzoek van het Nederlandse Ministerie van Buitenlandse Zaken (BZ) hebben SEO Economisch Onderzoek en MDF Training & Consultancy de tussentijdse evaluatie uitgevoerd van Pro-ARIDES (Programme Agroalimentaire pour la Résilience Intégrée et le Développement Économique du Sahel). Het programma, dat in 2021 van start ging en wordt uitgevoerd door een consortium van SNV, CARE Nederland, Wageningen University & Research en het Koninklijk Instituut voor de Tropen (KIT), is actief in Burkina Faso, Mali en Niger. Het programma richt zich op het versterken van de weerbaarheid, voedselzekerheid en huishoudinkomens, het verbeteren van lokaal bestuur en het bevorderen van duurzaam beheer van natuurlijke hulpbronnen in fragiele en door conflicten getroffen contexten.

Deze tussentijdse evaluatie (2021–2025) beoordeelde de voortgang aan de hand van de OESO-DAC-criteria – relevantie, coherentie, effectiviteit, efficiëntie, duurzaamheid en impact – en evalueerde het Monitoring-, Evaluatie- en Leersysteem (MEL) om input te leveren voor de vormgeving van fase 2 (2026–2030).

Resultaten

Effectiviteit

• Het programma behaalde de meeste output-doelen en liet positieve vooruitgang zien op outcome-indicatoren, ondanks ernstige conflicten en onveiligheid in de regio.
• Vanwege het suboptimale MEL-systeem (zie hieronder) was het niet mogelijk om de contributie van de interventies aan deze uitkomsten rigoureus vast te stellen. Op basis van ons kwalitatieve onderzoek was het echter wel aannemelijk dat het programma causaal bijdroeg aan verbeterde groenteproductie door vrouwen, hogere inkomens en betere voeding; sterkere spaargroepen en sociale cohesie via Village Savings and Loan Associations; effectievere grondgebruiksovereenkomsten; vermindering van spanningen door conflictbemiddeling; en verbeterd lokaal bestuur.
• De resultaten waren wisselend op het gebied van voeding, bosbescherming en financiële inclusie.

Relevantie

• Het programma scoorde hoog op relevantie voor de Sahelregio, dankzij de lokale aanpak en de aandacht voor veiligheidsrisico’s en belangrijke regionale uitdagingen, waaronder voedselonzekerheid, landconflicten en zwak bestuur.
• Nomadische veehouders konden nog beter betrokken worden bij het programma om inclusieve economische ontwikkeling beter te bevorderen.

Coherentie

• Interne coherentie: de opzet in meerdere landen bood mogelijkheden voor leren, maar werd belemmerd door een top-down regionale managementstructuur en een suboptimale taakverdeling tussen consortiumpartners.
• Externe coherentie: er was goede afstemming met andere SNV-programma’s, maar de samenwerking met niet-SNV-programma’s bleef beperkt.

Duurzaamheid

• Veiligheidskwesties en politieke instabiliteit vormden aanzienlijke risico’s voor de duurzaamheid van de resultaten.
• De duurzaamheid werd versterkt door gemeenschapsgerichte instituties, lokale partnerschappen en ingebedde financiële systemen, maar werd belemmerd door factoren zoals gebrekkig onderhoud van infrastructuur en beperkte toegang tot water.

Efficiëntie

• De administratieve kosten waren hoog in verhouding tot de uitvoeringskosten.
• Grotere efficiëntie kan worden bereikt door te focussen op de meest veelbelovende interventies en door de kosten per begunstigde beter te monitoren.

Monitoring, Evaluatie en Leren (MEL)

• Het MEL-raamwerk was conceptueel solide, maar had serieuze lacunes. Indicatoren waren te talrijk en inconsistent gedefinieerd; databestanden tussen landen waren gefragmenteerd; de resultaten werden niet beoordeeld ten opzichte van een counterfactual (een vergelijking met de situatie zonder interventie).
• Het MEL-systeem werd nog niet voldoende gebruikt voor leer-doeleinden en adaptief management. Dit vereist onder meer duidelijkere nulmetingen, geharmoniseerde instrumenten en een feedbackmechanisme ter ondersteuning van besluitvorming.

Methoden
De gebruikte methodologie voor deze evaluatie was een combinatie van Outcome Harvesting and Contribution Analysis. Het evaluatieteam combineerde hierbij de kwantitatieve analyse van MEL-data en financiële gegevens met een kwalitatieve analyse van documentatie, interviews en veldwerkbevindingen. Data werd verzameld via:

• Analyse van programmadocumenten en gerelateerde literatuur;
• Interviews met consortiumpartners, donorvertegenwoordigers en ontwikkelingspartners;
• Veldwerk in geselecteerde gemeenten in Burkina Faso, Mali en Niger (bestaande uit interviews, focusgroep-discussies en validatiesessies);
• Analyse van het MEL-raamwerk en de bijbehorende data, aangevuld met een MEL-workshop met partnerorganisaties en het MEL-team van het Deense Ministerie van Buitenlandse Zaken.

De bevindingen getrianguleerd over verschillende databronnen om de robuustheid te waarborgen.