Handboek meetmethoden voor effectiviteit van activerend arbeidsmarktbeleid op persoonsniveau

Op verzoek van het Ministerie van Sociale Zaken en Werkgelegenheid hebben SEO Economisch Onderzoek en TNO gezamenlijk een “evaluatieprotocol” uitgewerkt, dat methoden aanreikt om de netto-effectiviteit van het activerend arbeidsmarktbeleid beter te kunnen vaststellen. De eerste drie hoofdstukken van het evaluatieprotocol zijn van de hand van TNO, de overige van SEO.

Nederland investeert vele miljoenen euro’s in de re-integratie en activering van werklozen, gedeeltelijk arbeidsongeschikten en niet-uitkeringsgerechtigden (NUG’ers). Daartoe richten instrumenten zich op de vraagkant (bijvoorbeeld door loonkostensubsidies), de aanbodkant (bijvoorbeeld door scholing) en op het efficiënt bijeenbrengen van vraag en aanbod (bijvoorbeeld door het beschikbaar stellen van arbeidsmarktinformatie voor werkzoekenden en werkgevers).

Dit handboek biedt een handvat voor de evaluatie van activerend arbeidsmarktbeleid. Het geeft de state-of-the-art weer van methoden voor onderzoek naar de effectiviteit van investeringen in activerend arbeidsmarktbeleid. De nadruk ligt daarbij op het vaststellen van de netto-effectiviteit op micro-niveau, dat wil zeggen de mate waarin individuele cliënten aan het werk zijn gekomen dankzij de inzet van beleid. Gebruikers van deze handleiding zijn beleidsambtenaren (Rijksoverheid, gemeenten, UWV, RWI etc.) die evaluaties (laten) verrichten naar het activerend arbeidsmarktbeleid en beleidsonderzoekers. Het handboek kan hen behulpzaam zijn bij onder meer het vertalen van een beleidsvraag naar een onderzoeksvraag, het treffen van voorzieningen voor juiste dataverzameling; een eenduidige hantering van het begrippenkader en het bevorderen van transparantie van methoden en presentatie van resultaten.

Om te beoordelen of de inzet van middelen effectief is geweest, dient gekeken te worden naar de beleidsdoelen. Investeringen in activerend arbeidsmarktbeleid kunnen bijvoorbeeld worden gedaan om de arbeidsparticipatie te bevorderen, vacatures te vervullen en werkloosheid te verminderen. De beleidsdoelen dienen daartoe geoperationaliseerd te worden in uitkomstmaten. Veranderingen in de uitkomstmaat vormen een basis voor de vaststelling van effectiviteit.

Effecten van beleidsinterventies kunnen worden gemeten door de groep die te maken heeft met een beleidsinterventie (de proefgroep) te vergelijken met de groep die daar niet mee te maken heeft (de controlegroep). Wanneer beide groepen goed vergelijkbaar zijn, dan kunnen verschillen in de uitkomstmaat (bijvoorbeeld de werkloosheidsduur) tussen beide groepen volledig worden toegeschreven aan de werking van de beleidsinterventie. Dat verschil is de netto-effectiviteit of toegevoegde waarde van de interventie. In de praktijk zijn de proefgroep en controlegroep niet altijd goed vergelijkbaar. Ze kunnen verschillen in samenstelling en in de kans op een beleidsinterventie: er is dan sprake van een selectieve inzet van beleidsinstrumenten. Afhankelijk van de uitkomstmaat, het type beleidsinterventie en de beschikbare gegevens voor analyse, kan door middel van specifieke evaluatiemethoden worden gecorrigeerd voor samenstelling- en selectie-effecten. In het handboek wordt een overzicht gegeven van beschikbare evaluatiemethoden met een handreiking welke evaluatiemethode in welke situatie het beste kan worden ingezet. Vervolgens wordt een overzicht gegeven van de benodigde gegevens voor een effectiviteitsanalyse en hoe met deze gegevens het beste kan worden omgegaan. Ten slotte wordt ingegaan op de manier waarop gemeten netto-effecten dienen te worden gepresenteerd. Belangrijk is om te realiseren dat effecten van beleidsinterventies die zijn vastgesteld met behulp van een effectiviteitsanalyse op een afgebakende onderzoekspopulatie ook alleen geldig zijn voor die afgebakende onderzoekspopulatie.

De hoofdstukken 1 tot en met 4 van het handboek zijn gericht op beleidsmakers die in de opzet en uitwerking van het activerend arbeidsmarktbeleid rekening willen houden met de manier waarop dit beleid kan worden geëvalueerd. De technische uitwerking van zo’n evaluatie vindt plaats in de hoofdstukken 5 tot en met 7 en is met name gericht op onderzoekers.