Overslaan en naar de inhoud gaan

Hoe stel je meetbare waarden in?

Laatste update: 17 december 2024

Gebruik van data en de ‘beren op de weg’

Hoe maak je de vertaalslag van cijfers naar beleid en uitvoering? János Betkó, coördinator bestaanszekerheid bij de gemeente Nijmegen, wetenschapper en universitair docent, vertelde over de risico’s die sturen op basis van cijfers met zich meebrengen.

Zelf heeft Betkó een haat-liefdeverhouding met cijfers. ‘Aan de ene kant heb je ze nodig om te weten wat er gebeurt, maar aan de andere kant kunnen cijfers - zeker als je ermee gaat sturen - leiden tot schijnzekerheid en perverse prikkels. 'Want laten de cijfers daadwerkelijk zien wat er staat of zit er wat anders achter?’

‘Duiding van cijfers is essentieel’

Je moet dus heel voorzichtig zijn met het interpreteren van cijfers, waarschuwt Betkó. Hij geeft een voorbeeld: ‘Als uit cijfers blijkt dat er minder uitkeringsgerechtigden zijn, kan dit meerdere dingen betekenen. Zo kan het door de economische conjunctuur komen dat er meer mensen aan het werk zijn, maar het kan ook betekenen dat er strenger wordt gehandhaafd. Het kan ook nog zo zijn dat je als gemeente harder beleid voert dat mensen afschrikt om een bijstandsuitkering aan te vragen.’ 

‘Een daling in het aantal uitkeringsgerechtigden kan dus goed of slecht zijn, maar het kan ook helemaal niks betekenen’, benadrukt Betkó. ’Duiding van cijfers is essentieel, anders kun je er niet zoveel mee.’ 

János Betkó promoveerde in maart 2023 aan de Radboud Universiteit Nijmegen op een experiment met een versoepelde bijstand. Hij onderzocht of een systeem waarin bijstandsgerechtigden die iets konden bijverdienen naast de uitkering, meer autonomie hadden en/of begeleiding kregen, betere resultaten boekte dan het reguliere systeem. Hierbij is onder meer gekeken naar gezondheid (fysiek en mentaal), werk (deeltijdwerk, vrijwilligerswerk, ondernemerschap), vertrouwen en armoede. De conclusie: het strenge bijstandsregime leidt niet tot meer uitstroom naar werk. Soepelere regels en inzet op meedoen doen dat evenmin, maar zorgen wel voor meer gezondheid, participatie en politiek vertrouwen.

Cijfers als prikkel

Zeker aan het sturen met geld als prikkel om bepaalde prestaties te behalen, zitten volgens Betkó nogal wat haken en ogen. Hij verwijst naar de wetenschappers Goodhart en Campbell, die concludeerden dat er veel druk op een indicator komt te liggen als je daarmee financieel gaat sturen: de indicator wordt minder goed en wordt vatbaar voor oneigenlijk gebruik.

Als voorbeeld geeft Betkó de verdeling van gelden in het hoger onderwijs, waarbij scholen op een gegeven moment geld kregen wanneer studenten zich inschreven (‘eerstejaarsbonus’) en wanneer ze hun diploma haalden (‘diplomabonus’). Dat bleek zeer fraudegevoelig: studenten werden sneller toegelaten en/of haalden makkelijker hun diploma. Daarna was er een bekostiging op nominale studieduur en werden studenten zo snel mogelijk naar de uitgang gejaagd. En weer later was er de zogenoemde ‘kwaliteitsbekostiging’: geld verdelen op basis van kwaliteit. Maar die kwaliteit moet je dan kwantificeren, bijvoorbeeld door  student-docentratio, scores bij kwaliteitscontroles, de groepsgrootte van colleges, etc. Ook dat creëerde weer zijn eigen perverse prikkels, bijvoorbeeld door één docent drie werkgroepen tegelijk te laten geven, elk in een eigen lokaal. 

Betkó: ‘Mijn hypothese is dat mensen in het sociaal domein getraind zijn om het goede te doen, ook het management en bestuur. Die perverse prikkels worden pas echt een ding als de financiën onder druk staan. Dan ben je sneller geneigd om te kijken hoe je die indicatoren in je voordeel kunt gebruiken.’

Cijfers bij het verdelen van geld

Een andere ‘beer op de weg’ bij het gebruik van data ziet Betkó bij het verdelen van gemeentegelden. Zoals bij de gebundelde uitkering (BUIG), waarbij op basis van tientallen indicatoren (waaronder geslacht, opleiding, leeftijd, etniciteit, buurtkenmerken en beschikbare banen) wordt bepaald hoeveel een gemeente krijgt voor het betalen van de uitkeringen. ‘Eén van de problemen is dat je niet alle relevante indicatoren hebt. Je weet bijvoorbeeld niet hoe gemotiveerd iemand is om uit te stromen uit de bijstand. En voor sommige indicatoren die er niet zijn, worden indicatoren gebruikt die erop lijken, de zogenaamde proxies: zo zijn er geen landelijke cijfers over schulden, maar zijn er wel cijfers over hoeveel wanbetalers er van de zorgverzekering zijn. Verder zijn er nog een aantal indicatoren die wel relevant zijn, maar die om bepaalde redenen niet gebruikt mogen worden.  Het is belangrijk om dit soort beperkingen van een model in je achterhoofd te houden bij het interpreteren van de uitkomsten.’

Lokaal gebruik van streefcijfers

Data gebruiken om bepaalde doelen te halen, hebben ook niet altijd een positieve uitwerking, zo heeft Betkó aan den lijve ondervonden. ‘Onze afdeling handhaving en naleving had ooit als target om 4 miljoen euro per jaar aan fraude op te halen. Wat gebeurde er? Er werd niet alleen gekeken naar bijstandsfraude in het afgelopen half jaar, maar ook naar de jaren ervoor. Hierdoor moesten mensen enorme bedragen terugbetalen, inclusief jaarlijkse boetes, waardoor ze levenslang schuldhulpverlening nodig hadden. En dat kost de gemeente ook weer tijd en moeite, misschien zelfs meer dan de bespaarde bijstand, dus je hebt er helemaal niks aan.’

Betkó pleit ervoor om streefcijfers te gebruiken als ondersteuning van het beleid en niet als iets om hard mee af te rekenen. De gemeente Nijmegen neemt dit bij de schuldhulp nu expliciet als disclaimer op. Dat wordt ook uitgedragen naar de wethouders: ‘Dit is wat we willen, maar houd er rekening mee dat niet alles kan. Een en ander is ook afhankelijk van sociaal maatschappelijke ontwikkelingen.’ 

Nijmegen en het gebruik van streefcijfers bij schuldhulp

In het beleidsplan zijn vier dingen opgenomen:

  • Wat is de doelstelling?
  • Wat is de indicator?
  • Hoe staan we er aan het begin van het traject voor?
  • Waar willen we naartoe?

Met als disclaimer: dit is afhankelijk van de sociaal/maatschappelijke ontwikkeling en ‘ter ondersteuning van het beleid’. 

Concreet kan dit het volgende inhouden:

  • Minimaal twee schuldencampagnes in 4 jaar tijd.
  • Het aantal woningontruimingen door huurschuld mag maximaal 10 per jaar zijn.
  • Slagingspercentage van minnelijke trajecten op 95%.

Opgavegericht werken

De gemeente Nijmegen werkt momenteel opgavegericht met grote thema’s als  bestaanszekerheid, energietransitie en digitale transformatie. Hierbij wordt multidisciplinair gewerkt en staat de opgave centraal, vertelt Betkó. ‘We bedenken en voeren oplossingen uit met de partijen in de stad en met de mensen om wie het gaat. De overheid moet flexibel zijn; niet te veel van tevoren bedenken hoe het moet en gewoon beginnen.’ 

Deze werkwijze leent zich ‘maar matig’ voor KPI’s, realiseert Betkó zich. Terwijl managers die vaak wel nodig hebben, omdat ze willen weten wat je gaat doen, wanneer, met hoeveel mensen en hoeveel geld er nodig is. Het compromis is werken met ‘acceptatiecriteria’. Voorbeelden hiervan zijn onder meer: meer toegankelijke regelingen rond armoedebestrijding én projecten uitvoeren die bijdragen aan de (financiële) bestaanszekerheid van Nijmegenaren. ‘Dit is misschien niet SMART, maar ik kan wel na drie maanden naar de wethouder toe en zeggen: Dit hebben we gedaan en zo sluit dat aan bij deze acceptatiecriteria.’ 

Conclusies Janós Betkó

  • Cijfers zijn nuttig en essentieel om te weten wat er gebeurt.
  • Duiding van cijfers is belangrijk om ze goed te kunnen gebruiken. 
  • Wees heel voorzichtig als je cijfers gebruikt om mee te sturen. Perverse effecten? Zit er iets achter de cijfers?
  • Probeer bij voorkeur met indicatieve streefcijfers te werken, waarbij wordt benadrukt dat ze ter ondersteuning zijn van beleid en mede afhankelijk zijn van andere (maatschappelijke) ontwikkelingen. 
  • Als je wil weten of een beleid of interventie werkt, kan experimenteel onderzoek handig zijn. Het is duur en intensief, dus check of je lokale of regionale hogeronderwijsinstelling iets kan betekenen.
  • Stuur minder hard met cijfers als er een relatie van vertrouwen is. 
  • Sturen met cijfers brengt vaak extra werk met zich mee.