Aan de slag met indicatoren
Hoe maak je beleid meetbaar?
Tekst Merel Rijn en Dewi Koning
Merel Rijn en Dewi Koning zijn adviseurs bij NCOD
Je ziet data en statistieken overal terug en de mogelijkheden ervan zijn eindeloos. In de publieke sector gaat het veelal over gegevens met betrekking tot maatschappelijke thema’s, zoals de krapte op de woningmarkt. Gegevens zijn dan bijvoorbeeld het tekort aan woningen, de stijging van de woningprijzen, de gemiddelde leeftijd waarop jongeren uit huis gaan, het gemiddeld aantal mensen per huishouden, het salaris dat je moet verdienen om te kunnen starten op de woningmarkt en ga zo maar door. Deze cijfers dienen om een probleem en de mate waarin doelen worden behaald meetbaar te maken. Maar welke indicatoren zijn het meest geschikt?
Hoewel er binnen een thema al ontzettend veel gegevens en indicatoren zijn die je kunt monitoren, zijn er ook nog ontzettend veel thema’s waar de overheid aan werkt. Bovendien heb je ook nog indicatoren die wat minder zeggen over de inhoud van de maatschappelijke thema’s, maar juist over hoe de overheid het doet, zoals het percentage reacties binnen de daarvoor gestelde termijn. Daardoor lijkt alles wel interessant en kun je verzanden in de hoeveelheid aan mogelijkheden. Hoe voorkom je dat je door de bomen (de data) het bos (het overzicht) niet meer ziet? De ervaring leert dat datagedreven werken een onderwerp is waarover bij veel organisaties het gevoel heerst dat men er iets mee moet, met het risico dat het een doel op zich wordt, waardoor dataproducten niet aansluiten bij actuele thema’s of bestaand beleid. Als datagedreven werken een doel op zich wordt, biedt dat de ruimte om te verdwalen in de mogelijkheden die er zijn. Helder voor ogen krijgen wat je als organisatie met data wilt bereiken vergt tijd. Voor dit proces hanteren we enkele uitgangspunten.
Vanuit je eigen doel
Het is allereerst belangrijk om in je beleid heldere doelen te definiëren en die als uitgangspunt te nemen om te beoordelen welke data hier ondersteunend inzicht aan geeft. Niet enkel dingen meten omdat je ze kunt meten, maar kritisch nadenken op welke manier data ondersteunt bij het bereiken van je beleidsdoelstellingen. Je begint dus niet bij de data, maar bij wat je wilt bereiken. Bovendien wil je bij verantwoording kunnen relateren aan de doelen die je eerder hebt opgesteld. Hiermee maak je de PDCA-cyclus rond.
‘JE BEGINT NIET BIJ DE DATA, MAAR BIJ WAT JE WILT BEREIKEN’
Houd het onderwerp klein
Wat continu aandacht vraagt, is het klein houden van de scope. Op veel plekken wordt er steeds meer integraal samengewerkt. Dit is een positieve ontwikkeling, maar lijkt soms haaks te staan op het klein houden van de scope van een project waarbij je gegevens gaat verzamelen om doelen meetbaar en overzichtelijk te maken. Vanuit het integraal werken is het niet gek om te denken: ‘moeten we collega X er niet bij betrekken omdat dit heel goed aansluit op wat zij doet en omdat zij hier ook baat bij kan hebben’ of ‘we gaan alleen een dashboard inzetten als dit integraal ingezet kan worden’. Echter maakt het betrekken van meer mensen het zo complex dat het juist hierdoor vaak vastloopt. Er kunnen in vervolgfasen of aparte projecten altijd indicatoren bijgevoegd worden die voor anderen juist interessant zijn. Wees voor deze collega’s een voorbeeld van hoe het kan werken.
Het gesprek voeren
Er zijn veel argumenten waarom het gesprek over de data minstens zo belangrijk is als de data zelf. Allereerst is het belangrijk om bij betrokkenen bekendheid te creëren over het data-vraagstuk en vervolgens consensus over proces en doelen te realiseren. Dit is essentieel voor de betrokkenheid en het vertrouwen binnen een project. Als dit ontbreekt, zal het project eindigen met een dashboard waar niet in gekeken wordt. Een onderdeel hiervan is de vraag hoe en door wie de data gebruikt gaat worden. Beleidsafdelingen kunnen data bijvoorbeeld gebruiken bij inhoudelijke evaluatie van het beleid en uitvoeringsafdelingen kunnen er processen mee evalueren. Teammanagers kan het helpen bij het prioriteren en bijsturen van werkzaamheden en bestuurders kunnen de data gebruiken in hun verantwoording. Door in het begin van het proces helder te maken hoe data gebruikt gaat worden, voorkom je dat iedereen net de plank misslaat. Ten tweede is het gesprek van belang bij het trekken van conclusies op basis van de opgestelde indicatoren. De data vertellen nooit het gehele verhaal en moet vanuit verschillende invalshoeken geduid worden met extra informatie. Het dashboard is niet een presentatie van de waarheid. Het gesprek maakt daarmee de data sterker en tegelijkertijd versterkt de data het goede gesprek met elkaar. Ten derde is het gesprek noodzakelijk om een goede kwaliteit van de indicatoren te realiseren. We zien vaak discussies ontstaan doordat er op verschillende momenten of door verschillende personen anders gewerkt wordt, wat zorgt voor vervuilde data en daarmee afwijkende resultaten. Dit kan zitten in de definities die gehanteerd worden, deze bepalen namelijk welke gegevens meegenomen moeten worden en welke niet. Door met elkaar te bespreken welke definities je hanteert, zorg je ervoor dat data consistent gepresenteerd en geanalyseerd kan worden en dat je appels met appels kunt gaan vergelijken. Om definities te formuleren, is het van belang dat de juiste mensen rond de tafel zitten en meedenken.
Werkwijze
De manier waarop wij werken, is opgesteld vanuit deze uitgangspunten. We maken hierin een onderscheid tussen effectindicatoren en prestatie-indicatoren. Effectindicatoren hebben betrekking op wat we willen bereiken, en dus op een meetbare missie, visie en strategie. Met een effectindicator worden de gevolgen van de gerealiseerde doelstellingen gemeten. Prestatie- indicatoren gaan over de vraag hoe we dat gaan bereiken en zegt daarmee meer over processen en werkzaamheden. Een prestatie-indicator richt zich op de kwantiteit en kwaliteit van de ingezette activiteiten.
‘RESULTATEN KUNNEN NOG ZO MOOI ZIJN, MAAR DUIDING BLIJFT CRUCIAAL’
STAP 1
Vaststellen randvoorwaarden
Het is cruciaal voorafgaand afspraken te maken over de randvoorwaarden van je sturingsmodel, denk hierbij aan hoe vaak indicatoren minimaal te meten moeten zijn, hoe veel effect- en prestatie-indicatoren je wilt hebben per thema en of je bij de indicatoren ook normen wilt vaststellen. Door deze kaders voorafgaand vast te leggen, schep je duidelijkheid voor de groep die aan de slag gaat met het bedenken van de effectindicatoren.
STAP 2
Bepalen uitgangsdocumentatie
Beleid is het uitgangspunt omdat hierin staat wat je wilt bereiken. Binnen een beleidsthema bestaan vaak al verschillende documenten: visiedocumenten, thema-overstijgende visiedocumenten en uitvoeringsdocumenten. Het is van belang om te bepalen welke documenten relevant zijn. Vanaf de eerste stap is het verstandig om de juiste mensen te betrekken van strategisch niveau tot operationeel niveau en daarnaast ook multidisciplinair.
STAP 3
Opstellen effectindicatoren
Omdat je het beleid als uitgangspunt neemt, en daarmee de doelen die de organisatie heeft gesteld kom je eerst bij de effectindicatoren uit. Hiervoor wordt gestart met het terugbrengen van beleidsdocumenten tot de kern. De kern wordt vervolgens teruggebracht naar een behapbare set van speerpunten. In deze fase worden de definities van de verschillende speerpunten uitgewerkt tot effectindicatoren in werksessies. Tussendoor wordt er getoetst of de besproken indicatoren meetbaar zijn.
STAP 4
Opstellen prestatie-indicatoren
Met behulp van werksessies met dezelfde betrokkenen gaan we verder met de effectindicatoren. Per effectindicator stellen we een beperkt aantal prestatie-indicatoren op. Hiervan willen we minstens een indicator die de kwaliteit van de dienstverlening meet. Er moet bepaald worden welke acties er worden gedaan en vervolgens worden deze geprioriteerd en teruggebracht naar enkele acties per effect.
De resultaten kunnen nog zo mooi zijn, maar duiding blijft cruciaal. Gedurende het proces is hier continu aandacht voor. Bijkomende effecten die uit de sessies komen zijn concretere visies, een beter gedeeld beeld over doelen van de organisatie en hoe deze bereikt kunnen worden. Dit is de juiste basis om data gezamenlijk te duiden en om verder te ontwikkelen. Uiteindelijk is het doel van het opstellen van effect- en prestatie-indicatoren het meetbaar maken van doelen en prestaties. Hierdoor zijn we in staat om te monitoren of we de doelen die we hebben gesteld aan het behalen zijn en of de activiteiten die we uitvoeren daadwerkelijk bijdragen aan deze doelen. Data vertelt hierin uiteraard maar een gedeelte van het verhaal, de echte waarde van een sturingsmodel vloeit voort uit de gesprekken die men hierover voert.