Ethische afwegingen

Direct na het bedenken van zo’n top400 kunnen de eerste ethische afwegingen al worden gemaakt. Dat gebeurt door met een zo divers mogelijke groep mensen het idee van alle kanten te belichten. In het kader hierna vind je een aantal vragen die daarbij behulpzaam kunnen zijn: In dialoog zullen risico’s en kansen aan de orde komen. De mogelijke impact van het idee wordt verkend aan de hand van de vragen. Inzichten kunnen worden meegenomen naar de volgende fase van ontwikkeling. Er zijn diverse modellen en best practices beschikbaar om op verschillende momenten in het ontwikkel­proces te gebruiken. Zie ook de Toolbox Ethisch Verantwoorde Innovatie van de digitale overheid.

Mensenrechten 

De Universiteit Utrecht ontwikkelde voor het ministerie van Binnenlandse Zaken en Koninkrijksrelaties het Impact Assessment voor Mensenrechten bij de inzet van Algoritme (IAMA). Dit model is opgebouwd uit vier delen: waarom, wat, hoe en mensenrechten.

• Waarom In het eerste deel wordt de bedoeling van de voorgestelde regeling doorgesproken. De Top400 is opgezet om jongeren zo te begeleiden dat zij niet in de criminaliteit terechtkomen. In de documentaire vertellen moeders dat die opzet niet slaagt, integendeel. Doordat deze jongeren steeds met politie in aanraking komen, ogenschijnlijk zonder aanleiding, wordt hun beeld negatief gevoed. Doordat er geen stabiel regieteam is moet de situatie steeds aan andere hulpverleners worden uitgelegd en blijft adequate hulp achterwege. Het gevolg is dat de jongeren en hun familieleden juist gestigmatiseerd worden als criminelen in de dop. De bedoeling van het programma komt niet uit de verf. Door eerst vanuit alle invalshoeken uitgebreid door te spreken wat het doel van het programma is, waarom het is opgericht, wat bereikt moet worden en waarom wordt gekozen voor deze manier, kan het ontwerp worden getoetst aan deze uitkomst. Zo kan een tegengestelde uitkomst worden voorkomen.
• Wat In het tweede deel van het IAMA wordt ingegaan op het gebruik van gegevens en hoe deze worden ingezet. Niet alleen speelt privacywetgeving een grote rol, maar ook de relevantie van gegevens, de betrouwbaarheid en het mitigeren van bias. Bij de Top400 worden gegevens bij elkaar gelegd van verschillende bronnen, zoals school, politie, GGD en jeugdbescherming. Omdat het aantal van 400 jongeren niet wordt gehaald, wordt besloten ook jongeren toe te voegen die niet voldoen aan alle criteria. Dit is zo’n punt wat niet lijkt te passen bij de doelstelling, want die was niet 400 jongeren, maar een groep jongeren die aan bepaalde criteria voldeed. Vervolgens wordt in het algoritme bepaald hoe de gegevens, in relatie met elkaar, tot een voorspelling komt met betrekking tot de kans dat een jongere verder in de criminaliteit geraakt. Transparantie en uitlegbaarheid zijn belangrijk. De moeders in de documentaire kregen die uitleg echter niet.
• Hoe In het derde deel wordt bepaald hoe uitvoering wordt gegeven aan en toezicht wordt gehouden op het programma. De doelstelling en uitgangspunten met onderkende risico’s en impact zijn hierbij van belang. Was het in de Top400 in het kader van personeelsverloop wel uitvoerbaar om een regisseur gedurende minimaal twee jaar te koppelen aan een jongere? Kon hulp worden geweigerd? Had de politie zich niet kunnen opstellen als de beste vriend? In deze fase worden ook de feedbackloops ingebouwd: Wordt het doel wel bereikt en anders bijstellen.
• Mensenrechten In de laatste fase worden mensenrechten in het ontworpen systeem gewogen. Als het IAMA-model was gebruikt bij het ontwerpen van het Top400 systeem waren er wellicht fikse verbeteringen doorgevoerd voor en tijdens de uitvoering.

Uitvoering

We geven de schuld graag aan algoritmes. In het geval van de Top400 berekende het algoritme een kans aan de hand van gegevens die door mensen werden aangeleverd. Het waren mensen die de jongeren begeleidden. Gaat het hier daarom niet veel meer over het mensbeeld van bedenkers en uitvoerders? Net als bij de Toeslagenwet moet op juiste wijze worden omgegaan met een selectielijst, of deze nu uit een algoritme komt of op andere wijze ontstaat. Als ervan wordt uitgegaan dat iemand geen vrije keuze heeft om een ander pad te volgen dan de berekende kans, dan wordt niet meer uitgegaan van individuele verantwoording. Er is dan sprake van datadictatuur en dat past niet bij mensen­rechten. Ook zal een zelfversterkend mechanisme optreden. Als de focus op een specifieke situatie wordt ingezet dan zullen daardoor meer gebeurtenissen worden gedetecteerd. Als gevolg daarvan wordt er nog meer focus op die situatie aangebracht en minder op andere situaties, enzovoort. Het lijkt succesvol, maar er is dan geen sprake meer van gelijke kansen.