Tekst Inge Strijker
Inge Strijker is docent opleiding HBO-ICT, onderzoeker lectoraat Digital Business & Society bij Hogeschool Windesheim
Studenten aan de slag met bias in algoritmes
Onderzoek bij Dienst Toeslagen
In mijn vorige artikel heb ik beschreven hoe je ongewenste bias in algoritmes kunt tegengegaan door te acteren op de niveaus: proces, technologie en mens. Vanuit dit model is het idee ontstaan om samen met studenten bij het lectoraat Digital Business & Society (Hogeschool Windesheim) te onderzoeken in hoeverre we echt stappen kunnen zetten om te komen tot minder bias in informatiesystemen. We hebben hierbij, door onze samenwerking met I-Partnerschap, een partner gevonden in Dienst Toeslagen. Met hen zijn we een onderzoek gestart naar het tegengaan van ongewenste bias.
Het gebruik van algoritmes voor de dienstverlening van de overheid ligt al een tijd onder een vergrootglas. Mede daarom doet Dienst Toeslagen veel kwaliteitscontroles in het voortbrengingsproces om te komen tot informatieproducten. Het voortbrengingsproces zet ruwe data via een algoritme om tot bruikbare informatieproducten. Het proces bestaat uit: intake, ontwikkeling van het algoritme, het testen en het in gebruik nemen van de informatieproducten. De kwaliteitscontroles behelzen een groot aantal afvinklijsten, richtsnoeren en andere verantwoordingsproducten. Naast de bestaande controles wordt ook nog een waarborgkader ingevoerd, een instrument om de rechtmatigheid en de uitlegbaarheid van de inzet van selectie-instrumenten (beter) te garanderen. Daarnaast wordt een pilot gedaan met het Impact Assessment Mensenrechten en Algoritmes (IAMA) (Dataschool Universiteit Utrecht, 2021). Met het inzetten van het IAMA wordt telkens een fundamentele discussie gevoerd tussen de betrokken partijen over het waarborgen van de risico’s die helpt bij de afweging om wel of niet een algoritme te gaan ontwikkelen. Vervolgens helpt het IAMA om de gekozen ontwikkeling en implementatie daarvan op een verantwoorde manier te doen. Waar het waarborgkader zich met name richt op rechtmatigheid van ontwikkelde algoritmes, gaat IAMA vooral over rechtvaardigheid. De vraag van Dienst Toeslagen, gekoppeld aan de behoefte van het lectoraat naar het opdoen van meer kennis over het tegengaan van bias in algoritmes heeft geleid tot de onderzoeksvraag: welke efficiënte en effectieve verbeteringen kan Dienst Toeslagen doen in het voortbrengingsproces van informatieproducten als het gaat om het tegengaan van bias in algoritmen?
Uitvoering
Een groot deel van het onderzoek is uitgevoerd door studenten van de opleiding HBO-ICT op Hogeschool Windesheim. Zij hebben zich met name gericht op de invalshoeken proces (Bias vermindering in algoritmes, methoden & technieken, 2023) en technologie (Adviesrapport: tools; Tools om bias te identificeren en te toetsen, 2023). Eerst is de relevante wet- en regelgeving bestudeerd, zoals de Algemene wet gelijke behandeling, de Algemene verordening gegevensbescherming en de toekomstige Europese AI Act. Vervolgens hebben ze onderzocht wat er voorhanden is aan methoden en technieken rondom inclusief ontwerpen. Het idee van inclusief ontwerpen is dat het product recht doet aan alle mogelijke verschillende doelgroepen. Voorbeelden van methoden: Inclusive Design (University of Cambridge) en Ethics by Design (European Commission, 2021). Verder hebben de studenten dankbaar gebruikgemaakt van de inventarisatie die de Nederlandse AI Coalitie heeft gedaan naar methoden rondom ethiek en AI (Nederlandse AI Coalitie, 2022). In deze inventarisatie worden bijvoorbeeld toegelicht: Aanpak Begeleidingsethiek (ABE), Data Protection Impact Assessment (DPIA) en het eerdergenoemde IAMA.
Tools
Hierna zijn de resultaten van deze verkenning geplot op het voortbrengingsproces van informatieproducten bij Dienst Toeslagen. Deze analyse heeft geleid tot een goed inzicht in waar de huidige praktijk al dicht bij de gewenste situatie zit en waar nog ruimte voor verbetering is. Verbeteringen richten zich enerzijds op het stroomlijnen en efficiënter maken van het proces en anderzijds op het verbeteren van de rechtvaardigheid en rechtmatigheid van de informatieproducten. Daarnaast hebben de studenten onderzocht welke tooling ondersteunend kan zijn om bias te identificeren en te mitigeren en hoe dit in zijn werk gaat. Hiervoor hebben zij een long list van tools opgesteld als: Fairlearn, IBM AI Fairness 360, Google What-If, en Amazon SageMaker Clarify. Met een Multi Criteria Analyse (MCA) met wensen en eisen van Dienst Toeslagen zijn de studenten gekomen tot een advies voor tooling. Voorbeelden van requirements binnen deze MCA waren: de uitkomsten van de tool moeten betrouwbaar zijn. En: de tool past binnen de huidige programmeeromgeving van Dienst Toeslagen.
Compatibel
Het leek of het IAMA iets extra’s bracht ten opzichte van de bestaande werkwijze en het waarborgkader. Maar het IAMA blijkt juist behoorlijk compatibel te zijn met de huidige werkwijzen. Het IAMA biedt zelfs een goede structuur in een vastgestelde volgorde en kan daarom fungeren als basis voor het voortbrengingsproces van informatieproducten waarin ook het waarborgkader en de huidige verantwoordingsproducten hun plek kunnen krijgen. Onderdelen uit het waarborgkader en de verantwoordingsproducten moeten dan soms worden aangevuld met extra criteria uit het IAMA. Het IAMA is bovendien prima uitbreidbaar. Het IAMA als basis nemen kan leiden tot meer consistentie in de uitvoeringsketens, waarbij Dienst Toeslagen beter gaat samenwerken met andere diensten. Ook wordt het makkelijker om rekening te houden met bestaande en zelfs toekomstige wet- en regelgeving, doordat er binnen het IAMA duidelijke momenten zijn aangegeven waar daarover wordt nagedacht. Ter ondersteuning van dit vernieuwde proces op basis van IAMA, dat door studenten is uitgewerkt in het adviesrapport, kan tooling op verschillende momenten worden ingezet om bias te identificeren en te mitigeren. De tool die op dit moment het best past volgens het onderzoek is IBM AI Fairness 360. Deze tool bevat een groot aantal mentrices om bias te identificeren, kan proxy-variabelen herkennen en werkt binnen de huidige werkomgeving van analisten bij Dienst Toeslagen, Python.
Snijvlak ict-ethiek
Het onderzoek dat we doen, samen met Dienst Toeslagen en I-Partnerschap, levert veel op voor alle partijen. Ten eerste hebben studenten vaak nieuwe, originele gezichtspunten, die helpen om problemen op creatieve wijze op te lossen. Ten tweede hebben studenten die deze opdrachten uitvoeren een prachtige leerervaring op het snijvlak van ict-ethiek, waarmee zij een waarde(n)volle bijdrage kunnen leveren in de toekomst als professional in de maatschappij. Kritisch nadenken over bestaande systemen vergt een scherp analytisch vermogen van studenten en er is lef voor nodig om feedback op een opbouwende en werkbare manier terug te leggen bij de eigenaar of gebruiker van een systeem.
Voorbeeld van een informatieproduct: herattenderen AOW Jaar Actie
Een selectie voor het jaarlijks versturen van herattenderingsbrieven naar burgers die in het voorgaande jaar een AOW- attendering hebben gehad. Een aantal burgers wordt uitgesloten (bijvoorbeeld wanneer de aanvrager is overleden, of wanneer de aanvrager een inkomenswijziging gedaan heeft). Er wordt een brief per huishouden verzonden indien aanvrager en partner beiden in het voorgaande jaar de AOW-leeftijd hebben bereikt.
Bibliografie
- Dataschool Universiteit Utrecht. (2021). Impact Assessment Mensenrechten en Algoritmes. Den Haag: Ministerie van Binnenlandse Zaken en Koninkrijksrelaties.
- Dullaert, D., Heumen, L. v., Hoekstra, J., Rona, K., & Wit, K. d. (2023). Adviesrapport: tools; Tools om bias te identificeren en te toetsen. Zwolle.
- Dullaert, D., Heumen, L. v., Hoekstra, J., Rona, K., & Wit, K. d. (2023). Bias vermindering in algoritmes, methoden & technieken. Zwolle.
- European Commission. (2021). Ethics By Design and Ethics of Use Approaches for Artificial Intelligence. Nederlandse AI Coalitie. (2022). Ethiek en AI - Zeven methoden in theorie en praktijk.
- University of Cambridge. (sd). Inclusive Design Toolkit. Opgehaald van https://www.inclusivedesigntoolkit.com/whatis/whatis.html