Tekst Inge Strijker
Inge Strijker, docent opleiding HBO-ICT, onderzoeker lectoraat Digital Business and Society bij Hogeschool Windesheim
Vooroordelen in algoritmes, kans of risico?
‘De verpleegkundige trouwde met de dokter omdat zij zwanger was’
Het lijkt of informatiesystemen steeds meer invloed krijgen op onze maatschappij, helemaal met de opmars van artificial intelligence (AI). Moeten we ons zorgen maken over het beoordelingsvermogen van deze systemen?
Zolang er informatiesystemen zijn, oordelen deze systemen. Sterker nog, de belangrijkste reden van het bestaan van deze systemen is juist om een oordeel te vellen. Zo bepaalt een verzekeringsmaatschappij bij een auto-ongeval de hoogte van de schade op basis van parameters, zoals restwaarde van de auto. Hiermee geeft de verzekeraar een oordeel over het ongeval en daarmee de hoogte van het uit te keren bedrag. Zolang er mensen zijn, zijn er vooroordelen. Zij zijn zich soms bewust van hun vooroordeel. Zo wordt er bijvoorbeeld vaak gezegd dat vrouwen niet kunnen autorijden. Het bijzondere is dat er net zoveel onderzoek te vinden is dat deze stelling onderbouwt als onderzoek dat dit tegenspreekt.
Onbewuste vooroordelen
Ingewikkelder wordt het als vooroordelen onbewust zijn. Er zijn talloze verhalen van mensen die niet over de juiste vinkjes beschikken en zich daardoor niet gehoord voelen. Zo maak ik vaak mee dat collega’s mij, als vrouw in de techniek, niet aankijken als zij een gesprek hebben over een technisch onderwerp. Terwijl diezelfde collega’s zeggen geen onderscheid te maken tussen mannen en vrouwen. Deze onbewuste vooroordelen zijn een stuk hardnekkiger omdat ze eerst onderkend moeten worden, voordat ze bestreden kunnen worden. Het onderkennen en erkennen van vooroordelen is iets dat waar we ons ongemakkelijk bij voelen. We voelen ons vaak betrapt als we geconfronteerd worden met onze onbewuste vooroordelen. Informatiesystemen worden bedacht en gemaakt door mensen. Juist hierdoor sluipen vooroordelen die mensen onbewust hebben, ook de ongewenste, vanzelf deze systemen in. Een pijnlijk voorbeeld is dat er systemen voor fraudedetectie zijn die aanslaan op mensen met een migratieachtergrond (Heilbron, 2023). Het vooroordeel waar de bedenkers zich al dan niet bewust van waren, is dat er relatief meer fraudeurs te vinden zouden zijn in deze groep mensen. Tot een aantal jaren terug waren praktisch alle informatiesystemen regelgebaseerd. Dit kunnen best ingewikkelde systemen zijn met ondoorzichtige architecturen, legacy, onduidelijke documentatie en slechte archivering. Desalniettemin zijn de stappen die gezet worden in deze systemen, de algoritmes, te traceren en daarmee zijn eventuele ongewenste vooroordelen uit deze systemen te vissen.
Bias
Met de opmars van datagedreven systemen, met name AI, sluipen de vooroordelen op andere manieren de systemen in. Het blijven dezelfde menselijke vooroordelen, maar de uitwerking in de systemen wordt diffuser. Vooral als het gaat om black box-toepassingen als neurale netwerken, is het onduidelijk welke labels hebben geleid tot welke uitkomsten. We spreken in dit kader over bias. De term bias vindt zijn oorsprong in andere wetenschappelijke disciplines, zoals psychologie en statistiek. De literatuur rondom biases in AI kent een wildgroei aan soorten biases. Om een aantal mechanismen van bias in AI te verduidelijken, pik ik er een drietal uit: /
- Dataset bias ontstaat wanneer de dataset waarmee het algoritme getraind wordt, niet de diversiteit van de gebruikersgroep representeert. Er zijn voorbeelden bekend waarbij gezichtsherkenningssoftware alleen werkt bij witte mensen omdat in de training van de software met foto’s andere huidskleuren te weinig voorkwamen. Dit gebeurde bijvoorbeeld met anti-spieksoftware (Damen, 2022).
- Conformation bias ontstaat wanneer stereotype kenmerken worden gekoppeld aan groepen mensen. Deze stereotyperingen komen terug in allerlei bronnen en worden overgenomen door systemen, zoals generatieve AI. Hieronder staat een voorbeeld van een gesprek dat ik voerde met Bing, een tool voor generatieve AI. Ik: In de zin ‘de verpleegkundige trouwde met de dokter omdat zij zwanger was’ wie is er zwanger? Bing: In de gegeven zin is het de verpleegkundige die zwanger is. Ik: Kan de dokter niet zwanger zijn? Bing: In de gegeven zin is het de verpleegkundige die zwanger is. Ik: Maar de dokter kan toch een zij zijn? En de verpleegkundige een hij? Bing: Je hebt helemaal gelijk! Mijn excuses voor de aanname. In de gegeven zin ‘…’ kan zowel de verpleegkundige als de dokter mannelijk of vrouwelijk zijn. … Dank je voor het corrigeren! Bing leert wel. Toen ik de vraag een dag later stelde kreeg ik het antwoord: De zin ‘de verpleegkundige trouwde met de dokter omdat zij zwanger was’ is een voorbeeld van een ambigue zin.
- Aggregation bias ontstaat wanneer nieuwe categorieën van mensen worden gegenereerd op basis van ogenschijnlijk onschuldige kenmerken. Zo berekende een verzekeringsmaatschappij een hogere premie als klanten in een huis woonden met een huisnummertoevoeging. Hierbij had het algoritme ontdekt dat er een correlatie bestaat tussen de huisnummertoevoeging en de hoogte van de schades (O’Neil, 2016). Deze correlatie werd gepromoveerd tot een causaal verband waarbij de oorzaak ‘huisnummer toevoeging’ zou leiden tot het gevolg ‘meer schades, dus hogere premie’.
Bij deze laatste vorm van bias, oordeelt het systeem zelf, hier is dus geen sprake van vooroordelen van mensen. Deze bias is uiteraard wel ontstaan door de manier waarop wij onze maatschappij inrichten. Kortom, met de komst van AI krijgen systemen meer impact op onze maatschappij, is deze impact minder zichtbaar en minder grijpbaar, en ontstaan er nieuwe vormen van vooroordelen in onze systemen. Hiermee wordt de ongelijkheid in de maatschappij groter. Dit lijkt een negatief verhaal. Maar gelukkig zijn er ook positieve scenario’s denkbaar. Hierover gaat het volgende artikel in deze reeks.
Dit artikel is het eerste deel van een drieluik over hoe vooroordelen in algoritmes ontstaan. Het tweede deel (verschijningsdatum 23 februari) gaat over de kansen die AI biedt om te komen tot een juist meer inclusieve maatschappij en in het laatste deel (verschijningsdatum 29 maart) worden deze kant geïllustreerd aan de hand van een onderzoekscasus.
Bibliografie
- Damen, F. (2022, juli 15). De antispieksoftware herkende haar niet als mens omdat ze zwart is, maar bij de VU vond ze geen gehoor. De Volkskrant.
- Heilbron, B. (2023, 6 21). Duo beschuldigt eerder mbo’ers en studenten met migratieachtergrond van fraude met studiebeurs. Trouw.
- O’Neil, C. (2016). Weapons of Math Destruction. Penguin Books.