Een huurwoning vinden kan een lastige opgave zijn, zo blijkt uit de kwestie van de woningzoekende Jason, die op de website van de Autoriteit Persoonsgegevens werd gepubliceerd. Deze case trok mijn aandacht doordat Jason als geschikte kandidaat werd uitgesloten door een algoritme dat een bug bleek te hebben. Momenteel zorgt de gigantische opkomst van artificiële intelligentie (AI) dat bedrijven AI steeds vaker inzetten voor geautomatiseerde besluitvorming. De vraag is of dit onder de Algemene verordening gegevensbescherming (en de ophanden zijnde AI Verordening) is toegestaan, nu er veel privacyrisico’s aan deze inzet kleven. Aan de basis van een uitsluitend geautomatiseerd besluit liggen vaak persoonsgegevens ten grondslag. Op het moment dat er persoonsgegevens ten grondslag liggen aan een tool die volledig geautomatiseerd tot een besluit komt, vormt dit in beginsel een verwerking van persoonsgegevens en is de AVG van toepassing. In de AVG geldt het uitgangspunt dat de betrokkene het recht heeft om niet te worden onderworpen aan uitsluitend geautomatiseerde besluitvorming zonder menselijke tussenkomst waaraan voor hem rechtsgevolgen zijn verbonden of die hem in aanmerkelijke mate treft. Het besluit moet gevolgen meebrengen voor iemands rechtspositie. Zo is het onder de AVG in beginsel verboden om sollicitaties te verwerken via het internet en zonder menselijke tussenkomst. Toch bevat de AVG een bepaling die uitsluitend geautomatiseerde besluitvorming mogelijk maakt. Het is gezien het benoemde uitgangspunt geen verrassing dat de AVG hier strenge voorwaarden aan verbindt. Ook de AI Verordening (die nog in werking moet treden) verbindt strenge eisen aan AI-systemen die gebruikmaken van uitsluitend geautomatiseerde besluitvorming. Zo zijn social scoring-systemen of voorspellende politiesystemen verboden. Voor de inzet van geautomatiseerde besluitvorming is uitdrukkelijke toestemming nodig van de betrokkene: de toestemming van betrokkene moet uit een duidelijke en bevestigende handeling blijken. Er kan daarom geen sprake zijn van uitdrukkelijke toestemming indien de betrokkene helemaal niet weet dat hij of zij aan uitsluitend geautomatiseerde besluitvorming wordt onderworpen. Dit maakt de rechtmatigheid van de inzet van de uitsluitend geautomatiseerde besluitvormingstool in de kwestie Jason twijfelachtig. Verder is een voorwaarde dat betrokkene het zogenaamde recht op menselijke tussenkomst heeft. De betrokkene moet een soort second opinion kunnen vragen aan een mens. Deze menselijke schakel zal dan het besluit dat uit het algoritme (AI-applicatie) is gerold moeten controleren. Via deze wijze kan worden voorkomen dat er een (onbedoeld) discriminerend besluit tot stand komt. Het vereiste van menselijke tussenkomst komt ook terug in de AI Verordening. Uit deze verordening volgt namelijk dat AI-systemen met een hoog risico (die gebruikmaken van uitsluitend geautomatiseerde besluitvorming) moeten worden onderworpen aan menselijk toezicht, met name wanneer uitsluitend geautomatiseerde besluiten rechtsgevolgen of anderszins significante gevolgen hebben voor de personen voor wie het AI-systeem moet worden gebruikt. En dat is maar goed ook om situaties als die van Jason te voorkomen!

De advocaten en juristen van Elferink & Kortier Advocaten schrijven op deze plek regelmatig een column, waarin zij een praktisch probleem op het gebied van de AVG in relatie tot informatiebeheer behandelen. Heeft u een praktijkvraag die u behandeld wilt zien? Stuur deze naar Od@publiekdenken.nl