De overheid maakt steeds vaker gebruik van algoritmen, omdat deze sneller berekeningen kunnen maken dan mensen. Denk aan het aanvragen van huurtoeslag: de burger voert een aantal persoonlijke gegevens in en het algoritme berekent of de combinatie van die gegevens betekent dat iemand huurtoeslag krijgt. Dit is sneller dan een ambtenaar die elke aanvraag zelf moet nalopen of voldaan is aan de voorwaarden. Toch zijn algoritmen en overheid niet altijd een gelukkig huwelijk. Dit blijkt uit de uitspraak van de rechtbank Den Haag op 5 februari 2020 waarin het computersysteem ‘Systeem Risico Indicatie’ (SyRI) onrechtmatig werd verklaard. SyRI koppelt allerlei gegevens van burgers aan elkaar om fraude, zoals het misbruik van sociale voorzieningen en belastingfraude, in het sociale zekerheidsstelsel te ontdekken. Daarbij schond het systeem één van onze grondrechten: privacy.

 

Algoritmen kunnen overheden efficiënter laten werken, maar een onzorgvuldige inzet kan ook leiden tot het schenden van grondrechten zoals privacy of de onschuldpresumptie. Algoritmen zijn onderdeel van een digitaliserende overheid. Hierbij is één van de kernvragen hoe de voordelen in balans blijven met de nadelen. Dit artikel beschrijft wat de overheid kan leren voor de toekomst van algoritmische besluitvorming.

 
Waar moet je op letten bij het inzetten van algoritmen?

SyRI maakt gebruik van een algoritme dat vrijwel alle databases met betrekking op iemands persoonlijke leven analyseert. Dit leidt tot efficiëntiewinst, omdat het systeem op grote schaal fraude kan detecteren door de gegevens van miljoenen burgers binnen enkele seconden te analyseren. Het systeem zoekt gericht naar afwijkingen, zoals het niet hebben van kinderen bij het aanvragen van kindertoeslag. Het analyseren van data op zo’n grote schaal leidt echter vaak tot een beperking op de persoonlijke levenssfeer van mensen.1 Nu is zo’n beperking niet altijd erg. Sterker nog: sommige beperkingen van rechten zijn wettelijk vastgelegd. Zo wordt de vrijheid van meningsuiting beperkt omdat het verboden is om op te roepen tot haat of geweld. Ook het beperken van privacy is onder bepaalde voorwaarden toegestaan. Of beperkingen van grondrechten als gerechtvaardigd beschouwd kunnen worden, hangt af van drie aspecten, die vrijwel altijd terugkomen in Nederlandse en Europese rechtszaken.2 Proportionaliteit: is het effect van de beperking op het individu in verhouding met de – maatschappelijke – voordelen? Noodzakelijkheid: is de beperking nodig, of zijn er minder ingrijpende beperkingen beschikbaar? En ten slotte het dienen van een legitiem doel: zorgt de beperking voor een betere samenleving?

 

Sommige beperkingen van rechten zijn wettelijk
vastgelegd. Ook het beperken van privacy is onder bepaalde voorwaarden toegestaan.

Om te kunnen beoordelen of de beperking op privacy gerechtvaardigd kan worden, is het nodig om te weten hoe het algoritme rekent. Baseert het algoritme zich te veel op afkomst? Dan is de beperking op privacy disproportioneel, omdat iemand wellicht gediscrimineerd wordt. Geeft het algoritme in haar analyse te veel gewicht aan iemands arbeidsverleden? Dan kan de beperking niet gerechtvaardigd worden, omdat er minder invasieve manieren zijn om fraude vast te stellen. Het legitieme doel is bij SyRI duidelijk aanwezig: het bestrijden van fraude, zodat de integriteit van ons sociale zekerheidsstelsel overeind blijft.

 
Technische transparantie en uitlegbaarheid

Voordat beoordeeld kan worden of een beperking op grondrechten te rechtvaardigen is, moet het algoritme allereerst transparant gemaakt worden. Uit de literatuur blijkt dat er twee methodes zijn om transparantie te realiseren: technische transparantie en uitlegbaarheid.3 Technische transparantie is het begrijpelijk maken van het systeem. Een manier om technische transparantie te bewerkstelligen is het publiceren van de broncode van het algoritme. Uitlegbaarheid betreft het openbaar maken van indicatoren, bijvoorbeeld leeftijd. Indicatoren zijn gegevens die de aanwezigheid van een bepaalde omstandigheid (zoals fraude) aannemelijk maken. Wanneer iemand huurtoeslag ontvangt en jonger is dan 18, dan is de leeftijd in dit geval een indicator van fraude. Voor de burger is het duidelijk dat de indicator alleen doorslaggevend mag zijn wanneer deze lager is dan 18, omdat dit de minimale leeftijd is om huurtoeslag te mogen ontvangen. In essentie komt het verschil op het volgende neer: technische transparantie ziet toe op het verklaren wat het algoritme is, uitlegbaarheid ziet toe op hoe het algoritme tot de output komt en wat dit betekent voor het uiteindelijke besluit.

 

Invulling geven aan deze twee begrippen kan lastig zijn als het algoritme in de private sector beheerd wordt. Niet alle bedrijven willen dat de concurrentie weet hoe hun product werkt. Een andere barrière kan de bestuurslast voor ambtenaren zijn. De overheid zal zich moeten inspannen om algoritmen transparant te maken door databases en gebruikte methoden te publiceren. Daarbij zal ook een toelichting gegeven moeten worden, zodat burgers weten wat het algoritme doet met hun gegevens. Een laatste barrière is dat de overheid door het openbaar maken van data onbedoeld privacy van de burger juist weer schaadt. We weten wat SyRI is en hoe een beperking op privacy gerechtvaardigd kan worden. Nu kunnen we kijken wat bij SyRI mis is gegaan, zodat we ons in toekomst voor deze fouten kunnen behoeden, als privacy wederom bedreigd wordt door algoritmen.

 

Op dit moment verliest iedereen: de overheid heeft middelen verspild aan een
falend ICT-project én de privacy van de burger kan niet gewaarborgd worden.

De SyRI-casus

Bij SyRI is technische transparantie inmiddels geboden. Uit de uitspraak blijkt dat gebruik werd gemaakt van een niet-zelflerend algoritme. Ook is openbaar welke gegevens werden geanalyseerd. Het is mis gegaan bij de indicatoren, die de overheid bewust niet openbaar maakte. De overweging die hieraan ten grondslag ligt, is de vrees voor gaming. Gaming betekent dat gebruikers het algoritme misleiden door bewust verkeerde input te leveren. Bij SyRI zou dit het foutief aanleveren van je leeftijd of vermogen betekenen, zodat het algoritme jou niet als fraudeur aanmerkt. Uit mijn onderzoek4 blijkt dat gaming voorkomen kan worden door bijvoorbeeld de indicatoren alleen beschikbaar te stellen aan een onafhankelijk onderzoeksbureau dat kijkt of het algoritme rechtmatig is. Waarom de overheid hiervoor niet heeft gekozen, is onduidelijk. Omdat de indicatoren niet openbaar waren, kon de rechter niet beoordelen of de beperking op privacy proportioneel en/of noodzakelijk was. De rechter heeft daarom besloten dat SyRI om twee redenen in strijd is met privacy. Ten eerste vanwege het feit dat SyRI vrijwel alle persoonlijke gegevens van burgers analyseert, gecombineerd met het feit dat onterecht aangemerkt worden als fraudeur zeer ingrijpend is voor het individu. Het is interessant om af te vragen of SyRI rechtmatig zou zijn geweest als de overheid de indicatoren openbaar had gemaakt. Op dit moment verliest iedereen: de overheid heeft middelen verspild aan een falend ICT-project én de privacy van de burger kan niet gewaarborgd worden. Deze situatie is betreurenswaardig en bovendien onnodig, omdat een onafhankelijk onderzoeksbureau uitkomst had kunnen bieden.

 
Lessen voor de overheid

SyRI analyseert veel gegevens en schendt daarmee privacy. Dat kan gerechtvaardigd worden als deze inbreuk proportioneel en noodzakelijk is. Dit laatste kon niet worden vastgesteld, waardoor de rechter het zekere voor het onzekere nam en SyRI onrechtmatig verklaarde. Had meer transparantie deze situatie kunnen voorkomen? En zo ja, wat kan de overheid in de toekomst anders doen?

 

De uitdaging bij transparantie is dat het een dynamisch begrip is. Bij elke casus moeten de voor- en nadelen tegen elkaar afgewogen worden. Ik schets in mijn onderzoek een paar voorwaarden die de overheid in algemene zin kan hanteren om transparantie te realiseren zodat rechtsbeginselen, zoals privacy, gewaarborgd worden. Ten eerste moet de overheid talentvolle ICT’ers werven, middels aantrekkelijke arbeidsvoorwaarden, om nadelige effecten van algoritmen tijdig te signaleren en op te lossen. Ten tweede moet de overheid bij private samenwerkingen geen geheimhoudingsclausules aangaan. Het laten ontwikkelen van algoritmen door private partijen kan, mits bedrijfsgeheimen niet in de weg staan van transparantie. Transparantie moet van tevoren als producteis gesteld worden. Een derde mogelijkheid is dat de overheid zelf algoritmen ontwikkelt. Als je een taart koopt, weet je ongeveer wat erin zit en hoe hij is bereid. Maar wanneer je zelf een recept hebt gekozen, de ingrediënten hebt verzameld en zelfstandig alle handelingen hebt uitgevoerd, kun je veel nauwkeuriger aangeven hoe het eindproduct is ontstaan. Bij het ontwikkelen van algoritmen werkt dit net zo. In ieder geval zou de overheid het ingrediënt ‘multidisciplinaire teams’ moeten gebruiken die bestaan uit beleidsmedewerkers, juristen en ICT’ers. Deze teams moeten bottom-up werken en het ontwikkelproces, ontwerpkeuzes en doelstellingen vastleggen.

 

De overheid heeft de verantwoordelijkheid om zorgvuldig om te gaan met algoritmen, omdat het gebruik hiervan onze grondrechten kan schenden. Onderdeel van deze verantwoordelijkheid is het inzichtelijk maken hoe algoritmen rekenen, zodat kan worden vastgesteld of eventuele aantasting van grondrechten gerechtvaardigd is. Hierboven is beschreven wat hierbij van belang is. Maar om deze suggesties succesvol uit te voeren op de lange termijn moet de overheid een algemene visie ontwikkelen op digitalisering. De overheid zou hierin niet moeten vrezen voor controverse, maar zou die juist moeten omarmen. Wanneer burgers ontevreden zijn over de wijze waarop hun gegevens verwerkt worden, hoeft de overheid zich niet te schamen. In plaats daarvan moet publieke verontwaardiging gezien worden als een kans om een beter systeem te ontwikkelen. De essentie van democratie is dat de overheid het volk dient; als het volk benadeeld wordt door ICT-onkunde, zou de overheid zich moeten laten leiden door dit uitgangspunt.

 
Redacteur: Victoria Bosch

Noten

Inhoudende dat iedereen onschuldig is totdat het tegendeel bewezen is (artikel 6, tweede lid, EVRM).

Enkele gegevens zijn:
• arbeidsgegevens, over verrichte werkzaamheden;
• bezit van roerende en onroerende goederen;
• gegevens over uitsluitingsgronden van bijstand of uitkeringen;
• identificerende data: naam, adres, woonplaats, postadres, geboortedatum en geslacht;
Zie voor het gehele overzicht Olsthoorn, P., Big Data voor Fraudebestrijding (2016).

Ieder heeft, behoudens bij of krachtens de wet te stellen beperkingen, recht op eerbiediging van zijn persoonlijke levenssfeer (artikel 10, lid 1, Grondwet).

Referenties

[1] Rb. Den Haag. 5 februari 2020, ECLI:NL:RBDHA:2020:865.

[2] EHRM. 7 december 1976, appl.no. 5493/72 (Handyside v. the United Kingdom).

[3] Doshi-Velez et al., Accountability of AI Under the Law: The Role of Explanation (2017).
[4] Polhuis, P.L., (2020). Transparantie en algoritmische besluitvorming: Een explorerend onderzoek om transparantie te realiseren in het licht van het motiveringsbeginsel. [Master Thesis]. Rijksuniversiteit Groningen.

Pieter Polhuis

Mijn naam is Pieter Polhuis (1995) en ik heb een master Juridische Bestuurskunde, met als thema digitalisering van de samenleving, behaald aan de Rijksuniversiteit Groningen. Tijdens mijn studententijd was mijn bijbaan kistdrager bij begrafenissen. Hiernaast heb ik praktijkervaring opgedaan in besturen, commissies en een stage. Als kakelverse juridisch bestuurskundige sta ik te popelen om mijn kennis uit te bouwen tot expertise, zodat ik een betekenisvolle bijdrage kan leveren aan onze maatschappij. Ik wil mij richten op het borgen van fundamentele beginselen zoals privacy, vrijheid, autonomie, democratie, non-discriminatie en meningsuiting. De afhankelijkheid van IT – die in handen is van techreuzen – in combinatie met het gebrek aan expertise en bewustzijn bij overheden vormt een risico op de borging van deze beginselen. De overheid moet dus geholpen worden en dat is precies wat ik beoogde te doen door mijn masterthesis te schrijven over transparantie en algoritmen. Verder ben ik een liberale humanist, een sobere bourgondiër en een humorist met een serieuze missie.