Het systeem doet precies wat het wordt opgedragen

De toeslagenaffaire laat zien hoe verkeerd gebruik van data en slechte beslissingen resulteren in een ware ravage. Als we echt willen dat dit nooit meer gebeurt, is er meer nodig dan symbolische verantwoordelijkheid terwijl de schuld wordt afgeschoven op 'het systeem'.

“We hebben te maken met een falend systeem dat institutioneel racisme in de hand werkt, en dus moet het op de schop.” “Het systeem is stuk, maar de mensen werken nog prima.” Sterker nog, als we zouden kijken naar mensen die dingen verkeerd doen, dan missen we het grotere plaatje waarin het systeem mensen beweegt dingen verkeerd te doen, volgens De Correspondent.

Het systeem als abstractie, dat met een ‘big bang’ uit het niets is ontstaan en vervolgens met kunstmatige intelligentie vanzelf dingen is gaan doen, zonder mensen die dat zo bedoeld hadden. Dat is natuurlijk flauwekul. 

Het systeem is niet stuk, het doet precies wat het door mensen wordt opgedragen. Mensen zijn de scheppers van systemen. Institutioneel racisme is geen foutje in een algoritme, maar een diepgeworteld maatschappelijk probleem.

Data wordt gebruikt om mensen te profileren en daar een risicoscore aan de koppelen. Het is dan ook een slechte inschatting om te denken dat de toeslagenaffaire op zichzelf staat. Er is nota bene een Systeem Risico Indicatie (Syri) ontwikkeld om met algoritmen op onverdachte burgers te jagen die in een verdacht profiel passen. Syri werd gebruikt door gemeenten en bevatte data van het UWV, de SVB, de IND, de inspectie SZW en natuurlijk de Belastingdienst. Met het koppelen van al die data ontstaat een alwetende overheid die alles van een burger te weten kan komen, nog voordat een burger er ook maar enig benul van heeft ergens van beschuldigd te worden. 

Zo ontstaat er een Kafkaëske overheid die stelt: “U wordt ergens van verdacht, we weten niet waarom, maar het is nu eenmaal zo”. Syri werd vorig jaar door de Rechtbank Den Haag afgeschoten, want in strijd met het Europees Verdrag voor de Rechten van de Mens.

Er is heldere wetgeving nodig om de wildgroei aan profilering op discriminerende kenmerken tegen te gaan. Ook is het gebruik van (zelflerende) algoritmen simpelweg geen goed idee. Bijvoorbeeld als het gaat om sociale voorzieningen, biometrische surveillance of het voorspellen van crimineel gedrag. Als de verantwoordelijken dat nu weer nalaten, is het een kwestie van tijd voordat het systeem opnieuw faalt, door precies te doen wat het wordt opgedragen.

Alles bij de bron; Bits-of-Freedom