Digitale mensenrechtenorganisatie Bits of Freedom lanceert vandaag een onderzoek naar het gebruik van algoritmen bij de tien grootste gemeenten in Nederland. Hieruit blijkt dat gemeenten niet aan alle aspecten van de Algemene verordening gegevensverwerking (AVG) voldoen. Bits of Freedom pleit er daarom in kader van transparantie onder meer voor om registratie in het Algoritmeregister, een openbaar register waar overheidsinstanties de algoritmen in hun gebruik kunnen registreren, verplicht te maken.

Weinig transparantie

Bij de onderzochte gemeenten bleek de inventarisatie, van welke algoritmen er in gebruik zijn, duidelijk niet op orde. Ook was er weinig ervaring met publieke verantwoording over algoritmegebruik. Van de tien gemeenten aan wie Bits of Freedom een Woo-verzoek (een verzoek om overheidsinformatie openbaar te maken) stuurde, handelde alleen gemeente Nijmegen het verzoek binnen het wettelijke termijn af. De andere gemeenten konden bestaande documenten over processen rond de inzet van algoritmen niet, of niet binnen termijn, aanleveren. "Transparantie is een vereiste van de AVG en het is onacceptabel dat gemeenten niet aan hun wettelijke taken voldoen," vertelt Chandni Bagchi, technisch onderzoeker AI bij Bits of Freedom.

Bovendien overwegen de gemeenten die wél met een reactie kwamen - gemeente Amsterdam, Utrecht, Groningen en Nijmegen - onvoldoende waarom een algoritme zou moeten worden ingezet. "Dat is erg zorgelijk," aldus Bagchi. "Aangezien er nu eenmaal veel data over burgers beschikbaar is binnen gemeenten, is het verleidelijk om daar nieuwe technologie op toe te passen. We zien terug dat die verleiding niet altijd is te weerstaan. Gemeenten lijken te vergeten dat burgers niet bij voorbaat als verdacht moeten worden gezien."

Uit het onderzoek blijkt dat de meest complexe en invasieve algoritmen en data-analyses vaak worden ingezet bij kwetsbare groepen: bijstandsgerechtigden, bewoners van zogenaamde probleemwijken en jongeren. Het doel van de inzet is vooral gericht op handhaving. Zorg dragen voor de gemeenschap wordt vaak als nevendoel neergezet. Bagchi: "Het lijkt alsof dit laatste wordt gedaan ter legitimatie van het algoritmegebruik, omdat in de praktijk weinig met het zorgdoel wordt gedaan. Juist wanneer het kwetsbare groepen betreft zou moeten worden gekeken: wat is het effect van deze invasieve methodes en past dit bij de zorgtaak van de gemeente?"

Mitigerende maatregelen

Sommige gemeenten zijn zich bewust van de problematiek rond de inzet van algoritmen, en hebben mitigerende maatregelen genomen. Zo heeft de gemeente Groningen een Ethische Commissie Data & Technologie opgezet om advies in te winnen over digitalisering en evalueert de gemeente jaarlijks de werking van de algoritmen die ze gebruiken. Op basis daarvan maken ze een afweging of ze doorgaan met het gebruik.

De gemeente Utrecht heeft haar eigen zogenoemde impact assessment ontwikkeld, waardoor ze algoritmen niet alleen evalueert aan de hand van bestaande wetgeving, maar ook langs ethische kaders legt. Hierbij moet wel worden genoemd dat beide gemeenten deze documentatie dus niet binnen het wettelijke termijn konden delen met Bits of Freedom.

Adviezen Bits of Freedom

Volgens Bits of Freedom zouden alle gemeenten actief impact assessments moeten publiceren, waarin een risico-analyse van algoritmen wordt gemaakt. Daarnaast pleit Bits of Freedom ervoor om registratie van impactvolle algoritmen in het Algoritmeregister verplicht te maken. Dit is al vaker ter sprake gekomen in de Tweede Kamer, maar hier is nog niets van terecht gekomen. Tot slot adviseert Bits of Freedom om te kijken naar het grotere plaatje voordat ervoor wordt gekozen een algoritme in te zetten, waarbij ook het burgerperspectief wordt meegenomen.

"Wat is nu precies het probleem dat je als gemeente door middel van een algoritme probeert op te lossen? En wat zijn niet alleen de directe, maar ook de indirecte consequenties daarvan? Is het algoritme wel de meest passende methode om een bepaald probleem aan te pakken of kan dit ook op een andere manier? Daar wordt nu nog onvoldoende over nagedacht," stelt Bagchi. "Gemeenten moeten hun algoritmegebruik beter in kaart brengen en zich weten te verantwoorden jegens de burger."

Het onderzoek is hier terug te vinden.