De overheid moet stoppen met profileringsalgoritmen
In mei publiceerde de Staatscommissie tegen Discriminatie en Racisme een rapport waarin ze een kritisch perspectief deelden op het gebruik van profileringsalgoritmen door de overheid. Daarbij hebben ze één prangend advies: stop ermee.
Baat het niet, dan schaadt het wél
Stop met lopende toepassingen van datagedreven profilering en begin niet met nieuwe toepassingen, adviseert de StaatscommissieLees hier het rapport kortgezegd. Datagedreven profilering komt namelijk met ernstige risico’s voor burgers, de rechtsstaat, de democratie en het bestuurlijk vermogen. Burgers lopen het risico gediscrimineerd te worden, zoals in het verleden in veelvoud is gebeurd. Overheden zijn onvoldoende transparant over hoe en waarom zij profileringsalgoritmen inzetten. En burgers missen rechtszekerheid en rechtsbescherming wanneer ze worden gediscrimineerd. En dat terwijl de effectiviteit en efficiëntie van deze algoritmen te wensen overlaat. Daarin zit niet veel verschil met willekeurige controles, terwijl er wel een enorm verschil is voor betrokkenen wiens fundamentele rechten geschaad kunnen worden.
Geen aantoonbare effectiviteit, wel aantoonbare discriminatie
“In veel gevallen wordt de inzet van datagedreven methoden gepresenteerd als een technische keuze, terwijl het in feite gaat om een ingrijpende normatieve keuze over hoe de overheid burgers benadert”, stelt de Staatscommissie. En daarmee wordt de vinger op de zere plek gelegd. Het is een politieke en bestuurlijke keuze om profileringsalgoritmen in te zetten om te voorspellen wie er fraudeur, crimineel of profiteur zou kunnen zijn. Een benadering die veel zegt over het wantrouwen van de overheid naar haar eigen burgers. En dat terwijl diezelfde overheid zélf regelmatig de regels aan haar laars lapt bij de inzet van profileringsalgoritmen. Bijvoorbeeld door adviezen van interne toezichthoudersBij het Ministerie van Buitenlandse Zaken te negeren wanneer al gewaarschuwd wordt voor discriminatie. Of door direct of indirect onderscheid te maken op discriminerende grondenZoals Duo deed. En toch blijven overheden zich verschuilen achter het argument dat ze niet zonder deze technologie kunnen, omdat ze niet alles handmatig kunnen doenZoals de Belastingdienst bijft volhouden. Maar dat is jarenlang wel gelukt, toen de technologie nog niet ingezet kon worden.
Dat deze algoritmen effectiever en efficiënter zijn dan handmatige controles wordt niet aangetoond. Wat wel meermaals is aangetoondHier noemt de AP verschillende voorbeelden is het feit dat grondrechten van burgers keer op keer geschonden worden. En dat daar regelmatig dezelfde groepen last van ondervinden: vrouwen, moeders, mensen van kleur, mensen met een laag inkomen en moslims. De Staatscommissie die het rapport begint met het citaat van het eerste artikel van de Grondwet, spreekt daarmee een belangrijke boodschap uit.
Het is een politieke en bestuurlijke keuze om profileringsalgoritmen in te zetten om te voorspellen wie er fraudeur, crimineel of profiteur zou kunnen zijn. Een benadering die veel zegt over het wantrouwen van de overheid naar haar eigen burgers.
Ook de Nederlandse Technische Afspraak laten te veel ruimte voor discriminatie
De Staatscommissie spreekt ook haar zorgen uit over het feit dat er geen consensus was over de Nederlandse Technische Afspraken (NTA) over profileringsalgoritmen. Bits of Freedom nam samen met Controle Alt Delete en Amnesty een minderheidsstandpunt inLees hier wat we daar eerder over schreven, waarin we waarschuwden voor het risico op discriminatie. Het meerderheidsstandpunt impliceert dat er in theorie een objectieve rechtvaardiging zou kunnen zijn voor indirect onderscheid op grond van ras. Ons standpunt is daarentegen dat die theoretische mogelijkheid er wel is, maar dat de eisen die daaraan gesteld worden (terecht) zo hoog zijn, dat dit in de praktijk niet haalbaar is. Daarom moet voorkomen worden dat met de NTA de indruk gewekt wordt dat er ruimte is voor dat onderscheid. We vrezen namelijk dat overheden dit zullen gebruiken om onderscheid (onterecht) te legitimeren. Zeker gezien het feit dat we de afgelopen jaren het ene na het andere algoritmeschandaal voorbij hebben zien komen, waarbij discriminatie steeds de kern van het probleem was.
Het feit dat we geen consensus konden bereiken spreekt boekdelen. Ondanks alle schandalen en alle waarschuwingen, blijven overheden vastberaden profileringsalgoritmen inzetten. Algoritmen die naar hun aard onderscheid maken tussen burgers op basis van bepaalde kenmerken en profielen. Wij zijn het met de Staatscommissie eens dat het daarbij niet gaat om een “puur instrumentele keuzes, maar een bestuurlijke praktijk met directe implicaties voor de rechtsstaat, democratische legitimiteit en het bestuurlijk vermogen van de overheid”. Ook zijn we het ermee eens dat deze praktijk een halt toe geroepen moet worden.
Onze wantrouwende overheid schendt zélf het vertrouwen
Onze overheid handelt wantrouwend naar haar burgers, en creëert een onveilige samenleving omdat zij zélf keer op keer het vertrouwen schendt van burgers. Profileringsalgoritmen vormen een groot risico. Hoog tijd dat de overheid lerend vermogen toont en zelf ook de conclusie trekt dat de inzet van profileringsalgoritmen een slecht idee is.
Bits of Freedom wijst al jaren op de gevaren van profileringsalgoritmen en heeft ook onderzoek gedaan naar het gebruik van algoritmen bij gemeenten. Hieruit bleek dat gemeenten regelmatig geen risico’s in kaart brengen door een Data Protectie Impact Assessment uit te voeren, terwijl dat een duidelijke verplichting is op grond van de Europese Privacywet.
Ook werken we bij Bits of Freedom vanuit het programma Veiligheid aan diverse actieonderzoeken voor een veilig en gelijkwaardig sociaal domein.
Ben jij geraakt door profileringsalgoritmen en wil je meedenken of meepraten over manieren om die tegen te gaan? Neem dan contact op met alice@bitisoffreedom.nl