Bits of Freedom heeft bijgedragen aan nationale afspraken voor het gebruik van profileringsalgoritmen. We zijn echter niet tevreden over de uitkomsten van dit kader omdat er nog te veel risico bestaat op discriminatie bij de inzet van profileringsalgoritmen. We roepen daarom iedereen op die zich zorgen maakt over discriminatie bij de inzet van profileringsalgoritmen te reageren op de consultatie.

In Nederland heb je discriminerende algoritmen voor het oprapen

De afgelopen periode heeft Bits of Freedom bijgedragen aan de totstandkoming van een Nederlandse Technische Afspraak over ontwikkel- en toetsingsmethoden ter ondersteuning van naleving van het non-discriminatiebeginsel bij profileringsalgoritmenHier vind je het normenkader. Dit normenkader, dat onder begeleiding van het Nederlands Normalisatie Instituut (NEN)Lees hier meer over NEN tot stand is gekomen, staat nu open voor consultatieLees hier meer over de normen en hier je kunt reageren. Deze organisatie zorgt samen met belanghebbende partijen voor breed gedragen afspraken, normen en richtlijnen in uiteenlopende sectoren.

Wij zijn als belanghebbende partij gevraagd mee te denken over afspraken bij de inzet van profileringsalgoritmen. We vonden het belangrijk bij te dragen aan normen die zouden bijdragen aan de naleving van het non-disciminatiebeginsel bij de inzet van profileringsalgoritmen. Organisaties die naar een normenkader zoeken om profileringsalgoritmen op een goede manier in te zetten, zullen immers bij dit kader uitkomen.

De afgelopen jaren hebben we talloze voorbeelden gezien van profileringsalgoritmen die door de overheid zijn ingezet, waarbij er sprake bleek te zijn van discriminatie. Denk daarbij aan DUOLees hier over wat de AP daarover zei, waarbij studenten met een niet-Europese migratieachtergrond indirect gediscrimineerd werden. Het Ministerie van Buitenlandse Zaken,En hier wat de AP zei over dit voorbeeld dat ondanks waarschuwingen van de functionaris gegevensbescherming een discriminerend algoritme bleef gebruiken bij visumaanvragen. Of de gemeente Rotterdam Lees hier over het onderzoek naar dit algoritmedie burgers profileerde op indicatoren als taal, wijk en geslacht om te bepalen of iemand een verhoogde kans had om fraude te plegen. Het onrecht van het toeslagenschandaal is niet ongekend, eerder het topje van de ijsberg. Tegen deze achtergrond is het noodzakelijk om zeer terughoudend te zijn bij de inzet van profileringsalgoritmen waarbij een risico op discriminatie bestaat.

Mensenrechtenorganisaties verzetten zich tegen dit normenkader

We hoopten dan ook dat afspraken en waarborgen vroeg in het proces het risico op discriminatie zou verkleinen. Helaas hebben we, samen met Controle Alt DeleteLees hier meer over Controle Alt Delete en Amnesty,Lees hier meer over Amnesty moeten concluderen dat het huidige normenkader onvoldoende bescherming biedt tegen discriminatie. We verschilden daarin sterk van mening met de overige organisaties die hebben bijgedragen aan het normenkader en werden het niet eens over de juridische interpretatie van anti-discriminatiewetgeving.

Direct en indirect onderscheid is volgens internationaal recht en Nederlands recht verboden, tenzij er een redelijke en objectieve rechtvaardiging bestaat voor het onderscheid. Een redelijke en objectieve rechtvaardiging is slechts onder zeer strenge voorwaarden mogelijk. In de praktijk zien we, zeker als het om onderscheid op grond van ras bij risicoprofilering gaat, dat het onmogelijk is aan deze voorwaarden te voldoen. Dit hebben we tijdens de vele gesprekken met de groep uitvoerig beargumenteerd aan de hand van wetgeving en jurisprudentie. De meerderheid van de groep heeft er echter voor gekozen om de nadruk te leggen op de theoretische mogelijkheid dat er wel een objectieve rechtvaardiging mogelijk is voor indirecte discriminatie. Hiermee wordt wat ons betreft te veel ruimte geboden aan organisaties die profileringsalgoritmen willen inzetten en over de grenzen van de wet gaan. De vele schandalen in de afgelopen jaren rondom profileringsalgoritmen getuigen van een sterke drang om profileringsalgoritmen koste wat kost in te zetten, ondanks de risico's voor burgers. Dit normenkader zal dat, naar onze verwachting, niet veranderen.

De consultatie staat open voor jouw feedback

Wij hebben er daarom samen met Controle Alt Delete en Amnesty voor gekozen onze standpunten en onze zorgen te uiten in een minderheidsstandpuntHier vind je het normenkader, in bijlage A, vanaf pagina 49 van de NTA. Hierin hebben we ons standpunt vanuit ons maatschappelijk en juridisch perspectief onderbouwd. De komende periode kan iedereen, individueel of vanuit een organisatie, feedback geven op het normenkader. Om te reageren moet je een account aanmaken, dat kost maximaal twee minuten, volgens het NEN. Alle opmerkingen zullen namelijk worden voorzien van een reactie, waarbij ook wordt aangegeven of er een wijziging wordt opgenomen of niet. Je kunt op elk gewenst onderdeel een reactie geven, of algemene feedback. Ook kun je ons minderheidsstandpunt onderschrijven door op dat gedeelte te reageren. De consultatie staat open tot 20 april 2026.