Een ambtenaar mag nooit wegkomen met “computer says no”. De overheid moet altijd haar beslissingen kunnen uitleggen. En dat betekent ook een bovengrens aan de complexiteit van de daarbij gebruikte computersystemen.

Efficiëntie om je vingers bij af te likken

Stel, je aanvraag voor huursubsidie wordt afgewezen. Of de aanvraag voor een vergunning voor een dakkapel op je huis. Dan wil je natuurlijk weten waarom de overheid in al haar wijsheid tot die beslissing is gekomen. En stel dat de ambtenaar dan van zijn scherm omhoog kijkt en tegen je zegt: sorry, maar dat is wat hier staat, de computer heeft dat bepaald. Onbevredigend hé?

Toch is dat een realiteit die er aan gaat komen als we niet goed oppassen. De algoritmen die nu al jaren door bedrijven in Silicon Valley en ver daarbuiten worden ingezet, vinden ook langzaam hun weg naar overheden. De vermeende efficiëntie van dat soort technologieën is voor de gemiddelde bestuurder iets om de vingers bij af te likken. De heilige graal voor fraudebestrijding, het voorspellen van criminaliteit en wat al niet meer. De belofte van innovatie, met minder meer doen en het geloof in de absolute objectiviteit van informatie, is een grote verleiding.

Te complex voor transparantie

Het is belangrijk dat jij als burger kunt begrijpen waarom de overheid een bepaalde beslissing over je heeft genomen. Omdat je de beslissing anders niet kunt aanvechten, geldt nu al het uitgangspunt dat onze overheid haar beslissingen moet motiveren. Juristen hebben het dan altijd over “het aspect van de juiste vaststelling van de feiten” en “dat die vaststelling dient te leiden tot de genomen beslissing.” Je moet dus als burger weten welke feiten, omstandigheden en belangen de overheid bij de beslissing heeft betrokken en hoe ze die vervolgens heeft afgewogen.

Als het gaat over beslissingen die met computers genomen zijn, is dat niet anders. Daarom is er altijd wel iemand die roept dat transparantie belangrijk is: inzicht in de broninformatie en het gebruikte algoritme. Maar wat is transparantie nog waard als je eerst een expert moet worden om goed wijs te kunnen uit een complex computersystemen? En wat betekent transparantie als zelfs de makers van algoritmen soms ook niet meer begrijpen hoe hun zelflerende informatie­systemen zich hebben doorontwikkeld? Als computersystemen te complex om te bevatten worden, is transparantie niet de oplossing.

Overheid moet haar beslissingen kunnen blijven uitleggen

Bits of Freedom vindt dat onze overheid (en soms ook bedrijven) geen beslissingen mag nemen die ze niet ook helder kan uitleggen. Jij moet kunnen begrijpen welke informatie het uitgangspunt was, hoe die informatie en alle belangen is afgewogen en hoe dat dan leidde tot de beslissing. Het kabinet lijkt, in haar reactie op een onderzoek naar “big data in een vrije en veilige samenleving” dat standpunt te delen: “de juistheid van de analyse moet altijd in twijfel getrokkenReactie van kabinet op onderzoek naar rol big data in onze samenleving. kunnen worden.” Dat geldt dus ook voor beslissingen die met een computersysteemDit is ook een van onze 13 todos aan het kabinet. zijn genomen. Is dat computersysteem te complex voor die uitleg, dan kan het niet zo zijn dat onze overheid dat systeem gebruikt voor het nemen van beslissingen over burgers. Anders gezegd, er zit een bovengrens aan de complexiteit van computersystemen die de overheid mag gebruiken.

Overigens, ons standpunt maakt niet dat we tegen een verdere automatisering van onze overheid zijn. Het kan goed zijn dat je het nemen van beslissingen beter en sneller door een computer kunt laten doen, zonder dat dit de consequentie heeft dat die beslissing niet meer uit te leggen is. Het zou soms zelfs zo kunnen zijn dat het uitleggen alleen maar makkelijker is als de beslissing met de computer genomen is.