De wetgever in Europa werkt aan een voorstel waarmee bedrijven gedwongen kunnen worden om alle berichtjes die we uitwisselen te scannen op misbruik van kinderen. Het doel is nobel, natuurlijk, maar het kan zo gemakkelijk misgaan. En als het misgaat, dan word je opeens beschuldigd van seksueel misbruik van kinderen.

Alle foto's veilig in de cloud

De New York TimesA Dad Took Photos of His Naked Toddler for the Doctor. Google Flagged Him as a Criminal verhaalde vorige week over een Amerikaanse vader met een ziek kind. De penis van de jongen was gezwollen en deed pijn. De dokter vroeg de vader foto's van het geslachtsdeel te sturen. De vader had die foto's met zijn telefoon gemaakt. De telefoon was zo ingesteld dat elke foto ook automatisch naar Google's cloud ging. Handig, voor als hij zijn telefoon kwijt zou raken. Maar op Google's computers draait kunstmatige intelligentie dat alle foto's van alle gebruikers analyseert. Als er mogelijk sprake is van seksueel misbruik van kinderen gaan alle alarmbellen af. En dat gebeurde hier ook, met alle gevolgen van dien. Google verwijderde het account van de vader en waarschuwde de politie.

De mens als failsafe

Oeps. Er was natuurlijk helemaal geen sprake van misbruik van kinderen. Maar omdat de foto's geautomatiseerd beoordeeld worden, zijn zulke fouten niet te voorkomen. Dat komt onder andere omdat computers de context waarin zo'n foto is gemaakt veel minder goed kunnen beoordelen dan mensen. Daarom stellen beleidsmakers die dit soort technologie willen inzetten vaak een menselijke double check voor. Alvorens actie te ondernemen moet er eerst een mens van vlees en bloed naar gekeken hebben. Maar dat is een heftige "oplossing" voor een systeem dat we niet feilloos kunnen krijgen. Want ga er maar aan staan: die controle betekent dat je gewone mensen bij gewone bedrijvenLees hier een relaas van een voormalig moderator opdraagt om naar misbruik van kinderen te kijken. Dat zijn niet mensen die daarvoor getraind zijn, of er de broodnodige psychologische ondersteuning voor krijgen, zoals bij de afdeling zeden bij de politie. En zeker dit soort bedrijven hebben een bijzonder slechte reputatie als het gaat om ondersteuning aan moderatoren.

Fouten blijven voorkomen

Daar komt bij dat, in Nederland, het kijken naar afbeeldingen van seksueel misbruik van kinderen strafbaar is. Je vraagt dus bedrijven om werknemers in dienst te nemen om iets strafbaars te doen. In reactie daarop komen beleidsmakers met een nieuw voorstel: er komt een onafhankelijke instantie die dat soort beelden moet beoordelen. Bedrijven sturen dan je foto's ongezien door. Maar dat is natuurlijk ook heel erg problematisch, want dan is de vertrouwelijkheid van je foto's nog verder te zoeken. Welke ouder zou gevoelige foto's van zijn kind nog verder verspreid willen zien? Geen enkele.

Maar goed, menselijke controle zou het probleem van fouten door de computer kunnen oplossen, denken beleidsmakers. Het verhaal uit de New York Times laat zien dat menselijke controle van Google ook niet goed werkte. Google rapporteerde haar gebruiker bij de politie na een eigen controle. En zelfs nadat de politie bevestigde dat er niets strafbaars gebeurde, bleef Google bij haar eigen waarheid.

Onterechte beschuldiging

Sta daar eens bij stil. Een groot technologiebedrijf beschuldigt je (ten onrechte!) van seksueel misbruik van kinderen. Super heftig. En rapporteert dat bij de politie. Overtreffende trap heftig. De politie stelt vervolgens een onderzoek naar je in. Bij die vader uit het verhaal betekende het dat de politie alle beschikbare gegevens bij Google opvroeg, zoals zijn locatiegegevens, zoekgeschiedenis, foto's en bestanden. Dat is misschien begrijpelijk, maar net zo heftig. En die vader is, ironisch genoeg, softwareontwikkelaar van de software die hem als crimineel heeft bestempeld en weet vast relatief goed terug te vechten. Maar het overgrote deel van de bevolking is minder weerbaar en minder handig met kleine lettertjes...

Het bovenstaande kun je heel misschien nog af doen als een vrijwillige (en stomme!) actie van een enkel technologiebedrijf. Of een incident. Maar dat is het nietPas maar op met wat iemand anders jou stuurt. Er zijn meer voorbeelden, ook met Nederlandse gebruikers.

Europa wil dit standaardiseren

Maar er is meer waar je even bij stil moet staan. De Europese wetgever bespreekt nu een wetsvoorstelEuropese Commissie wil vertrouwelijkheid op internet opheffen waarmee bedrijven gedwongen kunnen worden alle berichtjes van alle klanten te scannen op seksueel misbruik van kinderen. Ze wil dus afdwingen wat bij Google en andere technologiebedrijven nu al regelmatig misgaat. Zo'n verhaal uit de New York Times gaan we dus vaker tegenkomen.

Extra pijnlijk is dat het voorstel van de Europese Commissie de vertrouwelijkheid op internet opheft. Ze wil dat technologiebedrijven meekijken met communicatie die eigenlijk met end-to-end encryptie beschermd is. Maar de vertrouwelijkheid van communicatie is onmisbaar voor iedereen, óók voor kinderen en slachtoffers van seksueel misbruik. Dat voorstel moet dus van tafel. Wij werken daarom samen met onze Europese collega's keihard om precies dat voor elkaar te krijgen. Help je ons mee? Doneer nu!