Nederland transformeert naar een datagedreven samenleving. De politie, de Belastingdienst en uitkeringsinstanties experimenteren met Big Data; private partijen, zoals sociale media, banken, en medische organisaties gebruiken algoritmes en profielen om beleidskeuzes te maken. Daarbij worden beleidskeuzes steeds meer geautomatiseerd. Uit de substantiële hoeveelheden data die worden verzameld worden patronen, correlaties en waarschijnlijke verbanden tussen verschillende datapunten gedestilleerd. De profielen die op basis daarvan worden vervaardigd worden gebruikt om keuzes te maken over toekomstige gevallen. Hierdoor wordt het besluit- en beleidsvormingsproces in toenemende mate gestandaardiseerd. De hoop is dat de door data-analyse geïnformeerde besluiten kwalitatief beter zullen zijn en dit de uitvoering van het beleid effectiever en efficiënter zal maken. In onderzoek dat is verricht in opdracht van het ministerie van Justitie en veiligheid wordt geconcludeerd dat tien veranderingen aan het Nederlands recht nodig zijn om deze transitie in goede banen te leiden.

De populariteit van zelflerende algoritmes heeft zorgen gewekt bij academici en mededingingstoezichthouders over het mogelijk prijsverhogende effect van algoritmes voor prijszetting. Experts waarschuwen dat zelflerende algoritmes stilzwijgend zouden kunnen samenspannen en hogere prijzen kunnen bewerkstelligen (colluderen). Aan de andere kant zijn er auteurs die stellen dat coördinatie zelfs voor algoritmes te complex is om zonder verboden informatie-uitwisseling te bereiken. Wij overbruggen het gat tussen theoretische zorgen en dit praktisch scepticisme. In dit artikel analyseren wij mechanismes die ervoor zorgen dat zelflerende algoritmes in een setting met concurrentie relatief hoge prijzen kunnen bereiken, met een onderscheid tussen vorming en stabiliteit van stilzwijgende samenspanning. We analyseren de praktische toepasbaarheid van deze mechanismes. Stabiliteit-bevorderende mechanismes kunnen vóórkomen, maar we vinden het minder aannemelijk dat ook de prijsverhogende mechanismes in de praktijk kunnen worden gerealiseerd, vanwege de aanzienlijke kosten van experimentatie met prijzen, die essentieel is voor deze mechanismes. We concluderen dat het gebruik van AI (Artifical Intelligence) voor prijszetting mechanismes biedt die het risico op algoritmische collusie verhogen, maar de praktische belemmeringen betekenen dat het risico op dit moment beperkt lijkt te zijn tot specifieke markten of samenloop van omstandigheden.

Voor deze aflevering van het estafette-interview spraken Marije Batting en Martijn Groenleer namens de redactie van Tijdschrift voor Toezicht met Martijn Snoep, sinds 1 september 2018 bestuursvoorzitter van de ACM.¹x Het gesprek vond begin november 2019 plaats. Mede naar aanleiding van de suggesties van Hanzo van Beusekom, bestuurslid van de Autoriteit Financiële Markten (AFM), die we interviewden voor nummer 2019-3 van Tijdschrift voor Toezicht, spraken wij met Martijn over de elementen van een goede toezichtstrategie en over de balans tussen handhaven en beïnvloeden.

Noten

• 1 Het gesprek vond begin november 2019 plaats.

De overheid maakt in toenemende mate gebruik van systemen die taken verrichten die eerst door ambtenaren werden uitgevoerd. Denk aan het verlenen en uitbetalen van uitkeringen, het opleggen van boetes, bedienen van ophaalbruggen enzovoort. Bij de inzet van deze systemen wordt niet altijd onderkend dat hierbij voldaan moet worden aan de regels die voor de overheid gelden. Bovendien brengt de inzet van deze systemen – algoritmen – nieuwe, deels voorzienbare en deels onvoorzienbare risico’s met zich mee. Daarom wordt steeds vaker gevraagd om meer toezicht op algoritmen. Om dit toezicht effectief te laten zijn zou er een zorgplicht moeten worden ingevoerd.

Het bestuursrecht is niet alleen van belang voor de vraag aan welke normen overheidstoezicht met behulp van autonome (zelflerende) systemen is onderworpen, maar ook voor de vraag wie deze normen stelt en effectueert. Niettemin lijkt de dominante opvatting momenteel dat het bestuursrecht onvoldoende in staat zou zijn om het gebruik van zelflerende systemen adequaat te reguleren. Dit essay schetst hoe de rechtsontwikkeling ten aanzien van autonoom overheidstoezicht vorm kan krijgen als een (zelflerend) proces van laveren tussen analoog en digitaal bestuursrecht, waarbij de bestuursrechtelijke verworvenheden van het analoge toezicht worden geconfronteerd met de uitdagingen van het digitale toezicht.

Automatische en Intelligente Systemen (IEEE, 2018) rukken steeds verder op in de samenleving. De toepassing ervan is echter niet onomstreden. Er is veel politieke en maatschappelijke onrust, met name over het gebruik van deze systemen door de overheid. Vooral toezichthouders liggen daarbij onder vuur. Snel wordt vergeten dat het gebruik van algoritmes kansen biedt voor het werk van toezichthouders. Daarom is een verantwoorde implementatie van artificial intelligence van groot belang, waarbij de toezichthouder zich verdiept in de werking van de technologie en de eisen die eraan gesteld moeten worden, welke kansen technologie biedt en wat nodig is om deze te realiseren. De toezichthouder moet oog hebben voor de gevolgen van technologie voor de positie van burgers en andere belanghebbenden, voor de veranderingen in verhouding tussen toezichthouder en burgers, en open oog voor (soms onvoorziene) rollen en bijpassende verantwoordelijkheden die op de toezichthouder afkomen als gevolg van het toepassen van technologie.

Algoritmen helpen om op grote schaal beslissingen te nemen. Het is echter lastig om achteraf toe te zien op de kwaliteit van deze beslissingen. Toezicht zou zich met name moeten richten op het wordingsproces van algoritmes: de stappen die genomen worden om te komen van probleemomschrijving tot een geïmplementeerd algoritme. In dit proces worden immers de principiële keuzes gemaakt die bepalend zijn voor de manier waarop het algoritme zal handelen en de wijze waarop het uitwerking heeft op de maatschappij. Door deze keuzes expliciet en onder de juiste overwegingen te maken verkleint het risico op misdragingen. Toezichthouders en ontwikkelaars van algoritmen tezamen kunnen hier een handreiking voor opstellen.

Binnen de overheid neemt semigeautomatiseerde besluitvorming toe. Parallel daaraan is er steeds meer aandacht voor eisen aan onderliggende algoritmes. Een daarvan is dat algoritmes die de overheid gebruikt bij (deels) geautomatiseerde besluitvorming, transparant en uitlegbaar horen te zijn. Dat past bij een transparante overheid en is ook het recht van individuele burgers voor wie een besluit potentieel rechtsgevolgen heeft. Een gemeente zal een betrokkene bijvoorbeeld moeten informeren waarom hij of zij wordt ‘geprofileerd’ als mogelijke uitkeringsfraudeur. Bij het transparant maken van algoritmes kan niet altijd worden volstaan met een beroep op de kennis van direct betrokkenen, zoals programmeurs. Dit artikel betoogt dat daarom ‘iets’ van gebruikte algoritmes opgenomen zal moeten worden in het archief van de organisatie en moeten worden beheerd in lijn met de Archiefwet. Voor wat dat dan concreet betekent, worden enkele richtingen verkend maar er is nog veel uit te zoeken. De Inspectie Overheidsinformatie en Erfgoed ziet hier, als toezichthouder op de Archiefwet, ook voor zichzelf een rol en zal de ontwikkelingen nader volgen.

Datawetenschap is voor het recht van groot belang. De daaruit voortvloeiende voorspellende algoritmische modellen kunnen worden gebruikt om toezicht uit te oefenen, bijvoorbeeld of geen uitkeringsfraude wordt gepleegd. Vaak leveren de inzichten uit de datawetenschap goede voorspellingen op over mogelijke fraudegevallen. In de praktijk zijn er toch problemen, bijvoorbeeld met de steekproef en de data op basis waarvan voorspellingen worden gedaan. Dat probleem is sterker aanwezig naarmate de gebruikte modellen complexer zijn. In deze bijdrage wordt op deze problemen ingegaan en wordt betoogd dat menselijk handelen van groot belang is wanneer gebruik wordt gemaakt van voorspellende modellen.