Een functioneringsgesprek met je algoritme?

Ook algoritmes kunnen (onbehoorlijk) handelen, net als mensen. Een voorbeeld vinden we in het interim-advies van de Adviescommissie uitvoering toeslagen (commissie-Donner). In enkele zinnen beschrijft de commissie een geautomatiseerd systeem dat na enkele maanden automatisch de invordering weer opstart, al is er uitstel van betaling verleend. ‘Met name als gevolg van het onterecht vervallen van uitstel van betaling is een aantal onterechte invorderingsmaatregelen genomen’, zo schrijft de commissie.¹x Omzien in verwondering: Interim-advies 2019 (Advies commissie uitvoering toeslagen), bijlage bij Brief interim-advies Adviescommissie uitvoering toeslagen, 14 november 2019, p. 20. ‘Dit varieert van een onterechte verrekening/loonbeslag, tot de onterechte verkoop van een auto.’ Dit uitstel van betaling is verleend naar aanleiding van een gemotiveerd bezwaarschrift tegen een terugvorderingsbeschikking.²x AUT 2019, p. 19. Art. 79.9a van de Leidraad Invordering.

Stel: het was een mens geweest, die zonder motivatie en ten onrechte de invordering weer had opgestart. Dan hadden we niet alleen een bezwaar op zijn plaats gevonden, maar ook een klacht. Wie zo handelt wekt de indruk van vooringenomenheid. Het is dan ‘de plicht van het bestuursorgaan’ om zulke signalen ‘op hun merites te beoordelen en zo nodig corrigerend op te treden’.³x Kamerstukken II 1997-98, 25 837, nr. 3, p. 1. Een dergelijke klacht zou voor een leidinggevende aanleiding zijn om een gesprek te voeren met de betreffende ambtenaar om ten minste de geldende normen opnieuw te verhelderen. Maar wat is het equivalent van deze interventie, wanneer het een algoritme betreft? Hoe dient het bestuursorgaan ‘corrigerend op te treden’ wanneer het niet om een (directe) menselijke fout gaat, maar om een machinegedreven fout?

In dit artikel betogen wij dat het klachtrecht zoals gecodificeerd in hoofdstuk 9 van de Awb hierbij een rol kan spelen. In het navolgende zullen we eerst het juridisch kader van het klachtrecht schetsen. Daarna zullen we ingaan op hoe de verschuiving van de keuze tot handelen van het niveau van een menselijke beslisser naar het softwaresysteem implicaties heeft voor de verantwoordelijkheidsvraag. Ten slotte betogen we dat een klacht over een algoritme moet leiden tot een interventie die zowel de direct verantwoordelijke voor het inrichten van het algoritme aanspreekt, als de indirect verantwoordelijke − het topmanagement − voor het al dan niet in stand laten van zo’n systeem.

• De bedoeling van de wetgever

  Volgens artikel 9:1 Awb ‘heeft [eenieder] het recht om over de wijze waarop een bestuursorgaan zich in een bepaalde aangelegenheid jegens hem of een ander heeft gedragen, een klacht in te dienen bij dat bestuursorgaan’. Dit (interne) klachtrecht dient twee doelen: het bevorderen van rechtsbescherming en van ‘overheidskwaliteitsbeleid’.⁴x G. Overkleeft-Verburg, ‘Het klacht(proces)recht in de Algemene wet bestuursrecht’, in: C.J. Bax, J.L.M. Gribnau & P.A.M. Mevis (red.), Procesvertegenwoordiging, Deventer: Gouda Quint 2000, p. 2; Kamerstukken II 1997-98, 25 837, nr. 3, p. 1-2. Met dit tweede doel verbindt het klachtrecht de juridische oriëntatie op waarborgingsmechanismes met de vanuit de managementshoek gelegde nadruk op ‘prestatiemeting, doelmatigheid en effectiviteit van overheidsfunctioneren’.⁵x Overkleeft-Verburg 2000, p. 3. Daarmee overstijgt het klachtrecht dus het directe belang van een individueel rechtssubject en beoogt het juist, via continue feedback loops, kwaliteitsverbetering in het algehele overheidsfunctioneren te bewerkstelligen. Hiermee probeerde de wetgever de relatie overheid-burger, en uiteindelijk het vertrouwen van de burger in de overheid, te versterken.⁶x Kamerstukken II 1997-98, 25 837, nr. 3, p. 1-2. Via het eerste doel is het klachtrecht een aanvulling op de al bestaande rechtsmiddelen van bezwaar respectievelijk beroep, maar onderscheidt het zich hiervan in de zin dat 1) het gehanteerde toetsingskader breder is dan rechtmatigheidsnormen. Dit betreft ook behoorlijkheidsnormen.⁷x Kamerstukken II 1997-98, 25 837, nr. 3, p. 5. En alhoewel een belangrijke beperking is dat 2) uit de effectuering van het klachtrecht geen rechtens bindend oordeel over het overheidshandelen voortvloeit, betoogt Overkleeft-Verburg dat een onbehoorlijkheidsoordeel de bewijspositie van een procespartij kan versterken in de context van een schadevorderingsprocedure.⁸x Kamerstukken II 1997-98, 25 837, nr. 3, p. 5; Overkleeft-Verburg 2000, p. 12. Verder 3) biedt het klachtrecht de burger handelingsmogelijkheden bij gedragingen van bestuursorganen die uitgezonderd zijn van rechtsbescherming in bezwaar en beroep: het object van het klachtrecht is namelijk niet beperkt tot besluiten in de zin van artikel 1:3 Awb, maar betreft alle gedragingen van een bestuursorgaan. Hieronder vallen dus ook feitelijke handelingen zoals de voorbereiding van besluiten door algoritmes die bijvoorbeeld risicoprofielen opstellen.⁹x Overkleeft-Verburg 2000, p. 5 en 11; Kamerstukken II 1997-98, 25 837, nr. 3, p. 5 en 12-13. Zie bijvoorbeeld: Onderzoek Query’s aan de Poort 2022 (Onderzoeksrapport PwC), bijlage bij Kamerbrief bij PwC-rapporten FSV: MKB en query’s aan de Poort, 29 maart 2022, p. 24-25.

• De mens achter het algoritme

  Het antwoord op de vraag hoe het bestuursorgaan ‘corrigerend op [dient] te treden’ wanneer het geen (directe) menselijke, maar een machinegedreven fout betreft, ligt deels al besloten in de treffende beschrijving van Bovens en Zouridis. Enerzijds kan het handelen van algoritmes equivalent zijn aan dat van mensen. In die zin is het stoplicht equivalent aan de verkeersagent en de portier aan de automatische deur.¹⁰x Dit zijn voorbeelden ontleend aan de stroming die we kennen als actor-netwerktheorie. Het voorbeeld van de deuropener wordt o.m. besproken in B. Latour, a.k.a. Jim Johnson, ‘Mixing Humans with Non-Humans: Sociology of a Door Closer’, Social Problems 1988, 35. Anderzijds zijn algoritmes uiteraard niet equivalent aan mensen waar het gaat om intentionaliteit.¹¹x Latour betoogt dat mensen ook niet altijd handelen vanuit een eigen intentie, maar vaak gedwongen zijn door hun context (Latour 1988, p. 300). Algoritmes handelen, hebben macht en veroorzaken gevolgen, maar hebben geen eigen willetje. De keuze om zo te handelen is elders gemaakt, bij wat Bovens en Zouridis hebben gelabeld als de system-level bureaucrat.¹²x Bovens & Zouridis 2002, p. 174. Iemand heeft het algoritmische proces bedacht. In dit geval dat de invordering standaard wordt herstart na een periode van zes maanden, tenzij er actief wordt ingegrepen.¹³x De ‘default’ − wat gebeurt als mensen niets doen, als er geen aandacht is of achterstanden zijn − is een belangrijk regulerend mechanisme. We weten uiteraard niet alles over deze casus op basis van de korte beschrijving in AUT. Er zijn meer bronnen, een onderzoek van KPMG beschrijft wanneer de ‘veiligheidsklep’ van menselijke interventie is verwijderd, maar geeft geen volledige antwoorden op alle vragen. Zie 6e voortgangsrapportage Kinderopvangtoeslag 2021 (Rapportage van de staatssecretaris van Financiën – Toeslagen en Douane), bijlage bij Kamerbrief bij 6e Voortgangsrapportage kinderopvangtoeslag, 8 april 2021, p. 32-33 en Rapportage inzake feitenonderzoek melding misstand N 2021 (Rapportage KPMG), bijlage bij Kamerbrief bij 6e Voortgangsrapportage kinderopvangtoeslag, 8 april 2021, p. 63.

  Bij klachtbehandeling in het digitale tijdperk behoort dan ook de vraag gesteld te worden wie deze keuze gemaakt heeft. Want dit is een keuze voor een bepaalde manier van handelen van het bestuursorgaan, een bepaalde mate van zorgvuldigheid en een bepaalde bejegening van de burger. Wie deze keuze heeft gemaakt, is degene met wie een extra functioneringsgesprek gehouden moet worden. Als we dit zien als ‘slechts’ een technische handeling, dan is dit het punt waarop verantwoordelijkheid verdwijnt en de menselijke maat verloren gaat. Dit is een keuze die leidt tot een overtreding van de wet en tot significante maatschappelijke gevolgen. Maar dit is nog niet het hele antwoord, want deze system-level bureaucrat functioneert in een gezagsverhouding, waarbij het topmanagement uiteindelijk verantwoordelijk is.

• De verantwoordelijkheid voor de procedure

  Normaal gesproken geven gegronde klachten zelden aanleiding tot het aanpassen van procedures. Dat is in de klassieke, mensgerichte, context logisch. Wanneer het mensen betreft gaan we ervan uit dat ze zich bij gegronde klachten níét aan de instructies en de juridische kaders gehouden hebben. Ook veronderstellen we dan dat zo’n onbehoorlijke behandeling geen gevolgen heeft voor derden. Dat is anders wanneer we menselijk handelen delegeren aan software.

  Software houdt zich per definitie aan de procedure, want software ís een procedure. En dat betekent tevens dat zo’n klacht niet slechts betrekking heeft op één individuele zaak. Elke burger die onderworpen wordt aan de procedure zal onder dezelfde omstandigheden op dezelfde (onbehoorlijke) manier bejegend worden. Wanneer zo’n klacht niet tevens leidt tot het aanpassen van een dergelijk systeem, is dit het institutionaliseren van een onbehoorlijke praktijk.

  De taak van het topmanagement is om het proces als geheel te evalueren en coördineren. Dat het handelen nu deels aan software is gedelegeerd, maakt het bestuur niet minder verantwoordelijk voor hoe dat proces eruit ziet en uitpakt en hoe software daarin interacteert met andere − al dan niet menselijke − onderdelen van de organisatie. Er is kortom ook een indirecte verantwoordelijkheid, te weten voor het al dan niet in stand laten van zo’n situatie.

• Het klachtrecht als uitkomst

  Hiervoor bleek al dat de klachtprocedure zowel een instrument is gericht op rechtsbescherming, als op algehele overheidskwaliteitsverbetering. In de digitale context krijgt corrigerend optredend ook een dubbele dimensie. Allereerst is er de dimensie van rechtsbescherming. Het is van belang niet te vergeten dat het mensen zijn die verantwoordelijkheid dragen, al zijn het steeds vaker algoritmes die handelen. Waar die directe verantwoordelijkheid voor systemen ligt, vereist in de huidige context vaak enig onderzoek. Want dat is in een geautomatiseerde context niet direct zichtbaar. Het ‘beoordelen op z’n merites’ vraagt dus helderheid hierover, zodat de klacht een leereffect kan hebben voor de verantwoordelijke system-level bureaucrat.

  Tegelijkertijd is het klachtrecht ook een breder instrument dat de brug vormt naar het management. Klachten signaleren uitvoeringsproblemen. Onderzoek naar aanleiding van klachten betekent ten tweede dat duidelijk wordt wat er structureel misgaat. Want een klacht over software is nooit een incident. Het gaat nooit om één geval. De indirecte verantwoordelijkheid is de verantwoordelijkheid van het topmanagement voor het scheppen of in stand laten van een onrechtmatige, onbehoorlijke of onrechtvaardige handelswijze van het bestuursorgaan via een geautomatiseerd systeem. Het structurele karakter moet helder worden, want dan kan dit een leereffect hebben voor het management. Een leereffect dat net zo min vrijblijvend is, maar juist tot effectieve interventies leidt die de kwaliteit van besluitvorming binnen het bestuursorgaan verbetert. Het klachtrecht biedt zo een uitkomst op zowel individueel als systematisch niveau.

• Conclusie

  Al is de memorie van toelichting bij de regeling van het klachtrecht geschreven in een tijd waarin geautomatiseerde processen nog weinig aandacht hadden, de toepasselijkheid is groot. Klachten zijn, naast bezwaren, de formele feedback loop voor bestuursorganen. Die rol is belangrijker dan ooit. Ten eerste omdat bestuursorganen individuele beslissingen steeds vaker volautomatisch nemen. Als burgers de organisatie binnenkomen als burgerservicenummer en die verlaten als acceptgiro is het steeds lastiger om zicht te hebben op uitvoeringsproblemen. Ten tweede is de rol van software in voorbereidende handelingen via data-analyse steeds groter. Risicoprofielen bijvoorbeeld spelen een steeds grotere rol in hoe burgers door de overheid bejegend worden. Maar op grond van het huidige recht kunnen in de procedures van bezwaar en beroep feitelijke handelingen niet op hun rechtmatigheid worden getoetst.

  Ook het in de memorie van toelichting benoemde belang van het herstel van geschonden vertrouwen is verrassend actueel in het licht van verscheidene dossiers zoals de kinderopvangtoeslagaffaire of dossiers die de Tijdelijke commissie Uitvoeringsorganisaties onderzocht,¹⁴x Tijdelijke commissie Uitvoeringsorganisaties (TCU), Klem tussen balie en beleid, eindrapport, 25 februari 2021. en zowel belangrijk op individueel niveau als op het niveau van de organisatie als geheel. Het klachtrecht, met als object een gedraging van een overheid richting een burger, biedt de mogelijkheid om mensen aan te spreken op hun verantwoordelijkheid wanneer algoritmes feitelijk handelen, en helpt daarmee een antwoord te geven op de meest gehoorde klacht van vandaag: the computer says so.¹⁵x TCU 2021, p. 38.

Noten

• 1 Omzien in verwondering: Interim-advies 2019 (Advies commissie uitvoering toeslagen), bijlage bij Brief interim-advies Adviescommissie uitvoering toeslagen, 14 november 2019, p. 20. ‘Dit varieert van een onterechte verrekening/loonbeslag, tot de onterechte verkoop van een auto.’

• 2 AUT 2019, p. 19. Art. 79.9a van de Leidraad Invordering.

• 3 Kamerstukken II 1997-98, 25 837, nr. 3, p. 1.

• 4 G. Overkleeft-Verburg, ‘Het klacht(proces)recht in de Algemene wet bestuursrecht’, in: C.J. Bax, J.L.M. Gribnau & P.A.M. Mevis (red.), Procesvertegenwoordiging, Deventer: Gouda Quint 2000, p. 2; Kamerstukken II 1997-98, 25 837, nr. 3, p. 1-2.

• 5 Overkleeft-Verburg 2000, p. 3.

• 6 Kamerstukken II 1997-98, 25 837, nr. 3, p. 1-2.

• 7 Kamerstukken II 1997-98, 25 837, nr. 3, p. 5.

• 8 Kamerstukken II 1997-98, 25 837, nr. 3, p. 5; Overkleeft-Verburg 2000, p. 12.

• 9 Overkleeft-Verburg 2000, p. 5 en 11; Kamerstukken II 1997-98, 25 837, nr. 3, p. 5 en 12-13. Zie bijvoorbeeld: Onderzoek Query’s aan de Poort 2022 (Onderzoeksrapport PwC), bijlage bij Kamerbrief bij PwC-rapporten FSV: MKB en query’s aan de Poort, 29 maart 2022, p. 24-25.

• 10 Dit zijn voorbeelden ontleend aan de stroming die we kennen als actor-netwerktheorie. Het voorbeeld van de deuropener wordt o.m. besproken in B. Latour, a.k.a. Jim Johnson, ‘Mixing Humans with Non-Humans: Sociology of a Door Closer’, Social Problems 1988, 35.

• 11 Latour betoogt dat mensen ook niet altijd handelen vanuit een eigen intentie, maar vaak gedwongen zijn door hun context (Latour 1988, p. 300).

• 12 Bovens & Zouridis 2002, p. 174.

• 13 De ‘default’ − wat gebeurt als mensen niets doen, als er geen aandacht is of achterstanden zijn − is een belangrijk regulerend mechanisme. We weten uiteraard niet alles over deze casus op basis van de korte beschrijving in AUT. Er zijn meer bronnen, een onderzoek van KPMG beschrijft wanneer de ‘veiligheidsklep’ van menselijke interventie is verwijderd, maar geeft geen volledige antwoorden op alle vragen. Zie 6e voortgangsrapportage Kinderopvangtoeslag 2021 (Rapportage van de staatssecretaris van Financiën – Toeslagen en Douane), bijlage bij Kamerbrief bij 6e Voortgangsrapportage kinderopvangtoeslag, 8 april 2021, p. 32-33 en Rapportage inzake feitenonderzoek melding misstand N 2021 (Rapportage KPMG), bijlage bij Kamerbrief bij 6e Voortgangsrapportage kinderopvangtoeslag, 8 april 2021, p. 63.

• 14 Tijdelijke commissie Uitvoeringsorganisaties (TCU), Klem tussen balie en beleid, eindrapport, 25 februari 2021.

• 15 TCU 2021, p. 38.