In gesprek met Lukas Lorenz

In de serie ‘in gesprek met een pas gepromoveerde onderzoeker’ geven we aandacht aan promotieonderzoeken die voor toezichthouders relevant zijn. Hiervoor interviewen we als redactie van Tijdschrift voor Toezicht (recent) gepromoveerde onderzoekers over hun onderzoek en de betekenis ervan voor het toezicht. In dit interview spraken Niek Hoogervorst en Frans van Bruggen, redacteuren van Tijdschrift voor Toezicht, met Lukas Lorenz die in mei 2024 promoveerde aan de Universiteit Utrecht op onderzoek naar het gebruik van algoritmen door toezichthouders en de uitdagingen die hierbij komen kijken.

TvT: Voor we in je onderzoek over de toepassing van algoritmes in de publieke sector duiken, kun je uitleggen hoe toezichthouders deze technologie momenteel gebruiken?
Lukas: Natuurlijk. Er zijn twee belangrijke benaderingen. Enerzijds is er de regulering van algoritmes, zoals de EU AI Act, en het in de praktijk brengen van deze regelgeving. Anderzijds is er de vraag hoe toezichthouders algoritmes zelf toepassen in hun werk. In mijn onderzoek richt ik me op dat laatste: hoe toezichthouders algoritmes gebruiken om hun toezicht te verbeteren, bijvoorbeeld door slimmer gebruik van data en risico-­inschattingen te optimaliseren. Algoritmes beloven een effectiever, efficiënter en systematischer toezicht, waarbij inspecteurs gerichter kunnen werken.

TvT: Je onderzoek is gebaseerd op etnografisch veldwerk bij twee toezichthoudende instanties in Nederland. Kun je uitleggen wat deze methode inhoudt en waarom je hiervoor hebt gekozen?
Lukas: Etnografisch veldwerk houdt in dat je de dagelijkse praktijk van een organisatie observeert en mee­loopt om een diepgaand begrip te krijgen van hoe mensen binnen de organisatie werken. Ik heb bij twee instanties gedurende langere tijd meegekeken, veel documenten geanalyseerd, vergaderingen bijgewoond (voornamelijk virtueel) en interviews afgenomen. Deze methode biedt een unieke manier om inzicht te krijgen in hoe technologieën zoals algoritmes daadwerkelijk worden geïmplementeerd en gebruikt, en welke uitdagingen daarbij komen kijken. Door direct aanwezig te zijn kun je deze dynamiek beter begrijpen en er zelfs ook op reflecteren met de participerende organisatie, bijvoorbeeld hoe bepaalde processen beter zouden kunnen, iets wat ik aan het eind van mijn onderzoek ook wel gedaan heb.

TvT: De titel van je proefschrift is The Myth of Algorithmic Regulation. Wat bedoel je precies met deze ‘mythe’ en hoe komen toezichthouders hiermee in aanraking tijdens hun werk?
Lukas: Met de ‘mythe’ bedoel ik het wijdverbreide geloof dat algoritmes toezichtprocessen rationeler, efficiënter en effectiever maken. Deze aanname kan toezichthoudende organisaties motiveren om aan de slag te gaan met algoritmes. Mensen denken dan vaak dat algoritmes objectieve en neutrale oplossingen bieden, maar in de praktijk is het moeilijk om die beloftes waar te maken. De verwachtingen van algoritmes zijn vaak hooggespannen, maar bij de implementatie blijkt dat deze technologieën niet altijd goed aansluiten bij de dagelijkse werkpraktijk. Het ideaalbeeld van wat algoritmes zouden kunnen bereiken, komt vaak niet overeen met hoe ze daadwerkelijk worden toegepast.

TvT: Zorgt die mythe er dan ook voor dat toezichthouders niet meer op hun intuïtie leunen maar blind de algoritmes volgen?
Lukas: Ik denk dat er een risico is dat mensen, als ze echt ervan overtuigd zijn dat dit de beste manier is om bijvoorbeeld inspecties te organiseren, blindelings vertrouwen op algoritmes of systemen. Maar het idee van de ‘mythe’ speelt zich meer af op een macro- en mesoniveau. Politici zeggen bijvoorbeeld dat we meer AI moeten toepassen in Nederland of in de publieke sector. Er zijn nationale AI-strategieën, en op organisatieniveau hoor je vaak dat AI de organisatie moet verbeteren. Maar als je kijkt naar het operationele niveau, waar mensen echt inspecties moeten uitvoeren, zijn ze er vaak minder van overtuigd dat deze technologieën hun werk daadwerkelijk verbeteren.

TvT: Denk je dat deze mythe aanweziger is in de bestuurskamer?
Lukas: Ik ben zelf niet in de bestuurskamer geweest, dus ik kan dat niet met zekerheid zeggen. Maar het lijkt erop dat er op hoger niveau vaak hoge verwachtingen zijn over wat AI en algoritmes kunnen betekenen voor de organisatie. Als je dan vervolgens hoort hoe inspecteurs denken over AI of algoritmes, hoe datawetenschappers over deze technologieën denken en hoe IT-experts en professionals in publieke organisaties erover denken, dan verschilt dat nogal.

TvT: Is dit wat je bedoelt in je onderzoek met ‘decoupling’ als een van de verklaringen voor de mythe van algoritmisch toezicht? Wat houdt dit in en kun je een voorbeeld geven van hoe dit werkt in de praktijk?
Lukas: Decoupling verwijst naar de situatie waarin een technologie, zoals een algoritme, formeel wordt geïmplementeerd, maar in de praktijk weinig tot geen invloed heeft op hoe mensen hun werk doen. In een van de instanties die ik onderzocht, werd een algoritme geïntroduceerd om risicorelevante bedrijven te voorspellen voor inspecties. Hoewel het systeem formeel was ingevoerd, gebruikten inspecteurs het nauwelijks. Dit kwam doordat dataspecialisten en IT-experts het niet echt eens waren over het gebruik van de algoritmes. Het ging dan bijvoorbeeld over kwesties als: Is de kwaliteit wel voldoende? Moeten we het algoritme testen met bestaande data of zelf gegenereerde testdata?
Al die vragen rond hoe het algoritme moest worden getest en geïmplementeerd waren het gevolg van conflicterende opvattingen over wat algoritmes zijn, welke regels erop van toepassing zouden moeten zijn en wie de verantwoordelijkheid en bevoegdheid had om dit te bepalen. Omdat deze conflicten niet goed werden aangepakt, werden pogingen gedaan om de impact van het algoritme op bestaande praktijken te verminderen, wat leidde tot vertragingen in de implementatie. Dit laat ook zien dat de implementatie van algoritmes veel meer is dan een technisch vraagstuk. Het is echt een proces van organisatorische, culturele en misschien zelfs institutionele verandering binnen de organisatie.

TvT: Je hebt het in je onderzoek ook over het belang van leren binnen organisaties en maakt onderscheid tussen ‘single-loop’ en ‘double-loop’ leren. Hoe kunnen toezichthouders deze vormen van leren herkennen en benutten om hun werk te verbeteren?
Lukas: Single-loop leren houdt in dat organisaties verbeteringen doorvoeren binnen de bestaande kaders en structuren, zoals het toevoegen van een algoritme aan een bestaand risicoselectiesysteem. Dit type leren leidt tot incrementele veranderingen zonder dat de onderliggende aannames of processen worden herzien. Een voorbeeld is wanneer een algoritme wordt ingezet om een selectieproces voor inspecties te verbeteren, zonder dat de organisatie kritisch kijkt naar de bredere aanpak of samenwerking binnen de organisatie.
Double-loop leren gaat een stap verder. Hierbij worden niet alleen technologische veranderingen doorgevoerd, maar worden ook de onderliggende structuren en processen van de organisatie aangepast om nieuwe technologieën zoals algoritmes effectiever te integreren. Dit kan betekenen dat de organisatie rollen en samenwerking heroverweegt om de invoering van die technologieën mogelijk te maken. In een van mijn casussen werd bijvoorbeeld de rol van domeinexperts gecreëerd, die fungeerden als tussenpersonen tussen inspecteurs en dataspecialisten. Zij vertaalden de behoeften van de inspecteurs naar datawetenschappelijke termen, waardoor een brug werd geslagen tussen de verschillende expertises binnen de organisatie.

TvT: Veel toezichthouders werken tegenwoordig met datawetenschappers. Wat zegt je onderzoek over hun rol in de adoptie van algoritmische werkwijzen?
Lukas: Datawetenschappers spelen vaak een hybride rol binnen toezichthoudende instanties. Ze zijn niet alleen verantwoordelijk voor technische aspecten zoals dataverzameling en -analyse, maar ook voor het overbruggen van de kloof tussen technische experts en andere medewerkers binnen de organisatie. In mijn onderzoek kwam naar voren dat inspectiediensten ook vaak betrokken zijn bij bredere politieke en administratieve vraagstukken. Bijvoorbeeld, wanneer een incident veel publieke aandacht trekt, zoals bij zorgen over dierenwelzijn, moeten toezichthouders uitleggen waarom een bepaald bedrijf niet geïnspecteerd is. Hier kan de druk ontstaan om keuzes te legitimeren door te verwijzen naar algoritmes. Datawetenschappers nemen dit soort perspectieven mee in hun werk, en helpen dan door algoritmes te ontwikkelen die systematische en transparante keuzes mogelijk maken, wat bijdraagt aan de legitimiteit van het inspectieproces.

TvT: De invoering van algoritmes brengt specifieke uitdagingen met zich mee op het gebied van transparantie, verantwoording en non-discriminatie. De toeslagenaffaire is hier een pijnlijk voorbeeld van. Kun je deze uitdagingen toelichten?
Lukas: Een groot probleem is dat de werking van algoritmes niet altijd duidelijk is voor degenen die ermee moeten werken, zoals inspecteurs of beleidsmakers. Soms wordt er zelfs weinig moeite gedaan om die werking inzichtelijk te maken, omdat de inzet van algoritmes vaak gericht is op andere doelen, zoals meer efficiëntie. Dit kan leiden tot een gebrek aan transparantie, wat problematisch is in het publieke domein, waar verantwoording afleggen essentieel is. Bovendien kunnen algoritmes bestaande biases versterken, wat het risico op discriminatie vergroot.
Toezichthouders moeten daarom zorgvuldig nadenken over hoe ze algoritmes implementeren en ervoor zorgen dat deze technologieën de waarden van transparantie en non-discriminatie waarborgen. Deze waarden moeten natuurlijk kernwaarden zijn van elke publieke organisatie en zichtbaar zijn in hun dagelijkse praktijk, ongeacht of er algoritmes worden gebruikt. Dit kan al helpen om het risico van de implementatie en het gebruik van discriminerende algoritmes te verkleinen.

TvT: Welke concrete stappen kunnen toezichthouders zetten om ervoor te zorgen dat waarden zoals transparantie en non-discriminatie worden gewaarborgd bij de implementatie van algoritmes?
Lukas: Een belangrijke stap is het opleiden van datawetenschappers binnen de publieke sector, zodat zij zich bewust zijn van de specifieke vereisten rondom transparantie en verantwoording. Ook waardevol: tijdige reviews van algoritmes waarin gekeken wordt of deze voldoen aan verwachtingen en richtlijnen. Daarnaast kunnen toezichthoudende instanties gebruikmaken van frameworks zoals de aanbevelingen van de EU High-­Level Expert Group on AI om hun algoritmes te evalueren op ethische en juridische aspecten. Het samenwerken met externe experts met een diverse achtergrond, zoals datawetenschappers, sociale wetenschappers en bestuurskundigen, kan ook helpen om onafhankelijke beoordelingen te krijgen en ervoor te zorgen dat de juiste waarden worden nageleefd.
Bovendien moeten publieke organisaties stevig ingebed blijven in ons democratische systeem. Dit betekent dat ze onder controle moeten blijven staan van journalisten maar ook van het parlement, zodat de risico’s van vooringenomenheid en discriminatie bij algoritmisch toezicht kunnen worden herkend en aangepakt.

TvT: Tot slot, wat zijn de belangrijkste lessen uit jouw onderzoek voor toezichthouders om ervoor te zorgen dat algoritmische regulering niet alleen een technologische innovatie blijft, maar ook daadwerkelijk bijdraagt aan beter toezicht?
Lukas: Het is belangrijk dat toezichthouders een duidelijke visie hebben over wat ze willen bereiken met algoritmes, en dat deze visie aansluit bij de bredere waarden van de organisatie, zoals transparantie en legitimiteit. Algoritmes moeten niet alleen worden gezien als een manier om efficiënter te werken, maar ook als een middel om het toezicht te verbeteren door bijvoorbeeld biases te verminderen of nieuwe manieren van risicobeoordeling te ontwikkelen. Zo kunnen bijvoorbeeld nieuwe inzichten worden bereikt door toezicht te houden op zaken die eerder niet mogelijk waren of over het hoofd werden gezien. Uiteindelijk zouden algoritmes een aanvulling moeten zijn op het werk van menselijke inspecteurs, een collega als het ware, in plaats van deze volledig te vervangen.