De veranderende taak van bestuurders in het tijdperk van AI

Het gebruik van artificial intelligence (AI) door vennootschappen zal de komende jaren een vlucht nemen, met ingrijpende veranderingen voor de bestuurstaak tot gevolg. Dit artikel bespreekt de noodzaak voor bestuurders tot het voeren van deugdelijk AI-risicobeheer alsmede de manier waarop deze vorm van risicobeheer de maatstaf voor bestuurdersaansprakelijkheid dient in te kleuren.

• 1 Inleiding

  De automatiseringsgolf van de laatste decennia heeft de wereld om ons heen wezenlijk veranderd en zal de komende jaren enkel in kracht toenemen, met ingrijpende veranderingen tot gevolg. Het is dan ook haast een gegeven dat de implementatie van artificial intelligence (hierna: AI) een belangrijke stempel zal drukken op de winstgevendheid en levensvatbaarheid van bedrijven. Dit roept de vraag op wat deze implementatie voor gevolgen zal hebben voor de taak en samenstelling van het bestuur. Zo hebben sommigen betoogd dat robotbestuurders de bestuurskamer binnen afzienbare tijd zullen domineren.¹x J.B.S. Hijink, Robots in de boardroom, Ondernemingsrecht 2019/3 en A. van der Spek, De toekomst van de vennootschappelijk bestuurder: aan de bestuurstafel met een robot?, MvO 2020, afl. 1-2, p. 23-30.

  In de hiernavolgende paragrafen zal ik ingaan op de juridische aspecten van een veranderende bestuurstaak in het tijdperk van AI. Ik begin met een korte bespreking van de relevante terminologie en de recente ontwikkelingen binnen AI. Vervolgens leg ik uit dat het bestuur wegens het unieke karakter van de bestuurstaak en de technologische beperkingen van AI niet in de voorzienbare toekomst zal worden vervangen door robotbestuurders. Het valt daarentegen wel te verwachten dat het gebruik van geautomatiseerde bedrijfsvoering de komende jaren een vlucht zal nemen. Vandaar stel ik dat het in kaart brengen en beheersen van de aan automatisering gerelateerde risico’s een steeds belangrijkere taak dienen te worden van het bestuur. Deze vorm van risicomanagement beschouw ik vanuit het concept van risicobeheersings- en controlesystemen en de (recente) nadruk op de maatschappelijke verantwoordelijkheid van vennootschappen.

  Ik sluit af met een bespreking van bestuurdersaansprakelijkheid in het licht van AI. Hierbij zal ik betogen dat een gebrek aan transparantie bij op AI gebaseerde bestuursbesluiten en onvoldoende toezicht op de geautomatiseerde bedrijfsprocessen snel dienen te leiden tot bestuurdersaansprakelijkheid. Deze relatief lage aansprakelijkheidsmaatstaf hangt samen met een meer elementaire kwestie, namelijk de vraag in hoeverre wij als mens de grip op de bedrijfsvoering kunnen behouden in een wereld van vergaande automatisering.

• 2 Terminologie en achtergrond

  2.1 AI en AGI

  Gezien het onderwerp van dit artikel is een heldere terminologie noodzakelijk, met name nu het over termen gaat die gemakkelijk anders of verkeerd kunnen worden geïnterpreteerd.

  Onder AI versta ik niet-biologische intelligentie, dat wil zeggen het vermogen van een algoritme om complexe taken uit te voeren.²x Deze definitie is ontleend aan M. Tegmark, Life 3.0, New York: Alfred A. Knopf 2017, p. 55 en 56. Binnen het AI-vakgebied is artificial general intelligence (hierna: AGI) een veelbesproken term. Dit is het vermogen van een algoritme om menselijke intelligentie te evenaren dan wel te overstijgen. De zogenoemde ‘Turing-test’ wordt vaak gezien als de toetssteen voor AGI.³x A.M. Turing, Computing Machinery and Intelligence, Mind (59) 1950, afl. 236, p. 433-460 (https://phil415.pbworks.com/f/TuringComputing.pdf). Deze test beoordeelt of een computer een menselijke gesprekspartner die niet weet met wie hij converseert, kan overtuigen dat hij met een medemens in gesprek is. Alhoewel een computer een mens kan misleiden indien het specifieke taken betreft, is de algemene aanname dat de Turing-test tot op heden niet is behaald.⁴x Hierbij zij vermeld dat Google Duplex erin is geslaagd om een kappersafspraak te maken zonder dat de persoon aan de andere kant van de lijn het doorhad dat zij met een computer converseerde. Zie www.youtube.com/watch?v=lXUQ-DdSDoE voor de geluidsopname.

  Deskundigen verschillen van mening over de vraag wanneer AGI zal worden bereikt. Toen in 2018 aan leidende wetenschappers en experts deze vraag werd gesteld, varieerden de antwoorden van een decennium tot bijna twee eeuwen.⁵x M. Ford, Architects of Intelligence, Birmingham: Packt 2018, p. 528 en 529. De mediaan van achttien antwoorden lag op 81 jaar vanaf 2018, dus 2099.

  2.2 De door machine learning gedreven AI-renaissance

  Alhoewel we voor AGI mogelijkerwijs moeten wachten tot de 22ste eeuw, betekent dit niet dat er geen progressie is geboekt in het vakgebied. De meest recente ontwikkelingen binnen AI zijn behaald met machine learning, de tak van AI waarbij algoritmes worden opgesteld die zelfstandig kunnen leren van input.⁶x Ford 2018, p. 10. Zie ook Tegmark 2017, p. 97. Deze algoritmes kunnen zichzelf in wezen programmeren en verbeteren door grote hoeveelheden data te analyseren. Vooraf vastgestelde regels noch menselijke interventie zijn hierbij noodzakelijk.⁷x K.F. Lee, AI Superpowers, Boston: Houghton Mifflin Harcourt 2018, p. 6 en 9.

  Deep learning is een vorm van machine learning die gebruik maakt van gelaagde neural networks. Dit zijn algoritmes die ruwweg de werkwijze van neuronen in de hersenen nabootsen.⁸x Lee 2018, p. 6 en 9.Deep learning is de belangrijkste motor geweest van de revolutie in AI die we het afgelopen decennium hebben gezien. Dit komt omdat we de laatste jaren deep learning-algoritmes steeds meer zijn gaan voorzien van twee essentiële ingrediënten: rekenkracht en data.⁹x Lee 2018, p. 9.Deep learning-algoritmes kunnen zichzelf steeds beter trainen in het herkennen van patronen doordat we in exponentiële mate data zijn gaan verzamelen. De toegenomen rekenkracht van computers heeft ze vervolgens in staat gesteld om deze data efficiënter te ontleden. De trend van groeiende dataverzameling zal de komende jaren geen einde kennen. Zo is er voorspeld dat het volume van geproduceerde data in de wereld zal groeien van 33 zettabytes in 2018 tot 175 zettabytes in 2025.¹⁰x Europese Commissie, Whitepaper on Artificial Intelligence – A European approach to excellence and trust, 19 februari 2020, p. 4 (https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf).

  De recente interesse voor deep learning betekent overigens niet dat onderzoekers constant grensverleggend AI-onderzoek publiceren. De AI-renaissance van het afgelopen decennium is hoofdzakelijk gestoeld op bestaande technieken. Zo bestaat het concept machine learning al enige tijd, maar door de sterk toegenomen computerkracht en beschikbare data is het pas recentelijk breed toepasbaar.¹¹x B. Marr, A short history of machine learning – Every manager should read, Forbes 16 februari 2016 (www.forbes.com/sites/bernardmarr/2016/02/19/a-short-history-of-machine-learning-every-manager-should-read/#7f20ad9815e7). Volgens Kai-Fu Lee bevinden we ons dan ook in het tijdperk van grootschalige implementatie van AI, nadat het veld eerst een tijdperk van vitale ontdekkingen heeft gekend.¹²x Lee 2018, p. 13. Deze constatering heeft grote gevolgen voor het karakter van de bestuurstaak.

• 3 De robotbestuurder

  3.1 De intrede van robotbestuurders

  Hijink heeft in 2018, enigszins prikkelend, betoogd dat robots binnen afzienbare tijd hun opwachting zullen maken in de bestuurskamer.¹³x Hijink 2019. Die opkomst lijkt volgens Hijink onvermijdelijk vanwege een indrukwekkende versnelling van technologische ontwikkelingen, gedreven door robotisering en AI. Deze stelling is deels gebaseerd op een praktijkvoorbeeld afkomstig uit Hong Kong alsmede een onderzoek uitgevoerd in 2015 in opdracht van het World Economic Forum, waaruit blijkt dat 45% van de ondervraagden verwacht dat in 2025 robots deel zullen uitmaken van het bestuur.¹⁴x Zie het rapport ‘Deep shift. Technology tipping points and societal impact’ (Survey Report), september 2015 (www3.weforum.org/docs/WEF_GAC15_Technological_Tipping_Points_report_2015.pdf).

  Alhoewel het idee van robotbestuurders intellectueel prikkelende gedachten oproept die ook relevant zijn voor het ondernemingsrecht, valt het ten zeerste te betwijfelen of de bestuurskamer inderdaad binnen afzienbare tijd met algoritmes zal zijn gevuld. Dit komt door de gespecialiseerde intelligentie die momenteel zo kenmerkend is voor AI. In de woorden van Andrew Ng, een van de leidende figuren binnen het vakgebied:

  ‘I think one of the problems in AI is that we’ve made a lot of progress in building specialized intelligence or narrow intelligence, and very little progress towards AGI. The problem is, both of these things are called AI. AI turns out to be incredibly valuable for online advertising, speech recognition and self-driving cars, but it’s specialized intelligence, not general. Much of what the public sees is progress in building specialized intelligence and they think that we are therefore making rapid progress toward artificial general intelligence. It’s just not true.
  I would love to get to AGI, but the path is very unclear. I think that individuals that are less knowledgeable about AI have used very simplistic extrapolations, and that has led to unnecessary amounts of hype about AI.’¹⁵x Ford 2018, p. 187.

  De robotbestuurder zal een zekere vorm van AGI moeten bezitten, dat wil zeggen menselijke intelligentie kunnen evenaren of overstijgen, wil hij daadwerkelijk betekenis hebben binnen het bestuur. Indien de robotbestuurder slechts beperkte taken kan verrichten, wat momenteel het geval is bij (machine learning-)algoritmes en waarschijnlijk niet in de voorzienbare toekomst zal veranderen, is het praktisch nut beperkt.

  3.2 De technologische tekortkomingen van robotbestuurders vanuit het perspectief van de wettelijke bestuurstaak

  In de woorden van de Hoge Raad is het bepalen van het beleid en de strategie van een vennootschap en de met haar verbonden onderneming in beginsel een aangelegenheid van het bestuur van de vennootschap.¹⁶x HR 20 april 2018, ECLI:NL:HR:2018:652, NJ 2018/331 (Boskalis/Fugro). Bij de vervulling van hun taak dienen bestuurders voorts, mede op grond van het bepaalde in artikel 2:8 BW, zorgvuldigheid te betrachten met betrekking tot de belangen van al degenen die bij de vennootschap en haar onderneming zijn betrokken.¹⁷x HR 4 april 2014, ECLI:NL:HR:2014:797, NJ 2014/286 (Cancun). Een robotbestuurder met slechts één vaardigheid, zoals het nemen van (omkaderde) investeringsbeslissingen,¹⁸x Zo bezit het algoritme dat als eerste robotbestuurder is aangesteld bij een venture capital fund naar het recht van Hong Kong de enkele vaardigheid dat het op basis van grote hoeveelheden data investeringsbeslissingen in biomedische bedrijven kan aanbevelen of afraden. Alhoewel het een bruikbare vaardigheid is binnen de venture capital-industrie, zal de media-aandacht een rol hebben gespeeld bij de benoeming van dit algoritme tot bestuurder. Het is een baanbrekende boodschap om aan de buitenwereld – en dus ook aan potentiële investeerders – te verkondigen dat jouw innovatieve bedrijf de eerste robotbestuurder ter wereld heeft aangesteld. Zie voor een beschrijving van de robotbestuurder ook Van der Spek 2020, p. 27. zal echter weinig toegevoegde waarde hebben wanneer het bestuur de belangen van werknemers in een herstructureringsplan dient mee te wegen of een strategie moet ontwikkelen om te wedijveren met innoverende concurrenten. Beslissingen die het bestuur neemt, karakteriseren zich in de eerste plaats door een verscheidenheid aan onderwerpen. Juist deze diversiteit en de daarmee samenhangende onvoorspelbaarheid zijn bijzonder lastig te reduceren tot een specifiek algoritme.

  De aanstelling van een bestuurder die enkel over zeer specialistische kennis beschikt, lijkt ook lastig te rijmen met het principe van collegiaal bestuur en de daarbij behorende collectieve verantwoordelijkheid. Krachtens dit principe is een zekere taakverdeling tussen bestuurders mogelijk, maar dienen de hoofdlijnen van het algemeen bestuursbeleid te berusten op beslissingen van het hele bestuur.¹⁹x Asser 2-I* De rechtspersoon, 2015/194. Bestuurders dienen aldus te beschikken over generieke competenties die de vennootschap in staat stellen om met een creatieve geest in te spelen op nieuwe kansen en veranderende omstandigheden. Algoritmes zijn echter getraind voor een bepaald doel en bezitten (vooralsnog) niet de flexibiliteit om besluiten te nemen die geen raakvlak hebben met dit vooraf vastgestelde doel. Het feit dat een algoritme perfect schommelingen in de olieprijs kan voorspellen, betekent nog niet dat het ook een zinvolle bijdrage kan leveren bij het formuleren van de kernpunten van het bestuursbeleid.

  Technologie heeft nog meer grenzen die het vervangen van bestuurders door algoritmes binnen afzienbare tijd onrealistisch maakt. Zo is de nauwkeurigheid van een algoritme afhankelijk van de kwaliteit van de data die het algoritme heeft doorgenomen. Wanneer de data de fouten van historische beslissingen weerspiegelen, zal het algoritme dat ook doen. Bovendien kan er simpelweg geen beslissing worden genomen wanneer er weinig of geen historische gegevens bekend zijn.

  Naast data-afhankelijkheid wordt een bestuursfunctie voor (machine learning-)algoritmes bemoeilijkt door het (huidige) onvermogen van algoritmes om (1) beslissingen te nemen die vallen binnen de ethische kaders van de mens, aangezien de vage en open normen van ethiek lastig aan te leren zijn, en (2) adequaat te reageren op compliancerisico’s.²⁰x L. Enriques & D.A. Zetsche, Corporate technologies and the tech nirvana fallacy, ECGI Working Paper nr. 457/2019 (https://ecgi.global/sites/default/files/working_papers/documents/finalenriqueszetzsche.pdf), p. 27 en 28. Er is echter een groeiende stroming die normen van de ethiek probeert te betrekken bij machine learning. Zie hiervoor par. 4.4 en noot 35. Het aanpakken van compliancerisico’s vereist een belangenafweging die wordt ingekleurd door alle relevante omstandigheden van het geval, zoals de noodzaak tot transparantie, de positie van stakeholders en de publieke opinie. Hiervoor is een creatieve en niet op regels gebaseerde besluitvorming nodig die machines niet waarschijnlijk op korte termijn (volledig) kunnen nabootsen.

  De gedachte dat robotbestuurders in de voorzienbare toekomst menselijke bestuurders zullen vervangen, typeren Enriques en Zetsche als de tech nirvana fallacy.²¹x Enriques & Zetsche 2019, p. 19. Dit is ‘de neiging om een perfecte, door technologie verbeterde maar hypothetische wereld te contrasteren met de echte, onvolmaakte wereld waarin mensen momenteel leven’. Het is volgens hen een te optimistische kijk op de mogelijkheden van technologische ontwikkelingen, zonder rekening te houden met de interactie van mensen met technologie. Zij zijn derhalve ook van mening dat de introductie van de robotbestuurder nog enige tijd op zich zal laten wachten.

  Daarmee is niet gezegd dat algoritmes geen rol kunnen spelen binnen het bestuur. Zij zijn zeer geschikt om bestuurders te ondersteunen bij het nemen van vele (alledaagse) beslissingen die gaan over onderwerpen waarvoor een gedegen pool aan historische gegevens beschikbaar is. Volgens Hijink is het nu al zichtbaar dat in tal van besluitvormingsprocessen waarbij het formele besluit door een bestuurder wordt genomen, geautomatiseerde procedures of analyses waarbij AI is toegepast een belangrijke rol spelen.²²x Hijink 2019, p. 17. Het is mij echter onduidelijk waarom een algoritme deze adviserende functie zou moeten overstijgen en een plek in het bestuur moet bemachtigen. De opwinding over noviteiten lijkt de praktische bruikbaarheid vooralsnog te overtreffen.

  3.3 De aansprakelijkheid van robotbestuurders

  De conclusie dat algoritmes momenteel kunnen worden gebruikt door bestuurders als ondersteunend hulpmiddel, maar dat zij niet als daadwerkelijk bestuurder dienen te worden benoemd, heeft een juridisch voordeel. Het voorkomt namelijk de vraagstukken die spelen bij de aansprakelijkheid van robotbestuurders. Zo gebruikt Van der Spek het voorbeeld van een robotbestuurder die zichzelf verkeerde verbanden aanleert, hetgeen resulteert in een verkeerde investeringsbeslissing, die achteraf bezien te risicovol was en niet genomen had mogen worden.²³x Van der Spek 2020, p. 28 en 29. In een dergelijk geval, waarbij de trainingsdata compleet en correct blijken te zijn en de fout niet te herleiden is tot anderen, zou volgens Van der Spek kunnen worden betoogd dat enkel de robot een ernstig verwijt treft en niet de menselijke bestuurders, nu de robot niet conform de vereiste zorgvuldigheid heeft gehandeld.

  Mijns inziens lijkt de vaststelling dat de robot in dit geval enkel een ernstig verwijt treft in de praktijk onmogelijk. Als het algoritme zichzelf verkeerde verbanden heeft aangeleerd, dan is het (1) blootgesteld geweest aan verkeerde of achterhaalde data, (2) oorspronkelijk verkeerd geprogrammeerd, of (3) gebruikt voor een beslissing waarvoor het algoritme en de corresponderende trainingsdata niet bedoeld waren. In alle gevallen valt een mens wat te verwijten en kunnen menselijke bestuurders, afhankelijk van de ernst van de situatie en de getroffen maatregelen, aansprakelijk worden gesteld. Indien de fout toch niet terug te voeren valt tot een persoon, betekent dit dat het toezicht op het algoritme heeft gefaald, nu het onverklaarbare en niet-inzichtelijke beslissingen is gaan nemen. Dit zou bij belangrijke bedrijfsbeslissingen eveneens moeten worden toegerekend aan (menselijke) bestuurders en/of toezichthouders. In de volgende twee paragrafen zal ik de noodzaak tot dit toezicht verder uitdiepen.

• 4 De veranderende bestuurstaak als gevolg van data governance

  4.1 Het groeiende belang van data governance

  Het ligt in de lijn der verwachting dat de komende jaren meer bedrijfsprocessen volledig worden geautomatiseerd. Automatisering impliceert immers minder noodzakelijke arbeidskrachten en dus een kostenreductie. Deze ontwikkeling brengt naast diverse mogelijkheden een variëteit aan risico’s met zich mee waarop gedegen toezicht dient te worden gehouden.

  Volgens Armour en Eidenmueller zal het bepalen in hoeverre automatiseringsrisico’s moeten worden gecontroleerd en hoe dit het beste kan worden gerealiseerd, een steeds complexere en belangrijkere taak behelzen voor vennootschappen.²⁴x J. Armour & H. Eidenmueller, Self-driving corporations?, ECGI Working Paper nr. 475/2019, p. 6 (https://ecgi.global/working-paper/self-driving-corporations). Het in kaart brengen en beheersen van deze risico’s noemen zij data governance.²⁵x Armour & Eidenmueller 2019, p. 6.Data governance impliceert dat er hogere eisen gesteld zullen worden aan het toezicht door bestuurders en, in zekere mate ook, commissarissen op het gebruik van algoritmes in de bedrijfsprocessen. Het brengt tevens een verandering met zich mee in de vereiste vaardigheden van bestuurders, aangezien relevante technische en analytische expertise in belang zal toenemen.

  4.2 Data governance als onderdeel van het risicomanagement van de vennootschap

  Data governance kan worden geplaatst in het bredere kader van risicomanagement. Risicomanagement behoort tot een van de kerntaken van het bestuur en omvat de verplichting van het bestuur om toezicht te houden op de gang van zaken binnen de vennootschap, in het bijzonder met betrekking tot (1) het naleven van wet- en regelgeving door de vennootschap, en (2) beheersing van risico’s die voortkomen uit de bedrijfsactiviteiten en bedrijfsvoering.²⁶x M.M. Stolp & W. de Nijs Bik, De positie van bestuurders en commissarissen ter zake van risicomanagement, in: A. Tervoort e.a. (red.), Be (a)ware. Legal risk management (Bundel van het Nederlands Genootschap van Bedrijfsjuristen 1930-2015), Den Haag: Sdu Uitgevers 2015, p. 42. Zie ook D.A.M.H.W. Strik, Grondslagen bestuurdersaansprakelijkheid. Een maatpak voor de Board Room (diss. Rotterdam), Deventer: Kluwer 2010, p. 275. Aangenomen wordt dat alle bestuurders in beginsel collectief verantwoordelijk zijn voor risicomanagement.²⁷x Stolp & De Nijs Bik 2015, p. 44.

  Risicomanagement komt expliciet naar voren in artikel 2:141 lid 2/2:251 lid 2 BW, dat bepaalt dat het bestuur ten minste één keer per jaar de raad van commissarissen schriftelijk op de hoogte stelt van de hoofdlijnen van onder meer het beheers- en controlesysteem van de vennootschap. Ook de Nederlandse Corporate Governance Code (hierna: CGC) benadrukt het belang van risicomanagement. Zo stelt principe 1.2.3 CGC dat het bestuur de werking van de interne risicobeheersings- en controlesystemen monitort en ten minste jaarlijks een systematische beoordeling uitvoert van de opzet en de werking van de systemen. De precieze vereisten die aan de risicobeheersings- en controlesystemen mogen worden gesteld, zijn afhankelijk van de aard, omvang, complexiteit en levensfase van de onderneming, gebruiken binnen de branche en de aard van de gelopen risico’s.²⁸x D.A.M.H.W. Strik, Aansprakelijkheid voor een falend risicomanagement. Preadvies van de Vereniging Handelsrecht, Deventer: Kluwer 2009, p. 288.

  Dergelijke systemen toegepast op data governance betekent in mijn optiek dat de vennootschap waarborgen moet inbouwen tegen (niet limitatief):

  1. vooroordelen van het algoritme, door bijvoorbeeld de vooringenomenheid van de programmeur of als gevolg van de data die zijn verschaft aan het algoritme;²⁹x Zo is er kritiek geuit op het algoritme van Apple dat de kredietlimiet van de aanvrager van een creditcard bepaalt, omdat vrouwen minder krediet zouden kunnen krijgen dan hun echtgenoten die dezelfde gegevens aanleveren. Zie Apple Card investigated after gender discrimination complaints, The New York Times 10 november 2019. Beschikbaar via: www.nytimes.com/2019/11/10/business/Apple-credit-card-investigation.html. Zie verder W. Knight, Biased algorithms are everywhere, and no one seems to care, MIT Tech Review 12 juli 2017.

  2. systeemfouten van het algoritme door enerzijds onjuiste of gebrekkige programmering en anderzijds onvolledige of inadequate trainingsdata;

  3. taakoverschrijding van het algoritme, doordat het algoritme door verworven kennis onbedoelde of onverwachtse beslissingen gaat nemen;

  4. inbreuken op het algoritme door externe factoren, zoals hackers en virussen; en

  5. onbevoegde toegang tot en onrechtmatig gebruik van data.

  De werking van deze waarborgen kan worden gecontroleerd op basis van stresstesten, zoals gebruikelijk in bijvoorbeeld de auto- en vliegtuigindustrie of de bancaire sector. De noodzaak tot stresstesten is misschien kleiner wanneer het een algoritme betreft dat met een bepaalde zekerheid gezichten kan herkennen in foto’s op sociale media, maar is daarentegen des te groter wanneer hetzelfde algoritme wordt gebruikt voor het valideren van betalingstransacties. Een vennootschap zal derhalve op basis van de door haar verrichte bedrijfsactiviteiten moeten bepalen of en hoe er vorm wordt gegeven aan stresstesten.

  Concrete inspiratie voor risicobeheersings- en controlesystemen die zijn gericht op data governance kan worden gevonden in de richtlijnen voor algoritmisch handelen die zijn opgesteld door de Financial Industry Regulatory Authority, een van de Amerikaanse overheid onafhankelijke toezichthouder voor beleggingsondernemingen in de Verenigde Staten die is gebaseerd op zelfregulering.³⁰x Regulatory Notice 15-09 (www.finra.org/rules-guidance/notices/15-09). Soortgelijke regels gelden in de Europese Unie voor beleggingsondernemingen die zich met algoritmische handel bezighouden. Zie de Gedelegeerde Verordening (EU) 2017/589. De richtlijnen zien onder meer op documentatie die het mogelijk moet maken dat anderen (ten behoeve van audits en toezicht) de code kunnen begrijpen zonder de code zelf te bestuderen, mechanismes om het algoritme snel te kunnen uitschakelen, tests die letten op onbedoelde neveneffecten van het algoritme en waarschuwingssignalen die onbedoelde effecten van het algoritme signaleren.³¹x T.F.E. Tjong Tjin Tai, Aansprakelijkheid voor robots en algoritmes, NTHR 2017, afl. 3, p. 123-132. Verder raden de richtlijnen het aan om een interdisciplinair comité samen te stellen binnen de onderneming om de risico’s van algoritmische strategieën te beoordelen. Indien nodig kan dit comité maatregelen nemen om de geïdentificeerde risico’s te beperken. Dit comité kan ook de praktische vertaalslag overzien van ethische normen naar ethisch verantwoorde algoritmische beslissingen.³²x S. Tiell, Create an ethics committee to keep your AI initiative in check, Harvard Business Review 15 november 2019 (https://hbr.org/2019/11/create-an-ethics-committee-to-keep-your-ai-initiative-in-check).

  4.3 Afsluitende opmerkingen over data governance risicobeheer

  De mate waarin aan data governance gerelateerde risicobeheersings- en controlesystemen moeten worden ingebouwd, hangt af van de mate van automatisering binnen de bedrijfsvoering. De noodzaak daartoe en de bestuursverantwoordelijkheid daarbij lijken bijvoorbeeld meer aanwezig bij innovatieve betaaldienstverleners of omvangrijke webwinkels dan bij bouwbedrijven of baggeraars.

  Toch is het een taak van elk bestuur om ervoor zorg te dragen dat, toegespitst op de vennootschap in kwestie en met het oog op de stabiliteit van de bedrijfsvoering, dergelijke systemen in meer of mindere mate zijn opgetuigd. Hierbij strekt het tot aanbeveling om periodiek de werking en de opzet van de risicobeheersings- en controlesystemen zowel door interne als door externe partijen te laten testen. De vaststelling dat de risicobeheersings- en controlesystemen die zien op data governance afwezig zijn of ernstige gebreken vertonen, zou mijns inziens relatief snel moeten leiden tot bestuurdersaansprakelijkheid. Dit zal ik verder uitwerken in paragraaf 6.

  4.4 Data governance als onderdeel van de maatschappelijke verantwoordelijkheid van vennootschappen

  Data governance kan ook worden bekeken vanuit het perspectief van de maatschappelijke verantwoordelijkheid van de vennootschap. Zeer recent is door 25 hoogleraren ondernemingsrecht betoogd dat deze verantwoordelijkheid in de wettelijke taakopdracht van bestuurders en commissarissen zou moeten worden opgenomen.³³x J.W. Winter e.a., Naar een zorgplicht voor bestuurders en commissarissen tot verantwoorde deelname aan het maatschappelijk verkeer, Ondernemingsrecht 2020/86. De maatschappelijke verantwoordelijkheid van de vennootschap behelst de verplichting van het bestuur en commissarissen om ervoor te zorgen dat de vennootschap op een verantwoorde wijze in de samenleving opereert door rekening te houden met bijvoorbeeld het milieu, de belastingmoraal, beloningsverhoudingen binnen de onderneming, diversiteit en de ruimtelijke leefbaarheid.³⁴x Winter e.a. 2020.

  Een machine learning-algoritme neemt normen die voortvloeien uit de ethiek of maatschappelijke verantwoordelijkheid in principe niet mee in zijn besluitvorming. Zo laat een investeringsalgoritme zich in beginsel leiden door de winstgevendheid van soortgelijke historische beslissingen en niet door de mogelijke effecten op de werkgelegenheid van de doelvennootschap. Indien er een kredietaanvraag binnenkomt, kan worden aangenomen dat het beoordelingsalgoritme zich richt op de kredietwaardigheid van de aanvrager en niet op de mogelijkheid dat de verlener krediet verschaft voor milieuonvriendelijke bedrijfsactiviteiten. Dit heeft te maken met het doel waarvoor het algoritme in het leven is geroepen en de trainingsdata die zijn verschaft. Een algoritme is in de meeste gevallen opgesteld om vennootschappelijke doelstellingen te realiseren, zoals het verhogen van advertentie-inkomsten of het verkleinen van kredietrisico. Het is niet getraind om externe factoren als het milieu, de volksgezondheid of ruimtelijke leefbaarheid mee te nemen in de besluitvorming. Deze factoren dragen immers niet gelijk bij aan het behalen van de interne doelstellingen en zijn in de meeste gevallen tevens lastig te kwantificeren.

  De invoering van de maatschappelijke verantwoordelijkheid van de vennootschap in geautomatiseerde bedrijfsprocessen is in theorie mogelijk.³⁵x De laatste jaren is er meer nadruk gekomen op ethics in machine learning. Zie hiervoor B. Mittelstadt e.a., The ethics of algorithms: Mapping the debate, Big Data & Society (3) 2016, afl. 2 (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2909885) en E. Gibney, The battle for ethical AI at the world’s biggest machine-learning conference, Nature 24 januari 2020 (www.nature.com/articles/d41586-020-00160-y). Zo kan een algoritme in principe maatschappelijke belangen meenemen in de besluitvorming indien het de daarvoor noodzakelijke gegevens krijgt aangeleverd en het hem duidelijk is welk gewicht hieraan moet worden toegekend. Dit betekent echter dat menselijke interventie alsnog is vereist, nu een mens moet aangeven wat de belangen en de corresponderende zwaarte dienen te zijn. Zoals eerder aangegeven in paragraaf 3.2, kan een algoritme door de open normen van ethiek niet zelfstandig een maatschappelijke belangenafweging maken. Hiervoor is namelijk een creatieve en niet op regels gebaseerde besluitvorming nodig die algoritmes momenteel enkel gebrekkig kunnen nabootsen.

  Onder data governance versta ik dan ook de verplichting van het bestuur om ervoor te zorgen dat door menselijke supervisie de maatschappelijke verantwoordelijkheid en de daarmee verbonden belangenafweging hun weg vinden in de geautomatiseerde bedrijfsprocessen. Dit kan het bestuur bijvoorbeeld doen door ethische en maatschappelijke richtlijnen te formuleren ter zake van de belangen die moeten worden meegenomen in geautomatiseerde bedrijfsbeslissingen. Ook kan het bestuur een normenkader opstellen waaraan algoritmische beslissingen dienen te voldoen. Overigens wordt al vanuit verschillende invalshoeken over dergelijke kaders nagedacht. Een voorbeeld zijn de door De Nederlandsche Bank opgestelde richtlijnen ‘General principles for the use of Artificial Intelligence in the financial sector’, die op basis van een zestal principes een kader verschaffen waarbinnen ondernemingen de inzet van AI op een verantwoorde manier kunnen vormgeven.³⁶x Zie www.dnb.nl/nieuws/nieuwsoverzicht-en-archief/DNBulletin2019/dnb385020.jsp. Tevens kan worden verwezen naar de door de Europese Commissie in 2019 opgestelde ‘Ethics guidelines for trustworthy AI’, waarin zeven kernvereisten zijn vastgesteld en uitgewerkt voor het verantwoordelijk gebruik van AI.³⁷x De kernvereisten zijn: (1) menselijke controle en menselijk toezicht, (2) technische robuustheid en veiligheid, (3) privacy en datagovernance, (4) transparantie, (5) diversiteit, non-discriminatie en rechtvaardigheid, (6) maatschappelijk en milieuwelzijn, en (7) verantwoording (https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai).

• 5 Automatisering en bestuurdersaansprakelijkheid

  5.1 Inleiding

  Het succesvol omgaan met data governance vereist mijns inziens twee parallelle ontwikkelingen. Specialisten binnen de vennootschap zullen meer in staat moeten zijn om aan het bestuur uit te leggen hoe geautomatiseerde besluitvorming tot stand is gekomen, terwijl bestuurders de processen achter een dergelijke besluitvorming beter dienen te begrijpen. Binnen het kader van een behoorlijke taakvervulling (art. 2:9 BW) mag van bestuurders worden verwacht dat zij – afhankelijk van de mate waarin de bedrijfsvoering is geautomatiseerd – een solide begrip hebben van de mogelijkheden en risico’s van AI. Het lijkt mij dan ook wenselijk dat zowel de toepassing van als het toezicht op AI invulling gaat geven aan de maatstaf voor bestuurdersaansprakelijkheid.

  Ik zal hieronder een tweetal bestuurdersaansprakelijkheidsscenario’s bespreken die hierop betrekking hebben, namelijk (1) het scenario waarin een bestuursbesluit (volledig) is gebaseerd op een algoritme, bijvoorbeeld bij de aankoop van financiële instrumenten of onroerend goed, en (2) het scenario waarin er sprake is van falend data governance binnen de vennootschap.

  5.2 Aansprakelijkheid bij op AI gebaseerde bestuursbesluiten

  Bij het vaststellen van interne bestuurdersaansprakelijkheid ex artikel 2:9 BW beoordeelt de rechter of de bestuurder een ernstig verwijt treft.³⁸x Asser 2-I* De rechtspersoon, 2015/200. Zie ook HR 10 januari 1997, ECLI:NL:HR:1997:ZC2243, NJ 1997/360 (Staleman/Van de Ven). De maatstaf van ernstig verwijt houdt rekening met de beleidsvrijheid van het bestuur en met het feit dat bestuurshandelingen achteraf worden beoordeeld.³⁹x Asser 2-I* De rechtspersoon, 2015/200. Ontwikkelingen kunnen immers anders verlopen dan in eerste instantie werd aangenomen. Een hoge aansprakelijkheidsdrempel voorkomt dat bestuurders hun handelen in onwenselijke mate door defensieve overwegingen laten bepalen.⁴⁰x HR 20 juni 2008, ECLI:NL:HR:2008:BC4959, NJ 2009/21 (Willemsen/NOM), r.o. 5.3. Deze aanpak lijkt mij gerechtvaardigd als het gaat om menselijke bestuursbesluiten die onvermijdelijk onderhevig zijn aan de beperkte cognitieve vaardigheden van de mens. Het is echter de vraag of dit ook zou moeten opgaan indien hetzelfde bestuursbesluit is gebaseerd op een beslissing door een volledig datagedreven optimalisatiealgoritme. Kan in een dergelijk scenario eveneens worden beargumenteerd dat een bestuurder niet aansprakelijk moet worden gehouden, omdat hem niet kan worden verweten dat de realiteit anders bleek uit te pakken?

  Tot de in aanmerking te nemen omstandigheden bij het vaststellen van interne aansprakelijkheid ex artikel 2:9 BW behoren onder meer ‘het inzicht en de zorgvuldigheid die mogen worden verwacht van een bestuurder die voor zijn taak berekend is en deze nauwgezet vervult’.⁴¹x HR 10 januari 1997, ECLI:NL:HR:1997:ZC2243, NJ 1997/360 (Staleman/Van de Ven). Naar mijn mening impliceert dit dat een bestuurder bij bijvoorbeeld een investeringsbeslissing niet blindelings mag vertrouwen op een datagedreven optimalisatiealgoritme. Indien die beslissing later fatale gevolgen blijkt te hebben voor de vennootschap, zal de bestuurder moeten aantonen dat er zelfstandig onderzoek is verricht en dat de uitkomst van het algoritme slechts een bevestigende factor was.

  Dit lijkt mij niet meer dan logisch indien het algoritme een foutmarge van 30% kent. Het wordt echter anders wanneer het algoritme dermate is verbeterd dat zijn foutmarge slechts 4,5% bedraagt. Een bestuurder zal dan niet snel geneigd zijn om duur en tijdrovend onderzoek te laten uitvoeren om de investeringsbeslissing van het algoritme te bevestigen, in het bijzonder niet indien het algoritme al een vijftal jaren succesvolle soortgelijke beslissingen heeft genomen. In dit geval zou ik willen stellen dat het volstaat dat de bestuurder in het kader van de zorgvuldigheid van het besluitvormingsproces kan aantonen waarom juist deze investeringsbeslissing is genomen en hoe deze tot stand is gekomen. Zonder verklaarbaarheid en transparantie blijft het bestuursbesluit namelijk verholen in het onverklaarbare, waardoor er geen sprake kan zijn van beleidsvrijheid van het bestuur die bescherming behoeft. De hoge aansprakelijkheidsmaatstaf van ernstig verwijt tracht de vrijheid van het bestuur te waarborgen om op basis van een zorgvuldig proces te kiezen voor een bepaalde optie, maar dan moet het wel voor een rechter te achterhalen zijn dat er überhaupt opties zijn overwogen. Een terughoudende toetsing van bestuursbesluiten door de rechter acht ik zodoende ongepast indien de inzichtelijkheid en transparantie van op AI gebaseerde bestuursbesluiten, dat wil zeggen bestuursbesluiten die zijn genomen op basis van een aanbeveling van een algoritme, ontbreken. Hierbij zij vermeld dat de meeste machine learning-algoritmes tot op heden nauwelijks in staat zijn nauwkeurig uit te leggen waarom zij tot een bepaalde beslissing zijn gekomen.⁴²x Algoritmes waarvan de beslissingen achteraf niet kunnen worden verklaard, worden ook wel black box-modellen genoemd. Zie bijv. C. Rudin, Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead, Nature Machine Intelligence (1) 2019, p. 206-215 (www.nature.com/articles/s42256-019-0048-x).

  Het gebrek aan transparantie zorgt er tevens voor dat de werkzaamheden of adviezen van een algoritme mijns inziens niet gelijk mogen worden gesteld aan de werkzaamheden of adviezen van een derde. De Hoge Raad heeft bepaald dat een bestuurder in beginsel mag vertrouwen op door derden verrichte werkzaamheden ingeval de bestuurder die derden voor voldoende deskundig mocht houden en hij aan hun zorgvuldige taakvervulling niet behoefde te twijfelen.⁴³x HR 25 maart 2016, ECLI:NL:HR:2016:480, BNB 2016/112. Op basis van het kader dat volgt uit het arrest Staleman/Van de Ven komt Timmerman tot een soortgelijke conclusie wat betreft het vertrouwen op het advies van derden. Hij is van mening dat een bestuurder in beginsel mag afgaan op serieus uitziende, redelijk onderbouwde, aan redelijke objectieve maatstaven beantwoordende en betrekkelijk concrete adviezen van een doorgaans betrouwbare en redelijk onafhankelijke derde die voor de besluitvorming door de bestuurder dragend zijn of grote relevantie hebben, ook al blijken die adviezen later onjuist.⁴⁴x L. Timmerman, Vertrouwen op anderen; enkele algemene en vennootschapsrechtelijke opmerkingen, Ondernemingsrecht 2011, afl. 7, p. 260. Zoals hierboven aangegeven, kan het gros van de machine learning-algoritmes een aanbeveling echter niet voorzien van enige onderbouwing, laat staan een redelijke. Vandaar zullen bestuurders in het kader van een te nemen bestuursbesluit terughoudend moeten zijn bij het vertrouwen op de competenties van een algoritme. Hoezeer het algoritme ook bekwaam is gebleken bij gelijksoortige beslissingen in het verleden, het gebrek aan een redelijke onderbouwing van de aanbeveling van het algoritme leidt ertoe dat een door een bestuurder gevoerd vertrouwensverweer in een aansprakelijkheidsscenario niet snel zal slagen.

  Het nalaten van een bestuurder om een machine learning-algoritme te ontwikkelen dat kan komen tot, bijvoorbeeld, betere investeringsbeslissingen, terwijl een dergelijk algoritme wel (gemakkelijk) had kunnen worden ontwikkeld, zou in de toekomst mogelijkerwijs ook kunnen leiden tot bestuurdersaansprakelijkheid. Immers, beargumenteerd kan worden dat ‘het inzicht en de zorgvuldigheid die mogen worden verwacht van een bestuurder die voor zijn taak berekend is en deze nauwgezet vervult’, vereisen dat de bestuurder significante investeringsrisico’s minimaliseert met behulp van de voor hem beschikbare techniek. Verzuimen een machine learning-algoritme te ontwikkelen dat deze investeringsrisico’s kan verminderen, zou dan ook de bestuurder kunnen worden aangerekend. Alhoewel dergelijke aansprakelijkheidsscenario’s zich naar mijn weten nog niet hebben voorgedaan, is het niet onwaarschijnlijk dat aansprakelijkheidsvorderingen in de toekomst hierop worden gebaseerd naarmate het gebruik van AI meer in de samenleving is geïntegreerd. Met het oog op het behouden van de menselijke grip op de bedrijfsvoering ben ik echter van mening dat de eis van inzichtelijkheid zou moeten prevaleren boven de verplichting om het advies in te winnen van (onverklaarbare) algoritmes. In een complexer wordende onderneming is immers de transparantie van het besluitvormingsproces cruciaal. Zolang het voor de mens niet te achterhalen valt hoe de beslissing van een algoritme tot stand is gekomen, acht ik het onwenselijk dat een bestuurder zou zijn gehouden tot de inzet van op AI gebaseerde technieken.

  5.3 Aansprakelijkheid bij gebrekkige data governance

  Zoals besproken in paragraaf 4, zullen het in kaart brengen en beheersen van automatiseringsrisico’s (data governance) een steeds belangrijkere taak behelzen voor vennootschappen. Het groeiend belang van data governance impliceert dat er strengere eisen mogen worden gesteld aan het toezicht door bestuurders op de geautomatiseerde bedrijfsprocessen. Hierdoor ligt het in de lijn der verwachting dat bestuurders in de toekomst vaker te maken krijgen met aansprakelijkheidsvorderingen die zijn gestoeld op falende data governance.

  Een voorbeeld van gebrekkige data governance betreft een incident dat plaatsvond bij Knight Capital Group LLC (hierna: Knight), een marktmaker in de financiële markten. Door een systeemfout in een nieuw handelsalgoritme verloor Knight op 1 augustus 2012 meer dan $ 460 miljoen doordat het algoritme onbedoeld voor miljarden aan aandelen ging opkopen.⁴⁵x Knight Capital glitch loss hits $461m, Financial Times 17 oktober 2012 (www.ft.com/content/928a1528-1859-11e2-80e9-00144feabdc0). In de week voor de go-live van het nieuwe handelsalgoritme implementeerde een programmeur van Knight handmatig nieuwe programmering op acht servers. De programmeur had echter een fout gemaakt door de nieuwe programmering niet naar een van de servers te kopiëren, waardoor de nieuwe programmering conflicteerde met de oude. Knight had geen tweede programmeur die de implementatie beoordeelde en er was ook geen geautomatiseerd systeem om iemand te waarschuwen voor de aanwezige discrepantie. Verder had Knight geen schriftelijke procedures die een aanvullende toets vereisten.⁴⁶x Zie https://medium.com/dataseries/the-rise-and-fall-of-knight-capital-buy-high-sell-low-rinse-and-repeat-ae17fae780f6. Het gevolg was dat het handelsalgoritme in ongeveer drie kwartier onbedoeld 4 miljoen orders uitvoerde voor meer dan 397 miljoen aandelen.

  Indien data governance als onderdeel van risicobeheer wordt beschouwd, bestaat er een kans dat de Knight-casus zou hebben geresulteerd in bestuurdersaansprakelijkheid onder Nederlands recht.⁴⁷x Tenzij de bestuurder zich kan disculperen. Dit lijkt mij echter niet snel mogelijk, want het kan goed worden gesteld dat een controlesysteem op (nieuwe) handelssoftware, als onderdeel van risicomanagement, tot de algemene gang van zaken van de vennootschap behoort. Zie ook Strik 2009, p. 277. De algehele afwezigheid van – of aanwezigheid van gebrekkige – risicobeheersingssystemen (daaronder begrepen interne controlesystemen) is namelijk een grond voor onbehoorlijk bestuur.⁴⁸x Strik 2009, p. 287. Van een redelijk bekwame bestuurder van een marktmaker mag op het gebied van risico-identificatie en risicoanalyse worden verwacht dat hij waarborgen inbouwt tegen fouten bij de implementatie van nieuwe handelssoftware. In het bijzonder nu die software de kern vormt van de bedrijfsvoering van een marktmaker.

  Gezien het toenemend belang van data governance zullen scenario’s overeenkomstig aan de Knight-casus zich ongetwijfeld vaker voordoen in de toekomst.⁴⁹x Een ander voorbeeld betreft het oncologisch onderzoeksproject door het AI-platform van IBM genaamd ‘Watson’. Volgens interne documenten van IBM vonden medische experts die met Watson werkten ‘meerdere voorbeelden van onveilige en incorrecte aanbevelingen voor behandelingen’. Het management van IBM Watson Health zou op de hoogte zijn geweest van de fouten. De fouten zouden te wijten zijn aan het feit dat de artsen die de taak hadden om Watson te voorzien van data, het AI-platform geen echte data van patiënten gaven, maar hypothetische data die door slechts een handvol artsen waren aangeleverd. Hierdoor werd Watson beïnvloed door de behandelingsvoorkeuren van die artsen. Zie IBM’s Watson gave unsafe recommendations for treating cancer, The Verge 26 juli 2018 (www.theverge.com/2018/7/26/17619382/ibms-watson-cancer-ai-healthcare-science). Ik ben van mening dat de lat voor bestuurdersaansprakelijkheid in dit soort gevallen niet te hoog dient te worden gelegd. De reden hiervoor is dat de risico’s die zich verwezenlijken bij verdergaande automatisering steeds moeilijker te voorzien zijn, waardoor de noodzaak tot risicobeheer belangrijker wordt. Een vergelijking kan worden getrokken met de kredietcrisis die startte in 2007 en waarbij het bundelen van obligaties met verschillende risicobeoordelingen aan de hand van (uiterst) ingewikkelde wiskundige modellen een grote rol heeft gespeeld.⁵⁰x R.D. Vriesendorp & R.M. Wibier, De kredietcrisis en het privaatrecht, NJB 2009/2 en R.M. Wibier, Lessen naar aanleiding van de kredietcrisis. Maatregelen om een nieuwe crisis te voorkomen volgens de Turner Review, NJB 2009/917. Wetgevers hebben vervolgens door middel van regulering ingegrepen om de negatieve effecten hiervan te voorkomen.⁵¹x Zie specifiek Verordening (EU) 2017/2402 (Securitisatieverordening) wat betreft regelgeving in de Europese Unie. Verder is er nog andere relevante Europese wetgeving, bijv. Richtlijn 2014/65/EU (MiFID II) en Verordening (EU) 648/2012 (EMIR). Overweging 3 van de Securitisatieverordening luidt: ‘[D]e Unie wenst het wetgevingskader aan te scherpen dat na de financiële crisis is ingevoerd om de risico’s op te vangen die eigen zijn aan zeer complexe, ondoorzichtige en riskante securitisatie.’ Een parallel kan worden getrokken met ondoorzichtige machine learning-algoritmes. De ondoorzichtigheid hiervan is een product van de hoge dimensionaliteit van gegevens, complexe code en veranderlijke besluitvormingslogica, aldus Mittelstadt 2016, p. 6. Voor automatisering ontbreekt echter dergelijke regulering, die mogelijkerwijs als onnodig beperkend voor innovatie wordt beschouwd.⁵²x Voor de bescherming van persoonsgegevens kan in dit opzicht Verordening (EU) 2016/679 (AVG) worden vermeld als voorbeeld van regulering met een breed toepassingsbereik, dat ook ziet op artificial intelligence. Bij gebreke van omvangrijke wetgeving zal regulering derhalve primair vanuit de vennootschap zelf moeten komen. Een relatief lage bestuurdersaansprakelijkheidsdrempel voor gebrekkige data governance kan daarbij dienen als stok achter de deur. Hierdoor hebben bestuurders alle ruimte om automatisering te integreren in de vennootschap, maar zijn zij wel gehouden tot het voeren van gedegen risicobeheer dat specifiek kan worden toegespitst op de mate van automatisering binnen de bedrijfsvoering.

• 6 Conclusie

  In dit artikel heb ik beschreven dat door het unieke karakter van de bestuurstaak en de technologische beperkingen van AI de robotbestuurder niet binnen afzienbare tijd als reëel alternatief heeft te gelden voor de menselijke bestuurder. Het is echter wel een gegeven dat door de huidige AI-renaissance automatisering een vlucht zal nemen. Deze ontwikkeling brengt een verscheidenheid aan zowel kansen als risico’s met zich mee voor vennootschappen. Het in kaart brengen en beheersen van de aan AI gerelateerde risico’s – waarvan de gevolgen bij verwezenlijking vaak niet op voorhand zijn te voorzien door de complexiteit van de materie – zijn fundamenteel voor de stabiliteit van de bedrijfsvoering. Bij gebreke van door de wetgever opgelegde eisen van toezicht is het derhalve verstandig om bestuurdersaansprakelijkheid bij gebrekkig AI-risicobeheer relatief snel aan te nemen. Een soortgelijke conclusie trek ik voor zover het bestuursbesluiten betreft die (haast) volledig zijn gebaseerd op de aanbeveling van een algoritme. Indien een dergelijk bestuursbesluit negatief uitpakt en niet kan worden uitgelegd waarom het algoritme tot een bepaalde aanbeveling is gekomen, dient dit snel te leiden tot bestuurdersaansprakelijkheid.

  De vraag hoe de bestuurstaak- en verantwoordelijkheden dienen te veranderen, hangt uiteindelijk samen met de meer elementaire kwestie van het behoud van menselijke controle in een geautomatiseerde wereld. Met dit artikel heb ik getracht een voorzet te geven wat betreft de rol die het vennootschapsrecht daarin kan spelen. Door de eisen van zowel deugdelijk AI-risicobeheer als transparantie van het besluitvormingsproces kunnen wij de menselijke hegemonie binnen de vennootschap (hopelijk) nog enige tijd voortzetten.

Noten

• 1 J.B.S. Hijink, Robots in de boardroom, Ondernemingsrecht 2019/3 en A. van der Spek, De toekomst van de vennootschappelijk bestuurder: aan de bestuurstafel met een robot?, MvO 2020, afl. 1-2, p. 23-30.

• 2 Deze definitie is ontleend aan M. Tegmark, Life 3.0, New York: Alfred A. Knopf 2017, p. 55 en 56.

• 3 A.M. Turing, Computing Machinery and Intelligence, Mind (59) 1950, afl. 236, p. 433-460 (https://phil415.pbworks.com/f/TuringComputing.pdf).

• 4 Hierbij zij vermeld dat Google Duplex erin is geslaagd om een kappersafspraak te maken zonder dat de persoon aan de andere kant van de lijn het doorhad dat zij met een computer converseerde. Zie www.youtube.com/watch?v=lXUQ-DdSDoE voor de geluidsopname.

• 5 M. Ford, Architects of Intelligence, Birmingham: Packt 2018, p. 528 en 529.

• 6 Ford 2018, p. 10. Zie ook Tegmark 2017, p. 97.

• 7 K.F. Lee, AI Superpowers, Boston: Houghton Mifflin Harcourt 2018, p. 6 en 9.

• 8 Lee 2018, p. 6 en 9.

• 9 Lee 2018, p. 9.

• 10 Europese Commissie, Whitepaper on Artificial Intelligence – A European approach to excellence and trust, 19 februari 2020, p. 4 (https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf).

• 11 B. Marr, A short history of machine learning – Every manager should read, Forbes 16 februari 2016 (www.forbes.com/sites/bernardmarr/2016/02/19/a-short-history-of-machine-learning-every-manager-should-read/#7f20ad9815e7).

• 12 Lee 2018, p. 13.

• 13 Hijink 2019.

• 14 Zie het rapport ‘Deep shift. Technology tipping points and societal impact’ (Survey Report), september 2015 (www3.weforum.org/docs/WEF_GAC15_Technological_Tipping_Points_report_2015.pdf).

• 15 Ford 2018, p. 187.

• 16 HR 20 april 2018, ECLI:NL:HR:2018:652, NJ 2018/331 (Boskalis/Fugro).

• 17 HR 4 april 2014, ECLI:NL:HR:2014:797, NJ 2014/286 (Cancun).

• 18 Zo bezit het algoritme dat als eerste robotbestuurder is aangesteld bij een venture capital fund naar het recht van Hong Kong de enkele vaardigheid dat het op basis van grote hoeveelheden data investeringsbeslissingen in biomedische bedrijven kan aanbevelen of afraden. Alhoewel het een bruikbare vaardigheid is binnen de venture capital-industrie, zal de media-aandacht een rol hebben gespeeld bij de benoeming van dit algoritme tot bestuurder. Het is een baanbrekende boodschap om aan de buitenwereld – en dus ook aan potentiële investeerders – te verkondigen dat jouw innovatieve bedrijf de eerste robotbestuurder ter wereld heeft aangesteld. Zie voor een beschrijving van de robotbestuurder ook Van der Spek 2020, p. 27.

• 19 Asser 2-I* De rechtspersoon, 2015/194.

• 20 L. Enriques & D.A. Zetsche, Corporate technologies and the tech nirvana fallacy, ECGI Working Paper nr. 457/2019 (https://ecgi.global/sites/default/files/working_papers/documents/finalenriqueszetzsche.pdf), p. 27 en 28. Er is echter een groeiende stroming die normen van de ethiek probeert te betrekken bij machine learning. Zie hiervoor par. 4.4 en noot 35.

• 21 Enriques & Zetsche 2019, p. 19.

• 22 Hijink 2019, p. 17.

• 23 Van der Spek 2020, p. 28 en 29.

• 24 J. Armour & H. Eidenmueller, Self-driving corporations?, ECGI Working Paper nr. 475/2019, p. 6 (https://ecgi.global/working-paper/self-driving-corporations).

• 25 Armour & Eidenmueller 2019, p. 6.

• 26 M.M. Stolp & W. de Nijs Bik, De positie van bestuurders en commissarissen ter zake van risicomanagement, in: A. Tervoort e.a. (red.), Be (a)ware. Legal risk management (Bundel van het Nederlands Genootschap van Bedrijfsjuristen 1930-2015), Den Haag: Sdu Uitgevers 2015, p. 42. Zie ook D.A.M.H.W. Strik, Grondslagen bestuurdersaansprakelijkheid. Een maatpak voor de Board Room (diss. Rotterdam), Deventer: Kluwer 2010, p. 275.

• 27 Stolp & De Nijs Bik 2015, p. 44.

• 28 D.A.M.H.W. Strik, Aansprakelijkheid voor een falend risicomanagement. Preadvies van de Vereniging Handelsrecht, Deventer: Kluwer 2009, p. 288.

• 29 Zo is er kritiek geuit op het algoritme van Apple dat de kredietlimiet van de aanvrager van een creditcard bepaalt, omdat vrouwen minder krediet zouden kunnen krijgen dan hun echtgenoten die dezelfde gegevens aanleveren. Zie Apple Card investigated after gender discrimination complaints, The New York Times 10 november 2019. Beschikbaar via: www.nytimes.com/2019/11/10/business/Apple-credit-card-investigation.html. Zie verder W. Knight, Biased algorithms are everywhere, and no one seems to care, MIT Tech Review 12 juli 2017.

• 30 Regulatory Notice 15-09 (www.finra.org/rules-guidance/notices/15-09). Soortgelijke regels gelden in de Europese Unie voor beleggingsondernemingen die zich met algoritmische handel bezighouden. Zie de Gedelegeerde Verordening (EU) 2017/589.

• 31 T.F.E. Tjong Tjin Tai, Aansprakelijkheid voor robots en algoritmes, NTHR 2017, afl. 3, p. 123-132.

• 32 S. Tiell, Create an ethics committee to keep your AI initiative in check, Harvard Business Review 15 november 2019 (https://hbr.org/2019/11/create-an-ethics-committee-to-keep-your-ai-initiative-in-check).

• 33 J.W. Winter e.a., Naar een zorgplicht voor bestuurders en commissarissen tot verantwoorde deelname aan het maatschappelijk verkeer, Ondernemingsrecht 2020/86.

• 34 Winter e.a. 2020.

• 35 De laatste jaren is er meer nadruk gekomen op ethics in machine learning. Zie hiervoor B. Mittelstadt e.a., The ethics of algorithms: Mapping the debate, Big Data & Society (3) 2016, afl. 2 (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2909885) en E. Gibney, The battle for ethical AI at the world’s biggest machine-learning conference, Nature 24 januari 2020 (www.nature.com/articles/d41586-020-00160-y).

• 36 Zie www.dnb.nl/nieuws/nieuwsoverzicht-en-archief/DNBulletin2019/dnb385020.jsp.

• 37 De kernvereisten zijn: (1) menselijke controle en menselijk toezicht, (2) technische robuustheid en veiligheid, (3) privacy en datagovernance, (4) transparantie, (5) diversiteit, non-discriminatie en rechtvaardigheid, (6) maatschappelijk en milieuwelzijn, en (7) verantwoording (https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai).

• 38 Asser 2-I* De rechtspersoon, 2015/200. Zie ook HR 10 januari 1997, ECLI:NL:HR:1997:ZC2243, NJ 1997/360 (Staleman/Van de Ven).

• 39 Asser 2-I* De rechtspersoon, 2015/200.

• 40 HR 20 juni 2008, ECLI:NL:HR:2008:BC4959, NJ 2009/21 (Willemsen/NOM), r.o. 5.3.

• 41 HR 10 januari 1997, ECLI:NL:HR:1997:ZC2243, NJ 1997/360 (Staleman/Van de Ven).

• 42 Algoritmes waarvan de beslissingen achteraf niet kunnen worden verklaard, worden ook wel black box-modellen genoemd. Zie bijv. C. Rudin, Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead, Nature Machine Intelligence (1) 2019, p. 206-215 (www.nature.com/articles/s42256-019-0048-x).

• 43 HR 25 maart 2016, ECLI:NL:HR:2016:480, BNB 2016/112.

• 44 L. Timmerman, Vertrouwen op anderen; enkele algemene en vennootschapsrechtelijke opmerkingen, Ondernemingsrecht 2011, afl. 7, p. 260.

• 45 Knight Capital glitch loss hits $461m, Financial Times 17 oktober 2012 (www.ft.com/content/928a1528-1859-11e2-80e9-00144feabdc0).

• 46 Zie https://medium.com/dataseries/the-rise-and-fall-of-knight-capital-buy-high-sell-low-rinse-and-repeat-ae17fae780f6.

• 47 Tenzij de bestuurder zich kan disculperen. Dit lijkt mij echter niet snel mogelijk, want het kan goed worden gesteld dat een controlesysteem op (nieuwe) handelssoftware, als onderdeel van risicomanagement, tot de algemene gang van zaken van de vennootschap behoort. Zie ook Strik 2009, p. 277.

• 48 Strik 2009, p. 287.

• 49 Een ander voorbeeld betreft het oncologisch onderzoeksproject door het AI-platform van IBM genaamd ‘Watson’. Volgens interne documenten van IBM vonden medische experts die met Watson werkten ‘meerdere voorbeelden van onveilige en incorrecte aanbevelingen voor behandelingen’. Het management van IBM Watson Health zou op de hoogte zijn geweest van de fouten. De fouten zouden te wijten zijn aan het feit dat de artsen die de taak hadden om Watson te voorzien van data, het AI-platform geen echte data van patiënten gaven, maar hypothetische data die door slechts een handvol artsen waren aangeleverd. Hierdoor werd Watson beïnvloed door de behandelingsvoorkeuren van die artsen. Zie IBM’s Watson gave unsafe recommendations for treating cancer, The Verge 26 juli 2018 (www.theverge.com/2018/7/26/17619382/ibms-watson-cancer-ai-healthcare-science).

• 50 R.D. Vriesendorp & R.M. Wibier, De kredietcrisis en het privaatrecht, NJB 2009/2 en R.M. Wibier, Lessen naar aanleiding van de kredietcrisis. Maatregelen om een nieuwe crisis te voorkomen volgens de Turner Review, NJB 2009/917.

• 51 Zie specifiek Verordening (EU) 2017/2402 (Securitisatieverordening) wat betreft regelgeving in de Europese Unie. Verder is er nog andere relevante Europese wetgeving, bijv. Richtlijn 2014/65/EU (MiFID II) en Verordening (EU) 648/2012 (EMIR). Overweging 3 van de Securitisatieverordening luidt: ‘[D]e Unie wenst het wetgevingskader aan te scherpen dat na de financiële crisis is ingevoerd om de risico’s op te vangen die eigen zijn aan zeer complexe, ondoorzichtige en riskante securitisatie.’ Een parallel kan worden getrokken met ondoorzichtige machine learning-algoritmes. De ondoorzichtigheid hiervan is een product van de hoge dimensionaliteit van gegevens, complexe code en veranderlijke besluitvormingslogica, aldus Mittelstadt 2016, p. 6.

• 52 Voor de bescherming van persoonsgegevens kan in dit opzicht Verordening (EU) 2016/679 (AVG) worden vermeld als voorbeeld van regulering met een breed toepassingsbereik, dat ook ziet op artificial intelligence.