• 1. Inleiding

  Kunstmatige of artificiële intelligentie (AI) wordt vaak genoemd als de toekomst van de gezondheidszorg. AI kan tot op zekere hoogte menselijke intelligentie simuleren en daardoor complexe problemen oplossen. AI-technologie kan aan de hand van grote hoeveelheden data een bepaalde uitkomst voorspellen, zoals diagnoses, ziekteverloop of de beste behandelmethode. Deze toepassingen worden momenteel vooral gebruikt in de medisch-specialistische sector, met name op het gebied van medische beeldanalyse, zoals MRI- en CT-scans.¹xKPMG, Inventarisatie AI-toepassingen in gezondheid en zorg in Nederland 2020, p. 4. De inzet van AI kan de kwaliteit van zorg verbeteren en tegelijkertijd de toegankelijkheid vergroten.²xRVS, Waarde(n)volle zorgtechnologie. Een verkennend advies over de kansen en risico’s van kunstmatige intelligentie in de zorg, Den Haag 2019. Ondanks deze voordelen gaat de inzet van AI-technologie ook gepaard met potentiële gevaren voor patiënten. AI-systemen kunnen fouten maken, wat kan leiden tot gezondheidsschade. Hieraan gerelateerd is het gebrek aan transparantie en uitlegbaarheid van veel AI-applicaties. De grote hoeveelheden data die AI-systemen vereisen kunnen bovendien een risico opleveren voor de privacy van patiënten.³xM. Matheny e.a., Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril, Washington D.C.: National Academy of Medicine 2019. Vanwege dergelijke risico’s heeft de Europese Commissie in april 2021 een wetsvoorstel gepresenteerd om AI in de gehele Europese Unie (EU) te reguleren.⁴xEuropese Commissie, Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union legislative acts, COM(2021) 206 final. Dit wetsvoorstel zal ook gevolgen hebben voor het gebruik van AI in de zorg.

  Deze bijdrage bespreekt de recente juridische ontwikkelingen met betrekking tot regulering van AI in de gezondheidszorg en de gevolgen daarvan voor de rechten van de patiënt. Deze ontwikkelingen worden besproken vanuit het Europees perspectief en het nationaal wettelijk kader wordt buiten beschouwing gelaten. Paragraaf 2 zet de mogelijke gevolgen van AI voor patiënten uiteen. Paragraaf 3 gaat in op het huidige juridisch kader omtrent AI in de zorg. Vervolgens bespreekt paragraaf 4 het wetsvoorstel van de Europese Commissie voor regulering van AI. Tot slot blikt paragraaf 5 vooruit naar de toekomst van AI in het Europese zorgstelsel.

• 2. Grote kansen én grote risico’s

  In de afgelopen jaren is het onderzoek naar en de ontwikkeling van AI-toepassingen in de gezondheidszorg in de EU aanzienlijk toegenomen.⁵xT. Davenport & R. Kalakota, ‘The potential for artificial intelligence in healthcare’, Future Healthcare Journal 2019, p. 94–98. De meeste AI maakt gebruik van machine learning-technieken: het ontwikkelen van algoritmes waarmee computers kunnen leren. De algoritmes worden getraind door grote datasets te analyseren en hier steeds patronen in te herkennen. Als ze dan aan andere gegevens worden blootgesteld, kunnen ze zich zelfstandig aanpassen en ook in nieuwe gevallen voorspellingen doen.⁶xE. Alpaydin, Introduction to Machine Learning, Fourth Edition, Cambridge: MIT Press 2020. Op die manier kunnen algoritmes bijdragen aan besluitvormingsprocessen in de zorg, door bijvoorbeeld patronen in grote hoeveelheden patiëntengegevens te vinden en het risico van een specifieke patiënt op een bepaalde ziekte te voorspellen.⁷xY. Wang e.a., ‘Application of artificial intelligence to the diagnosis and therapy of colorectal cancer’, American Journal of Cancer Research 2020, 10(11), p.3575-3598. Door middel van deze technieken belooft AI zorg voor patiënten nauwkeuriger, efficiënter en toegankelijker te maken.⁸xP. Amisha e.a., ‘Overview of artificial intelligence in medicine’, Journal of Family Medicine and Primary Care 2019, p. 2328–2331. Een voorbeeld van een AI-toepassing die de nauwkeurigheid verhoogt is een Fins model dat de effecten van een bepaalde nieuwe medicijncombinatie op specifieke kankercellen voorspelt.⁹xH. Julkunen e.a., ‘Leveraging multi-way interactions for systematic prediction of pre-clinical drug combination effects’, Nature Communications 2020, p. 11. AI kan de zorg efficiënter maken door bepaalde taken te automatiseren, zoals een Zweeds AI-model dat bepaalt welke mammogrammen nadere beoordeling door de radioloog behoeven.¹⁰xK. Dembrower e.a., ‘Effect of artificial intelligence-based triaging of breast cancer screening mammograms on cancer detection and radiologist workload: a retrospective simulation study’, The Lancet Digital Health 2020, p. e468–e474. Verbetering van de toegankelijkheid van zorg kan bijvoorbeeld in de vorm van een AI-chatbot die de meest gestelde vragen over COVID-19 beantwoordt.¹¹x‘Vonage Enables AI Chatbot for Spanish Government to Provide Accurate, Updated COVID-19 Information’, businesswire.com, 23 april 2020.

  De opmars van AI in de gezondheidszorg heeft echter ook een keerzijde. Algoritmische besluitvorming kan een ingrijpende invloed hebben op de grondrechten van burgers, zo ook die van patiënten. Gezien de kwetsbare en afhankelijke positie van patiënten kunnen de risico’s in de zorg zelfs groter zijn. Met name de patiëntenrechten op informatie, geïnformeerde toestemming en gegevensbescherming kunnen in het gedrang komen. Algoritmes worden vaak gezien als een ‘black box’: de algoritmes zijn zo complex dat de interne logica van de systemen moeilijk te begrijpen is. Door dit gebrek aan transparantie kunnen artsen die gebruik maken van AI-technologie de betrouwbaarheid van beslissingen niet goed controleren en is het lastig om aan patiënten uit te leggen hoe beslissingen tot stand zijn gekomen. Daarbij speelt ook het discriminatierisico dat AI met zich meebrengt: als de data waarmee het algoritme is getraind niet voldoende representatief zijn of stigmatiserende verbanden bevatten, kunnen de uitkomsten deze vooroordelen reflecteren.¹²xS. Kuik & S. van Deursen, Juridische aspecten van algoritmes die besluiten nemen: een verkennend onderzoek, Universiteit Utrecht, juni 2020. De gebrekkige transparantie van veel AI-systemen kan problematisch zijn voor het recht op geïnformeerde toestemming, dat noodzaakt dat patiënten voldoende informatie nodig hebben om tot een weloverwogen beslissing met betrekking tot hun behandeling te komen.¹³xD. Schiff & J. Borenstein, ‘How Should Clinicians Communicate With Patients About the Roles of Artificially Intelligent Team Members?’, AMA Journal of Ethics 2019, p. 138–145. De grote hoeveelheden data die AI-systemen vereisen kunnen bovendien een risico opleveren voor de privacy van patiënten.¹⁴xM. Matheny e.a., Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril, Washington D.C.: National Academy of Medicine 2019. Ten eerste werkt het de ‘datahonger’ van commerciële bedrijven in de hand, waarbij patiënten steeds vaker gevraagd worden om gevoelige (gezondheids)gegevens te delen om het algoritme te kunnen trainen.¹⁵xAP, Toezicht op AI & Algoritmes 2020. Daarnaast verzamelen veel apparaten die gebruik maken van AI persoonlijke informatie, wat kan leiden tot een gedetailleerd profiel van een individu. Ook maakt juist AI het gebruik van geanonimiseerde data precair: door het vermogen om patronen te herkennen, zijn AI-toepassingen in staat om geanonimiseerde data te herleiden naar een persoon.¹⁶xL. Rocher e.a., ‘Estimating the success of re-identifications in incomplete datasets using generative models’, Nature Communications 2019 (10), 3069. Persoonsgegevens, waaronder gevoelige gegevens over de gezondheid, kunnen op straat komen te liggen of worden gebruikt voor andere (schadelijke) doeleinden.¹⁷xCapgemini Invent, Nulmeting databeschikbaarheid in gezondheid en zorg, Utrecht: 2020. Gebrek aan vertrouwelijkheid van (medische) persoonsgegevens heeft gevolgen voor de privacy van de patiënt, kan de arts-patiëntrelatie schaden, en ook het vertrouwen in de medische wetenschap als geheel doen wankelen.¹⁸xKamerstukken II 1989/90, 21561, nr. 3, p. 14 en 38-40.

• 3. Huidig Europees juridisch kader voor AI in de zorg

  3.1. Knelpunten voor fundamentele rechten

  Het gebruik van AI kan vragen en problemen oproepen in relatie tot fundamentele rechten.¹⁹xFRA, Getting the future right: Artificial Intelligence and Fundamental Rights, Luxembourg: Publications Office of the European Union 2020, p. 47-55. Het gebrek aan transparantie over de werking van AI zet universele waarden als menselijke waardigheid en persoonlijke autonomie onder druk: AI wordt regelmatig gebruikt om mensen te manipuleren, bijvoorbeeld in de vorm van gepersonaliseerde advertenties.²⁰xA. Renda e.a., Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe, Luxembourg: Publications Office of the European Union 2021, p. 31-33 Ook het recht op toegang tot informatie (art. 10 EVRM) is kwetsbaar, onder meer door de rol van algoritmes bij de verspreiding van misinformatie.²¹xIdem, p. 33-36. Vanwege vooroordelen in de trainingsdata of het algoritme kan AI-technologie ongelijkheid in de hand werken, wat gevolgen kan hebben voor het discriminatieverbod (art. 14 EVRM).²²xIdem, p. 26-30. Daarnaast levert het gebruik van AI risico’s op voor het recht op bescherming van privéleven (art. 8 EVRM)²³xIdem, p. 36-38. en raakt het aan het recht op een eerlijk proces en effectieve rechtsbescherming (art. 6 en 13 EVRM).²⁴xM.J. Vetzo, J.H. Gerards & R. Nehmelman, Algoritmes en grondrechten, Den Haag: Boom juridisch 2018, p. 165-174. Het is twijfelachtig of het huidige EU-juridisch kader voldoende handvatten biedt om de knelpunten die AI oplevert voor de bescherming van de fundamentele rechten het hoofd te bieden, met name bij gebruik in de zorg.

  3.2. Algemene verordening gegevensbescherming

  Bij het gebruik van persoonsgegevens is de Algemene verordening gegevensbescherming (AVG) van toepassing.²⁵xArt. 2 lid 1 jo. art. 4 lid 1 AVG; C. van Balen & O.S. Nijveld, ‘De Algemene verordening gegevensbescherming: een introductie voor de zorgsector’, TvGR 2017, p. 607-624. Er is sprake van persoonsgegevens als de informatie mogelijk herleidbaar is tot een individu.²⁶xArt. 4 lid 1 AVG. De AVG stelt regels omtrent het gebruik van persoonsgegevens. Zo moet er onder meer een grondslag zijn voor verwerking, mogen gegevens in principe niet voor een ander doel worden verwerkt dan waarvoor ze verzameld zijn, en moeten ze op een transparante manier worden verwerkt.²⁷xArt. 5 en 6 AVG. Daarnaast gelden er specifieke rechten voor betrokkenen van wie de persoonsgegevens worden verwerkt en plichten van degenen die verantwoordelijk zijn voor verwerking.²⁸xArt. 12-22, 24-36 AVG.

  AI-toepassingen in de zorg maken over het algemeen op twee manieren gebruik van persoonsgegevens. Ten eerste gebruiken AI-toepassingen persoonsgegevens in de trainingsfase: de datasets op basis waarvan algoritmes worden getraind bevatten vaak grote hoeveelheden ‘geanonimiseerde’ persoonsgegevens. Anonieme gegevens vallen niet onder de AVG, omdat deze niet herleidbaar zijn tot een individu.²⁹xOverweging 26 AVG. Om te bepalen of een persoon identificeerbaar is, moet echter rekening worden gehouden met alle middelen waarvan redelijkerwijs valt te verwachten dat zij worden gebruikt om de persoon te identificeren.³⁰xIdem. Nu de kans groot is dat algoritmes ‘geanonimiseerde data’, die in principe buiten het bereik van de AVG vallen, toch kunnen koppelen aan individuen, kunnen ook trainingsdata kwalificeren als ‘persoonsgegevens’, en hebben betrokkenen verschillende rechten ten aanzien van het gebruik van deze gegevens ten behoeve van het algoritme.

  Ten tweede kan een algoritme beslissingen nemen over een specifieke persoon. Zijn persoonsgegevens worden dan ‘getoetst’ door het algoritme en de AVG is van toepassing.³¹xArt. 2 AVG. De AVG bepaalt dat betrokkenen altijd geïnformeerd moeten worden over dergelijk gebruik van algoritmische besluitvorming.³²xArt. 13 lid 2 sub f en art. 14 lid 2 sub g AVG. Besluitvorming zonder menselijke tussenkomst ‘waaraan rechtsgevolgen verbonden zijn’ of individuen ‘anderszins in aanmerkelijke mate treffen’, is verboden onder de AVG, tenzij dit noodzakelijk is voor de uitvoering van een overeenkomst, is toegestaan bij wet of er uitdrukkelijke toestemming is van de betrokkene.³³xArt. 22 lid 1 en art. 22 lid 2 AVG. Het ligt voor de hand dat medische beslissingen met aanmerkelijke risico’s voor de individuele gezondheid hier ook onder vallen. Dit betekent dat in dat geval voorzien moet zijn in menselijke tussenkomst en patiënten het besluit moeten kunnen aanvechten.³⁴xArt. 22 lid 3 AVG. Daarnaast moeten patiënten worden geïnformeerd over de onderliggende logica van het algoritmische besluit.³⁵xArt. 13 lid 2 sub f en art. 14 lid 2 sub g AVG. De AVG stelt geen nadere regels voor beslissingen met gebruik van AI-toepassingen waarbij wél een arts betrokken is en ook niet voor beslissingen die betrokkenen niet ‘in aanmerkelijke mate treffen’.

  3.3. Verordening medische hulpmiddelen

  De Verordening medische hulpmiddelen (VMH) heeft tot doel het waarborgen van een hoog niveau van veiligheid en gezondheid van medische hulpmiddelen en het tegelijkertijd ondersteunen van innovatie.³⁶xOverweging 1 en 2 VMH. In sommige gevallen kan AI-software of -technologie gekwalificeerd worden als medisch hulpmiddel in de zin van de VMH: ‘een instrument, toestel of apparaat, software, implantaat, reagens, materiaal of ander artikel dat of die door de fabrikant is bestemd om (…) te worden gebruikt bij de mens voor een of meer van de volgende specifieke medische doeleinden’, bijvoorbeeld ‘diagnose, preventie, monitoring, voorspelling, prognose, behandeling of verlichting van ziekte’.³⁷xArt. 2 lid 1 VMH. Kortom: indien de fabrikant de intentie had om de AI-toepassing voor een specifiek medisch doel te gebruiken, zal de toepassing aan de eisen van de VMH moeten voldoen. AI-software die als doel heeft ‘levensstijl en welzijn’ te verbeteren, is geen medisch hulpmiddel, ook niet als het in de behandelrelatie wordt ingezet.³⁸xOverweging 19 VMH. AI-toepassingen die kwalificeren als medisch hulpmiddel worden onderworpen aan een conformiteitsbeoordeling.³⁹xArt. 52 VMH. De exacte vereisten hangen af van de risicoklasse: hoe hoger het risico voor de patiënt, hoe hoger de klasse, en hoe strenger de regulering.⁴⁰xBijlage VIII VMH. De VMH stelt voornamelijk technische regels met betrekking tot de bescherming van de fysieke veiligheid en gezondheid van patiënten, en is minder gericht op de bescherming van patiëntenrechten. Wel vereist de VMH passende toegang tot informatie voor gebruikers, en zijn fabrikanten gehouden om gebruikers over ‘eventuele restrisico’s’ te informeren, wat kan bijdragen aan de problematiek omtrent transparantie van AI.⁴¹xBijlage 1, hoofdstuk I en III VMH. Gezien het doel van de VMH lijkt dit vereiste echter vooral te zien op fysieke risico’s.

• 4. Nieuwe regulering door de Europese Unie

  4.1. Achtergrond wetsvoorstel

  Er wordt al enkele jaren gewerkt aan regulering van AI op Europees niveau: in 2018 publiceerde de Europese Commissie de ‘European approach to AI’ en sprak de wens uit om ‘van de EU een wereldleider te maken in de AI-revolutie’. Gelijktijdig werd een ‘High-Level Expert Group on Artificial Intelligence’ in het leven geroepen om de Commissie te adviseren over het nieuwe beleid omtrent AI.⁴²xEuropese Commissie, Kunstmatige intelligentie voor Europa, COM(2018) 237. In 2020 werkte de Commissie haar strategie verder uit in een Witboek over AI,⁴³xEuropese Commissie, Witboek over kunstmatige intelligentie – een Europese benadering op basis van excellentie en vertrouwen, COM(2020) 65. en concludeerde dat het huidige EU-juridisch kader onvoldoende toereikend was om de nieuwe uitdagingen van AI op te lossen, met name op het gebied van productveiligheid en -aansprakelijkheid.⁴⁴xEuropese Commissie, Verslag over de gevolgen van kunstmatige intelligentie, het internet der dingen en robotica op het gebied van veiligheid en aansprakelijkheid, COM(2020) 64. De Raad van de Europese Unie riep ook op tot meer regulering om de verenigbaarheid met de grondrechten te waarborgen.⁴⁵xRaad van de Europese Unie, Presidency conclusions – The Charter of Fundamental Rights in the context of Artificial Intelligence and Digital Change, 11481/20. Hierop presenteerde de Europese Commissie in april 2021 een nieuwe verordening voor de regulering van AI: de ‘Artificial Intelligence Act’ (AIA).⁴⁶xEuropese Commissie, Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union legislative acts, COM(2021) 206 final. Het doel van het wetsvoorstel is het harmoniseren van regels omtrent AI, en het creëren van een ecosysteem van vertrouwen in AI door het gebruik ervan in overeenstemming te brengen met Europese waarden, fundamentele rechten en beginselen.⁴⁷xOverweging 1.1, Explanatory Memorandum, AIA.

  4.2. Definities en risicoclassificatie

  De AIA definieert ‘AI-systeem’ als zijnde ‘software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with’.⁴⁸xArt. 3 AIA. In Annex I worden vervolgens specifieke technieken en methoden genoemd, waaronder machine learning. De verordening werkt net als de VMH met risicoclassificatie: de mate van risico bepaalt de mate van regulering. Er worden drie categorieën gehanteerd: ‘onaanvaardbaar risico’, ‘hoog risico’ en ‘beperkt risico’. De AIA verbiedt een aantal toepassingen vanwege ‘onaanvaardbare risico’s voor de veiligheid, bestaansmiddelen en rechten van mensen’, zoals algoritmische sociaalkredietsystemen, die burgers een bepaalde score toekennen op basis van gedrag.⁴⁹xArt. 5 AIA. Onder ‘hoog risico’ vallen AI-systemen die bedoeld zijn om te worden gebruikt in producten die op EU-niveau worden gereguleerd zoals opgesomd in Annex II, waaronder de VMH.⁵⁰xArt. 6 AIA. Dat betekent dat alle medische hulpmiddelen die onder de VMH vallen worden gekwalificeerd als ‘hoog risico’.⁵¹xOverweging 30 en 31 AIA. Ook de AI-systemen die gebruikt worden in de gebieden zoals opgesomd in Annex III kwalificeren als ‘hoog risico’, zoals kritieke infrastructuurnetwerken en wetshandhaving. Zorg of gezondheid wordt hier niet genoemd.⁵²xArt. 6 lid 2 en Annex III AIA. AI-systemen die bedoeld zijn om te interageren met mensen kwalificeren als ‘beperkt risico’, zoals chatbots.⁵³xArt. 52 AIA. Voor de toepassingen met een hoog of beperkt risico stelt de verordening regels, AI-toepassingen met een minimaal risico worden niet gereguleerd.

  4.3. Regels en toezicht

  Voordat aanbieders hun AI-systemen op de EU-markt mogen brengen moet voldaan zijn aan enkele verplichtingen.⁵⁴xArt. 16 AIA. Voor AI-systemen met een hoog risico geldt dat er een adequaat systeem moet zijn voor risicobeoordeling en -beperking,⁵⁵xArt. 9 AIA. dat de kwaliteit van de datasets hoog moet zijn,⁵⁶xArt. 10 AIA. dat de werking van het systeem voor gebruikers voldoende transparant moet zijn en dat er een informatieplicht geldt.⁵⁷xArt. 13 AIA. Daarnaast moeten AI-systemen zo ontworpen worden dat ze voldoende robuust en accuraat zijn, dat er sterke beveiliging is en menselijk toezicht mogelijk is.⁵⁸xArt. 14 en 15 AIA. Om conformiteit te kunnen controleren moet alles uitvoerig gedocumenteerd worden, moeten de activiteiten van AI-systemen geregistreerd worden en dient het systeem te worden opgenomen in een Europese database.⁵⁹xArt. 11, 12, 51, 60 AIA. Toezicht en handhaving komen in handen van de nationale markttoezichtautoriteiten. Daarnaast wordt er een Europees comité voor kunstmatige intelligentie in het leven geroepen.⁶⁰xArt. 56-59 AIA. Voor toepassingen met een beperkt risico geldt onder de AIA alleen een transparantieverplichting.⁶¹xArt. 52 AIA. De Commissie zet hiervoor in op vrijwillige gedragscodes.⁶²xArt. 69 AIA.

  4.4. Betekenis voor patiëntenrechten?

  De nieuwe AI-verordening gaat niet specifiek in op het gebruik van AI in de zorg en de effecten voor patiënten. Dat is niet verrassend gezien de beperkte bevoegdheden van de EU op het gebied van individuele gezondheidszorg.⁶³xArt. 168 VWEU. Toch heeft het wetsvoorstel gevolgen voor de bescherming van Europese patiëntenrechten vanwege de focus op fundamentele rechten en Europese waarden. Veel van de patiëntenrechten die op nationaal niveau gelden worden namelijk beschermd als onderdeel van de grondrechten in het EVRM.⁶⁴xH.B. van Kolfschooten, M.M. Spaander & J. Legemaate, ‘De autonome patiënt na 70 jaar EVRM: van dwangpsychiatrie naar gentechnologie?’, NTM-NJCMBull. 2021/2, p. 113-130. Het wetsvoorstel lijkt echter op veel punten niet direct een oplossing te bieden voor de risico’s van algoritmische besluitvorming voor patiënten. Het voorstel geeft beperkte rechten aan patiënten en stelt gelimiteerde bijbehorende verplichtingen voor betrokken zorgverleners en producenten van AI in de zorg.

  De centrale tekortkoming van het wetsvoorstel lijkt te zijn dat het zich niet richt op de rechten van degenen die blootgesteld worden aan algoritmes, maar voornamelijk op de plichten van aanbieders (leveranciers of producenten). Een algemeen recht op bezwaar voor patiënten ontbreekt bijvoorbeeld.⁶⁵xF. Reinhold, ‘AlgorithmWatch’s response to the European Commission’s proposed regulation on Artificial Intelligence – A major step with major gaps’, algorithmwatch.org, 22 april 2021. Daarnaast is het systeem van risicoclassificering erg rigide: de lat voor ‘onacceptabele AI’ ligt hoog door de aanvullende eis te stellen dat de systemen fysieke of psychologische schade moeten (kunnen) veroorzaken.⁶⁶xArt. 5 AIA. Ook stelt de AIA voornamelijk regels over AI-systemen in de ‘hoog risico’-categorie. Dit betekent in de praktijk dat AI-systemen in de zorg die niet onder de VMH vallen minimaal worden gereguleerd. Veel andere AI-toepassingen, zoals apps en chatbots, zullen wel als ‘beperkt risico’ classificeren, maar dan geldt alleen de transparantieverplichting. Deze verplichting is niet direct van betekenis voor patiënten, nu deze enkel geldt voor leveranciers of producenten ten opzichte van gebruikers van AI-systemen (i.e. het ziekenhuis, de arts of de overheid) en niet ten opzichte van degene die wordt blootgesteld aan het algoritme (i.e. de patiënt).⁶⁷xArt. 52 AIA.

  Daarnaast gelden er voor veel van de geformuleerde regels uitzonderingen voor gebruik ten behoeve van publieke veiligheid.⁶⁸xArt. 5 AIA. In het kader van patiëntenrechten doet dit de vraag rijzen in hoeverre de Commissie AI-systemen voor volksgezondheid wil reguleren, zeker nu sinds de COVID-19-pandemie meer AI-toepassingen worden ingezet ter bescherming van de publieke gezondheid en veiligheid.⁶⁹xS. Cave e.a., ‘Using AI ethically to tackle covid-19’, BMJ 2021, 372. Ook gaat de AIA voorbij aan de tekortkomingen van de AVG voor algoritmische beslissingen waarbij wél een arts betrokken is en beslissingen die betrokkenen niet ‘in aanmerkelijke mate treffen’. Daarnaast heeft het wetsvoorstel geen aandacht voor de bredere problematiek omtrent privacy: de tendens om zo veel mogelijk persoonsgegevens te verzamelen schuurt met de doelstelling van de AVG en kan juist patiënten benadelen. Tot slot is het de vraag in hoeverre de definitie die de Commissie hanteert van AI toekomstbestendig is: door het toepassingsbereik te beperken tot specifieke technieken en methoden zouden toekomstige innovaties op het gebied van AI buiten de verordening kunnen vallen.

• 5. Slotbeschouwing

  De eerste stappen in Europese regulering van AI zijn gezet en het is nu wachten op behandeling door het Europees Parlement en de Raad van de Europese Unie. Ondanks de beperkte aandacht voor de zorgsector zal het wetsvoorstel grote weerslag hebben op patiënten in Europa. De arts-patiëntrelatie zal mee moeten veranderen met de technologie, maar in hoeverre is het huidige beschermingskader voor patiëntenrechten in Europa voldoende uitgerust op deze transformatie? Het is de vraag of – en hoe – de EU aan deze problematiek tegemoet zal komen. Een nieuwe aanpassing van de VMH? Een richtsnoer vanuit het Europees Comité voor gegevensbescherming? Een aanvullende bepaling in de AIA? Of is de Commissie van mening dat de bescherming van individuele patiënten tegen de gevaren van AI een nationale aangelegenheid is? Het is in ieder geval van belang om ook in de tussentijd oog te hebben voor de risico’s die AI-toepassingen opleveren voor patiënten. De coronacrisis heeft digitalisering in de zorg in een stroomversnelling gebracht en de ontwikkelingen op het gebied van AI in de zorg zullen zich niet laten afremmen door discussie over wetgevingsinitiatieven vanuit Brussel.

Noten

• 1 KPMG, Inventarisatie AI-toepassingen in gezondheid en zorg in Nederland 2020, p. 4.

• 2 RVS, Waarde(n)volle zorgtechnologie. Een verkennend advies over de kansen en risico’s van kunstmatige intelligentie in de zorg, Den Haag 2019.

• 3 M. Matheny e.a., Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril, Washington D.C.: National Academy of Medicine 2019.

• 4 Europese Commissie, Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union legislative acts, COM(2021) 206 final.

• 5 T. Davenport & R. Kalakota, ‘The potential for artificial intelligence in healthcare’, Future Healthcare Journal 2019, p. 94–98.

• 6 E. Alpaydin, Introduction to Machine Learning, Fourth Edition, Cambridge: MIT Press 2020.

• 7 Y. Wang e.a., ‘Application of artificial intelligence to the diagnosis and therapy of colorectal cancer’, American Journal of Cancer Research 2020, 10(11), p.3575-3598.

• 8 P. Amisha e.a., ‘Overview of artificial intelligence in medicine’, Journal of Family Medicine and Primary Care 2019, p. 2328–2331.

• 9 H. Julkunen e.a., ‘Leveraging multi-way interactions for systematic prediction of pre-clinical drug combination effects’, Nature Communications 2020, p. 11.

• 10 K. Dembrower e.a., ‘Effect of artificial intelligence-based triaging of breast cancer screening mammograms on cancer detection and radiologist workload: a retrospective simulation study’, The Lancet Digital Health 2020, p. e468–e474.

• 11 ‘Vonage Enables AI Chatbot for Spanish Government to Provide Accurate, Updated COVID-19 Information’, businesswire.com, 23 april 2020.

• 12 S. Kuik & S. van Deursen, Juridische aspecten van algoritmes die besluiten nemen: een verkennend onderzoek, Universiteit Utrecht, juni 2020.

• 13 D. Schiff & J. Borenstein, ‘How Should Clinicians Communicate With Patients About the Roles of Artificially Intelligent Team Members?’, AMA Journal of Ethics 2019, p. 138–145.

• 14 M. Matheny e.a., Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril, Washington D.C.: National Academy of Medicine 2019.

• 15 AP, Toezicht op AI & Algoritmes 2020.

• 16 L. Rocher e.a., ‘Estimating the success of re-identifications in incomplete datasets using generative models’, Nature Communications 2019 (10), 3069.

• 17 Capgemini Invent, Nulmeting databeschikbaarheid in gezondheid en zorg, Utrecht: 2020.

• 18 Kamerstukken II 1989/90, 21561, nr. 3, p. 14 en 38-40.

• 19 FRA, Getting the future right: Artificial Intelligence and Fundamental Rights, Luxembourg: Publications Office of the European Union 2020, p. 47-55.

• 20 A. Renda e.a., Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe, Luxembourg: Publications Office of the European Union 2021, p. 31-33

• 21 Idem, p. 33-36.

• 22 Idem, p. 26-30.

• 23 Idem, p. 36-38.

• 24 M.J. Vetzo, J.H. Gerards & R. Nehmelman, Algoritmes en grondrechten, Den Haag: Boom juridisch 2018, p. 165-174.

• 25 Art. 2 lid 1 jo. art. 4 lid 1 AVG; C. van Balen & O.S. Nijveld, ‘De Algemene verordening gegevensbescherming: een introductie voor de zorgsector’, TvGR 2017, p. 607-624.

• 26 Art. 4 lid 1 AVG.

• 27 Art. 5 en 6 AVG.

• 28 Art. 12-22, 24-36 AVG.

• 29 Overweging 26 AVG.

• 30 Idem.

• 31 Art. 2 AVG.

• 32 Art. 13 lid 2 sub f en art. 14 lid 2 sub g AVG.

• 33 Art. 22 lid 1 en art. 22 lid 2 AVG.

• 34 Art. 22 lid 3 AVG.

• 35 Art. 13 lid 2 sub f en art. 14 lid 2 sub g AVG.

• 36 Overweging 1 en 2 VMH.

• 37 Art. 2 lid 1 VMH.

• 38 Overweging 19 VMH.

• 39 Art. 52 VMH.

• 40 Bijlage VIII VMH.

• 41 Bijlage 1, hoofdstuk I en III VMH.

• 42 Europese Commissie, Kunstmatige intelligentie voor Europa, COM(2018) 237.

• 43 Europese Commissie, Witboek over kunstmatige intelligentie – een Europese benadering op basis van excellentie en vertrouwen, COM(2020) 65.

• 44 Europese Commissie, Verslag over de gevolgen van kunstmatige intelligentie, het internet der dingen en robotica op het gebied van veiligheid en aansprakelijkheid, COM(2020) 64.

• 45 Raad van de Europese Unie, Presidency conclusions – The Charter of Fundamental Rights in the context of Artificial Intelligence and Digital Change, 11481/20.

• 46 Europese Commissie, Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union legislative acts, COM(2021) 206 final.

• 47 Overweging 1.1, Explanatory Memorandum, AIA.

• 48 Art. 3 AIA.

• 49 Art. 5 AIA.

• 50 Art. 6 AIA.

• 51 Overweging 30 en 31 AIA.

• 52 Art. 6 lid 2 en Annex III AIA.

• 53 Art. 52 AIA.

• 54 Art. 16 AIA.

• 55 Art. 9 AIA.

• 56 Art. 10 AIA.

• 57 Art. 13 AIA.

• 58 Art. 14 en 15 AIA.

• 59 Art. 11, 12, 51, 60 AIA.

• 60 Art. 56-59 AIA.

• 61 Art. 52 AIA.

• 62 Art. 69 AIA.

• 63 Art. 168 VWEU.

• 64 H.B. van Kolfschooten, M.M. Spaander & J. Legemaate, ‘De autonome patiënt na 70 jaar EVRM: van dwangpsychiatrie naar gentechnologie?’, NTM-NJCMBull. 2021/2, p. 113-130.

• 65 F. Reinhold, ‘AlgorithmWatch’s response to the European Commission’s proposed regulation on Artificial Intelligence – A major step with major gaps’, algorithmwatch.org, 22 april 2021.

• 66 Art. 5 AIA.

• 67 Art. 52 AIA.

• 68 Art. 5 AIA.

• 69 S. Cave e.a., ‘Using AI ethically to tackle covid-19’, BMJ 2021, 372.