Sécurité des systèmes d’intelligence artificielle

L’utilisation de systèmes d’IA en santé soulève également des enjeux relatifs à la sécurité. La robustesse des systèmes d’IA et du stockage des données massives est essentielle afin de limiter les différentes conséquences éthiques et sociales présentées précédemment – soit, afin de favoriser la protection de la vie privée et de la confidentialité, le respect du consentement libre et éclairé, ou la protection contre les biais et la discrimination potentiels. Assurer la sécurité se heurte également aux principaux enjeux techniques de l’utilisation des systèmes d’IA, et ce de différentes manières.

Les risques concernant la sécurité des systèmes d’IA peuvent être issus de failles techniques inhérentes à ces technologies (IEEE 2017) ou d’une l’IA qui ne remplirait pas ses fonctions de manière sécuritaireayant été mal évaluée (Mai V. dans Déclaration de Montréal IA Responsable 2018). Qu’il s’agisse de conséquences non-intentionnelles ou d’acteurs malveillants qui exploiteraient les vulnérabilités des systèmes (Brundage et al. 2018; Villani 2018), différentes failles peuvent être à l’origine d’entraves à la sécurité. Lipton (2016) alerte par exemple au fait que les interprétations post-hoc formulées par les algorithmes d’apprentissage profond (pour remédier à l’opacité des réseaux de neurones) sont facilement manipulables, de manière volontaire ou non. Ceci serait d’autant plus préoccupant si les explications créées sont humainement plausibles – conditions dans lesquelles il serait difficile d’identifier quand les explications sont fausses (Lipton 2016). Il existe également des risques associés à des comportements non-anticipés ou inattendus des systèmes, qui peuvent provenir de difficultés dans les choix d’architecture des réseaux de neurones, des échecs lors de l’entrainement, ou des erreurs dans l’implémentation (IEEE 2017). Il est également nécessaire de contrôler l’accessibilité aux données, tant pour les protéger de la corruption que pour empêcher de perdre l’accès à des informations à cause d’interruptions de système imprévues (Floridi et Taddeo 2016), de veiller à ce que les systèmes adaptatifs (comme les robots de soins) soit régulièrement contrôlés (traçabilité) et que les systèmes connectés ne soient pas piratables (Devillers 2017).

De nombreuses vulnérabilités non-résolues à ce jour laissent place à la possibilité de différents types « d’attaques » des systèmes d’IA comme, par exemple, l’inclusion de données faussées dans l’échantillon d’entrainement afin que le modèle apprenne des erreurs, l’exploitation

de défauts dans la conception des objectifs du système autonome ou encore les attaques antagonistes (adversarial attacks) (Brundage et al. 2018; Villani 2018). Les attaques par exemples antagonistes (ou adversarial examples attacks) correspondent à l’utilisation de données d’entrées (inputs) choisies pour causer une modification du résultat de l’analyse (output) du réseau de neurones sans que ce changement ne soit perceptible par un humain (Brown et al. 2017; Finlayson et al. 2018). Généralement, ce genre d’attaque est réalisé sur des images pour duper les réseaux de classification et les forcer à faire des erreurs (Brown et al. 2017; Finlayson et al. 2018), en modifiant un peu chaque pixel, ou un nombre défini de pixels – modification communément appelé « patch » (Brown et al. 2017). Ce genre d’attaques peut cependant également être dirigé contre des modèles qui utilisent d’autres types de données que des images, comme le NLP (Finlayson et al. 2018). Ces attaques ne fonctionnent pas seulement dans des conditions de laboratoire mais également dans le monde réel (Brown et al. 2017; Finlayson et al. 2018), et peuvent être partagées sur internet (Brown et al. 2017).

Finlayson et al. (2018) mettent en évidence que le domaine médical est particulièrement vulnérable aux attaques antagonistes, pour différentes raisons : la présence d’incitatifs financiers inhérents au système de santé (ex. les données diagnostiques représentent de l’argent car elles sont associées à une valeur monétaire de remboursement), la vulnérabilité technique des systèmes d’IA en santé (ex. le manque de diversité dans les architectures des réseaux de neurones utilisés) voire du système de santé lui-même (ex. l’infrastructure médicale est difficile à mettre à jour et de nombreux professionnels de santé sont peu, voire pas, formés aux méthodes et techniques d’IA).

Si l’intérêt des recherches sur les exemples antagonistes est surtout axé sur la mise en évidence des limites des systèmes actuels, ces recherches ont aussi retenu l’attention étant donné les menaces inhérentes que les attaques antagonistes représentent en termes de cyber-sécurité (Finlayson et al. 2018). C’est plus généralement le cas de nombreuses recherches sur l’IA, l’IA étant considérée comme une technologie à double-usage (Brundage et al. 2018) soit, qui présente des usages à la fois potentiellement bénéfiques et potentiellement néfastes (Selgelid 2013). Un usage problématique ou « mauvais » est issu du fait que les connaissances scientifiques partagées (publiquement ou au sein du monde académique) pourraient être utilisées par des acteurs

« malveillants » à des fins allant à l’encontre des intérêts de sécurité nationale et de la santé publique, portant notamment atteinte aux droits des individus (Miller et Selgelid 2007; Revill et Dando 2008; Selgelid 2009b; 2009a; 2013). La nécessité de partage inhérente à l’innovation numérique en santé ainsi que la mutualisation des données augmentent inexorablement les possibilités de double-usage. Cependant, le partage peut aussi être en faveur d’une meilleure sécurité, comme le soutient le rapport Villani (2018), traitant ici du cas des voitures autonomes : le partage de données pourrait permettre aux développeurs d’envisager un maximum de possibilités en vue d’assurer la fiabilité des systèmes qu’ils développent.

L’étude de Brown et al. (2017) est un exemple de recherche qui relève de l’IA où le double- usage potentiel est évident. Les chercheurs ont démontré qu'ils pouvaient générer un patch universel, robuste et ciblé qui permet de duper les algorithmes de classification peu importe la localisation ou la taille du patch, et ce sans connaitre préalablement l’image à attaquer. Si les motivations de leur travail étaient de mettre en évidence des failles potentielles dans la robustesse des systèmes d’IA afin d’en améliorer la sécurité, la mise en évidence de ces failles peut également inquiéter si ces informations venaient à être utilisées par des acteurs « malveillants ».

Les recherches à double-usage font face à un dilemme, qui réfère au conflit entre les valeurs défendables de protection de la santé et la sécurité publique versus la promotion du progrès scientifique (Selgelid 2009a; 2009b; Miller et Selgelid 2007; Resnik 2009). Il s’agit en effet, d’une part, de protéger la liberté académique afin d’assurer l’avancée des connaissances pour le bien commun et, d’autre part, d’empêcher un mésusage potentiel et prévenir ou gérer les risques issus de son développement (Selgelid 2009a; 2009b; Miller et Selgelid 2007; Resnik 2009). Selon Brundage et al. (2018), il est impossible pour les chercheurs en IA de simplement éviter la possibilité de mésusage de leur recherche. Cette notion de mésusage fait écho à trois sources possibles d’atteintes à la sécurité identifiées lors de la consultation de la Déclaration de Montréal (Mai V. dans Déclaration de Montréal IA Responsable 2018, p. 185) : une IA conçue dans le but de menacer la sécurité publique (soit, avec une intention de nuire); l’utilisation des données collectées pour des fins autres que celles envisagées (que l’intention de nuire soit volontaire ou non); un détournement volontaire des systèmes d’IA (ex. piratage). L’utilisation des

données de santé pour des fins autres qu’envisagées est en effet préoccupant, comme le cas d’une personne, en 2013, qui s’est vue refuser l’entrée aux États-Unis sur la base de son passé dépressif, suite à l’accès à son dossier médical (O’Doherty et al. 2016).

Considérant l’intention de nuire, les performances des systèmes d’IA peuvent également se retrouver à la source d’atteintes à la sécurité, si utilisées à des fins problématiques - ou « mal utilisées » (IEEE 2017). Il existerait en effet un risque d’expansion des menaces existantes liées à différents facteurs : considérant l’évolutivité et la puissance croissante des systèmes d’IA, les attaques pourraient devenir plus faciles à réaliser, d’autant plus que la portée de ces systèmes est de plus en plus large, leur accès de plus en plus facile et leur diffusion rapide (Brundage et al. 2018). Apparaît alors également un dilemme entre la protection de la sécurité et l’efficacité des systèmes. Lors de la consultation réalisée dans le cadre de la Déclaration de Montréal, ce dilemme entre la protection de la sécurité et de l’efficacité des systèmes a d’ailleurs été souligné. Certains ont exprimé la crainte que des règles de sécurité trop restrictives pourraient nuire à l’efficacité des modèles et ont fait ressortir les enjeux liés à la recherche de compromis entre un système fiable et un système inopérant (Déclaration de Montréal IA Responsable 2018).

Enfin, certains craignent que les capabilités croissantes des systèmes d’IA conduisent à une perte de contrôle. Loin du catastrophisme des scénarios dystopiques associés au développement d’une superintelligence ou d’une explosion intelligente, qui conduiraient les systèmes à prendre le contrôle de l’humanité, une préoccupations majeures est relative au comment garantir un contrôle humain sur les systèmes d’IA de plus en plus autonomes et garantir la fiabilité de ce contrôle : en assurant par exemple qu’ils fonctionnent selon des valeurs similaires aux nôtres ou en assurant leur incorruptibilité (soit une protection contre la manipulation et le sabotage) (Russell, Dewey, et Tegmark 2015; Davis 2015; Shulman, Jonsson, et Tarleton 2009; Bostrom et Yudkowsky 2011). Une étude menée par Müller et Bostrom (2016) sur un groupe d’experts en IA a mis en évidence que selon ces experts, il existe une forte probabilité que des systèmes superintelligents soient développés dans les 30 années à venir (pour 75% d’entre eux), et les chances que ces

développements soient « mauvais » ou « extrêmement mauvais » s’élèveraient, selon leur perception, à 31%72 _{(Müller et Bostrom 2016).}

Plusieurs défendent alors qu’il est nécessaire de réfléchir à l’éthique de ces dispositifs - et notamment aux solutions face aux enjeux de sécurité - dès la conception, en amont des conséquences problématiques, afin de garantir la robustesse des systèmes (IEEE 2018; Brundage et al. 2018; Villani 2018; CNIL 2017). Ceci rejoint la nécessité de répondre à un principe de « loyauté » des plateformes qui fonctionneraient sur la base de systèmes d’IA ou de données massives, « visant à ce que l’outil algorithmique ne puisse trahir sa communauté d’appartenance (consumériste ou citoyenne), qu’il traite ou non des données personnelles » (CNIL 2017, p. 6). Son application consiste à assurer le fonctionnement des systèmes « de bonne foi » et « sans chercher à l’altérer ou à le détourner à des fins étrangères à l’intérêt des utilisateurs » (CNIL 2017, p. 48). Il semble en effet impossible que les aspects relatifs à la sécurité soient intégrés dans les systèmes a

posteriori, notamment parce-que : « il n’est pas possible d’intégrer la dimension sécurité après

coup sans détruire une grande partie de ce qui a été construit » (Villani 2018, p. 50). Quel que soit le type de système en cause, Devillers (2017) (citant Gérard Berry) rappelle cependant qu’un système n’est jamais inattaquable mais devient sûr seulement quand il devient trop cher de l’attaquer.

3. Conclusion

Le développement des systèmes d’IA en santé s’accompagne ainsi de différents enjeux techniques inhérents à l’utilisation des technologies en question. D’abord, il existe différentes limites interprétatives et informationnelles de l’analyse systématisée des données massives qu’il est nécessaire de considérer pour ne pas surestimer leur portée. Le fonctionnement optimal de ces technologies nécessite également que données et algorithmes soient ouverts et partagés, ouvrant la porte à différentes préoccupations relatives au contrôle ou à l’accès aux données comme aux algorithmes. Enfin, il n’est pas toujours possible d’expliquer les raisons qui amènent des systèmes

72 _{Dans ce sondage, les répondants ont assigné une probabilité à différentes propositions concernant l’impact positif}

ou négatif de machines à haut niveau d’intelligence. Le résultat cité est la moyenne des probabilités proposées par l’ensemble des participants.

d’IA à formuler des recommandations ou prendre des décisions, amenant aux considérations relatives au manque de transparence – soit, à la boite noire de l’IA.

Ces différentes considérations techniques ne sont pas sans conséquences éthiques et sociales, conduisant à cinq principaux enjeux éthiques relatifs à l’utilisation des systèmes d’IA en santé. Des préoccupations relatives à la protection de la vie privée, de la confidentialité voire de l’intimité apparaissent. L’usage de l’IA et des données massives en santé vient également défier le respect du consentement libre et éclairé des patients et des participants à la recherche. Différentes préoccupations relatives à la justice sociale ressortent également, qu’il s’agisse d’assurer l’accès aux technologies de l’innovation numérique en santé ou de limiter la discrimination issue des biais que les algorithmes pourraient perpétuer. Le recours grandissant aux systèmes d’IA vient exacerber la déshumanisation des soins, en augmentant la distance entre professionnels de santé et patients ou en conduisant à une perception déshumanisée des individus, cantonnés à leurs ensembles de données. Afin de répondre à ces préoccupations éthiques et de limiter les conséquences des enjeux techniques présentés, il est alors nécessaire de renforcer, autant que possible, la sécurité et la robustesse des systèmes d’IA.

Deux principaux éléments ressortent de la description des principaux défis de l’utilisation des systèmes d’IA en santé. Premièrement, il semble exister un lien inextricable entre les enjeux techniques et les enjeux éthiques associés à l’avènement de l’IA et des données massives. Le Tableau 4 illustre l’influence des trois principaux enjeux techniques mentionnées sur 4 des 5 enjeux éthiques soulevés73_.

73 _{Il s’agit des conséquences sur la vie privée et la confidentialité, sur le consentement libre et éclairé, la justice sociale,}

et la déshumanisation des soins et du patient. Assurer la sécurité des systèmes d’IA (le 5ème _{enjeu) demande de répondre}

aux 4 enjeux précédemment identifiés et entremêle caractéristiques techniques et éthiques des systèmes d’IA. Il n’a donc pas été inclus dans le tableau mais doit tenir compte de l’ensemble des éléments qui y figurent.

Tableau 5. – Les principaux défis associés aux enjeux éthiques relatifs au développement des systèmes d’IA et leurs principales influences techniques.

Principaux Enjeux éthiques Vie Privée et Confidentialité Consentement Libre et Éclairée

Justice Sociale Déshumanisation

Principaux défis associés • Préserver l’anonymisation et limiter la réidentification. • Limiter l’intrusion et protéger l’intimité des patients.

• Prévoir pour quelles fins les données sont collectées ou informer sur les utilisations secondaires potentielles. • Garantir l’obtention

d’un consentement valide pour les données collectées en dehors du contexte médical ou de la recherche en santé. • Assurer un certain niveau de littératie numérique et de transparence des décisions algorithmiques pour l’obtention d’un consentement véritablement éclairé.

• Assurer l’accès aux technologies. • Protéger de la

discrimination sous toutes ses formes.

• Préserver le contact humain, prévenir l’isolement et limiter la distance entre patients et professionnels de santé. • Préserver le patient et les professionnels de santé de la désubjectivation. Principales influences techniques • Partage (favorise l’accès aux données personnelles à un plus grand nombre d’acteurs). • Limites interprétatives et informationnelles (impactent la compréhension) • Partage (augmente les possibilités de réutilisation) • Opacité (impacte l’interprétabilité) • Limites interprétatives et informationnelles (risques de perpétuer les biais ou de conduire à une généralisation excessive) • Partage (les conditions du partage déterminent partiellement l’accès) • Limites interprétatives et informationnelles (impactent la façon de percevoir les individus et les professionnels de santé).

• Partage (le contact direct avec un professionnel de santé n’est plus nécessaire pour obtenir des données).

Deuxièmement, il existe une tension marquée entre la protection des intérêts individuels et celle des intérêts collectifs, à différents niveaux. La protection des intérêts individuels (en particulier, concernant la protection de l’intimité, de l’individualité de la discrimination

individuelle ou de l’autonomie des patients) peut s’opposer à la protection d’intérêts et de bénéfices collectifs (relativement à l’utilité des systèmes, l’accès équitable aux données ou aux bénéfices, la solidarité ou la mutualisation). Le respect de l’ensemble de ces intérêts demande d’assurer à la fois la sécurité des systèmes d’IA et de protéger l’avancées des connaissances en vue d’un certain bien commun. Cette tension est illustrée dans le Schéma 3. Il est à noter cependant que ce dilemme, qui oppose une « éthique individualiste » ancrée dans les traditions d’autonomie et de droits individuels avec une éthique de la santé publique basée sur le bien commun et la solidarité n’est pas nouveau - mais persistant - dans les préoccupations de santé publique et de santé des populations (Kenny, Sherwin, et Baylis 2010).

Schéma 3 - Tension entre le respect des intérêts individuels et collectifs relativement au développement éthique des systèmes d’IA.

Ainsi, les qualités intrinsèques des technologies apparentées aux systèmes d’IA sont à la source de conséquences éthiques et sociales préoccupantes qu’il est nécessaire de considérer dans l’optique d’une innovation responsable. Répondre à ces défis fait aujourd’hui l’objet de

nombreuses initiatives et lignes directrices relatives au développement responsable de l’IA et des données massives, qu’il est nécessaire d’explorer en vue de dégager les éléments essentiels à un encadrement de l’innovation numérique en santé éthique et pertinent.

Références bibliographiques

Ajana, Btihaj. 2017. « Digital Health and the Biopolitics of the Quantified Self ». DIGITAL

HEALTH 3 (janvier): 2055207616689509. https://doi.org/10.1177/2055207616689509.

Altman, M., A. Wood, et E. Vayena. 2018. « A Harm-Reduction Framework for Algorithmic

Fairness ». IEEE Security Privacy 16 (3): 34‑45.

https://doi.org/10.1109/MSP.2018.2701149.

Ananny, Mike, et Kate Crawford. 2018. « Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability ». New Media & Society 20 (3): 973‑89. https://doi.org/10.1177/1461444816676645.

Azencott C.-A. 2018. « Machine learning and genomics: precision medicine versus patient privacy ». Philosophical Transactions of the Royal Society A: Mathematical, Physical and

Engineering Sciences 376 (2128): 20170350. https://doi.org/10.1098/rsta.2017.0350.

Azria, Élie. 2012. « L’humain face à la standardisation du soin médical ». La Vie des idées, juin. http://www.laviedesidees.fr/L-humain-face-a-la-standardisation-du-soin-medical.html. Barocas, Solon, et Andrew D. Selbst. 2016. « Big Data’s Disparate Impact Essay ». California Law

Review 104: 671‑732.

Bayer, Ronald, et Sandro Galea. 2015. « Public Health in the Precision-Medicine Era ». The New

England Journal of Medicine 373 (6): 499‑501. https://doi.org/10.1056/NEJMp1506241.

Binns, R. 2018. « What Can Political Philosophy Teach Us about Algorithmic Fairness? » IEEE

Security Privacy 16 (3): 73‑80. https://doi.org/10.1109/MSP.2018.2701147.

Bostrom, Nick, et Eliezer Yudkowsky. 2011. « The Ethics of Artifical Intelligence ». Dans The

Cambridge Handbook of Artificial Intelligence, 316‑35. Cambridge University Press.

boyd, Danah, et Kate Crawford. 2012. « Critical Questions For Big Data Provocations for a Cultural, Technological, and Scholarly Phenomenon ». Information Communication &

Society 15 (5): 662‑79. https://doi.org/10.1080/1369118X.2012.678878.

Brouard, Benoît. 2017. « Chapitre 2. Utilisation des Big Data en santé : le cas des objets connectés ». Journal international de bioethique et d’ethique des sciences Vol. 28 (3): 27‑30.

Brown, Nathan, Jean Cambruzzi, Peter J. Cox, Mark Davies, James Dunbar, Dean Plumbley, Matthew A. Sellwood, et al. 2018. « Chapter Five - Big Data in Drug Discovery ». Dans

Progress in Medicinal Chemistry, édité par David R. Witty et Brian Cox, 57:277‑356.

Elsevier. https://doi.org/10.1016/bs.pmch.2017.12.003.

Brown, Tom B., Dandelion Mané, Aurko Roy, Martín Abadi, et Justin Gilmer. 2017. « Adversarial Patch ». arXiv:1712.09665 [cs], décembre. http://arxiv.org/abs/1712.09665.

Brundage, Miles, Shahar Avin, Jack Clark, Helen Toner, Peter Eckersley, Ben Garfinkel, Allan Dafoe, Paul Scharre, Thomas Zeitzoff, et Bobby Filar. 2018. « The malicious use of artificial intelligence: Forecasting, prevention, and mitigation ». arXiv preprint

arXiv:1802.07228.

Campolo, Alex, Madelyn Sanfilippo, Meredith Whittaker, et Kate Crawford. 2017. « AI Now 2017 Report ». https://ainowinstitute.org/AI_Now_2017_Report.pdf.

Castelvecchi, Davide. 2016. « Can We Open the Black Box of AI? » Nature News 538 (7623): 20. https://doi.org/10.1038/538020a.

CCNE. 2019. « Données massives (big data) et santé : une nouvelle approche des enjeux éthiques ». Avis 130. Comité Consultatif National d’Éthique français. https://www.ccne- ethique.fr/sites/default/files/avis_130.pdf.

CDT, (Center for Democracy and Technology). 2017. « Digital Decisions ». Center for Democracy

& Technology (blog). 2017. https://cdt.org/issue/privacy-data/digital-decisions/.

CERNA. 2018. « Research Ethics in Machine Learning ». Research Ethics Board of Allistene, the Digital Sciences and Technologies Alliance. cerna-ethics- allistene.org/digitalAssets/54/54730_cerna_2017_machine_learning.pdf.

Charlet, Jean. 2018. Intelligence artificielle et algorithmes en santé. ERES. https://www.cairn.info/traite-de-bioethique-iv--9782749260839-page-

541.htm?contenu=resume.

Chartrand, Gabriel, Phillip M. Cheng, Eugene Vorontsov, Michal Drozdzal, Simon Turcotte, Christopher J. Pal, Samuel Kadoury, et An Tang. 2017. « Deep Learning: A Primer for Radiologists ». RadioGraphics 37 (7): 2113‑31. https://doi.org/10.1148/rg.2017170077. Christen, Markus, Josep Domingo-Ferrer, Bogdan Draganski, Tade Spranger, et Henrik Walter.

2016. « On the Compatibility of Big Data Driven Research and Informed Consent: The Example of the Human Brain Project ». Dans The Ethics of Biomedical Big Data, édité par Brent Daniel Mittelstadt et Luciano Floridi, 199‑218. Law, Governance and Technology

Series. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-33525- 4_9.

CNIL (Commission nationale informatique et libertés). 2017. « Comment permettre à l’homme de garder la main ? Les enjeux éthiques des algorithmes et de l’intelligence artificielle ». Coeckelbergh, Mark. 2015. « Artificial Agents, Good Care, and Modernity ». Theoretical

Medicine and Bioethics 36 (4): 265‑77. https://doi.org/10.1007/s11017-015-9331-y.

———. 2012. « “How I Learned to Love the Robot”: Capabilities, Information Technologies, and Elderly Care ». Dans The Capability Approach, Technology and Design, édité par Ilse