Opacité des réseaux de neurones : la « boite noire » de l’intelligence artificielle

Le développement de l’innovation numérique en santé se heurte également aux difficultés associées à l’opacité des réseaux de neurones artificiels. L’enjeu sous-jacent est celui de l’interprétabilité des algorithmes, ou comment remédier à la fameuse « boite noire » de l’IA. Les appels à l’explication sont une réaction à deux propriétés des modèles d’apprentissage qui conduisent à une perception d’opacité : l’impénétrabilité (le fait qu’il soit difficile de comprendre complètement le modèle) et la non-intuitivité (le fait qu’on ne comprenne pas pourquoi les règles du modèle sont ce qu’elles sont) (Selbst et Barocas 2018). L’opacité des méthodes d’apprentissage automatique est soulignée par Lavrač et Zupan (2010) dans le contexte médical :

For data analysis tasks, however, the most serious limitation is the lack of explanational capabilities: the induced weights together with the network’s architecture do not usually have an obvious interpretation and it is usually difficult or even impossible to explain «why» a certain decision was reached (p. 1124).

La prise de décision algorithmique étant devenue aujourd’hui quasi synonyme de prise de décision inexplicable (Selbst et Barocas 2018), nombreux sont ceux qui appellent à plus de transparence des systèmes d’IA (Jobin, Ienca, et Vayena 2019; Floridi et al. 2018). Cependant, une ambiguïté persiste relativement à ce qu’impliquerait une telle interprétabilité ou la manière de la mettre en place (Selbst et Barocas 2018; Lipton 2016).

L’interprétabilité des modèles peut se définir en termes de transparence (soit, l’intelligibilité des systèmes) ou en termes d’interprétations post-hoc (soit, l’explication des prédictions sans élucider le mécanisme par lequel le modèle fonctionne) (Lipton 2016). L’opacité des réseaux de neurones est particulièrement signifiante pour les réseaux de neurones profonds considérant la complexité des systèmes (Chartrand et al. 2017) et augmente avec le nombre de couches « cachées ». En santé, l’interprétabilité des décisions (ex. dans le cas du diagnostic) revêt une importance particulière car elle peut placer patients et médecins face à des dilemmes sérieux quand il s’agit de décisions médicales qui pourraient mettre en jeu la vie des patients (Castelvecchi 2016). Toutefois, il existe de nombreuses limitations à la transparence. Rendre les systèmes d’IA transparents se heurte à des défis techniques, temporels, liés au maintien du secret professionnel et à la compétitivité économique (Ananny et Crawford 2018; Selbst et Barocas 2018). La transparence

dépend également des compétences de ceux qui cherchent à comprendre le système (Ananny et Crawford 2018) puisque elle implique la compréhension du mécanisme par lequel le modèle fonctionne (Lipton 2016). Ainsi, il ne s’agit pas seulement de rendre le code des algorithmes accessible mais aussi compréhensible, celui-ci pouvant être obscur pour beaucoup d’utilisateurs qui ne détiendraient pas les compétences techniques pour le comprendre. Les codes des algorithmes sont parfois indéchiffrables par leurs créateurs eux-mêmes considérant la complexité et la rapidité de leur évolution (Ananny et Crawford 2018). En découle certains arguments contre le développement de tels algorithmes « boîte noire », d’autant plus si ces derniers égalent ou surpassent les capacités humaines (Lipton 2016).

Cependant, selon la deuxième conception (l’interprétabilité post-hoc), faisant référence à la possibilité de donner des informations utiles aux utilisateurs concernant une décision algorithmique sans pour autant élucider comment le modèle fonctionne, l’opacité des réseaux n’est pas problématique en soi – si l’on considère que les préoccupations relatives à la transparence surviennent lorsque l’existence d’un processus décisionnel est connu alors que le véritable processus qui a mené à la décision ne l’est pas (Selbst et Barocas 2018). Ces informations peuvent par exemple être fournies sous la forme d’explications en langage naturel, de visualisations ou d’explications par exemple (Lipton 2016). Selon cette conception de l’interprétabilité, les modèles linéaires ne sont alors pas forcément plus interprétables que les modèles d’apprentissage profond, notamment du fait que ces derniers apprennent de représentations riches qui peuvent être visualisées ou verbalisées (Lipton 2016). Cette position s’inscrit dans la lignée de ceux qui défendent l’idée que les décisions humaines elles-mêmes ne sont interprétables qu’après coup car « nous avons tous une boite noire dans la tête » (Castelvecchi 2016, traduction libre). Pour Selbst et Barocas (2018), ce problème n’est pas propre à la technologie : être l’objet d’une décision alors que les éléments à la base de la décision sont inconnus est une situation qui arrive fréquemment sans algorithme. En d’autres termes, il n’y aurait pas plus de raison d’exiger davantage de transparence des algorithmes que des humains, les réseaux de neurones biologiques sollicités et le processus cérébral qui amène à une décision humaine n’étant pas plus intelligible.

Cette vision ne fait cependant pas consensus, notamment car il est plus facile d’interroger un individu qu’une machine sur les raisons motivant une décision :

One could argue that an accurate opaque system is preferable to an inaccurate transparent one, and that a human expert’s image analysis can similarly be relatively opaque to a nonexpert. Nevertheless, it is currently much easier to interrogate a human expert’s thought process than to decipher the inner workings of a deep neural network with millions of weights. Furthermore, an automated system’s ability to clearly justify its analysis would be highly desirable for it to become widely acceptable for making critical judgments regarding patients’ health (Chartrand et al. 2017 p. 2129).

Ainsi, il ne s’agit pas uniquement d’une nécessité de comprendre les raisons pour lesquelles une décision algorithmique est prise mais également de l’acceptabilité sociale du recours à ces technologies en santé.

L’interprétabilité n’est pas, en effet, un concept monolithique, mais fait référence à plusieurs idées distinctes : elle peut être comprise comme un moyen d’engendrer la confiance en la technologie ou un droit à l’explication sur son fonctionnement (Lipton 2016). Cet impératif de transparence prend racine dans les cultures épistémologiques scientifiques et sociotechniques (Ananny et Crawford 2018). La transparence et l’explicabilité des décisions émanant de systèmes d’IA posent des problèmes relatifs à la confiance tant du public que des professionnels de santé qui utilisent ces systèmes (Castelvecchi 2016; Lipton 2016). L’absence de transparence peut avant tout créer une certaine méfiance à l’égard des institutions, notamment car il n’est pas possible de savoir sur quelle base contester une décision algorithmique (CDT 2017). Il en découle des préoccupations relatives au contrôle possible relativement aux décisions qui pourraient émaner de ces technologies, qui nous échapperaient en laissant peu de place à une remise en question du raisonnement qui en est à la source (CDT 2017).

La transparence algorithmique peut alors référer à un mode de gouvernance qui prédispose à la confiance, à l’imputabilité et à l’autonomie voire à la prise de décision juste et éthique (Lipton 2016; Ananny et Crawford 2018; Selbst et Barocas 2018). Certains voient cependant dans ces impératifs de transparence des attentes qui dépassent les capacités des modèles techniques (Lipton 2016), et qui remettent en question l’applicabilité réelle du principe de transparence des systèmes pour mener à leur compréhension et afin de les gouverner (Ananny et Crawford 2018). Répondre au défi de la transparence ne représente pas, en effet, une solution per se, l’obligation redditionnelle ne devant pas tant concerner le fonctionnement des modèles que leur adéquation aux usages pour

lesquels ils sont destinés (Selbst et Barocas 2018). L’importance résiderait alors plutôt dans le fait de justifier la pertinence ou la robustesse de leur utilisation. Dans cette perspective il est donc nécessaire de ne pas laisser cette visée de transparence limiter les bénéfices potentiels des méthodes analytiques, notamment en santé : « the short term goal of building trust with doctors by developing transparent models might clash with the longer-term goal of improving health care » (Lipton 2016 p. 7).

Ainsi, l’opacité des réseaux de neurones peut être considéré comme l’un des trois principaux enjeux techniques inhérents à l’utilisation de systèmes d’IA, qui demandent de tempérer les bénéfices potentiels que l’IA et les données massives pourraient apporter dans le contexte de la santé, invitant ainsi à une certaine prudence. Ces différentes barrières (valeur et fiabilité des modèles, partage des données et des codes ou opacité des réseaux de neurones) sont d’autant plus importantes à considérer qu’elles sont à la source de potentiels enjeux éthiques préoccupants.

2. Les principaux enjeux éthiques de l’utilisation des systèmes