Cartes de saillance

Cette classe de méthodes, qui compte les méthodes d’interprétabilité les plus populaires, vise à répondre à la question suivante : étant donné un réseau entraîné, un vecteur d’entrée et la réponse du réseau à ce vecteur d’entrée, qu’est-ce qui, dans ce vecteur d’entrée, contribue à la réponse du réseau ? Pour un réseau de classification d’images, qui est le contexte le plus répandu dans la recherche en interprétabilité, cela peut se reformuler en : étant donné une image, un classifieur, et la prédiction du classifieur, quelles parties de l’image ont le plus été utilisées par le réseau ? Ce problème est

1. https://imimic-workshop.com/previous_editions/2019/index.html

(a) Image originale (b) Grad-CAM (Chat) (c) Occlusion (Chat)

(d)Image originale (e) Grad-CAM (Chien) (f) Occlusion (Chien)

Figure3.1 – Exemple de cartes de saillance obtenues avec Grad-CAM (c et d), super-posées avec l’image originale, et obtenues par une méthode d’occlusion (c et g). Pour (c) et (g), les pixels bleus correspondent à ceux dont l’occlusion fait baisser le score de la classe chat (c) ou chien (g), tandis que l’occlusion des pixels rouges le fait augmenter.

Tiré de Selvaraju et al. (2017), qui introduisent Grad-CAM.

parfois appelé explicabilité : étant donné une prédiction en particulier, on cherche à l’expliquer.

Cela reste toutefois une question vague, à laquelle des approches très différentes ont tenté de répondre. Leur point commun est de fournir des cartes de saillance, c’est-à-dire une image de la taille de celle que l’on cherche à expliquer, où les parties importantes sont mises en valeur.

Comme discuté dans l’article de Reyes et al. (2020), l’intérêt de ces méthodes pour l’imagerie médicale est substantiel : si l’on prend l’exemple d’un diagnostic fourni par un classifieur à partir d’une radio, le simple résultat de classification n’a pas grand intérêt. Au contraire, déterminer les zones de l’image qui l’ont amené à faire cette classification peut être très utile pour un radiologue. On peut citer Zechet al. (2018) qui utilisent une telle méthode pour interpréter un réseau profond entraîné à détecter des pneumonies dans des radios de la poitrine.

Une grande partie de ces méthodes repose sur les gradients d’un objectif (activation

d’un neurone, fonction de coût...) par rapport à l’image, que toutes les bibliothèques de Deep Learning permette facilement de calculer par rétro-propagation. Si l’on calcule les gradients de l’activation d’un neurone de la couche de sortie qui code une certaine classe par rapport à l’image d’entrée, on peut visualiser les pixels dont une petite modification de valeur modifierait le plus la probabilité d’appartenir à cette classe. Simonyan, VedaldietZisserman(2013) ont proposé cette méthode en premier. Plusieurs autres méthodes ont par la suite été proposées pour améliorer la qualité visuelle des cartes de saillance par gradients, comme SmoothGrad (Smilkov et al. 2017) ou Integrated Gradients(Sundararajan,TalyetYan2017). Grad-CAM (Selvarajuet al.2017) est une autre méthode populaire basée sur les gradients, proposée plus récemment.

Une autre idée consiste à re-projeter les activations d’un réseau dans l’espace image, et ainsi visualiser ce qui excite un neurone dans l’image (Zeiler et Fergus 2014, Springenberget al. 2014).

Ensuite viennent les méthodes d’« attribution », dont le but est d’attribuer à chaque pixel un score, positif ou négatif, sur sa contribution à l’excitation d’un neurone. Layer-wise Relevance Propagation (Bach et al. 2015), qui est un cas particulier de la Deep Taylor Decomposition(Montavonet al.2017), est la plus diffusée. La figure3.2montre un exemple de cartes de saillance qu’il est possible d’obtenir avec cette méthode, pour un classifieur de chiffres manuscrits.

Figure3.2 – Cartes de saillance obtenues parLayer-wise Relevance propagation(LRP) sur un classifieur de chiffres manuscrits. Les pixels rouges correspondent à ceux qui ont une influence positive sur le score de la classe indiquée dans le coin en haut à gauche, tandis que les pixels bleus ont une influence négative. Tiré deBach et al. (2015) La fiabilité de toutes les méthodes citées ci-desssus est toutefois remise en question

(Ghorbani, Abid et J. Zou 2019; Yeh et al. 2019). Kindermans, Hooker et al. 2017 montrent notamment qu’un simple décalage des intensité d’une image peut donner de explications très différentes pour la plupart des méthodes, et proposent PatternNet et PatternAttribution (Kindermans, Schütt et al.2017) pour remédier à ces manques de fiabilité.Hookeret al.2018montrent que beaucoup de ces méthodes basées sur les gradients ne parviennent pas à mettre en évidences les parties de l’image réellement importantes pour la classification.

Une approche différente de toutes ces méthodes à base de rétro-propagation consiste simplement à altérer l’image d’entrée pour mesurer comment cette altération modifie la sortie du réseau. On dit alors que la méthode est model-agnostic, car elle ne né-cessite pas d’avoir accès aux paramètres du modèle (contrairement aux méthodes à base de gradients par exemple). La manière la plus simple suivant ce principe est celle d’« occlusion », qui consiste à cacher un petit morceau de l’image, et mesurer comment la sortie en est affectée. En déplaçant la partie cachée en chaque pixel de l’image, on peut obtenir une carte de saillance, comme sur la figure 3.1 (c) et (f). Les méthodes LIME, proposées par Ribeiro,Singh etGuestrin (2016,2018) se basent également sur ce principe, en perturbant des ensemble de pixels conjoints et homogènes appelés super-pixels. Une autre méthode model-agnosticpopulaire basée sur la perturbation de caractéristiques est SHAP, proposée par Lundberg et S.-I. Lee (2017).

Toutefois la question à laquelle tentent de répondre toutes les méthodes de cette classe, qui se base sur la localisation dans l’image des parties importantes, est peu pertinente pour les réseaux de segmentation. En effet, la segmentation est par essence une tâche de localisation, et le masque prédit contient déjà cette information.