L’apprentissage transféré

Dans les dernières années, les CNN ont connu un intérêt considérable en vision par ordinateur. Dans ce cadre, différentes architectures optimi-sées ont été propooptimi-sées pour réduire les problèmes de sur-apprentissage [Simonyan & Zisserman 2014b, Szegedy et al. 2015]. Le nombre des para-mètres de ces architectures est considéré comme un facteur clé qui in-fluence la performance du réseau. Un nombre important de paramètres exige une quantité élevée de données pour éviter les problèmes de sur-apprentissage. Cela illustre les inconvénients des CNN sur les données médicales à cause du nombre limité des images et la difficulté de leur annotation. En plus, l’apprentissage à partir des initialisations aléatoires est exigeant en termes de temps de traitement et de capacité de calcul. Pour résoudre ces limitations, des travaux récents ont prouvé l’efficacité de la stratégie de fine tuning et de l’exploitation des CNN comme des mo-dules d’extraction de caractéristiques sur les petits volumes de données [Tajbakhsh et al. 2016]. Le chapitre 2 détaille le principe de la technique d’apprentissage transféré.

Plusieurs efforts ont été faits pour mesurer la transférabilité entre différentes bases d’apprentissage. Par exemple, [Yosinski et al. 2014] ont démontré l’efficacité de l’apprentissage transféré entre les bases d’ap-prentissage similaires par rapport aux bases distantes en se basant sur deux bases d’apprentissage extraites de la base imageNet. Tandis que, [Azizpour et al. 2015] ont remarqué une amélioration dans les perfor-mances lors d’un apprentissage transféré entre des tâches distantes. Leur contribution a étudié la transférabilité des réseaux entrainés sur les bases d’apprentissage ImageNet et Places à d’autres tâches de reconnaissance visuelle. L’objectif principal de leur analyse était d’identifier l’effet de dif-férents facteurs sur l’apprentissage transféré, comme : la profondeur du réseau, l’arrêt prématuré, la nature des classes, et la taille des données sources. Leur étude expérimentale indique que l’augmentation de la lar-geur, de la profondeur, et de la taille a un effet positif sur les tâches les plus proches. Dans une autre contribution, [Chopra et al. 2013] ont ex-ploité l’apprentissage transféré pour l’adaptation du domaine entre des bases d’apprentissage similaires. Dans ce cadre, les échantillons sources

ont été collectés à partir d’Amazon et les images cibles de Dslr et Web-cam. Le but principal était d’améliorer la généralisation sur les nouvelles situations.

Dans le domaine de l’analyse des images médicales, les modèles entrainés sur la base d’apprentissage ImageNet ont connu un grand intérêt. L’objectif des travaux proposés était de transférer la connais-sance d’un domaine non médical (ImageNet) vers un autre domaine médical, comme : la classification du cancer du sein [Ferreira et al. 2018, Zhi et al. 2017, Vesal et al. 2018, Khan et al. 2019, Mehra et al. 2018], la clas-sification du cancer colorectal [Mehra et al. 2018], et la détection des po-lypes et des embolies pulmonaires [Tajbakhsh et al. 2016]. La majorité de ces travaux ont comparé l’apprentissage à partir des initialisations aléa-toires, fine-tuning, et l’exploitation des CNN comme des modules d’ex-traction des caractéristiques. Par exemple, [Shin et al. 2017] ont montré l’efficacité de l’apprentissage à partir des initialisations aléatoires et de l’apprentissage transféré par rapport à l’exploitation des CNN comme des modules d’extraction des caractéristiques. Dans une autre contribution, [Malik et al. 2019] ont prouvé l’efficacité de l’apprentissage à partir des initialisations aléatoires en détection et de la technique de fine-tuning en classification, où ils ont proposé une approche adaptative inspirée du mo-dèle inceptionV3. Dans une autre recherche, [Mehra et al. 2018] ont prouvé l’importance de l’apprentissage transféré par rapport à l’apprentissage à partir des initialisations aléatoires en se basant sur 3 architectures de type CNN : VGG16, VGG19, et ResNet50. Les modèles générés ont été utilisés comme des modules d’extraction de caractéristiques. De même, l’étude présentée par [Tajbakhsh et al. 2016] a démontré l’efficacité du réajuste-ment profond par rapport à l’apprentissage à partir des initialisations aléa-toires. D’autre part, ils ont remarqué l’efficacité de l’apprentissage à par-tir des initialisations aléatoires par rapport au réajustement peu profond. Leurs résultats valident l’hypothèse sur le rapport entre la profondeur de réajustement et la distance entre les tâches source et cible.

Plusieurs stratégies ont été exploitées pour réajuster les modèles en-trainés sur ImageNet. Par exemple, [Ferreira et al. 2018] ont fixé les pre-mières 678 couches du modèle pré-entrainé ResnetV2. Ensuite, le modèle généré a été réajusté sur la tâche cible. De même, [Vesal et al. 2018] ont ex-ploité les modèles pre-entrainés Inception-V3 et ResNet50, où ils ont mon-tré l’efficacité du modèle ResNet50 par rapport à Inception-V3. Dans une autre contribution, [Zhi et al. 2017] ont proposé une architecture basée les 6 premières couches de l’architecture VGGNet. Leur étude expérimentale identifie l’efficacité de l’apprentissage transféré de l’architecture proposée par rapport à la version originale de VGGNet.

Dans cette thése, nous avons exploité les techniques d’apprentissage transféré dans les trois contributions expérimentales proposées, notam-ment la dernière, qui est une nouvelle méthode d’apprentissage transféré entre les bases d’apprentissage histopathologiques.

5.4 Conclusion

Dans ce chapitre, Nous avons présenté et comparé les méthodes DL proposées en histopathologie, et l’état de l’art des contributions proposées dans cette thèse.

La première section est une synthèse sur les travaux DL en détection de la mitose à partir des images histopathologiques du cancer du sein. Dans ce cadre, nous avons présenté et comparé entre les méthodes DL proposées. Malgré le nombre important des travaux de recherches, plu-sieurs défis restent à relever, comme : la collecte des bases d’apprentissage à partir d’un maximum de centres de pathologie, la nécessité de valida-tion des nouvelles annotavalida-tions par des experts dans le domaine afin de créer des systèmes robustes, et la résolution des problèmes liés à la perte de l’information contextuelle.

La deuxième section présente l’état de l’art des travaux qui exploitent les stratégies des méthodes ensemblistes et d’apprentissage transféré en apprentissage profond. L’étude effectuée a mené à plusieurs conclusions, comme : les inconvénients des méthodes de sélection statique en ap-prentissage ensembliste, et les différentes questions liées à l’apap-prentissage transféré à partir des modèles entrainés sur ImageNet. Toutes ces limi-tations ont fait l’objet des contributions proposées dans cette thèse. Le chapitre suivant détaille les trois contributions expérimentales proposées.

6

Sommaire

6.1 Un framework de régularisation pour la classifica-tion des images histopathologiques à l’aide des réseaux de neurones convolutifs. . . . 133 6.1.1 Résumé . . . 133 6.1.2 Problématique . . . 133 6.1.3 Motivation . . . 134 6.1.4 Etat de l’art des méthodes proposées pour la classification

de la base d’apprentissage lymphoma . . . 135 6.1.5 La méthode proposée . . . 137 6.1.6 L’étude expérimentale . . . 142 6.1.7 Conclusion . . . 149

6.2 Une nouvelle méthode de sélection dynamique des mo-dèles d’apprentissage profond pour la classification du cancer colorectal . . . 149 6.2.1 Résumé . . . 149 6.2.2 Problématique . . . 150 6.2.3 Motivation . . . 150 6.2.4 Etat de l’art des méthodes proposées pour la classification

du cancer colorectal à partir des images histopathologiques 151 6.2.5 L’optimisation par essaims particulaires . . . 153 6.2.6 La méthode proposée . . . 154 6.2.7 L’étude expérimentale . . . 157 6.2.8 Conclusion . . . 162

6.3 Une nouvelle stratégie de fine-tuning entre les bases d’apprentissage histopathologiques en apprentissage profond . . . 163 6.3.1 Résumé . . . 163 6.3.2 Problématique . . . 163 6.3.3 Motivation . . . 164 6.3.4 La méthode proposée . . . 164 6.3.5 L’étude expérimentale . . . 167 6.3.6 Conclusion . . . 179

L

esméthodes d’apprentissage profond sont caractérisées par leur capa-cité d’extraction de caractéristiques par rapport aux algorithmes d’ap-prentissage automatique classiques. Cependant, ces méthodes ont un pro-blème de sur-apprentissage sur les volumes limités de données, car ces derniers exigent un grand volume de données pour ajuster équitablement les paramètres du réseau. En plus, ils sont caractérisés par leur variance élevée et biais faible.

En histopathologie, les WSD ont facilité la collecte des données par la numérisation des lames de verre à des WSI. Malgré leur disponibilité, le nombre des échantillons collectés reste limité pour les applications de type DL. En plus, l’annotation des centaines à des milliers de données collectées exige un temps considérable et une grande charge de travail. Pour éviter les problèmes de sur-apprentissage et pour réduire la variance élevée des réseaux DL, certains travaux ont suggéré l’utilisation des techniques d’ap-prentissage transféré, de régularisation, et des méthodes ensemblistes.

Dans cette thèse, nous nous intéressons à la résolution des différentes limitations citées auparavant en classification des images histopatholo-giques. Dans ce cadre, nous avons proposé trois travaux de recherche [Dif & Elberrichi 2020d, Dif & Elberrichi 2020c, Dif & Elberrichi 2020b]. Les deux premières contributions exploitent les techniques de ré-gularisation, d’apprentissage transféré, et des méthodes ensemblistes [Dif & Elberrichi 2020c, Dif & Elberrichi 2020b]. La dernière contribution [Dif & Elberrichi 2020d] est une nouvelle méthode de fine tuning entre les bases d’apprentissage histopathologiques.

La première contribution [Dif & Elberrichi 2020b] est un framework de régularisation pour la classification des images histopathologiques. Dans ce travail de recherche, nous avons proposé un framework basé sur diffé-rentes techniques de régularisation : l’augmentation des données, les petits (small) modèles (MobileNetV1, MobileNetV2), la sélection de la méthode d’optimisation appropriée en apprentissage (SGD, RmsProp), et les mé-thodes ensemblistes.

Dans le cadre des techniques ensemblistes, nous avons exploité deux stratégies de sélection statiques (meilleurs et derniers modèles) afin de sélectionner les modèles à combiner à partir de plusieurs points d’ap-prentissage. Ensuite, nous avons combiné les modèles sélectionnés par les techniques de vote et de moyenne non pondérée. Malgré les résultats prometteurs dans cette contribution, la diversité et la bonne coopération entre ces modèles ne sont pas assurées, car, ces modèles peuvent avoir presque les mêmes erreurs et donc leur combinaison ne conduit pas tou-jours aux meilleurs résultats. Pour résoudre ces problèmes, nous avons proposé une nouvelle stratégie de sélection basée sur la métaheuristique optimisation par essaim de particules (PSO) [Dif & Elberrichi 2020c]. Cette stratégie prend en considération la qualité du sous ensemble sélectionné au lieu de considérer séparément la qualité de chaque modèle appartenant à cet ensemble.

Dans le deuxième travail de recherche [Dif & Elberrichi 2020c], l’objec-tif principal était de répondre à deux problématiques : le sur-apprentissage et les inconvénients des méthodes de sélection statique. Dans ce cadre, nous avons proposé une méthode de sélection dynamique basée sur les techniques d’apprentissage transféré et la métaheuristique PSO.

Premiè-rement, cette technique génère un ensemble de modèles par la méthode d’apprentissage transféré. Ensuite, la métaheuristique optimisation par es-saim de particules (PSO) sélectionne un sous ensemble de modèles perti-nents à partir de l’ensemble de modèles générés. Enfin, ces modèles sont combinés par un vote majoritaire ou par une moyenne non pondérée.

Les deux premières contributions exploitent les techniques d’appren-tissage transféré et les méthodes ensemblistes. Dans ce cadre, le nombre de modèles à combiner peut engendrer un problème de capacité de stockage dans certaines situations, par exemple : les systèmes de vision intégrés. En plus, la méthode d’apprentissage transféré précédemment utilisée se base sur les modèles pré-entrainés sur la base ImageNet. Malgré le succès de cette technique dans l’état de l’art, il n’existe pas de principes théoriques sur le fonctionnement interne de cette stratégie et beaucoup de questions se posent sur la relation entre la base ImageNet et les bases d’apprentis-sage histopathologiques. Pour cela, nous avons proposé une méthode qui se base sur l’apprentissage transféré entre des bases d’apprentissage de même domaine au lieu de transférer la connaissance à partir de la base ImageNet [Dif & Elberrichi 2020d].

Enfin, le troisième travail de recherche [Dif & Elberrichi 2020d] pré-sente une nouvelle stratégie de fine-tuning pour l’analyse des images his-topathologiques. Contrairement aux solutions précédemment proposées, où les modèles entrainés sur la base d’apprentissage ImageNet sont réutili-sés pour la classification d’une nouvelle tâche, cette étude propose d’effec-tuer l’apprentissage transféré à partir des modèles précédemment entrai-nés sur des bases d’apprentissage histopathologiques. L’objectif principal est d’exploiter les hypothèses liées à l’efficacité de l’apprentissage trans-féré entre les bases non distantes et d’examiner pour la première fois ces suggestions sur les images histopathologiques.

Les expérimentations ont été effectuées sur un ordinateur portable équipé d’une carte graphique de type NVIDIA GeForce GTX 1060 (6 GB) et la librairie d’apprentissage profond Keras.

6.1 Un framework de régularisation pour la

Dans le document L'apprentissage profond pour le traitement des images (Page 139-145)