1.9 Améliorer la robustesse de la segmentation par apprentissage profond par
1.10.3 Perspectives
1.10.3.1 Perspectives à court terme
Perspectives algorithmiques Ma thèse a permis de fournir une preuve de concept
soutenant que l’analyse d’images échocardiographiques peut être abordée avec succès par des méthodes d’apprentissage supervisé. Néanmoins, l’étude dans son ensemble souffre de plusieurs limitations qui devraient idéalement être l’objet d’investigations approfondies :
• l’amélioration de la robustesse de la segmentation multi-structures automatique : les résultats présentés dans le chapitre 9 montrent que la robustesse de la segmentation pourrait encore être augmentée aussi bien pour l’endocarde que pour l’épicarde. Nous pensons qu’une solution permettant d’atteindre l’intra-variabilité moyenne sur ces deux structures peut être construite autour de mécanismes d’attention ;
• l’évaluation du potentiel des techniques d’apprentissage profond en échocardiographie 3D : en raison de la petite taille du seul ensemble de données accessible au public, CE- TUS [16], la précision potentielle des méthodes d’apprentissage profond pour l’analyse d’images ultrasonores 3D ne peut être établi. A partir des conclusions de notre étude en 2D, il serait intéressant d’adapter l’algorithme appelé LU-Net [46] à la localisation et segmentation du cœur dans des volumes 3D. En fonction de la consommation de mé- moire, nécessairement plus grande en 3D qu’en 2D, il sera peut-être préférable d’étudier un traitement multi-coupes ou des approches 2.5D [49] ;
• la régularisation de l’évolution de la segmentation au cours du cycle cardiaque a été établie comme une nécessité pour obtenir des estimations robustes de la fraction d’éjection. En outre, nous avons observé que certains cas difficiles à résoudre de par la présence d’artéfacts, pourraient bénéficier de contraintes temporelles. Il apparaît donc essentiel d’introduire ou d’encourager de la cohérence temporelle dans l’apprentissage; • la plausibilité anatomique : la conception de métriques anatomiques basées sur l’analyse des formes géométriques produites nous a permis de montrer que les réseaux convolu- tionnels apprennent un mappage qui incorpore déjà une certaine validité des formes, mais sans aucune garantie. Il serait donc intéressant d’étudier des solutions de recalage multi-atlas [50] ou des méthodes d’apprentissage incluant une correction [51] pour as- surer la prédiction de formes anatomiquement plausibles en toute situation;
• le développement de simulations réalistes : nous avons observé sur CAMUS que cer- taines prédictions aberrantes seraient très difficiles à résoudre en cela qu’elles sont le produit d’acquisitions atypiques (artéfacts, zoom, orientation, très faible contraste...) et correspondent à des cas très inhabituels pour le réseau. Une façon de résoudre cela consisterait à ajouter les variations manquantes dans notre ensemble de données sous
forme d’images virtuelles réalistes. La simulation devra reposer sur des paramètres contrôlés pour générer un large éventail de cas.
Perspectives cliniques La présente étude a révélé qu’avant d’appliquer des solutions
d’apprentissage profond en routine clinique, les besoins suivants doivent être satisfaits : 1. la création d’un large ensemble de données publiques comportant des annotations con-
sensuelles : la base de données CAMUS comprend les vues apicales 2 et 4 chambre de 500 patients, pour un total de 2000 images annotées. Différentes qualités d’image y sont représentées. Cela représente une partie intéressante de la variabilité notable, mais ne recouvre qu’une petite partie des populations, pathologies, fournisseurs d’échographes, et experts existants. Le nombre de vues et de structures impliquées est également limité. C’est pourquoi nous qualifions cette étude de preuve de concept, précurseuse, destinée à motiver la communauté à établir une base de données plus complète. Cette nouvelle base de taille et de variété suffisantes devrait idéalement comporter des annotations soigneusement validées par le corps médical, afin d’évaluer avec précision l’inter- et l’intra-variabilité sur l’analyse d’images échocardiographiques 2D, et d’exploiter pleine- ment le potentiel des méthodes d’apprentissage supervisées démontré ici;
2. la validation clinique des méthodes : nous avons tenté d’effectuer une évaluation appro- fondie des méthodes d’apprentissage supervisé, en combinant de la validation croisée et des métriques complémentaires (géométriques, cliniques, anatomiques). Cependant, la conformité des prédictions aux exigences cliniques n’est pas évaluée. En particulier, il apparaît primordial d’étendre l’étude à davantage de cas, et d’intégrer une notion plus fine de pathologie que la seule estimation de la fraction d’éjection du ventricule gauche; 3. le développement de logiciels guidant l’acquisition : nous avons montré le fort potentiel des méthodes d’apprentissage supervisé pour l’analyse automatique des images échocar- diographiques, mais la nécessité d’automatiser la procédure d’acquisition subsiste. En effet, guider les praticiens dans le positionnement de la sonde est nécessaire pour garan- tir l’utilisation de visuels adéquats du cœur avant la segmentation [52]. Pour ce faire, la conception d’algorithmes qui apprennent à reconnaître si l’acquisition correspond à un contexte approprié, par exemple en exprimant une incertitude sur la validité de la vue, semble être une piste intéressante [53].
1.10.3.2 Perspectives à long terme
Perspectives cliniques Cette étude fait partie d’une révolution dans le traitement d’image
médical, qui appelle des interactions plus étroites entre chercheurs, développeurs et cliniciens afin de potentiellement amener aux avancées suivantes :
1. l’utilisation quotidienne de méthodes d’apprentissage pour aider les médecins dans leurs analyses, ce qui améliorerait considérablement leur productivité;
2. un algorithme de segmentation automatique appris à partir d’un ensemble de données consensuelles permettrait non seulement de générer des résultats reproductibles, mais également de représenter la norme de la segmentation en échocardiographie. Un tel outil pourrait ainsi être utilisé pour former de nouvelle générations de médecins, et d’aider la transmission de connaissances des experts aux novices ;
3. des logiciels d’analyse d’image robustes permettraient d’évaluer le potentiel de modalités innovantes par rapport à celles établies, et d’ouvrir la porte à de nouvelles pratiques. Par
exemple, le couplage efficace de l’apprentissage supervisé avec l’imagerie échographique pourrait permettre de diagnostiquer un plus grand nombre de patients, y compris ceux qui se trouvent dans des endroits éloignés (télémédecine), et de favoriser un diagnostic précoce en permettant à des non-professionnels de faire des acquisitions.
Perspectives algorithmiques Les modèles d’apprentissage en profondeur peuvent être
compressés pour consommer moins de ressource et être plus rapides lors de leur utilisation. Cependant, la phase d’entraînement reste une étape incontournable, et coûteuse en de mul- tiples ressources (temps, électricité, processeurs, pollution...). Par exemple, pour cette seule étude, plusieurs centaines de modèles ont été entraînés en raison de changements d’ensembles de données (entraînement, test et validation), et de variations d’ hyperparamètres. Par con- séquent, il est possible que se développe bientôt un fort besoin de modèles capables de ne pas apprendre de zéro. L’apprentissage par transfert va dans ce sens, mais dans le but de compenser la petite taille des ensembles de données plutôt que de raccourcir la phase d’entraînement. De même, il y’a un besoin de modèles convergeant systématiquement vers une solution optimale fixe et unique (sans stochasticité). Ces deux éléments nécessitent des recherches plus approfondies sur l’optimisation des modèles d’apprentissage et la recherche de paramètres optimaux.
Dans un avenir proche, les ensembles de données médicales recueillis pour concevoir des solutions d’apprentissage supervisé pourraient croître de façon exponentielle et continue. Il est donc intéressant d’anticiper sur les besoins de stockage en développant des algorithmes de compression d’ensembles de données, adaptés aux applications médicales, et qui résumeraient une grande quantité de données en une fraction de cas pour une variabilité et une performance similaires. Cela pourrait être permis par des innovations théoriques en théorie de l’information de l’apprentissage profond.
Chapter 2
Introduction
This chapter introduces the motivations behind this dissertation work, and outlines the cor- responding objectives. It then presents the methodology applied throughout the thesis and concludes with the organization of the manuscript.
2.1 Motivation
The scientific context in which the present study was conducted includes both clinical and methodological challenges. The underlying difficulties motivated us to define clear objectives and to build dedicated strategies to reach them.
2.1.1 Scientific context 2.1.1.1 Clinical context
Cardiovascular diseases (CVDs) rank among the top major causes of mortality and morbidity worldwide. While they accounted for 30 % of total deaths in 2008, the number of casualties is steadily growing, due in part to the aging of the population. By 2030, it is estimated that more than 20 million people will die from CVDs per year, which encourages the development of new clinical practices to improve early diagnosis [2]. As most developing cardiac patholo- gies affect the shape and behavior of the heart structures, non-invasive medical imaging is the primary solution to establish the diagnosis from the visualization of the heart structures and the evaluation of its contractile function.
Ultrasound imaging is currently the most widely used modality in cardiac imaging [3] as it allows a good temporal resolution at a relatively low cost. Since 3D echocardiography is still relatively new in clinical practice [4], 2D imaging remains the standard modality to measure clinical indexes such as ventricular volumes and ejection fractions from the image support. Such measurements rely on approximations of volumes from surfaces, and are highly depen- dent of the acquisition process. In cardiac ultrasound, the myocardial tissue appears in high intensities (white) and can be differentiated from blood-filled cavities associated to low in- tensities (black). The separation and identification of the different structures from accurate delineation, called semantic segmentation, is the first step to measure surfaces or volumes. However, segmentation in echocardiography is a particularly difficult task due to the lack of clear boundaries, a low signal-to-noise ratio, the speckle texture specific to ultrasound images and the presence of numerous and complex image artifacts such as reverberations and signal dropout. The direct consequence is that embedded fully-automatic ultrasound cardiac segmentation softwares do not perform well, which forces clinicians to delineate the different contours using semi-automatic tools [5].
2.1.1.2 Algorithmic context
Manual and semi-automatic annotations are not reproducible and prone to inter- and intra- observer differences, in addition to being time consuming. In order to improve the clinical work flow, automatic cardiac segmentation has therefore been the subject of intense research over the past decades, with a strong focus on the left ventricle [3]. The segmentation in echocardiography has been traditionally addressed using either generic low-level image pro- cessing or active contour algorithms exploiting dedicated prior information to regularize the segmentation results. In this context, shape priors and constraints have proven to be es- pecially efficient to infer missing boundaries from contextual information, while temporal smoothing is used to encourage coherent segmentation throughout the cardiac cycle.
Supervised learning methods correspond to a set of mapping algorithms whose parameters are inferred from solved cases. These methods were made popular in Computer Vision during the 90s through the development of active shape models [6], kernel Support-Vector Machines (SVMs) and Random forests (RF) [7]. However, the difficulties in obtaining medical data with expert annotations has limited their application in the medical community in general, and in echocardiography in particular.
2.1.2 Challenges
2.1.2.1 Appropriate datasets
The first challenge in echocardiography segmentation concerns the development of large anno- tated datasets, not only to develop supervised learning methods, but also for the evaluation of the performance of segmentation algorithms. To answer the clinical needs, the dataset has to include all the variability that clinicians face in their daily practice (pathology, image quality, acquisition material and settings...), i.e. not restricted to simulations or to real cases with good image quality [3].
Expert annotations have to be established on all relevant views and frames from a fixed and consensual protocol, ideally in a context favoring their accuracy (off-line, with an appropri- ate tracing software). The same structures of interest have to be annotated on all images, and clinically relevant patient information should be collected along with the exam images. Finally, to be thoroughly validated and beneficial to the community, the dataset should be publicly accessible, at least to researchers and clinicians.
2.1.2.2 Robust and fully-automatic algorithms
The second challenge consists in establishing robust and fully automatic segmentation al- gorithms as basis of reliable analysis tools to assist the cardiologists during exams (image analysis, clinical indices computation, acquisition guidance...). As accurate and reproducible diagnosis is required, the robustness is one of the main quality criteria, as a guarantee of reliability. The comparison of existing methods has to be performed on a large and standard dataset to encourage their adoption in clinical practice [3]. This further allows to better analyze the limitations of state-of-the-art methods, and to select the best algorithms. Concerning supervised learning methods, error analysis from multiple algorithms on a dataset validated by the community would also help in assessing which cases are missing to improve the robustness of the learning models. The solutions should ideally be optimized for speed to be embedded inside ultrasound scanners as part of real time analysis softwares.