5.1 Fusion de données en imagerie
5.1.2 Fusion de données complémentaires - modes de représentation
Le recours à la multimodalité en imagerie médicale offre la possibilité de comparer des données complémentaires (anatomiques, fonctionnelles, électrophysiologiques ou encore méta-boliques), nécessaires aux cliniciens pour le diagnostic, le choix de thérapies ou le suivi de patients. La combinaison de ces informations dans le but d’obtenir de nouveaux marqueurs est le type de fusion que décrit cette section.
Dans ce type de fusion, on cherche avant tout la visualisation et la représentation, de la façon la plus claire et intuitive possible, de l’information combinée. Les données fusionnées peuvent être de nature ou de dimension différentes. Afin de les comparer, des modes d’intégration et de représentation dans un espace commun doivent être mis en place. L’espace de représentation doit pouvoir sur un même plan dimensionnel permettre de comparer des données de même ou de différent type (longueur, masse, temps, courant électrique, température, quantité de matière ou intensité lumineuse) qu’elles soient statiques ou dynamiques, scalaires ou vectorielles.
5.1.2.1 Développement des modes de représentations
Avec l’évolution des technologies d’acquisition et les capacités grandissantes de stockage, le volume de “données” à traiter croît exponentiellement depuis le début du siècle. La na-ture des données change rapidement, leurs quantités deviennent volumiques et complexes [Friedman, 2001]. Devant cette augmentation, la visualisation de données (“Data Visualization”) est devenue une nouvelle discipline scientifique dont le but est de restituer l’information utile de manière claire et effective au moyen d’algorithmes adaptés et d’interfaces de visualisation. Divers modes de représentation ou de visualisation de données ont été mis en place afin de resti-tuer des informations liées. Parmi ces représentations, nous trouvons par exemple : les graphes de fonctions, les histogrammes, la cartographie, les schémas fonctionnels, les courbes et iso-surfaces, la superpositions d’images, l’utilisation de codes couleurs, la stéréoscopie, les nuages de points, les cartes heuristiques, la visualisation interactive, etc.
5.1.2.2 Modélisation tridimensionnelle
Le plupart des supports graphiques de représentation sont plans. Dans le cas de la vision par ordinateur, des logiciels de modélisation tridimensionnelle donnent accès à une visualisation interactive : l’utilisateur peut interagir avec l’objet observé pour l’analyser selon toutes ses directions. Cependant, l’interface visuelle ne possède aujourd’hui que les deux dimensions d’un écran. Aussi la modélisation 3D s’est développée en offrant de nouveaux outils comme la gestion d’illumination ambiante pour faire ressortir l’impression de profondeur lors de l’observation d’un rendu. Cette technique a été utilisée par exemple en imagerie médicale pour la visualisation de fibres de la matière blanche extraites depuis une IRM de diffusion [Banks et Westin, 2007] (cf. figure 5.2). D’autres techniques de modélisation 3D pour l’amélioration de rendus sont basées
Figure 5.2 – Influence de l’illumination globale (à gauche) et ambiante (à droite) sur l’effet de profondeur. D’après [Banks et Westin, 2007].
sur la modélisation physique de réflexion, diffusion, rayonnement ou diffraction de la lumière par les objets. La fidélité à la réalité des modèles développés est rendue possible par la puissance de calcul des processeurs et des cartes graphiques.
Ces avancées en techniques de visualisation 3D permettent un meilleur rendu des résultats, mais ne sont pas suffisantes pour représenter sur un même support et en parallèle plusieurs informations faisant apparaître des données de dimensions supérieures à trois et / ou de nature différente.
5.1.2.3 Visualisation et interaction
Plusieurs méthodes permettent de représenter sur un espace à dimensions réduites un nombre d’informations supérieur au nombre de dimensions observées. Nous ne détaillerons ici que quelques modes de représentations qui semblent intéressants dans le cadre de ce travail. Les représentations les plus utilisés font sans doute appel aux codes couleurs.
Codes couleurs. La création de cartes offre une représentation spatiale d’une information scalaire. On visualise par exemple l’amplitude d’un mouvement ou l’activité électrique cérébrale.
Glyphs. D’autres modes de représentation utilisent des formes géométriques additionnelles ou “glyphs” à une image pour faire apparaître une information d’un autre type. Par exemple, une représentation intuitive d’un champ de déformation ou d’un gradient consiste en la su-perposition de flèches à une image (cf. figure 5.3). Ces formes possèdent plusieurs attributs comme leur position, leur forme ou leur couleur. Les glyphs utilisés peuvent varier selon leur forme ou leur couleur pour la visualisation de plusieurs caractères en la position pointée. Par
Figure 5.3 – Exemple de visualisation du gradient d’une image par la représentation superposée de formes géométriques, ici des flèches.
exemple la couleur peut donner une indication temporelle [Barillot, 1999] ou une amplitude, la variation de forme une information de direction [Domin et al., 2007] (cf. figure 5.4). Pour un état de l’art sur ces méthodes de visualisation d’informations, le lecteur pourra se référer à [Ropinski et al., 2011].
Figure 5.4 – Représentation de la diffusion et sa direction principale à l’aide de sphères déformées de couleurs en IRM. D’après [Domin et al., 2007].
Superposition visuelle. Les approches basées sur la superposition visuelle sont aussi des modes classiques de représentation de résultats de fusion. Une application classique en est la comparaison qualitative de données de même type (les données anatomiques issues de deux modalités différentes par exemple), qu’il est nécessaire d’observer dans un même référentiel. La superposition est le calcul d’une nouvelle image, composite, contenant les informations d’images recalées [Jégou et Bonmartin, 2004]. La superposition peut se faire entre données de dimensions supérieures comme des surfaces, par exemple pour la visualisation des bronches sur des volumes scanner CT pour l’aide à la scopie [Higgins et al., 2008] (cf. figure 5.5). Une nouvelle image est créée à partir des informations de couleur et d’opacité des images d’origine. Par exemple, en notant (A1, C1) et (A2, C2) les couples opacité et couleur des images d’origine 1 et 2, A l’opacité
Figure 5.5 – Visualisation des bronches sur des volumes scanner CT pour l’aide à la scopie. D’après [Higgins et al., 2008].
et C la couleur de la nouvelle image [Zhang et al., 2007] : A = (1 − A1).A2+ (1 − A2).A1
C = [(1 − A1).A2.C2+ (1 − A2).A1.C1]/A ou de manière plus générale :
A = w1.A2+ w2.A1
C = w1.C2+ w2.C1
L’image composite est une combinaison linéaire des couleurs et opacités des images d’origine.
Approches basées curseur. Les approches basées curseur permettent de mettre en corres-pondance plusieurs jeux de données en partageant un curseur entre des fenêtres de visualisation synchronisée. La visualisation de la combinaison d’informations est moins directe, mais per-met la mise en correspondance d’une quantité illimitée de données et ne nécessite pas de les ré-échantillonner [Jannin et al., 2001].
Représentation schématique. La schématisation vise à clarifier la représentation afin d’ob-server une information sans surcharge cognitive. En imagerie cardiaque, nous retrouvons la représentation polaire ou en “œil de bœuf” (bull’s eye).
Elle permet d’avoir une vue d’ensemble de données spatialement localisées sur la paroi ven-triculaire. Les données sont représentées par des scalaires associés aux segments du ventricule. La localisation dans l’espace est schématisée : chaque point de la surface ventriculaire (3D) est placé dans le plan de visualisation (2D) de la façon qu’ils le seraient si le VG était posé sur sa base et observé depuis son apex : en coordonnées polaires (r, θ) où r représente la hauteur depuis l’apex et θ la rotation par rapport à un axe de référence orthogonal au grand axe. Plu-sieurs représentations polaires peuvent être utilisées, selon la résolution souhaitée, on emploie par convention la représentation polaire 17 segments selon la norme AHA dont la description est donnée à la figure 5.6.
Figure 5.6 – Représentation polaire 17 segments [Cerqueira et al., 2002]. Le ventricule est séparé en trois couches en partant de l’extérieure vers l’intérieure : (1-6), (7-12), (13-16) et l’apex (17). Les couches sont respectivement basale, moyenne et apicale. Les segments (1,7,13) forment la paroi antérieure. Les segments (2,3,8,9,14) forment la paroi septale. Les segments (4,10,15) forment la paroi inférieure. Les segments (5,6,11,12,16) forment la paroi latérale.
Après avoir donné une vision globale de la fusion d’images ainsi que ces enjeux et appli-cations en imagerie médicale, nous fournirons un état de l’art ciblé sur la fusion de données complémentaires issues de modalités cardiaques. En particulier, nous nous concentrerons sur des données d’activation électriques, d’activation mécaniques et anatomiques telles que celles issues des examens cliniques EAM, échocardiographies par Speckle Traking et imagerie dynamique tridimensionnelle (scanner CT ou IRM).