Méthode de recalage d’images utilisant l’information mutuelle 46

Durant la période 2000–2005 (thèse de R. Miranda), un premier algorithme robuste de re-calage et de mosaïquage automatique a été développé [Th7]. Cette méthode comprend à la fois l’algorithme de recalage des paires d’images consécutives d’une séquence et la résolution de pro-blèmes spécifiques liés aux images endoscopiques (correction des distortions radiales, du shading, et filtrage du pattern de fibres optiques visible dans le cas des fibroscopes).

II.2.3.1.1 Algorithme de recalage développé

Comme rappelé entre autre dans les thèses [Th7, Th9] et articles [RI11, RI17], les principales “non-linéarités” du système sont dues aux distortions radiales provoquées par l’optique des endo-scopes. Après étalonnage, celles-ci peuvent être corrigées au cours d’une phase de pré-traitement

II.2. Représentation panoramique automatique : recalage et mosaïquage d’images des images. Par ailleurs, la surface de vessie visualisée peut être considérée comme rigide entre 2 images consécutives . Ainsi, la fonction de transfert du système d’acquisition cystoscopique pro-jetant un point réel 3D sur un plan image 2D peut être représentée par un modèle de projection linéaire. Le modèle de transformation linéaire T le plus complet est le modèle perspective décrit par une matrice M 3 × 3 telle que, en coordonnées homogènes :

  x⁰ y⁰ 1   w = [M]   x y 1   =       k_xcos φ | {z } m1 −Sxsin φ | {z } m2 t_x |{z} m3 S_ysin φ | {z } m4 k_ycos φ | {z } m5 t_y |{z} m6 m₇ m₈ m₉         x y 1  

où x = [x, y]T et x’ = [x0, y⁰]T sont les points correspondants dans les images Ii et Ii+1 respecti-vement, m1, m5, m2 et m4 sont des paramètres adimensionnels contenant les facteurs d’échelle (kx, ky) et de cisaillement (shearing) (Sx, Sy) ainsi que l’angle de rotation φ dans le plan, tx et t_y sont les paramètres de translation (en pixels), m7, m8, m9 sont les paramètres adimensionnels prenant en compte les effets de perspective et w est le facteur de perspective lié à l’écriture matricielle en coordonnées homogènes.

L’équation II.1 peut alors s’écrire :

e

Ti,i+1 = arg opt

Ti,i+1∈T

S{f^t(Ii(x)) , fs(Ii+1(Ti,i+1(x; M)))} (II.2) où Ii+1(T_i,i+1(x; M)) désigne l’image Ii+1 après application de la transformation Ti,i+1 à l’aide de la matrice des paramètres de transformation M.

Comme également mentionné dans [Th7, RI11] il n’est pas toujours possible, dans les images cystoscopiques, d’extraire des points caractéristiques ou de segmenter des régions ou des contours de façon suffisamment robuste compte tenu de la grande variabilité intra- et inter-patient des textures, des éléments anatomiques ou des artefacts présents dans les images, dont plusieurs exemples sont donnés dans [Th9, RI17]. En conséquence, par souci de robustesse, nous avons choisi d’éviter l’emploi d’algorithmes de segmentation (ftet fsdans II.1) et de privilégier l’emploi de mesures de similarité calculées à partir des valeurs de niveaux de gris des pixels des images. Ce choix s’est confirmé par les résultats peu exploitables obtenus en testant l’application du détecteur de coins de Harris à des séquences d’images cystoscopiques réelles (les détails dans [Th9]). L’approche développée dans le cadre de la thèse de R. Miranda a été de considérer une mesure de similarité basée sur l’expression d’une dépendance statistique des niveaux de gris des pixels homologues entre les images à recaler Ii(x) et Ii+1(Ti,i+1(x; M)), en l’occurrence l’Information Mutuelle (IM) [54, 113, 95]. Robuste et flexible, cette mesure (équation II.3) est calculée à l’aide des entropies H(z) des niveaux de gris z(Ii(x)) et z(Ii+1(Ti,i+1(x; M))) des images à recaler, et de leur entropie jointe H(z(Ii(x)), z(Ii+1(Ti,i+1(x; M)))) comme suit4 :

IM (I_i, I_i+1^T ) = H(z(I_i)) + H(z(IT

i+1)) − H(z(Ii), z(IT

i+1)) (II.3)

4. par souci de lisibilité, on utilise ici les notations simplifiéesIi= Ii(x) et IT

Chapitre II. Imagerie endoscopique panoramique multispectrale : détection, localisation et représentation spatiales avec                  H(z(I_i)) = −^X z(Ii) p(z(I_i)) ln(p(z(I_i))) H(z(I_i+1^T )) = − ^X z(IT i+1)

p(z(I_i+1^T )) ln(p(z(IT i+1))) H(z(Ii), z(IT i+1)) = −^X z(Ii) X z(IT i+1) p(z(Ii), z(IT

i+1)) ln(p(z(Ii), z(IT i+1)))

où p(z(Ii) = p(z(Ii(x))) et p(z(IT

i+1)) = p(z(Ii+1(Ti,i+1(x; M)))) sont les densités de proba-bilité des niveaux de gris des parties superposées des images recalées et p(z(Ii), z(IT

i+1)) = p(z(I_i(x)), z(Ii+1(Ti,i+1(x; M)))) la densité de probabilité jointe.

Afin de rechercher les valeurs optimales des paramètres de transformation recalant au mieux chaque paire d’images, c’est-à-dire maximisant l’IM entre elles, nous avons choisi de mettre en œuvre une méthode d’optimisation robuste (résistante aux minima locaux) de type gradient descendant stochastique. Dans un souci prioritaire d’efficacité et de précision de convergence, le calcul des dérivées premières de l’IM i.e. des entropies est effectué à partir de l’expression ana-lytique des fonctions de densité de probabilités correspondantes. L’estimation non-paramétrique de ces dernières à partir des histogrammes réels des images a été réalisée au moyen d’un fe-nêtrage de Parzen (par tirages aléatoires dans les zones communes des images) permettant de prendre en compte leur nature multimodale de façon précise (somme de 260 fonctions gaus-siennes) [Th7, RI11].

Au final, les transformations optimales locales eT_i,i+1obtenues pour chacune des paires d’images recalées Ii et Ii+1 sont utilisées pour calculer les transformations globales successives eT_i+1, telles que : e Ti+1= eTi,i+1× eTi = j=i−1Y j=0 e Ti−j,i−j+1 (II.4)

avec i ∈ [1; n − 1] et n le nombre d’images dans la séquence.

Cette approche séquentielle simple de mosaïquage des images dans un système de coordonnées global implique que les erreurs de recalage par paire d’images soient minimales. Après application de la méthode développée sur des séquences vidéo acquises au cours d’un parcours en boucle du cystoscope sur une photographie de vessie de porc (cf. paragraphe suivant), les premiers résultats ont montré que l’accumulation des petites erreurs de recalage (≈ 1 pixel) entre chaque paire d’images conduisait à une erreur cumulée trop importante. Nous avons donc proposé et mis en œuvre [Th7, RI11] une méthode originale d’ajustement global et simultané des paramètres des matrices de transformations locales en cherchant à minimiser (cf. équation II.5) la somme des écarts quadratiques d’une part, entre les valeurs des paramètres de la transformation globale

e

Tn et celles de la dernière transformation locale de la boucle eTn−1,n et d’autre part, entre les valeurs des paramètres des transformations locales initialement trouvées eT_i,i+1 et les nouvelles valeurs de ces paramètres obtenues après ajustement Tadj

i,i+1. arg min T_i,i+1^adj {f^tT^e_n− eT_n−1,n2 + n−2 X i=1 

T_i,i+1^adj − eT_i,i+12

II.2. Représentation panoramique automatique : recalage et mosaïquage d’images

II.2.3.1.2 Evaluation quantitative et qualitative

Peu de travaux sont décrits dans la littérature dans ce domaine. L’évaluation quantitative de la précision du mosaïquage peut s’effectuer si l’on parvient à quantifier précisément les écarts de position existants entre les pixels d’une image panoramique construite et ceux homologues de sa version entière correspondante “réelle”, ce qui n’est pas possible à partir de séquences cystoscopiques sur patients.

Notre idée initiale [Th5] a donc consisté à construire une image de dimension supérieure au champ de vue du cystoscope et constituée par exemple d’un quadrillage de points de positions connues puis, de mesurer les distances entre ces positions et celles des points homologues dans une image panoramique construite. Or, l’évaluation de la précision du mosaïquage dans le cadre de notre application doit s’effectuer à partir du recalage (i.e. calcul de l’information mutuelle et des paramètres optimaux de transformation) d’images endoscopiques acquises impérativement sur vessie. Pour résoudre le problème, nous avons exploité deux séquences d’acquisitions, l’une sur une image fantôme de vessie et l’autre sur une image “mire” ce, en effectuant précisément le même parcours de déplacement de l’endoscope sur chaque image. Les paramètres de transfor-mations obtenus au cours du recalage des images du fantôme sont ensuite appliqués aux images correspondantes de la séquence acquise sur la mire. Le fantôme plan est une photographie haute résolution de la paroi interne d’une vessie de porc mise à plat. Le protocole de déplacement et d’acquisition a été mis en oeuvre au moyen d’un système motorisé de positionnement micromé-trique 5 axes (2 déplacements dans le plan du fantôme, 1 déplacement perpendiculaire au plan, 1 rotation dans le plan et 1 rotation hors plan).

Au final, une erreur moyenne de mosaïquage em est calculée comme la distance Eucli-dienne moyenne entre les coordonnées (xj

m, y_m^j ) de Np centroïdes segmentés dans l’image pano-ramique construite et les coordonnées (xj

r, y^jr) des points de référence correspondants de la mire entière de départ. e_m= ¹ N_p Np X j=1 q (xj m− x^jr)2+ (yj m− yr^j)2. (II.6)

Suite à l’acquisition de différentes séries de 50 à 60 images le long de trajectoires bouclées impli-quant des translations dans le plan ainsi que des changements de facteur d’échelle et de perspec-tive, nous avons obtenu des erreurs moyennes de mosaïquage de 43.1 et 3.3 pixels respectivement sans puis avec correction de boucle [CI12, CI17].

Pour une évaluation qualitative, les cliniciens ont analysé et validé la cohérence visuelle d’images panoramiques construites à partir de 2 séquences cystoscopiques de 2 patients. La méthode de correction de boucle a été appliquée aux paramètres des transformations des suites d’images appartenant à des trajectoires bouclées dans la séquence acquise. Programmé en langage C, l’algorithme développé nécessite environ 80 secondes pour le recalage d’une paire d’images (250 itérations) soient plusieurs heures de calcul pour la construction d’une image panoramique partielle de la vessie (plusieurs centaines d’images par séquence). Ce traitement, réalisé “off-line”, permet donc de fournir au clinicien un support complémentaire exploitable pour un compte-rendu post-opératoire ou la comparaison avec les résultats d’un examen ultérieur sur un même patient.

II.2.3.2 Correction des distorsions et étalonnage

Les images endoscopiques sont par nature affectées de différents défauts géométriques et photométriques qui doivent être corrigés ou compensés pour parvenir à un recalage efficace. Les principaux effets observables sont : une distortion radiale et un effet de vignettage dus à l’optique

Chapitre II. Imagerie endoscopique panoramique multispectrale : détection, localisation et représentation spatiales grand angle utilisée dans les endoscopes (large champ de vision) et un motif des fibres optiques

apparaissant sur les images obtenues avec un fibroscope.

II.2.3.2.1 Correction du vignettage et élimination du motif des fibres optiques L’effet de vignettage correspond à une inhomogénéité d’illumination dans l’image (variations d’intensité de très faibles fréquences spatiales). Ces gradients peuvent être modélisés par des fonctions polynomiales [114] si les conditions d’illumination entre les images d’une même séquence ne changent pas, ce qui n’est pas le cas en cystoscopie. L’autre approche, implémentée par [61, 94] et par nous [CI12, CI13, RI17] est simplement d’appliquer un filtrage passe-haut pour éliminer les fréquences très basses du vignettage (inférieures à celles des informations utiles à notre recalage). Dans le cas de l’utilisation d’un fibroscope, l’image de la vessie est conduite à la caméra au travers d’un faisceau de plusieurs centaines de fibres optiques possédant chacune un coeur et une gaine. L’image qui en résulte est affectée d’un motif ombré en nid d’abeilles du à la non-transmission de lumière par les gaines des fibres. Le motif ainsi formé représente une texture de fond de très haute fréquence spatiales dans l’image (supérieures à celles des informations utiles à notre recalage) qui peut être éliminé au moyen d’un filtrage passe-bas.

Pour ces filtrages, des masques gaussiens ont été mis en œuvre. Les valeurs des paramètres de ces masques ont été déterminées à partir des périodes et fréquences caractéristiques du vignettage et du motif des fibres visibles sur les images et leurs spectres de Fourier [Th7, Th9].

II.2.3.2.2 Compensation des distortions radiales et étalonnage automatique

Un grand nombre de travaux existe concernant le calibrage des endoscopes ou d’autres systèmes à forte distortion radiale qui impliquent, soit l’emploi contraignant de mires de géométrie connue couplées à un système de positionnement précis de l’endoscope [4, 53, 104], soit la mise en œuvre plus délicate (robustesse, précision, automatisation) de méthodes de segmentation et de mise en correspondance de segments de droites déformées en courbes par la distortion mais sans besoin d’un positionnement précis de l’endoscope [110, 2].

Afin de déterminer les paramètres de correction de distortion radiale à appliquer à nos images cystoscopiques, nous avons établi une méthode de calibrage automatique précise et simple à mettre en œuvre en condition clinique. Son principe consiste à utiliser une image numérique de référence, imprimée puis acquise avec l’endoscope. L’image de référence et l’image déformée de celle-ci sont alors utilisées comme images cible et source respectivement dans notre algorithme de recalage. Les valeurs optimales des paramètres de transformation perspective et ceux du modèle non-linéaire de déformation radiale sont obtenues à l’issue du processus d’optimisation.

Nous avons testé les performances de cette méthode pour différents angles d’acquisition (±20◦) entre le cystoscope et l’image cible imprimée et pour différents motifs (damier, cercles concentriques, image en niveaux de gris). Quelque soient l’angle et le motif, l’erreur moyenne de recalage calculée n’excède jamais quelques pixels, comparables aux erreurs obtenues par d’autres méthodes référencées [53, 104]. Ainsi, la méthode implémentée permet de déterminer automa-tiquement et rapidement les paramètres de distortion radiale d’un endoscope en utilisant sim-plement l’impression d’une image contrastée quelconque et en maintenant l’endoscope à peu près perpendiculaire à cette image mais sans besoin de système de positionnement particulier [CI13, Th7].

II.2.3.3 Méthode de recalage d’images par composition inverse