Méthode de recalage d’images par composition inverse

II.2. Représentation panoramique automatique : recalage et mosaïquage d’images vers un algorithme de mosaïquage automatique rapide, c’est-à-dire compatible avec la durée de l’examen clinique, et suffisamment robuste [Th9]. Pour ce faire, nous avons cherché d’une part, à utiliser une mesure de similarité plus rapide à calculer mais toujours basée sur les niveaux de gris des images et d’autre part, à effectuer une sélection dynamique des images à recaler afin de limiter leur nombre et donc réduire d’autant le temps de calcul global.

L’analyse de la littérature montre que les méthodes de recalage basées sur l’utilisation des niveaux de gris et capables de travailler avec un modèle de transformation perspective sont toutes des méthodes itératives. C’est la raison pour laquelle nous avons décidé de développer une méthode originale combinant une approche non itérative capable de nous donner une pre-mière approximation de certains paramètres de transformation existant entre les images et un algorithme itératif affinant le recalage avec un modèle de transformation perspective [CI16].

En terme d’approche non itérative pour recaler deux images, nous avons cherché à exploiter des techniques de corrélation de phase basées sur la Transformée de Fourier (TF). La cor-rélation de phase permet d’estimer simplement les translations dans le plan entre deux images avec une excellente immunité aux variations d’illumination ou aux ombres mobiles (fonction de corrélation normalisée en amplitude). Afin de déterminer non seulement les paramètres de translations dans le plan entre ces deux images mais aussi l’angle de rotation dans le plan et le facteur d’échelle (paramètres d’une transformation de similitude), il est possible d’étendre la technique de corrélation de phase en utilisant la Transformée de Fourier-Mellin (TFM) au lieu de la TF. La TFM permet en effet d’analyser ces paramètres en exploitant les propriétés d’invariance par rotation et de déphasage par translation de la transformée de Fourier des images et sa représentation dans un repère en coordonnées logarithmiques-polaires [CN5, Th9].

L’évaluation quantitative des performances de cette méthode réalisée sur des séquences d’images d’un fantôme (photographie de vessie de porc) dont les transformations étaient par-faitement connues a permis d’obtenir de très bons résultats avec des erreurs moyennes faibles pour les paramètres trouvés en translation (±3 pixels), en rotation (±0,8°) et en facteur d’échelle (±0,05). Par contre, les essais effectués sur des séquences d’images de cystoscopies cliniques ont mis en évidence la présence de nombreux pics dans la fonction de corrélation de phase (ce, malgré l’emploi de filtres d’apodisation spatiale) empêchant l’extraction du pic de corrélation correct déterminant les valeurs de rotation et de facteur d’échelle. Un des problèmes de cette approche est que les images cystoscopiques sont déformées en réalité par des transformations plus com-plexes (changements de perspective) qu’une similitude. Des similitudes ont été testées car les changements de perspective sont en moyenne très faibles entre deux images consécutives et ce même pour un examen réel. Cependant lors de changements de trajectoires du cystoscope, les changements de perspective deviennent trop importants et le recalage échoue avec une similitude. Bien que l’approche utilisant la TFM ne puisse pas être retenue pour notre application, ces travaux nous ont permis de confirmer que la corrélation de phase constitue une technique simple, rapide et suffisamment robuste dans le cas des images cystoscopiques réelles pour ob-tenir des valeurs de translation proches de la solution. Notre idée originale est donc d’utiliser ces valeurs de translations dans le plan pour initialiser un processus subséquent de recalage itératif de l’ensemble des paramètres de la transformation projective. Cela doit mener à réduire considérablement le nombre d’itérations d’un algorithme d’optimisation qui trouve précisément la solution.

Inspirés par les méthodes de flot optique, de suivi d’objets ou de mosaïquage d’angiogrammes [83, 9, 126, 125], nous avons choisi une méthode de recalage basée sur l’algorithme de Lucas & Kanade (L & K ) [68] qui utilise, comme mesure de similarité S, la somme des différences au

Chapitre II. Imagerie endoscopique panoramique multispectrale : détection, localisation et représentation spatiales carré SSD entre les niveaux de gris des images source et cible telle que :

SSD = X

x∈Ii∩Ii+1

[Ii+1(x) ◦ (Ti,i+1(M)) − Ii(x)]2

= ^X

x∈Ii∩Ii+1

[I_i+1(T_i,i+1(x; M)) − Ii(x)]2 (II.7)

où Ii+1(T_i,i+1(x; M)) est l’image source Ii+1transformée par Ti,i+1avec la matrice des paramètres M. SSD est calculée pour les pixels de coordonnées x communes aux deux images cible Ii et source Ii+1.

A partir d’une estimation initiale connue des valeurs des paramètres de la matrice M, l’algo-rithme de L & K consiste à chercher les incréments ∆M pour minimiser :

SSD = X

x∈Ii∩Ii+1

[Ii+1(Ti,i+1(x; M + ∆M)) − Ii(x)]2 (II.8)

La mise à jour itérative M ← M + ∆M est telle que :

T_i,i+1(x; M) ← Ti,i+1(x; M + ∆M) ≈ Ti,i+1(x; M) +^∂Ti,i+1

∂M ∆M (II.9)

Les valeurs d’incréments ∆M sont obtenus à l’aide d’une méthode d’optimisation du second ordre (Gauss-Newton). Ce problème de minimisation de moindres carrés passe par le calcul de la dérivée première de SSD (équation II.8) après développement en série de Taylor de I_i+1(T_i,i+1(x; M + ∆M)) par rapport à ∆M. Ceci implique de calculer, à chaque itération, le Jacobien JT(M) (dérivée première des coordonnées transformées des pixels en (x, y) par rapport à chaque paramètre de transformation), le Gradient en niveaux de gris ∇Ii+1(x) et la matrice des dérivées secondes Hi+1 (le Hessien) de l’image source Ii+1(x), définis comme :

               J_T(M) = ∂Ti,i+1(x;M ) ∂M =   ∂Ti,i+1(x;M ) ∂m1 . . .^∂Ti,i+1(x;M ) ∂m9 ∂Ti,i+1(y;M ) ∂m1 . . .^∂Ti,i+1(y;M ) ∂m9  

∇Ii+1(x) =^∂Ii+1(x,y)

∂x ,^∂Ii+1(x,y) ∂y



H_i+1= P_{x∈Ii∩Ii+1}^h_∇Ii+1(x)∂T_i,i+1(x;M ) ∂M

iT h

∇Ii+1(x)∂T_i,i+1(x;M ) ∂M

i

(II.10)

Lorsque les images à recaler sont relativement similaires , ce qui est le cas dans notre ap-plication (images successives d’une séquence), le calcul du gradient de l’image source peut être avantageusement remplacé par celui de l’image cible. L’algorithme de composition inverse ainsi développé dans [8] minimise l’expression suivante par rapport à ∆M :

SSD = X

x∈Ii∩Ii+1

[Ii(Ti,i+1(x; ∆M)) − Ii+1(Ti,i+1(x; M))]2 (II.11) avec la mise à jour itérative :

T_i,i+1(x; M) ← Ti,i+1(x; M) ◦ Ti,i+1(x; ∆M)−1 (II.12)

Après développement (détails dans [Th9] et [RI17] en page 179), on aboutit finalement au calcul du Hessien Hi de l’image lIi(x) tel que :

Hi = ^X

x∈Ii∩Ii+1

 ∇Ii(x)^∂Ti,i+1(x; M) ∂M T ∇Ii(x)^∂Ti,i+1(x; M) ∂M  (II.13)

II.2. Représentation panoramique automatique : recalage et mosaïquage d’images avec ∇Ii(x) le gradient de l’image Ii.

Ainsi, en inversant le rôle des images source et cible, le Gradient et le Hessien de Ii peuvent être calculés une fois pour toute au départ du processus d’optimisation, ce qui conduit à une réduction importante du temps de calcul global sans affecter la robustesse. L’algorithme de composition inverse ainsi développé peut être appliqué aux transformations homographiques i.e. perspectives.

II.2.3.3.2 Evaluation quantitative et qualitative

L’ensembles des résultats détaillés est donné dans [Th9, RI17, CI16, CN5, CI19, CN9]. Comme précédemment, l’évaluation quantitative de la précision de construction des images panora-miques à l’aide de l’algorithme de mosaïquage développé a été menée sur des séquences d’images acquises sur une photographie de vessie et sur un quadrillage de points alignés régulièrement espacés. L’acquisition de ces séquences a été réalisée en suivant un parcours prédéfini de dépla-cements contrôlés à l’aide du système de positionnement motorisé (2 rotations et 3 translations). Le parcours décrit comprend 4 combinaisons de déplacements impliquant les 5 axes : transla-tions en −^→x (dans le plan) et en −^→z (facteur d’échelle), translation en −^→y et rotation dans le plan, translation en −^→x et rotation hors plan (effet perspective), et finalement la combinaison de trans-lations en −^→y et −^→z et de rotations dans et hors plan simultanément. Un ensemble de 169 images a été acquis avec la première et la dernière de la séquence acquises à la même position. L’erreur moyenne de mosaïquage em définie par l’équation II.6 est obtenue à partir de l’extraction des positions des centroïdes de 31 points de l’image du quadrillage avant recalage (image complète) et après recalage (image panoramique construite). L’erreur moyenne de mosaïquage obtenue de 3.82 pixels représente environ 0.3% du plus petit côté de l’image panoramique construite (1947 × 1187 pixels). Ce très faible pourcentage d’erreur est obtenu sans besoin de recourir à une correction de boucle comme précédemment.

La validation qualitative des performances de notre algorithme de mosaïquage a été menée sur 10 séquences cystoscopiques d’intérêt (contenant des éléments exploitables par le clinicien pour orienter l’image panoramique et l’analyser plus précisément) provenant de 6 examens cli-niques réels de patients. Le nombre d’images dans ces séquences varie de 150 (6 secondes) à 1300 images (52 secondes). Malgré les différences importantes des caractéristiques texturales et des conditions d’illumination, l’approche développée est suffisamment robuste pour construire des images panoramiques visuellement cohérentes qui ont permis aux cliniciens de les analyser et de les interpréter correctement. Pour recaler une paire d’images, l’algorithme d’optimisation nécessite en moyenne 12 itérations soit une durée de recalage entre 1.2 et 1.5 secondes. Pour les séquences testées, le temps de construction total (recalage et collage) varie selon la na-ture des images et des mouvements dans les séquences, entre 5 et 13 minutes [Th9, RI17]. Ces temps de calcul permettent d’envisager la construction d’une image panoramique partielle de la vessie avant la fin de l’examen cystoscopique en particulier si l’on trouve le moyen de ne pas recaler l’intégralité des images d’une séquence mais seulement celles séparées par des variations “significatives” des paramètres de transformation.

II.2.3.4 Caractérisation des paramètres de translation et sélection dynamique d’images