3.4 Les mosa¨ıques
3.4.1 Etat de l’art ´
Plusieurs aspects de la g´en´eration automatique de mosa¨ıques ont ´et´e abord´es. 3.4.1.1 Estimation des correspondances inter-images
Fondamentalement, la correspondance entre deux images I et I0doit ˆetre estim´ee. Cette estimation a ´et´e abord´ee sous plusieurs angles.
Cas o`u les seuls indices visuels sont les niveaux de gris. Une image de diff´erence de niveaux de gris ∆I = I − I0◦ Tθ est form´ee et il s’agit de calculer le mod`ele param´etr´e
qui minimise k∆Ik. Le m´ecanisme multir´esolution est « incontournable » [SS97, SHK98]. Cas o`u les indices visuels sont plus ´elabor´es (points d’int´erˆet,...). Deux sous- probl`emes se posent dans cette situation ([SMB00, BL02, SZ02]) :
– quels indices ? les plus invariants, les plus faciles `a d´etecter, les plus adapt´es `a une localisation pr´ecise,...
– quels crit`eres pour apparier ces indices ? une mesure de ressemblance est « incon- tournable » et cruciale (§ 3.4.3.1) : la qualit´e de l’estimation en d´epend directement. Certains auteurs posent simultan´ement le probl`eme de l’appariement et de l’estimation [TD03].
La d´emarche de Kanazawa et Kanatani [KK04]. Ils d´eveloppent une approche par approximations successives. Cependant, au lieu de construire une hi´erarchie de r´esolutions (pyramide), ils se basent sur une hi´erarchie de mod`eles : translation, similitude, trans- formation affine, homographie ([KK04] § 3). `A chaque ´etage, ils estiment les param`etres du mod`ele courant par une mise en correspondance de points, utilisant les r´esultats de l’´etage
pr´ec´edent comme solution initiale. Les estimations sont faites `a partir d’un crit`ere LMS ([KK04] appendice C) adapt´e pour ˆetre plus significatif dans ce contexte.
3.4.1.2 Param`etres de la transformation
Dans le cas d’images panoramiques, la transformation peut ˆetre exprim´ee comme une homographie g´en´erale ou sous forme d’une fonction d´ependant d’un ensemble pertinent de param`etres physiques (typiquement trois angles de rotation et la distance focale).
3.4.1.3 Estimation des relations de voisinage entre images
Quand les images sont trait´ees en s´equence, chaque image est situ´ee par rapport `a la pr´ec´edente. Un probl`eme de topologie apparaˆıt quand la cam´era a fait un tour complet : les erreurs accumul´ees des mises en correspondance par couples engendrent un « trou » (biais de recalage) inacceptable entre la premi`ere et la derni`ere image.
Shum et Szeliski [SS97] sugg`erent de distribuer cette erreur (sur les angles de rotation et les distances focales) entre les correspondances de paires calcul´ees.
Le probl`eme est plus aigu quand les images sont prises en plusieurs passes `a diff´erentes inclinaisons ou quand elles sont dans un ordre al´eatoire. Dans le premier cas, un graphe de voisinage peut ˆetre mis `a jour it´erativement d’apr`es les r´esultats d’une mise en cor- respondance `a plusieurs images de r´ef´erence [SHK98]. Dans le second cas, un graphe de voisinage initial peut ˆetre construit en fonction de statistiques sur le nombre d’´el´ements similaires entre chaque paire d’images [SZ02].
Enfin, quand on a une approximation des param`etres de la transformation pour chaque image, ils peuvent ˆetre r´e-estim´es simultan´ement (ajustement de faisceaux).
3.4.1.4 Visualisation
Un autre aspect est la visualisation de l’image panoramique. Les images peuvent ˆetre projet´ees sur un plan (dans le syst`eme de coordonn´ees de l’une d’elles), sur un cylindre ou sur une sph`ere. La question qui se pose est : comment combiner les images sur les r´egions o`u plusieurs d’entre elles se superposent ?
Dans l’id´eal, elles devraient ˆetre exactement semblables, de sorte qu’une simple moyen- ne de niveaux de gris (ou de couleurs) suffise. En r´ealit´e, proc´eder ainsi introduit des « fantˆomes » aux endroits o`u les mod`eles g´eom´etrique ou photom´etrique ne sont pas v´erifi´es. Ceci peut arriver dans diff´erentes situations : le mod`ele de projection centrale plane est inexact (distorsions non compens´ees), des objets apparaissent ou disparaissent entre les images, la luminosit´e change (localement ou globalement).
Les impr´ecisions locales peuvent ˆetre compens´ees en d´epla¸cant l´eg`erement et en ajustant la luminosit´e de petits blocs (de l’ordre de 32 × 32 pixels) pour les faire paraˆıtre plus coh´erents entre les images [SS97, UES01].
`
A plus grande ´echelle, les couleurs de deux images peuvent ˆetre combin´ees avec des pond´erations variant continˆument. Brown et Lowe [BL03] proposent de synth´etiser les ap- proches globale et locale en une m´ethode multi-bande : les basses fr´equences spatiales des
3.4. LES MOSA¨IQUES 69 images sont combin´ees avec des pond´erations progressives, mais ils utilisent des transitions brusques pour les hautes fr´equences.
Les gros objets occultants peuvent ˆetre identifi´es et supprim´es `a l’aide d’un graphe de correspondance qui les identifie entre les images [UES01].
3.4.1.5 Logiciels du commerce
En somme, la g´en´eration de mosa¨ıques est une op´eration d´ej`a largement explor´ee. De nombreux produits commerciaux sont disponibles. Pour les « amateurs », les appareils photo Canon sont livr´es avec PhotoStitch. Pour les professionnels, RealViz Stitcher permet d’aligner finement les images, avec ´eventuellement une aide « manuelle ». Ces deux logiciels n´ecessitent une intervention de l’utilisateur pour indiquer la position approximative des images. Ils fournissent soit une image panoramique soit un fichier QuickTime VR.
3.4.1.6 Ce que nous en retenons
Dans notre travail, nous nous sommes surtout int´eress´es `a l’estimation de la correspon- dance entre deux images.
Nous proc´edons par approximations successives, au niveau du mod`ele, `a savoir : – une translation `a partir d’indices visuels grossiers (des r´egions) ;
– une homographie `a partir d’indices visuels pr´ecis (points d’int´erˆet). Nous d´elaissons volontairement la piste d’un appariement dense car :
– l’hypoth`ese est celle d’une transformation globale inter-images, `a savoir une homo- graphie ;
– le but est le calcul des huit param`etres de cette homographie.