De plus, `a partir du paragraphe suivant, nous nous pla¸cons dans le cas des m´ethodes de mise en correspondance de pixel `a pixel.
1.6.5 Contrainte d’unicit´e
La contrainte d’unicit´e, contrainte binaire, est largement employ´ee en st´er´eovision (cf. figure1.2.(a)) ; elle est d´efinie par :
Si pi,j1
g + d(pi,jg 1) = pi,vd alors ∀ j2 6= j1 pgi,j2 + d(pi,jg 2) 6= pi,vd . (1.5) Si deux pixels diff´erents ont le mˆeme correspondant, alors la contrainte d’unicit´e n’est pas v´erifi´ee. Cependant, cette contrainte peut ˆetre viol´ee : quand un plan de la sc`ene est tr`es inclin´e par rapport `a l’une des deux cam´eras, l’effet de raccourcissement peut apparaˆıtre et ainsi tous les pixels n’ont pas forc´ement un correspondant unique. Un exemple est fourni sur la figure 1.2.(b).
(a)
Image gauche Image droite
pi,j1
g pi,jg 2 pi,vd
(b)
Cam´era gauche Cam´era droite
P1
P2
pi,j1
g pi,jg 2 pi,vd
Og Od
Fig.1.2 – Contrainte d’unicit´e – Dans la figure (a), nous pouvons voir les correspondances entre pi,j1
g et pi,vd et entre pi,j2
g et pi,vd qui ne respectent pas la contrainte d’unicit´e. En (b), Il s’agit d’une vue de dessus d’un capteur binoculaire en configuration parall`ele et d’une sc`ene. C’est un exemple de violation de la contrainte provoqu´ee par un raccourcissement : tous les points qui se trouvent sur le segment de droite [P1P2] se projettent sur le pixel pi,vd dans l’image droite.
1.6. Contraintes pour la mise en correspondance 19
1.6.6 Contrainte d’ordre
La contrainte d’ordre, contrainte binaire, est parfois utilis´ee en st´er´eovision (cf. figure 1.3.(a)) et elle est d´efinie par :
Si pi,j1
g + d(pi,jg 1) = pi,vd 1 et pi,jg 2+ d(pgi,j2) = pi,vd 2 alors (j1− j2)(v1− v2) ≥ 0. (1.6) Elle signifie que l’ordre des pixels de l’image gauche le long de la droite ´epipolaire doit ˆetre le mˆeme que celui de leurs correspondants. Cette contrainte peut aussi ˆetre viol´ee lorsqu’il y a, dans la sc`ene, des plans transparents fortement inclin´es par rapport au plan de l’une des cam´eras. Un exemple est montr´e sur la figure 1.3.(b).
(a) Image gauche Image droite
pi,j1
g pi,jg 2 pi,vd 1 pi,vd 2
(b) P1 P2 Cam´era droite Cam´era gauche pi,j1 g pi,j2 g pi,vd 1 pi,v2 d Og Od
Fig. 1.3 – Contrainte d’ordre – En (a), nous pouvons voir deux correspondances qui respectent la contrainte d’ordre et deux correspondances qui ne la respectent pas. En (b), une vue de dessus d’un capteur binoculaire en configuration parall`ele et d’une sc`ene, montre un exemple de violation de la contrainte d’ordre (le plan transparent vertical passant par les points P1 et P2, repr´esent´e en tirets, est fortement inclin´e par rapport au plan des images).
1.6.7 Contrainte de sym´etrie
Un des affinements des r´esultats d’une mise en correspondance les plus employ´es est la v´erification bidirectionnelle (cf. figure1.4.(a)), qui met en œuvre la contrainte de sym´etrie. Cette contrainte binaire s’´ecrit :
Si pi,jg + d(pi,jg ) = pi,vd alors pi,vd + d(pi,vd ) = pi,jg . (1.7) Deux mises en correspondance sont effectu´ees, de la gauche vers la droite puis de la droite vers la gauche. Si un pixel pi,jg a pour correspondant le pixel pi,vd , alors, lors de la seconde mise en correspon- dance, pi,vd doit avoir pour correspondant pi,jg . Si ce n’est pas le cas, la contrainte de sym´etrie n’est pas
respect´ee. Nous avons pu trouver une d´efinition diff´erente, mais ´equivalente, de cette contrainte sous l’appellation de contrainte de consistance forte d´efinie dans [Gong 03, Kostkov´a 03]. Elle est d´efinie comme la conjonction de la contrainte d’unicit´e de la droite vers la gauche et de la gauche vers la droite. La contrainte de sym´etrie assure la contrainte d’unicit´e, ce qui signifie que si un ensemble de correspondances v´erifient la contrainte de sym´etrie, alors elles v´erifient aussi la contrainte d’unicit´e.
Cette contrainte est tr`es forte et, dans certains travaux [Crouzil 96,Belli 00], les auteurs ont propos´e une version qui tol`ere une erreur de quelques pixels que l’on l’appelle la contrainte de sym´etrie faible (cf. figure1.4.(b)) et qui est d´efinie par :
Si pi,j1 g + d(pi,jg 1) = pi,vd et p i,v d + d(p i,v d ) = pi,jg 2 alors |j2− j1| < Tj, (1.8) avec Tj est un seuil `a fixer.
(a) Image gauche Image droite
pi,j1
g pi,vd
pi,j2
g
(b) Image gauche Image droite
pi,j3
g
Fig.1.4 – Contrainte de sym´etrie (v´erification bidirectionnelle) – La contrainte de sym´etrie est illustr´ee en (a) et nous pouvons la comparer `a la contrainte de sym´etrie faible en (b). Nous pouvons remarquer que les correspondances entre pi,j1
g et pi,vd et entre pi,vd et pi,jg 2 sont rejet´ees lorsqu’on applique la contrainte de sym´etrie alors qu’elles ne le sont pas quand il s’agit de la contrainte de sym´etrie faible. Les contraintes d’ordre et d’unicit´e ont ´et´e tr`es utilis´ees ; une variante de ces contraintes, la consis- tance faible, a mˆeme ´et´e propos´ee dans [Gong 03,Kostkov´a 03].
1.6.8 Consistance faible
La consistance faible s’appuie sur la contrainte d’unicit´e et la contrainte d’ordre. Elle est donc binaire et elle est d´efinie par :
Si pi,jg + d(pi,jg ) = pi,vd alors
∀ j0> j pi,jg 0+ d(pi,jg 0) 6= pi,vd et ∀ v0 < v pi,vd 0+ d(pi,vd 0) 6= pi,jd . (1.9) Cela signifie que si pi,jg a pour correspondant pi,vd alors la contrainte de sym´etrie doit ˆetre v´erifi´ee pour tous les pixels sur la mˆeme ligne que pi,jg tels que leurs indices de colonne soient sup´erieurs `a j et pour tous les pixels sur la mˆeme ligne que pi,vd tels que leurs indices de colonnes soient inf´erieurs `a v. Cette contrainte a ´et´e propos´ee pour tenter de limiter l’effet des contraintes d’unicit´e et d’ordre, c’est-`a-dire pour interdire moins de correspondances.
1.6. Contraintes pour la mise en correspondance 21
1.6.9 Synth`ese et comparaison des contraintes d’unicit´e, de sym´etrie, d’ordre et de consistance faible
Toutes ces contraintes peuvent ˆetre utilis´ees pour rejeter des appariements ou conditionner la mise en correspondance, c’est-`a-dire, diminuer l’espace de recherche ou p´enaliser certaines correspondances. Pour illustrer les diff´erences entre toutes ces contraintes (unicit´e, ordre, sym´etrie et consistance faible), nous pouvons ´etudier une correspondance entre deux pixels et analyser l’impact de chaque contrainte, si elle est appliqu´ee, sur l’appariement des autres pixels de l’image. Sur la figure1.5, on voit que l’effet de la consistance faible est beaucoup moins important que celui de la contrainte d’ordre et qu’elle permet de tol´erer certaines configurations dans lesquelles la contrainte d’unicit´e et la contrainte d’ordre sont viol´ees. (a) Unicit´e (gauche vers droite) gauche colonne v j colonne droite (b) Sym´etrie gauche colonne v j colonne droite (c) Ordre gauche colonne v j colonne droite (d) Consistance faible gauche colonne v j colonne droite
Fig.1.5 – Comparaison des contraintes – Ces sch´emas illustrent l’impact des contraintes sur l’ensemble des appariements possibles, lorsque la correspondance entre un pixel de colonne j, dans l’image gauche, et un pixel de colonne v, dans l’image droite, a ´et´e ´etablie. Les axes des abscisses et des ordonn´ees correspondent respectivement `a la colonne des pixels de l’image de gauche et de droite sur leur droites ´epipolaires associ´ees. Dans l’exemple de la contrainte d’unicit´e, en (a), si on ´etablit la correspondance entre les pixels de colonnes j et v, alors toutes les correspondances sur la colonne v sont interdites. Grˆace aux figures (a) et (b), on peut illustrer que la contrainte de sym´etrie est bien ´equivalente `a la contrainte d’unicit´e appliqu´ee de la gauche vers la droite et de la droite vers la gauche. La contrainte de sym´etrie implique aussi la contrainte de consistance faible. La contrainte d’ordre (c) est la plus forte, dans le sens o`u elle permet d’interdire le plus grand nombre de correspondances. Les contraintes d’unicit´e (a) et de consistance faible (d) sont les moins fortes.
1.6.10 Limite du gradient de disparit´e
La limite du gradient de disparit´e est aussi tr`es utilis´ee [Barnard 89,Jones 97,Zhang 00,Mayer 03,
Wei 04]. Cette contrainte binaire s’appuie sur l’hypoth`ese d’une continuit´e dans les disparit´es, ce qui implique que le gradient de disparit´e, not´e Gd, ne doit pas d´epasser une certaine valeur. Une approximation du gradient de disparit´e est d´efinie comme la diff´erence des disparit´es divis´ee par la s´eparation cyclop´eenne (diff´erence de la distance entre deux pixels dans l’image gauche et de la distance entre leurs correspondants respectifs dans l’image droite). Cette contrainte est d´efinie dans [Horaud 93, p. 185] par :
Si pi,j1
g + d(pi,jg 1) = pi,vd 1 et pgi,j2 + d(pi,jg 2) = pi,vd 2 alors
Gd(pi,jg 1,pdi,v1,pi,jg 2,pi,vd 2) = (pi,j1
g − pi,jg 2) − (pi,vd 1− pi,vd 2) 12 pi,v1
g + pi,vd 1) − (pi,jg 2 + pi,vd 2) < TG,
(1.10)
o`u TG est un seuil `a fixer.
1.6.11 Contrainte de rang
Banks et Bennamoun [Banks 01] proposent la contrainte de rang (cf. figure 1.6). Cette contrainte unaire est aussi utilis´ee dans [Rao 03, Zickler 03]. Elle s’appuie sur la comparaison du niveau de gris du pixel central avec celui des pixels de la zone d’agr´egation et se traduit par la r`egle suivante :
Si pi,jg + d(pi,jg ) = pi,vd alors ∀ pig0,j0 ∈ ZACc(pi,jg ), pi
0,v0
d ∈ ZACc(p i,v
d ) tels que j0− j = v0− v (Igi0,j0− Igi,j)(Idi0,v0 − Idi,v) > 0.
(1.11)
Le terme ZACc(pi,jl ) correspond `a l’ensemble des pixels qui se trouvent dans la zone d’agr´egation de la contrainte du pixel pi,jl . Cette contrainte suppose que le signe de la diff´erence entre les niveaux de gris du pixel ´etudi´e et de ceux de sa zone d’agr´egation doit ˆetre le mˆeme pour pi,jg et pi,vd .
(a) (b) (c) 250 200 198 100 104 110 50 48 78 255 205 203 105 109 115 55 53 93 255 205 100 105 109 105 55 53 110
Fig. 1.6 – Contrainte de rang – Sur cette figure, chaque matrice repr´esente le niveau de gris du pixel ´etudi´e, au centre, en gras, et les niveaux de gris des pixels de la zone d’agr´egation (ici, nous avons choisi une fenˆetre de taille 3×3 centr´ee sur le pixel consid´er´e). En (a), il s’agit du pixel dont on cherche le correspondant et de son voisinage 3 × 3. En (b) et (c), il s’agit de deux correspondants possibles et de leurs zones d’agr´egation respectives. Entre (a) et (b), la contrainte de rang est respect´ee. Entre (a) et (c), les pixels de la colonne de droite (en italique), ne respectent pas la contrainte.
1.7. Attributs des pixels 23
1.6.12 Contrainte de continuit´e figurale
La contrainte de continuit´e figurale [Ohta 85,Mohan 89,Horaud 93, p. 196], contrainte binaire, est d´efinie par :
Soient Cg un contour dans l’image gauche et Cd un contour dans l’image droite. On note : PCg = {p i,j g ∈ Cg} et PC0g = {p i,j g ∈ PCg| p i,j g + d(pi,jg ) ∈ Cd}. Si card(PC0g) ≥ 1
2card(PCg) alors ∀ (i0,j0) tels que p
i0,j0 g ∈ PCg, (p i0,j0 g + d(pi 0,j0 g )) ∈ Cd. (1.12)
Si un pixel pi,jg appartient `a un contour Cg dont la majorit´e des pixels ont ´et´e appari´es avec des pixels appartenant au mˆeme contour Cd, dans l’image droite, alors le correspondant du pixel pi,jg appartient `a Cd. Cette contrainte a ´et´e utilis´ee dans [Ohta 85] dans le cadre de la programmation dynamique. Il s’agit de l’exemple le plus significatif de l’utilisation de cette contrainte. Mohan et al. [Mohan 89] ont utilis´e cette contrainte pour tenter de corriger les erreurs d’appariement apr`es avoir calcul´e toutes les correspondances.
1.6.13 Autres contraintes
Il existe d’autres contraintes, moins populaires que celles que nous venons de pr´esenter. Nous pou- vons toutefois citer les contraintes d’ambigu¨ıt´e et d’impr´ecision [De Joinville 01]. Ces contraintes s’uti- lisent avec des m´ethodes locales, c’est pourquoi nous les d´etaillerons dans le chapitre 3, paragraphe
3.6.1.2.
1.7
Attributs des pixels
Dans cet ´etat de l’art, nous consid´erons les m´ethodes s’appliquant sur des images en niveaux de gris et des images couleur. Les correspondances peuvent ˆetre d´etermin´ees pour une partie des pixels – mise en correspondance partielle (ou non dense) – ou pour tous les pixels – mise en correspondance dense. Nous prendrons en compte ces deux types de m´ethodes.
Jones [Jones 97] consid`ere qu’il existe deux cat´egories de pixels `a ´etudier (cf. tableau 1.2) :
• Tous les pixels de l’image – Dans ce cas, les attributs utilis´es sont assez limit´es. Cela peut ˆetre le niveau de gris (c’est le plus populaire) ou la couleur.
• Des pixels particuliers de l’image – Nous appelons pixels particuliers des pixels qui correspondent `a des points particuliers dans la sc`ene. Dans ce contexte, la mise en correspondance ne sera pas dense. Comme type de pixels particuliers, nous pouvons citer :
◦ Les points d’int´erˆet – Ce sont les points qui poss`edent des caract´eristiques particuli`eres les rendant plus discriminants pour la mise en correspondance. De tr`es nombreuses m´ethodes s’appuient sur une d´etection de points d’int´erˆet [Weng 92, Jung 01]. Les d´etecteurs de points d’int´erˆet les plus populaires sont celui de Harris et Stephens [Harris 88], utilis´e notamment dans [Gouet 98,Smith 98,Gouet 00,Lhuillier 04,Benhimane 04] et celui de Shi et Tomasi [Shi 94], utilis´e dans [Megyesi 04]. D’autres m´ethodes effectuent une d´etection de coins comme dans [Ishikawa 98,Stock 03,Kaplan 04], en utilisant notamment le d´etecteur SUSAN propos´e dans [Smith 97].
◦ Les points contour – Les points contour, utilis´es notamment dans [Ishikawa 98, Shao 02,
Petrakis 02], sont d´etect´es le plus souvent par le d´etecteur de Canny [Canny 86] ou l’op´erateur de Shen et Castan [Shen 92]. Dans [Xu 97, Koch 98,Paparoditis 98,Rziza 00,
celui de Shen et Castan. Dans [Pajares 03], Pajares et De La Cruz s’appuient sur une image filtr´ee par un laplacien de gaussien et dans [Ohta 85], Ohta et Kanade appliquent une com- binaison de plusieurs op´erateurs permettant le calcul des d´eriv´ees premi`eres des niveaux de gris.
Dans la plupart des cas, les attributs utilis´es sont les mˆemes que ceux utilis´es pour les pixels. Nous pouvons toutefois citer des m´ethodes qui ont ´et´e propos´ees pour prendre en compte de grandes d´eformations entre les images afin d’effectuer notamment de l’indexation d’images ou du suivi d’objets :
◦ Dans [Carneiro 04], `a chaque point d’int´erˆet est associ´e un vecteur d’attributs qui d´epend de l’histogramme local (le pixel ´etudi´e et ses pixels voisins sont pris en compte).
◦ Dans [Stock 03], les caract´eristiques des droites qui forment un coin sont consid´er´ees. ◦ Dans [Schmid 95,Gros 97], chaque pixel particulier est caract´eris´e par des invariants locaux.
Cat´egorie Primitive Attributs Pr´etraitement
Pixels - Niveaux de gris ou couleur -
Pixels particu-
liers
Points
d’int´erˆet Niveaux de gris ou couleur Histogramme local
Invariants locaux
D´etecteur de Harris et Stephens [Harris 88] ou op´erateur de SUSAN
[Smith 97] Points
contour
Op´erateur de Canny [Canny 86], de Shen et Castan [Shen 92]