Les notations suivantes sont utilis´ees :
• La taille des fenˆetres de corr´elation est (2Nv + 1) × (2Nh+ 1) et le nombre de pixels dans la fenˆetre de corr´elation est not´e Nf = (2Nv+ 1)(2Nh+ 1).
3.2. Pr´esentation de la mise en correspondance par corr´elation 1D 83
• Les niveaux de gris des pixels des fenˆetres de corr´elation (matrices) sont stock´es dans les vecteurs fl:
fl= (· · · Ili+p,j+q· · · )T = (· · · flk· · · )T
o`u flk est l’´el´ement k du vecteur fl, p ∈ [−Nv; Nv], q ∈ [−Nh; Nh] et k ∈ [0; Nf − 1]. • Le niveau de gris le plus grand de l’image est Imax.
• Le vecteur gradient au pixel (i j)T de l’image I
lest repr´esent´e par ∇Ili,j. La norme et l’orientation du gradient sont not´ees respectivement k∇Ili,jk et θ
i,j
l .
• La partie enti`ere de x est bxc.
• Les P-normes, ou distances LP, P ∈ IN∗, sont not´ees : kflkP = Nf−1 X k=0 |flk|P 1/P . (3.1)
Pour la norme euclidienne, nous notons : kflk = kflk2. • Le produit scalaire est donn´e par :
fg· fd=
NXf−1
k=0
fgkfdk. (3.2)
• Les moyennes sont not´ees :
moy(fl) = 1 Nf NXf−1 k=0 flk. (3.3)
Nous utilisons aussi le vecteur des moyennes d´efini par : fl= (moy(fl) · · · moy(fl)
| {z }
Nf colonnes
)T. (3.4)
• Les variances sont not´ees :
var(fl) = fl− fl2 = fl2− fl2. (3.5) • La concat´enation est not´ee ⊗.
• La fonction sgn est d´efinie par :
sgn(x) = −1 si x < 0 0 si x = 0 1 sinon. (3.6)
• La distance de Hamming est donn´ee par : DHam(fg,fd) =
NXf−1
k=0
sgn |fgk− fdk|. (3.7)
• Les valeurs ordonn´ees du vecteur fl sont not´ees :
3.2.2 D´efinitions
La d´efinition d’une mesure de corr´elation que nous adoptons dans ce m´emoire est la suivante : Il s’agit d’une mesure qui ´evalue `a quel point deux ensembles de donn´ees se ressemblent.
Par abus de langage, nous employons le terme (( mesure de corr´elation )) aussi bien pour une mesure qui ´evalue le degr´e de similarit´e que pour une mesure qui ´evalue le degr´e de dissimilarit´e. Toutefois, pour pr´esenter les diff´erentes mesures de corr´elation existantes, dans le paragraphe 3.3, nous pr´eciserons toujours s’il s’agit d’une mesure de similarit´e ou de dissimilarit´e.
Le but de la mise en correspondance est de trouver pour chaque pixel pi,jg de l’image gauche, le pixel pi,vd ∗ qui lui correspond dans l’image droite. La mise en correspondance par corr´elation repose sur l’hypoth`ese suivante :
Les niveaux de gris des pixels correspondants et des pixels de leurs voisinages se ressemblent.
Les mesures de corr´elation utilisent donc l’information donn´ee par les pixels, mais aussi celle qui est fournie par leurs voisinages respectifs. Ainsi, le score de corr´elation, qui est la valeur de la mesure de corr´elation, est ´evalu´e `a partir de deux ensembles : le pixel de l’image gauche et son voisinage, repr´esent´es par le vecteur fg, et le pixel de l’image droite et son voisinage, repr´esent´es par le vecteur fd. Notons que la zone d’agr´egation que nous avons d´efinie au chapitre 1 correspond `a ces voisinages, c’est `a dire que fl contient les niveaux de gris des pixels de la zone d’agr´egation ZA(pi,jl ).
Tout d’abord, il convient de d´eterminer (cf. figures3.1et 3.2) : • la taille de la fenˆetre de corr´elation ;
• le sens de mise en correspondance : de l’image gauche vers l’image droite (c’est le sens choisi dans l’algorithme3.1) ou de l’image droite vers l’image gauche ;
• la mesure `a utiliser, not´ee Mes.
Puis, pour chaque pixel pi,jg , il faut appliquer l’algorithme 3.1.
Les algorithmes `a base de mesure de corr´elation, sont souvent appel´es les algorithmes (( de r´egion )), block matching ou area-based matching, comme dans [Jawahar 02].
1. D´eterminer la zone de recherche, region of interest (zone dans laquelle on pense trouver le correspondant), not´ee Zd(pi,jg ), et donn´ee par
Zd(pi,jg ) = n
pi,vd | j + dcmin ≤ v ≤ j + dcmaxo (3.9) o`u les termes dcmin et dcmax repr´esentent la plus petite et la plus grande composante de la disparit´e selon les colonnes (Nz= dcmax− dcmin)
2. Pour chaque pi,vd ∈ Zd(pi,jg ) faire calculer Mes(fg,fd)
3. S´electionner le pixel pi,vd ∗ qui donne le meilleur score de corr´elation pi,vd ∗ = argmin
pi,vd ∈Zd(pi,jg )
Mes(fg,fd) (3.10)
Algo. 3.1 – Mise en correspondance par corr´elation 1D (niveaux de gris) – Nous nous pla¸cons dans le cas des images rectifi´ees. Cet algorithme correspond `a une recherche exhaustive dans la zone de recherche. Le terme Nz est le nombre de pixels consid´er´es dans la zone de recherche. Les vecteurs fg et fd sont les vecteurs repr´esentant les deux ensembles de pixels compar´es.
3.2. Pr´esentation de la mise en correspondance par corr´elation 1D 85
Image gauche Image droite
i
pi,jg pi,vd
j = dcmax
j dcmin v
Fig. 3.1 – Zone de recherche et fenˆetres de corr´elation – Les rectangles correspondent aux fenˆetres de corr´elation, fg et fd, et le rectangle en gras correspond `a la zone de recherche, Zd(pi,jg ). Nous nous pla¸cons dans le cas des images rectifi´ees. Ainsi, cette zone de recherche est unidimensionnelle. Si les images n’´etaient pas rectifi´ees alors la zone de recherche serait bidimensionnelle.
3.2.3 Difficult´es
La principale limite de la mise en correspondance par corr´elation provient de l’hypoth`ese de d´epart. En utilisant les pixels du voisinage du pixel consid´er´e pour d´eterminer le score de corr´elation, on suppose que ces derniers poss`edent tous la mˆeme disparit´e. Dans la plupart des cas, cette hypoth`ese est quasiment respect´ee, mais elle ne l’est plus dans les cas suivants :
• pr´esence de bruits ;
• changements de luminosit´e ;
• d´eformations (dues `a la projection perspective) des objets de la sc`ene ; • occultations.
Dans le cas d’images bruit´ees, des m´ethodes, cf. [Kim 05], ont ´et´e propos´ees avec un pr´efiltrage des images pour tenter d’´eliminer les bruits.
Pour r´esoudre le probl`eme des changements de luminosit´e, des mesures centr´ees et normalis´ees sont pr´esent´ees aux paragraphes 3.3.1et3.3.2.
Pour les d´eformations dues `a la projection perspective, une approche de corr´elation fine introduite dans [Devernay 97, chap. 3] et am´elior´ee dans [Garcia 01a, chap. 2 et 3] a ´et´e propos´ee. Le principe de cette m´ethode est d’adapter localement la fenˆetre de corr´elation `a la courbure et `a l’orientation locale de la surface de l’objet consid´er´e. Ainsi, en plus d’estimer la disparit´e associ´ee `a chaque pixel, il faut estimer l’ensemble des param`etres de la transformation locale associ´ee `a ce pixel. Alors que la m´ethode de Devernay [Devernay 97, chap. 3] s’appuie sur des images rectifi´ees, la m´ethode de Garcia [Garcia 01a, chap. 2 et 3] peut ˆetre utilis´ee avec des images non rectifi´ees.
Dans le cas des occultations, l’hypoth`ese de la mise en correspondance par corr´elation n’est plus v´erifi´ee `a la fronti`ere des objets occultants. En effet, dans le voisinage d’un pixel situ´e `a la fronti`ere d’un changement de profondeur, certains pixels appartiennent au premier niveau de profondeur et d’autres au deuxi`eme niveau. Cette situation va perturber la mise en correspondance par corr´elation, car d’une image `a l’autre, les pixels qui se correspondent n’auront pas les mˆemes niveaux de gris dans leur voisinage et leur score de corr´elation ne sera pas maximal.
Plusieurs solutions ont ´et´e envisag´ees pour prendre en compte ce probl`eme. Les deux solutions principales sont :
• Les fenˆetres adaptatives – La forme de la fenˆetre n’est pas fixe. Elle s’adapte en fonction de la zone de l’image qui est parcourue. La m´ethode de corr´elation fine peut ˆetre consid´er´ee comme une m´ethode de fenˆetres adaptatives.
• Les mesures robustes aux occultations – Ces mesures int`egrent directement le probl`eme des occultations dans le calcul du score de corr´elation. Elles correspondent `a la derni`ere famille que nous pr´esentons et aux nouvelles mesures que nous proposons.
(a) Calcul des scores avec une mesure 1D S´election du pi,vd ∗ meilleur score fg Zd(pi,jg ) ScoreNz−1 Score0 (b) Score1 S´election ScoreM du meilleur score fg Zd(fgi,j) pi,vd ∗ Mesure 1D Mesure 1D fd0 fNz−1 d
Fig.3.2 – Mise en correspondance par corr´elation – (a) Recherche d’un correspondant pi,vd ∗en utilisant une mesure 1D. (b) D´etails du calcul des scores avec une mesure 1D. Il y a Nz candidats dont les fenˆetres de corr´elation associ´ees sont repr´esent´ees par les vecteurs fdm avec m = 0..Nz− 1.
3.2.4 Propri´et´es
En exposant les mesures de corr´elation, nous en pr´esentons les caract´eristiques : • l’intervalle de variation des mesures form´e d’un minorant et d’un majorant ; • le type de la mesure : similarit´e ou dissimilarit´e ;
• les invariances par rapport aux transformations des niveaux de gris, c’est-`a-dire par rapport aux changements de luminosit´e. Nous consid´erons trois types d’invariance, en posant a,b,c,d ∈ IR∗:
◦ Invariance de type gain, not´ee G :
Mes(afg,bfd) = Mes(fg,fd). (3.11) ◦ Invariance de type biais, not´ee B :