Mesure de Trajectoire par Stéréo-Vision pour des Applications de Suivi de Véhicules à Basse Vitesse

HAL Id: inria-00590240

https://hal.inria.fr/inria-00590240

Submitted on 9 May 2011

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Mesure de Trajectoire par Stéréo-Vision pour des Applications de Suivi de Véhicules à Basse Vitesse

Julien Morat, Frédéric Devernay, Sébastien Cornou

To cite this version:

Julien Morat, Frédéric Devernay, Sébastien Cornou. Mesure de Trajectoire par Stéréo-Vision pour

des Applications de Suivi de Véhicules à Basse Vitesse. ORASIS 2007 - Journées du GDR-PRC

Communication Homme-Machine, Jun 2007, Obernai, France. �inria-00590240�

Mesure de Trajectoire par St´er´eo-Vision pour des Applications de Suivi de V´ehicules ` a Basse Vitesse

Julien Morat ^†,∗ , Fr´ ed´ eric Devernay ^∗ , S´ ebastien Cornou ^†

INRIA Rhˆ one-Alpes ^∗ Renault ^†

R´ esum´ e

La recherche en mati` ere de r´ egulateurs de vitesse avec gestion des inter-distances est un sujet promet- teur dans le domaine des transports intelligents. Un des principaux d´ efis restant ` a relever dans ce domaine est la perception de l’environnement du v´ ehicule, tout particuli` erement ` a basse vitesse. Dans cet article, nous pr´ esentons une nouvelle approche bas´ ee sur un syst` eme de st´ er´ eovision permettant de suivre en 3-D la position et la vitesse du v´ ehicule cibl´ e. Cette m´ ethode est une extension de l’algorithme propos´ e par Lucas

& Kanade [8, 1]. Nous avons int´ egr´ e deux contraintes permettant d’exploiter au mieux la st´ er´ eovision : (1) la contrainte ´ epipolaire, qui assure que les points suivis restent sur les lignes ´ epipolaires, et (2) la contrainte de grandissement qui lie la profondeur du point suivi ` a sa taille apparente dans l’image. Nous pr´ esentons des r´ esultats exp´ erimentaux sur des donn´ ees r´ eelles et si- mul´ ees prouvant l’apport de la m´ ethode en terme de pr´ ecision et de robustesse.

1 Introduction

La gestion automatique de vitesse des v´ ehicules de s´ eries est un des sujets de recherche les plus populaires aupr` es de l’industrie automobile [7]. Le r´ egulateur vi- tesse (Cruise Control en anglais), capable de mainte- nir un v´ ehicule ` a vitesse constante, constitue un pre- mier pas dans cette direction. La prochaine ´ etape est un r´ egulateur intelligent capable de garder une dis- tance de s´ ecurit´ e avec le v´ ehicule pr´ ec´ edent (Adap- tative Cruise Control en anglais). D’ores et d´ ej` a, des ACC permettant de r´ eguler des inter-distances ` a haute vitesse (sur autoroute) sont disponibles sur le march´ e.

Des syst` emes de r´ egulation ` a basse vitesse (Low Speed Following) sont maintenant en cours d’introduction sur les v´ ehicules haut de gamme.

Les syst` emes actuels utilisent des LIDAR [10] ou des RADAR pour mesurer la distance et la vitesse relative

∗

38334 St Ismier Cedex, France

{julien.morat,frederic.devernay}@inrialpes.fr

†

Environment Detection and Advanced Driving Assistance Systems, Electronic Department - Renault Research, France {sebastien.cornou,javier.ibanez-guzman}@renault.com

au v´ ehicule cibl´ e. Ces capteurs actifs fournissent une mesure directe et fiable, mais souffrent d’un champs de vue limit´ e ou d’un coˆ ut trop ´ elev´ e.

Les syst` emes bas´ es sur la st´ er´ eovision peuvent four- nir des images en haute r´ esolution des champs de vue larges. De plus ces syst` emes deviennent abordables et peuvent ˆ etre utilis´ es pour de multiples applica- tions (d´ etection de lignes, d´ etection d’obstacle pour pr´ e crash, . . . ), cr´ eant l’attrait des constructeurs.

N´ eanmoins, suivre un objet en mouvement au cours d’une longue p´ eriode de temps est une tˆ ache difficile.

La plupart des m´ ethodes de vision, commencent par construire une image de profondeur de la sc` ene, ap- pel´ ee image de disparit´ e, puis en extraient les obs- tacles et finalement les identifient au cours du temps.

Le probl` eme de cette approche est son impr´ ecision.

En effet, le processus d’extraction d’obstacle est un probl` eme tr` es difficile qui donne une position relative.

Pour obtenir la vitesse des cibles, il faut (1) identifier les obstacles au cours du temps et (2) d´ eduire la vi- tesse de la succession des positions. Identifier un mˆ eme obstacle au cours du temps repose souvent sur des hy- poth` eses fortes, telles que des propri´ et´ es de mouve- ment, ce qui peut introduire une premi` ere source d’er- reur. D’autre part, la vitesse est obtenue en d´ erivant la position accentuant alors l’impr´ ecision de cette me- sure.

Pour ´ eviter cet enchaˆınement d’impr´ ecisions, nous pro- posons de calculer une mesure de vitesse directement

`

a partir des informations disponibles dans les images.

En se basant sur l’´ etude comparative des performances des techniques de suivi en vision de Barron et al. [2], mettant en avant les pr´ ecisions de mesures sur des s´ equences r´ ealistes, nous reprenons la m´ ethode de cal- cul du flux optique (bas´ ee sur le gradient) de Lukas et Kanade [8, 1]. ´ Etant donn´ e que cette m´ ethode calcul un mouvement 2-D, nous la transposons au cas d’un syst` eme st´ er´ eo, prenant ainsi en compte l’information de distance. Nous obtenons ainsi un vecteur de mou- vement 3-D ` a chaque pas de temps.

La suite de cet article s’organise en deux parties.

Premi` erement, la section 2 pr´ esente les diff´ erentes

adaptations et am´ eliorations de la m´ ethode de Lucas-

1

Kanade au cas de la st´ er´ eovision. La formulation du probl` eme est chang´ ee pour consid´ erer un es- pace ` a 3 dimensions et tenir compte des change- ments de tailles en fonction de l’´ eloignement. Des r´ esultats exp´ erimentaux sont pr´ esent´ es pour com- parer plusieurs techniques de suivi. Deuxi` emement, la section 3 d´ etaille une seconde adaptation de la m´ ethode au cas particulier de suivi de v´ ehicules. Des r´ esultats exp´ erimentaux sur des s´ equences r´ eelles sont

´

egalement pr´ esent´ es.

2 Extension de l’algorithme Lucas-Kanade au cas de la Stereo-vision pour le suivie d’objets 3-D

Rappelons que nous sommes int´ eress´ es par la me- sure de position et de vitesse 3-D des v´ ehicules. Les techniques de suivi 2-D d’´ el´ ements dans des images g´ en´ eralement d´ edi´ ees au suivi d’objets observ´ es par une cam´ era seule sont con¸ cus pour prendre en compte la coh´ erence temporelle, mais ne permettent pas d’en d´ eduire une mesure de distance fiable. Au contraire, les techniques de st´ er´ eovision fournissent une mesure de position 3-D, mais ne prennent pas imm´ ediatement en compte les connaissances sur la coh´ erence temporelle (le suivi est souvent effectu´ e dans une seconde phase).

Par cons´ equent, notre approche combine de fa¸ con ap- propri´ ee les deux techniques de mani` ere ` a utiliser d` es le d´ ebut du processus de mesure, et de fa¸ con coh´ erente, toute l’information spatio-temporelle disponible.

2.1 L’algorithme de Lucas & Kanade

t

I

^I

Time t

T^ I(W(w;p))

^

p

Match

Fig. 1 – L’algorithme de Lucas & Kanade recherche les param` etres p qui satisfassent la similarit´ e entre le point estim´ e I(W(x; p)) et le point donn´ e ˆ T dans ˆ I.

L’algorithme de Lucas & Kanade [8] est une m´ ethode tr` es utilis´ ee connue pour calculer le flux optique ou suivre des points 2-D dans une s´ equence vid´ eo.

G´ en´ eralement, les points suivis sont des points per- tinents, ou points d’int´ erˆ et ([9]). Le suivi donne une

mesure de d´ eplacement entre une image ˆ I au temps

¹

ˆ t et une image I au pas de temps suivant t. Le point suivi ce caract´ erise par une texture ˆ T (x), o` u x est un point de la texture (une interpolation bilin´ eaire est utilis´ ee pour re-´ echantillonner l’image). La texture est g´ en´ eralement une fenˆ etre carr´ ee extraite de ˆ I, centr´ ee autour de la position sous-pixelique (cf. Fig 1). Etant donn´ es les param` etres p, la fonction de d´ eformation W(x; p) donne la correspondance entre chaque point x de la texture T et ceux de l’image I. La m´ ethode optimise les param` etres p (c’est ` a dire la position du point) dans le but de minimiser la fonction de coˆ ut form´ ee par la somme des diff´ erences au carr´ e de la texture avec l’image :

X

x

h

I(W(x; p)) − T(x) ˆ i

²

. (1)

Une publication de r´ ef´ erence sur le sujet est l’´ etude de Baker & Matthews [1], d’o` u proviennent les notations utilis´ ees dans ce papier.

2.2 Suivi de mouvement avec deux points de vue

Dans notre cas, ` a chaque instant t deux images I

l

(gauche) and I

r

(droite) sont acquises, car il y a deux cam´ eras. Ainsi, l’´ el´ ement 3D ` a suivre est repr´ esent´ e par une paire de points m

l

et m

r

. Bien que les deux points suivis correspondent au mˆ eme point 3-D, leurs apparences peuvent ˆ etre diff´ erentes dans les images gauche et droite ` a cause de l’effet de parallaxe, sur- tout si l’objet observ´ e est proche. Par cons´ equent, nous choisissons de caract´ eriser l’´ el´ ement suivi par deux tex- tures diff´ erentes ˆ T

_l

et ˆ T

_r

de tailles x

_l

et x

_r

pour les vues gauche et droite. La fonction de coˆ ut devient :

X

n∈{l,r}

X

x_n

h

I

_n

(W

_n

(x

_n

; p)) − T ˆ

_n

(x

_n

) i

2

, (2)

o` u n ∈ {l, r} indique la vue gauche ou droite, et p est constitu´ e des coordonn´ ees de la paire de points m

l

= (x

l

, y

l

) and m

r

= (x

r

, y

r

) L’algorithme de Lucas

& Kanade est une m´ ethode it´ erative optimisant ∆p dans le but de minimiser :

X

n∈{l,r}

X

xn

h

I

_n

(W

_n

(x

_n

; p + ∆p)) − T ˆ

_n

(x

_n

) i

2

. (3)

Cette approche suppose qu’une estimation initiale p doit ˆ etre connue. Habituellement, p est initialis´ e avec les pr´ ec´ edentes valeurs observ´ ees, except´ e pour la premi` ere observation o` u les points sont d´ etect´ es par une m´ ethode d’extraction de points d’interˆ et (cf.

[9]). En utilisant l’approximation au premier ordre d’un d´ eveloppement de Taylor de l’´ equation (2),

1

l’accent circonflexe d´ enote l’instant pr´ ec´ edent

l’´ equation (3) donne : X

n∈{l,r}

X

x_n

I

n

(W

n

(x

n

; p)) + ∇I

n

∂W

n

∂p ∆p − T ˆ

n

(x

n

)

2

,

(4) o` u ∇I

n

est le gradient de l’image I

n

. La d´ eriv´ ee par- tielle de l’equation (4) par rapport ` a ∆p :

2 X

n∈{l,r}

X

xn

∇I

n

∂W

n

∂ p

T

I

n

(W

n

(x

n

; p)) + ∇I

n

∂W

n

∂p ∆p − T ˆ

n

(x)

. Au minimum, la d´ eriv´ ee partielle doit ˆ etre ´ egale ` a z´ ero, ce qui conduit ` a l’expression suivante pour la mise ` a jour des param` etres :

∆p = H

⁻¹

b, (5)

o` u H est l’approximation par la m´ ethode Gauss- Newton de la matrice Hessienne :

H = X

n∈{l,r}

X

x

∇I

_n

∂W

_n

∂p

^T

∇I

_n

∂W

_n

∂p

, (6)

et b est : b = X

n∈{l,r}

X

x_n

∇I

n

∂W

n

∂p

^T

h T ˆ

n

(x

n

) − I

n

(W

n

(x

n

; p)) i .

(7)

Les deux prochaines sections pr´ esentent l’extension de l’algorithme de Lucas & Kanade au cas st´ er´ eoscopique incorporant la contrainte 3-D et la contrainte de gran- dissement.

2.3 Suivie de points 3-D

Sans aucune consid´ eration g´ eom´ etrique, suivre une paire de points dans une s´ equence st´ er´ eo est ´ equivalent

`

a suivre les deux points de mani` ere ind´ ependante. Le vecteur de param` etres p est ainsi compos´ e d’une paire de coordonn´ ees 2-D (i.e. 4 param` etres). Dans le reste de l’article, cette approche sera prise comme r´ ef´ erence pour l’´ evaluation des diff´ erentes m´ ethodes. Nous l’ap- pelons Lucas & Kanade non-contraint.

Cependant, rappelons que les deux points m

l

et m

r

correspondent ` a la projection d’un unique point 3-D M. La relation entre les deux vues d’une mˆ eme sc` ene induit une contrainte forte. Cette contrainte, appel´ ee contrainte ´ epipolaire, r´ eduit les degr´ es de libert´ e du probl` eme. L’algorithme ne prenant pas en compte cette contrainte ´ epipolaire peut aboutir ` a une solu- tion ne la satisfaisant pas, c’est ` a dire n’ayant pas d’existence dans l’espace 3-D. Pour prendre en compte cette contrainte, le vecteur de param` etres p peut sim- plement se composer des coordonn´ ees euclidiennes du point M = (X, Y, Z). Cela implique la d´ efinition de

Or M(X,Y,Z)

ml(xl,yl) mr(xr,yr)

Il Ir

Ol

Fig. 2 – Le point 3-D M se projette en 2 points 2-D m

_l

(x

_l

, y

_l

) et m

_r

(x

_r

, y

_r

).

fonctions de projections P

n

transformant le point 3-D en coordonn´ ees 2-D dans les images I

n

(avec n ∈ {l, r}).

Cependant, nous pr´ ef´ erons utiliser une repr´ esentation de l’espace 3-D bas´ ee sur l’espace image. D’un point de vue g´ eom´ etrique, la contrainte ´ epipolaire s’exprime par le fait que pour un point donn´ e m

_l

de l’image I

_l

, une ligne ´ epipolaire associ´ ee peut ˆ etre calcul´ ee dans l’autre image (I

_r

). Le point m

_r

, correspondant ` a la projection du mˆ eme point 3-D que m

_l

, appartient for- cement ` a cette droite ´ epipolaire. Les coordonn´ ees du point m

l

= (x

l

, y

l

) associ´ e ` a la disparit´ e d (l’ordonn´ ee de m

r

sur la droite ´ epipolaire) constituent les trois di- mensions du nouveau vecteur de param` etres p. Dans la suite de cet article, nous appellerons ce syst` eme de coordonn´ ees espace bas´ e image.

Dans la configuration standard, la mesure de disparit´ e d entre m

l

et m

r

est en fait un vecteur 2-D d´ efini par [6] comme suit :

d ~ = O

l

~ m

l

− O

r

~ m

r

. (8) o` u O

l

et O

r

sont les points principaux dans les images I

l

et I

r

. Cependant, nous prenons pour hypoth` ese que la paire de cam´ eras est dans une configuration sp´ ecifique (cf. Fig. 2), dans laquelle la ligne de base est align´ ee avec l’axe des abscisses et les axes optiques des deux cam´ eras sont parall` eles. Dans cette configu- ration, les droites ´ epipolaires sont parall` eles aux lignes de l’image et par cons´ equent la disparit´ e peut ˆ etre ex- prim´ ee par un nombre r´ eel d = (x

l

−O

x

l) −(x

r

−O

x

r).

Dans le cas o` u les cam´ eras ne sont pas dans cette confi- guration fronto-parall` ele, il existe une transformation image qui permet de transformer les images de sorte ` a retrouver cette configuration [5]. Pour calculer la mise

`

a jour ∆p des param` etres (Eq. 5), les ´ el´ ements suivants doivent ˆ etre d´ efinis : les textures T

l

(x) et T

r

(x), les d´ eformations W

l

et W

r

, et finalement la Jacobienne de chaque d´ eformation ∂W

l

/∂p et ∂W

r

/∂ p. Les tex- tures T

_l

(x) et T

_r

(x) sont des fenˆ etres carr´ ees extraites des images au temps ˆ t, centr´ ees autour des deux pro- jections (dans les deux images) du point 3-D consid´ er´ e.

Rappelons que les d´ eformations W

_n

sont des fonctions

2-D qui mettent en correspondance un point de tex-

ture avec un point de l’image n (avec n ∈ {l, r}). Dans

notre cas, chaque d´ eformation W

n

est une translation

2-D dans l’image n d´ efinie par :

W

n

(x

n

; p) = x

n

+ P

n

(p), (9) o` u p = (x, y, d), et sa projection P

_n

(p) s’´ ecrit comme suit :

P

l

(p) = x

y

, P

r

(p) =

x + d y

. (10) Les deux jacobiennes ∂W

l

/∂ p et ∂W

r

/∂p associ´ ees aux fonctions de d´ eformations sont :

∂W

_l

∂p =

1 0 0 0 1 0

, ∂W

_r

∂p =

1 0 1 0 1 0

. (11) Le terme de plus grande pente devient donc :

∇I

l

∂W

l

∂p =

I

lx

I

ly

0 ,

∇I

r

∂W

r

∂p =

I

rx

I

ry

I

rx

.

(12)

Etant donn´ ee l’ Eq. (12), nous d´ eveloppons l’approxi- mation de la matrice Hessienne H de l’Eq. (6) :

H = X

x

H

l

+ X

x

H

r

, (13) o` u H

l

et H

r

dependent des Eq. (12) et s’´ ecrivent :

H

_l

= X

x





I

_lx²

I

lx

I

ly

0 I

lx

I

ly

I

_ly²

0

0 0 0



 (14)

H

r

= X

x





I

_rx²

I

rx

I

ry

I

_rx²

I

_rx

I

_ry

I

_ry²

I

_rx

I

_ry

I

_rx²

I

rx

I

ry

I

_rx²



 . (15)

2.4 Tenir compte des variations de taille dans l’image

f Z

w0 w

W W

Z0

w w0 image plane

image plane

Fig. 3 – La taille w d’un objet dans l’image d´ epend de sa taille r´ eelle W mais aussi de la focale f et de sa distance Z aux cam´ eras.

Quand les coordonn´ ees du point principal sont nulles, l’Eq (8) se simplifie pour obtenir :

d = Bf /Z. (16)

B et f ´ etant constants, un variation de d d´ epend di- rectement d’une variation de Z. De fa¸ con similaire, il

existe une relation entre la taille apparente w d’un objet dans l’image et sa distance Z aux cam´ eras (cf. Fig. 3) :

w = W f /Z, (17)

o` u W d´ esigne la taille r´ eelle de l’objet fronto-parall` ele.

Une grande variation de profondeur implique un chan- gement significatif de la taille apparente du motif dans les images. Dans le cas d’un suivi utilisant une fenˆ etre de taille fixe, le processus peut ˆ etre impr´ ecis ou

´ echouer (changement d’aspect trop important). Cette limitation est contradictoire avec l’application de suivi

`

a basse vitesse qui implique des distances relative- ment faibles entre le v´ ehicule ´ equip´ e du syst` eme et le v´ ehicule le pr´ ec´ edant.

Par cons´ equent, nous proposons une m´ ethode prenant en en compte cette variation de taille apparente dans le cas d’objets fronto-parall` eles. Eq. (16) et Eq. (17) montrent que les variations de taille w et de disparit´ e d d´ ependent toutes les deux des variations de profon- deurs Z, conduisant ` a :

d

d ˆ = Bf /Z Bf / Z ˆ = Z ˆ

Z = W f /Z W f / Z ˆ = w

ˆ

w , (18) o` u ˆ d et ˆ w d´ esignent respectivement la disparit´ e et la taille apparente pr´ ec´ edemment mesur´ ees. Ainsi w =

ˆ

w × d/ d, permet de connaˆıtre la variation de taille ˆ sans avoir ` a estimer un param` etre suppl´ ementaire. Les fonctions de d´ eformation W

n

deviennent alors (une interpolation bilin´ eaire est utilis´ ee pour ´ echantillonner l’image) :

W

n

(x

n

; p) = d

d ˆ

x

n

+ P

n

(p), (19) par cons´ equent les Jacobiennes deviennent :

∂W

l

∂p = 1 0

ⁱ_ˆ

d

0 1

^j_ˆ

d

!

, ∂W

r

∂p = 1 0

ⁱ_ˆ

d

+ 1 0 1

^j_ˆ

d

! ,

(20) et les termes de plus grande pente deviennent :

∇I

n

∂W

n

∂p =

I

nx

I

ny

S

n

, (21) avec n ∈ {l, r} et

S

r

= I

rx

i + I

ry

j

d ˆ + I

rx

, S

l

= I

lx

i + I

ly

j

d ˆ . (22) Reprenant l’Eq. (21), les matrices H

n

de l’Eq. (13) deviennent :

H

n

= X

x





I

_nx²

I

_nx

I

_ny

I

_nx

S

_n

I

_nx

I

_ny

I

_ny²

I

_ny

S

_n

I

nx

S

n

I

ny

S

n

S

²_n



 . (23)

Fig. 4 – Agrandissement d’une portion de l’image montrant des points suivis avec la m´ ethode non- contrainte (magenta), en utilisant des coordonn´ ees 3-D (cyan) et en incorporant le grandissement (jaune).

L’image du haut correspond ` a la vitesse de r´ ef´ erence (cf. Fig. 7) et celle du bas ` a la vitesse double.

2.5 R´ esultats exp´ erimentaux

Nous avons compar´ e l’algorithme de Lucas-Kanade non-contraint (d´ ecrit dans la Sec. 2.3) avec deux ver- sions de notre algorithme : la premi` ere (1) utilisant des coordonn´ ees 3-D (Sec. 2.3) bas´ ees image, et une seconde m´ ethode (2) tenant compte des variations d’´ echelle dans l’image (Sec. 2.4).

Afin de quantifier les performances des diff´ erents algorithmes, nous avons g´ en´ er´ e un ensemble de s´ equences st´ er´ eo d’un plan textur´ e ´ evoluant longi- tudinalement (cf. Fig. 6). Pour ´ etablir le comporte- ment des algorithmes par rapport ` a diff´ erentes vi- tesses d’´ eloignement, la s´ equence est rejou´ ee suivant 5 vitesses diff´ erentes. Pour ´ etablir le comportement des algorithmes par rapport ` a diff´ erents niveaux de bruits sur les intensit´ es pixel, une s´ equence ` a vitesse de r´ ef´ erence a ´ et´ e reprise et entach´ ee avec plusieurs intensit´ es de bruit blanc gaussien.

Les points suivis servant ` a ´ evaluer les m´ ethodes sont initialement r´ epartis sur une grille r´ eguli` ere de 512 × 512 pixels. La Fig. 4 pr´ esente un agrandissement par- tiel du r´ esultats des diff´ erentes m´ ethodes sur une s´ equence ` a la vitesse de r´ ef´ erence (en haut) et ` a la vitesse double (en bas).

Les r´ esultats pr´ esent´ es ci-apr` es ont ´ et´ e obtenus en uti- lisant des textures ˆ T de 21 × 21 pixels sur des images de 1024 × 768 pixels.

G´ en´ eralement, l’erreur RMS (Root Mean Square) est utilis´ ee pour quantifier la pr´ ecision de ce type d’algo- rithme. Mais la d´ etection et l’´ elimination des outliers est n´ eanmoins recommand´ ee avant de calculer l’erreur RMS. La Fig. 5 montre clairement la pr´ esence d’out- liers. Nous avons donc d´ ecid´ e de mod´ eliser la pr´ ecision par le m´ elange de deux gaussiennes : la premi` ere d´ edi´ ee

`

a la pr´ ecision du suivi, et la seconde ` a la r´ epartition des outliers. Les pourcentages de donn´ ees ab´ erentes (out- liers) et de points pour lesquels la m´ ethode a ´ echou´ e sont cumul´ es pour donner la proportion d’´ echecs. L’al-

−2

−1 0

1 2

−2

−1 0 1 2

−2

−1 0 1 2

−2

−1 0

1 2

−2

−1 0 1 2

−2

−1 0 1 2

−2

−1 0

1 2

−2

−1 0 1 2

−2

−1 0 1 2

−2

−1 0

1 2

−2

−1 0 1 2

−2

−1 0 1 2

−2

−1 0

1 2

−2

−1 0 1 2

−2

−1 0 1 2

−2

−1 0

1 2

−2

−1 0 1 2

−2

−1 0 1 2

Fig. 5 – R´ epartition de l’erreur en (x, y, d) (pixel) pour l’algorithme Lucas & Kanade non-contraint (en haut), utilisant les coordonn´ ees 3-D (centre) et incorporant les variations de taille (en bas). La colonne de gauche provient des mesures effectu´ ees sur la s´ equence ` a vi- tesse 1× et celle de droite ` a vitesse 5× dans la Fig. 7.

000000 000000 000000 000000 000000 000000 000000 000000

111111 111111 111111 111111 111111 111111 111111 111111

000000 000000 000000 000000 000000 000000 000000 000000

111111 111111 111111 111111 111111 111111 111111 111111

000000 000000 000000 000000 000000 000000 000000 000000

111111 111111 111111 111111 111111 111111 111111 111111

000000 000000 000000 000000 000000 000000 000000 000000

111111 111111 111111 111111 111111 111111 111111 111111

000000 000000 000000 000000 000000 000000 000000 000000

111111 111111 111111 111111 111111 111111 111111 111111

000000 000000 000000 000000 000000 000000 000000 000000

111111 111111 111111 111111 111111 111111 111111 111111

5x 3x 2x 1x

4x

Caméra Caméra

position initiale

Fig. 6 – G´ en´ eration d’un ensemble de s´ equences st´ er´ eo d’un plan textur´ e ´ evoluant longitudinalement.

gorithme Esp´ erance Maximisation [4] est utilis´ e pour retrouver les deux gaussiennes du mod` ele d’erreur.

L’erreur RMS pr´ esent´ ee dans les Fig. 7 et Fig. 8 sont d´ eduites des matrices de covariances des deux gaus- siennes mod´ elisant l’erreur.

Notre premi` ere approche utilisant des coordonn´ ees 3-D bas´ ees image n’am´ eliore pas la pr´ ecision du suivi (RMS inliers) de mani` ere significative (cf. Fig 7 et 8). Le pourcentage d’´ echecs est n´ eanmoins r´ eduit, ce qui s’explique par le fait que la contrainte 3-D est in- trins` equement prise en compte dans la formulation du probl` eme. L’espace des solutions ainsi r´ eduit ´ elimine toutes les solutions mal conditionn´ ees.

Comme attendu, la seconde approche am´ eliore le pour- centage d’´ echecs, aussi bien que la pr´ ecision de suivi.

Le gain est encore significatif dans le cas d’objets

proches et/ou s’´ eloignant rapidement. La m´ ethode

1x 2x 3x 4x 5x 0

2000 4000

RMS total

speed

0.4310.4000.291 12.3955.2922.345 101.39360.9689.774 305.23021.138 41.782

1x 2x 3x 4x 5x

0 5

RMS inliers

speed

0.0000.0000.000 0.3320.3260.036 0.041 0.063 0.089

1x 2x 3x 4x 5x

0 50

(%) Outliers

speed 0.0 0.0 0.0

Fig. 7 – Comparaison des trois algorithmes en fonc- tion des vitesses d’´ eloignement : (1) non-contraint (magenta), (2) utilisant les coordonn´ ees 3-D (cyan) et (3) incorporant le grandissement (jaune).

16.9 13.8 11.9 10.6 9.5

0 0.5 1

RMS total

SNR (dB) 0.085

16.9 13.8 11.9 10.6 9.5

0 0.2 0.4

RMS inliers

SNR (dB) 0.0000.0000.000

16.9 13.8 11.9 10.6 9.5

0 20 40

(%) Outliers

SNR (dB) 0.0 0.0 0.0

Fig. 8 – Comparaison des trois algorithmes en fonc- tion du rapport signal bruit (dB) : (1) non-contraint (magenta), (2) utilisant les coordonn´ ees 3-D (cyan) et (3) incorporant le grandissement (jaune).

s’applique ` a n’importe quel syst` eme de st´ er´ eovision,

`

a condition que les images soient rectifi´ ees avec des fo- cales ´ equivalentes et que la disparit´ e soit nulle ` a l’in- fini.

3 Application au suivi de v´ ehicules

La principale limitation de l’algorithme de Lucas- Kanade est que, suivant l’´ echelle de la texture ˆ T , la m´ ethode peut ˆ etre capable de ne suivre que des d´ eplacements d’environ un pixel. Pour suivre de plus amples mouvements, l’implantation de Bouguet [3], comme la nˆ otre, utilise une approche pyramidale (cf.

Fig. 9), qui estime un mouvement ` a une r´ esolution grossi` ere (typiquement 1/8 de la taille d’image origi- nale) avant de raffiner ` a des ´ echelles plus fines (1/4, 1/2, et 1). En passant d’une ´ echelle ` a l’autre, la taille de l’image change, et le vecteur de param` etres est mis

`

a jour en cons´ equence. Par contre, la taille de la tex- ture reste inchang´ ee, ce qui a pour effet de consid´ erer des r´ egions de diff´ erentes proportions dans l’image. Un des effets ind´ esirables est que la fenˆ etre de texture ˆ T caract´ erisant un point peut recouvrir plusieurs objets.

Quand ces objets ont des trajectoires diff´ erentes, le point suivi glisse entre les deux objets effectivement

Level 2 Level 3

Coarse Level 1

Fine

Fig. 9 – L’approche pyramidale de Bouguet [3] uti- lise toujours la mˆ eme taille de fenˆ etre quelque soit le niveau de d´ etail. La cons´ equence est que la fenˆ etre recouvre une plus grande r´ egion de l’image dans les niveaux les plus grossiers.

suivis.

3.1 Suivi de plans 3-D

Une solution pour ´ eviter cet effet est de faire corres- pondre les textures 2-D ˆ T ` a une surface r´ eelle. Au lieu de suivre des points 3-D, nous proposons de suivre des plans 3-D. Pour ne pas ajouter de param` etres suppl´ ementaires, nous ne consid´ erons que des plans faisant face aux cam´ eras. Ainsi, il n’est pas n´ ecessaire d’ajouter des param` etres suppl´ ementaires ` a estimer dans le vecteur p pour quantifier l’orientation du plan.

Cette limitation n’est pas gˆ enante pour l’application de suivi ` a basse vitesse, car les v´ ehicules suivis font face au v´ ehicule ´ equip´ e. Dans le cas de petites textures, il est toutefois difficile de suivre l’objet. En effet, une tex- ture de 3 × 3 pixels peut ˆ etre trop peu discriminante.

Pour ´ eviter de baser le suivi sur des informations non pertinentes, les niveaux de d´ etail o` u la texture est trop petite ne sont pas consid´ er´ es. A l’opposer, les textures de trop grande taille peuvent ralentir le calcul pour une pr´ ecision pouvant ˆ etre surdimensionn´ ee. Dans le mˆ eme esprit, les niveaux de d´ etails o` u la texture consid´ er´ ee est trop grande seront ignor´ es.

3.2 Exp´ erimentations sur s´ equences r´ eelles

Nous pr´ esentons quelques r´ esultats que nous avons obtenus avec un syst` eme mont´ e sur v´ ehicule d’essai (Fig. 10). Les cam´ eras sont munies d’un capteur CCD de 640 × 480 pixels coupl´ e avec un objectif de 6mm.

Elles sont dispos´ ees derri` ere le pare-brise, espac´ ees de 40cm de part et d’autre du r´ etroviseur. Le choix d’une position dominante correspond ` a une implanta- tion r´ ealiste sur v´ ehicule de s´ erie. Le syst` eme ` a ´ et´ e ca- libr´ e pour fournir des images rectifi´ ees r´ epondant aux exigences des algorithmes (lignes ´ epipolaires parall` eles et disparit´ e nulle ` a l’infini).

La Fig. 11 pr´ esente le r´ esultat des diff´ erents algo-

rithmes sur une s´ equence r´ eelle. Les coordonn´ ees 3-D

et dimensions initiales du v´ ehicule cible ont ´ et´ e pa-

ram´ etr´ ees manuellement sur la premi` ere image de la

Fig. 10 – Paire de cam´ eras mont´ ees derri` ere le pare- brise du v´ ehicule d’essai.

s´ equence. La colonne de gauche pr´ esente les r´ esultats obtenus par les m´ ethodes d´ ecrites dans la Sec. 2, c’est

`

a dire le suivi de point 3-D sans contrainte (magenta), incorporant la 3-D et le grandissement (jaune). La co- lonne de droite pr´ esente le gain obtenu avec l’adap- tation de la m´ ethode au cas sp´ ecifique de suivi de v´ ehicules.

L’algorithme de suivi de point 3-D commence ` a perdre en pr´ ecision ` a l’image N˚150 pour perdre compl` etement le v´ ehicule ` a l’image N˚350. L’algo- rithme adapt´ e au suivi de v´ ehicule suit le v´ ehicule du- rant toute la s´ equence (440 images), ce qui constitue un gain tr` es significatif, non seulement en terme de robustesse mais aussi de pr´ ecision.

4 Conclusions

La r´ egulation de vitesse auto-adaptative n´ ecessitte une perception de l’environnement 3-D pr´ ecise et fiable. En r´ eponse ` a cette probl´ ematique, nous proposons une ap- proche issue de celle de Lucas & Kanade [8] adapt´ ee au cas de st´ er´ eovision. Sous la condition d’une recti- fication des images adapt´ ee, cette m´ ethode tire parti

`

a la fois de la st´ er´ eovision qui apporte un informa- tion de profondeur et du flux optique qui apporte une information de vitesse. Les r´ esultats obtenus sur des s´ equences virtuelles ou r´ eelles prouvent l’apport de cette m´ ethode en termes de robustesse et fiabilit´ e tout en conservant des temps de calcul identiques au Lucas

& Kanade non-contraint.

R´ ef´ erences

[1] S. Baker and I. Matthews. Lucas-Kanade 20 years on : A unifying framework. IJCV, 56(3) :221–255, February 2004.

[2] J. L. Barron, D. J. Beauchemin Fleet, S.S., and T. A. Burkitt. Performance of optical flow tech- niques. In Proceedings of Conference on Com- puter Vision and Pattern Recognition CVPR92, pages 236–242, Urbana-Champaign, USA, 1992.

[3] Jean-Yves Bouguet. Pyramidal implementation of the Lucas-Kanade feature tracker. Techni- cal report, Intel Corp., Microprocessor Research Labs, 2000.

[4] A. P. Dempster, N. M. Laird, and D. B. Rubin.

Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, B, 39 :1–38, 1977.

000

080

110

150

210

250

350

410

440

Fig. 11 – S´ equence acquise ` a bord du v´ ehicule d’es- sai alors qu’il en d´ epasse un autre. La colonne cen- trale indique le temps, la colonne de gauche montre le r´ esultat des algorithmes pr´ esent´ es en Sec. 2 et la co- lonne de droite montre ceux obtenus avec la m´ ethode adapt´ ee au suivi de v´ ehicule d´ ecrite dans cette section.

Dans les deux cas, les cibles initiales ont ´ et´ e choisies manuellement sur la premi` ere image de la s´ equence.

[5] Fr´ ed´ eric Devernay. Vision st´ er´ eoscopique et pro- pri´ et´ es diff´ erentielles des surfaces. Th´ ese de doc- torat, Institut National Polytechnique, 1997.

[6] D. A. Forsyth and J. Ponce. Computer Vision : a modern approach. Prentice-Hall, 2002.

[7] W.D. Jones. Keeping cars from crashing. IEEE Spectrum, pages 40–45, 2001.

[8] B. Lucas and T. Kanade. An iterative image re- gistration technique with an application to stereo vision. In International Joint Conference on Ar- tificial Intelligence, pages 674–679, 1981.

[9] J. Shi and C. Tomasi. Good features to track. In Proc. CVPR, pages 593–600, Seattle, WA, June 1994. IEEE Comp.Soc.

[10] Y. Teguri. Laser sensor for low-speed cruise

control. Convergence Transportation Electronics

Association, 2004.