Ranement sous-pixellique des cartes de disparité

Les méthodes d'appariement stéréo locales et globales présentées dans les sous-sections précédentes, retournent une carte de disparité à valeurs entières. Pour aller

26 Chapitre 2. Perception 3D à Partir d'un Banc Stéréoscopique en-deçà du pixel et passer outre cette limitation due à la quantication pixellique de l'image, une étape d'anage est généralement eectuée sur la carte de disparité. Une telle étape permet notamment d'éviter l'eet "marche d'escalier" qui apparaît lors de l'estimation de la disparité au niveau de surfaces inclinées non fronto-parallèles à la caméra (cf. [Scharstein and Szeliski, 2002]).

Ranement parabolique

Une méthode couramment utilisée dans la littérature pour obtenir une estima-tion sous-pixellique avec une approche locale, est de faire correspondre une courbe parabolique à la fonction de coût d'appariement stéréo autour du minimum (cf. [Shimizu and Okutomi, 2001]), comme illustré sur la Figure 2.13. Notons f(x,y)(d) la fonction de dissimilarité minimisée, par exemple :

f_(x,y)(d) = ^X

(x0,y0)∈N (x,y)



I_G(x⁰, y⁰) − I_D(x⁰+ d, y⁰)^2 (2.28)

Notons d− = d − 1 et d+ = d + 1. La valeur d∗ de l'estimation sous-pixellique correspondant au minimum de la parabole passant par les 3 points (d−, f_(x,y)(d⁻)), (d, f_(x,y)(d))et (d+, f_(x,y)(d⁺))s'écrit :

d^∗ = ^f(x,y)(d

−) − f_(x,y)(d⁺)

2f_(x,y)(d⁻) − 4f_(x,y)(d) + 2f_(x,y)(d+) (2.29)

Figure 2.13  Un ranement sous-pixellique d∗ de la disparité d estimée, peut être obtenu en prenant le minimum de la parabole passant par les 3 points d'abscisses d − 1, d, et d + 1 et d'ordonnées égales à leur coût (mesure de dissimilarité) associé.

Ranement par sur-échantillonnage

Une autre manière classique d'obtenir une estimation sous-pixellique est de sur-échantillonner d'un facteur 2 (ou même 4) les images gauche et droite an d'eectuer l'estimation sur des fractions de disparité : 1/2 (ou 1/4). Cette méthode est appli-cable aux approches locales et globales, mais multiplie également par 2 (ou 4) le temps de calcul des algorithmes.

2.2. Méthodes et algorithmes d'appariement stéréo dense 27 Scharstein et Szeliski [Scharstein and Szeliski, 2002] préconisent de combiner cette technique de ranement avec la précédente pour obtenir la meilleure précision pos-sible : en estimant la disparité sur des demi-pixels avant de calculer le ranement parabolique (2.29).

Filtrage par Consensus de Région

Comme on l'a vu, certains défauts de la stéréo sont liés à l'hypothèse de sur-faces fronto-parallèles qui est implicite derrière l'utilisation de fenêtres ou, d'une manière générale, derrière la nature discrète de la disparité. Nombre de méthodes ont cherché à pallier ces limitations en estimant localement des surfaces planes non nécessairement fronto-parallèles, éventuellement comme une étape d'anage de la disparité. Parmi ces méthodes nous décrivons dans ce paragraphe les travaux de Chakrabarti et al. [Chakrabarti et al., 2015], qui prennent en entrée une carte de disparité d0 pour la ltrer en appliquant localement et à diérentes échelles, des modèles de plans inclinés paramétrés par le vecteur tridimensionnel θ :

d(x, y) = U_(x,y)θ (2.30)

avec

U_(x,y) =x y 1^T (2.31)

L'idée est de surparamétrer le problème en estimant pour chaque pixel (x, y) plu-sieurs paramètres θppour tous les plans dénis sur des régions p de tailles croissantes contenant (x, y). Plus précisément, on utilise l'ensemble de toutes les régions carrées que l'on peut extraire dans l'image, et dont la largeur est comprise dans les valeurs {4, 8, 16, 32, 64}pixels, ensemble que l'on note P. L'objectif est de calculer d∗(x, y, ) en combinant des plans dénis sur les régions p 3 (x, y) qui sont représentatifs de la géométrie locale. Pour cela on estime aussi une variable binaire Ip ∈ {0; 1} indi-quant si un plan déni sur p ∈ P est cohérent avec les données locales de disparité {d₀(x), x ∈ p} on dit alors qu'il est "inlier". Ainsi, Chakrabarti et al. minimisent l'énergie suivante : E^{I_p, θ_p}_p∈P^= ^X p:Ip=0 τ_p+ ^X p:Ip=1 X (x,y)∈p  U_(x,y)θ − d₀(x, y)^2 + λ^X (x,y)

|J_(x,y)|V ar^{U_(x,y)θp}_p∈J(x,y)^ (2.32)

où J(x,y) est l'ensemble des régions inliers de P qui contiennent le pixel (x, y) :

J_(x,y) = {p ∈ P : p 3 (x, y), I_p= 1} (2.33)

Le premier terme de l'énergie dénie par l'équation (2.32) pénalise la création de régions outliers de sorte à assurer que l'ensemble des pixels de l'image soit couverts par au moins une région inlier. Le deuxième terme est un terme de délité aux données (à savoir la carte de disparité initiale d0) s'appliquant sur les régions p

28 Chapitre 2. Perception 3D à Partir d'un Banc Stéréoscopique déclarées inliers. Quant au troisième terme, il garantit une faible variabilité entre les valeurs de disparité prédites par chaque hypothèse de plan inlier couvrant un même pixel (x, y). Les auteurs proposent ensuite de minimiser itérativement une approximation de cette énergie.

Dans le contexte de la vision embarquée qui nous intéresse, cette optimisation itérative est bien trop coûteuse en temps de calcul, et nous considérons le cas parti-culier λ = 0 qui permet d'optimiser l'énergie dénie à l'équation (2.32) en une seule itération : • ˆθ_p =^P x∈pU (x)^TU (x)^−1P x∈pU (x)^Td₀(x)^ • ˆIp = ( 0, si P_x∈p^U (x)θ_p− d₀(x)^2 > τ_p 1, sinon.

In ne, lorsque les variables {Ip, θ_p}_p∈P ont été estimées, la valeur de la disparité anée s'écrit : d^∗(x, y) = _P ¹ p3(x,y)_Iˆ_p X p3(x,y) U_(x,y)θ^ˆp_Iˆ_p (2.34)

Cette méthode de ltrage que nous appellerons Consensus de Régions, donne de très bons résultats en lissant correctement la carte de disparité tout en préservant les discontinuités.

Bilan

Nous avons vu dans cette sous-section trois méthodes de ranement sous-pixellique de la carte de disparité stéréo. Le minimum de la parabole de la fonction de coût passant par {d − 1; d; d + 1}, est utilisable en pratique pour une méthode de stéréo locale. L'estimation sur des fractions de pixel peut s'appliquer pour tout type de méthodes stéréo, en sur-échantillonnant au préalable la paire d'image stéréo. Enn nous avons proposé une méthode par Consensus de Régions, comme une version simpliée des travaux de Chakrabarti et al. [Chakrabarti et al., 2015], pour ltrer une carte de disparité.

Le ranement par sur-échantillonnage multiplie par 2 ou plus le temps de cal-cul, et n'est donc pas envisageable dans un contexte temps-réel. D'autre part, tout comme le ranement parabolique, le sur-échantillonnage de la disparité ne permet pas de ltrer les outliers (i.e. pixels pour lesquels la disparité estimée dière grande-ment de la vérité terrain), contrairegrande-ment au ltrage par Consensus de Régions qui permet par ailleurs de mieux respecter les discontinuités dans la carte de disparité. De plus, comme on le voit à la section 2.3suivante, Consensus de Régions est parti-culièrement ecace et son implémentation est très rapide. C'est donc cette dernière technique que nous choisissons pour le post-traitement de la carte de disparité.