5.4 Résultats expérimentaux
6.1.4 Propagation de l'incertitude des points 3D aux mesures de
⎝ XY Z ⎞ ⎠ → A ⎛ ⎜ ⎜ ⎝ X +Z1XCZ Y +Z1Y CZ Z + CZ 1 ⎞ ⎟ ⎟ ⎠ , (6.12) où CZ = F ⎛ ⎝ XY Z ⎞
⎠ est la correction estimée par la première étape de notre mé-thode (la correction de la non-planarité, équation (5.1)) et A est la transforma-tion a ne estimée dans la deuxième étape. La matrice de covariance ΣQ (6.6) (Q = (X Y Z)) est modi ée pour prendre en compte l'erreur d'étalonnage :
ΣQ=JTFJT2ΣqJT
T2JT
TF, (6.13)
où JTF est la matrice Jacobienne de dimension 3 × 3 de la fonction TF dé nie par : JTF = ⎛ ⎜ ⎝ ∂TF1 ∂X ∂TF1 ∂Y ∂TF1 ∂Z ∂TF2 ∂X ∂TF2 ∂Y ∂TF2 ∂Z ∂TF3 ∂X ∂TF3 ∂Y ∂TF3 ∂Z ⎞ ⎟ ⎠ . (6.14)
Dans ce cas, l'incertitude d'un point 3D obtenue par propagation d'incertitude du point 2D p est dé nie par la matrice de covariance ΣQ :
ΣQ=JTFJT2 ⎛ ⎝JT1ΣpJT T1 + ⎛ ⎝ 0 00 0 00 0 0 σ2 ⎞ ⎠ ⎞ ⎠ JT T2JT TF, (6.15)
6.1.4 Propagation de l'incertitude des points 3D aux
me-sures de distance
En eectuant des mesures utilisant des points 3D Qi, l'incertitude provient de l'erreur de localisation de ces points 3D. Cette incertitude de localisation est modélisée par les matrices de covariance des points ΣQi. Nous avons choisi comme
6.2 Résultats 111 mesure 3D la mesure de distance entre deux points 3D (distance donnant la lon-gueur et la largeur d'un objet). Étant donné deux points Q1,Q2 et leurs matrices de covariance associées ΣQ1 et ΣQ2, la distance entre Q1 et Q2 est dé nie par la fonction D : D : ψ2 → R Q1 Q2 → Q1− Q22 . (6.16)
En supposant que les points Q1 et Q2 sont indépendants, une approximation au premier ordre de la variance σ2
D est donnée par :
σD2 =JD ΣQ1 0 0 ΣQ2 JT D, (6.17)
où JD est la matrice Jacobienne de dimension 1 × 6 de la fonction D.
6.2 Résultats
Nous présentons un simple exemple d'utilisation de notre modèle de bruit sur des données réelles. La caméra Temps-de-Vol utilisée dans cet expérimentation ainsi que les paramètres de capture sont présentés dans la section 1.4. La caméra est préalablement étalonnée (ses paramètres intrinsèques sont connus).
L'exemple consiste à mesurer les dimensions (longueur et largeur) d'un da-mier d'étalonnage. Ces mesures sont obtenues à partir des 4 pixels cliqués dans l'image p1,p2 et p3,p4 (voir gure 6.1b). Pour chaque pixel (pi)4i=1, la matrice de variance Σpi est calculée : des clics multiples sont eectués et l'écart-type en chaque direction (u, v) est calculé. Ensuite, les points 3D correspondants (Qi)4i=1 et les matrices de covariance (Σqi)4i=1 et ΣQi4
i=1 sont calculées par propagation d'erreur comme expliqué précédemment dans la section 6.1. Le premier pixel p1est considéré comme un exemple pour présenter les résultats de chaque étape de pro-pagation d'erreur. Les matrices de Σp1, Σq1 et ΣQ1 en prenant en compte l'erreur d'étalonnage de notre deuxième méthode sont :
Σp1 = 0, 602 0 0 0, 602 Σq1 = ⎛ ⎝ 0, 360 0, 360 1, 090, 36 1, 09 0, 36 61, 13 ⎞ ⎠ ΣQ1 = ⎛ ⎝ 39, 394, 11 40, 954, 11 7, 470, 78 7, 47 0, 78 60, 95 ⎞ ⎠ .
112 Chap. 6 : Application : mesure 3D et incertitude associée
A partir de ces matrices, l'ellipse d'incertitude de p1 ( gure6.1c) et les ellipsoïdes d'incertitude de q1 ( gure 6.1d) et de Q1 ( gure 6.1e) sont calculées. L'ellipse ou l'ellipsoïde d'incertitude permet de représenter graphiquement les matrices de covariances des vecteurs aléatoires gaussiens. Ensuite, la longueur du damier h =
D(Q1,Q2)et sa largeur w = D(Q3,Q4)sont calculées à partir de l'équation (6.16). Nous avons corrigé les mesures issues du capteur Temps-de-Vol avec nos deux méthodes d'étalonnage. Une comparaison des résultats obtenus est présentée dans le tableau6.1. Les dimensions du damier calculées avant l'étalonnage sont w=1246
(a) image d'intensité
(b) image de profoneur (c) p1ellipse d'incertitude (d) ellipsoide d'incertitude de q1
(e) ellipsoide d'incertitude de Q1
Figure 6.1 Calcul des dimensions du damier d'étalonnage (longueur et largeur) à partir de points 2.5D : (a) image d'intensité (non utilisée dans les calculs) et (b) image de profondeur après correction de la distorsion optique. Les valeurs de la longueur et de la largeur calculées sont respectivement égales à 1211 ± 11, 18 mm et à 903 ± 8, 97 mm. Ces mesures sont obtenues en utilisant notre deuxième méthode d'étalonnage. (c) l'ellipse d'incertitude de p1 et l'ellipsoïde d'incertitude de (d) q1 et (e) de Q1 sont présentées. Leurs ellipses d'incertitude associées sont tracées en bleu autour des ellipsoïdes.
6.2 Résultats 113 mm et h=927 mm. Leurs valeurs respectives en corrigeant la distorsion de la mesure de profondeur sont égales à w=1228 mm et h=913 mm avec la première méthode et à w=1211 mm et h=903 mm avec la deuxième méthode. Les mesures de la vérité terrain respectives sont w=1200 mm et h=900 mm. Nous observons une amélioration de la précision avec les deuxméthodes d'étalonnage, les dimensions calculées après correction se rapprochent de la vérité terrain. En comparant les résultats des deuxméthodes, nous constatons, contrairement à ce que nous avons présenté dans le tableau 5.3, une meilleur correction avec la deuxième méthode. Cela montre qu'en plus de sa simplicité, notre deuxième méthode est plus robuste car elle ne dépend pas d'une vérité terrain qui peut être entachée d'erreurs.
largeur w (mm) σw longueur h (mm) σh
vérité terrain 1200 900
avant correction 1246 11,60 927 9,31
après méthode 1 1228 11,37 913 9,19
correction méthode 2 1211 11,22 903 9,03
Tableau 6.1 Comparaison des dimensions du damier (largeur et longueur) après correction de la mesure de profondeur avec nos deuxméthodes d'étalonnage et de l'incertitude associée.
Après le calcul de la largeur et de la longueur du damier, leurs valeurs de variance sont calculées avec l'équation (6.17) et les incertitudes (qui sont égales auxécarts-type) est déduite. Leurs valeurs respectives obtenues, dans le cas où nous intégrons l'erreur d'étalonnage de notre deuxième méthode, sont σw=11,22 mm et σh=9,03 mm. Notons que les valeurs de la vérité terrain sont dans l'intervalle de con ance [w − σw; w + σw] et [h − σh; h + σh] avec un degré de con ance1 égal à 68%.
Dans les tests présentés précédemment, une seule image de profondeur a été utilisée. Nous proposons maintenant de refaire les mêmes tests en considérant plu-sieurs images de profondeur a n d'évaluer nos deuxméthodes d'étalonnage sur un plus grand ensemble de données. Nous nous comparons également auxprinci-pales méthodes de l'état de l'art [Lindner & Kolb 2006] et [Kahlmann et al. 2006]. Pour ce faire, des images de profondeur correspondes à diérentes vues du même damier d'étalonnage sont acquises avec le capteur Temps-de-Vol. Les vues sont choisies de telle sorte à couvrir tout l'espace d'étalonnage (diérentes positions
1. Le degrés de con ance indique la probabilité de l'intervalle de con ance de contenir la valeur de la vérité terrain. L'augmentation du degré de con ance entraine un étalement de l'intervalle de con ance et donc une diminution de la précision.
114 Chap. 6 : Application : mesure 3D et incertitude associée
dans l'image et diérentes distances par rapport au capteur sont considérées). 15 images sont utilisées. Pour chacune des images, les dimensions du damier (largeur et longueur) sont calculées avant et après correction de la mesure de profondeur comme présenté précédemment, ensuite la moyenne de l'erreur résiduelle par rap-port à la vérité terrain est calculée. Les résultats sont illustrés dans le tableau 6.2. Nous observons une meilleure précision avec notre deuxième méthode pour les deux mesures (largeur et longueur). Pour la largeur, par exemple, l'erreur résiduelle moyenne après correction est égale à 16,28 mm avec notre deuxième méthode, tan-dis qu'elle est égale à 28,10 mm avec notre première méthode, 28,75 mm avec celle de [Lindner & Kolb 2006] et 29,17 mm avec celle de [Kahlmann et al. 2006]. Ces résultats prouvent que notre deuxième méthode est plus robuste que les autres méthodes basées entièrement sur des mesures de vérité terrain dont la préci-sion ne peut pas être garantit principalement pour de longues distances. Pour notre première méthode, les résultats obtenus sont proches de ceux de la méthode [Lindner & Kolb 2006] et meilleurs que ceux de [Kahlmann et al. 2006].
erreur résiduelle moyenne de la largeur w (mm) longueur h (mm) avant correction 45,50 27,83 après correction avec méthode 1 28,10 15,34 méthode 2 16,28 10,62
[Lindner & Kolb 2006] 28,75 15,37
[Kahlmann et al. 2006] 29,94 17,34
Tableau 6.2 Erreur résiduelle moyenne des dimensions du damier (largeur et lon-gueur) calculée avant et après correction de la mesure de profondeur. La correction est estimée avec les deux méthodes d'étalonnage proposées ainsi que les principales méthodes de l'état de l'art [Lindner & Kolb 2006] et [Kahlmann et al. 2006]. Un ensemble de 15 images du damier d'étalonnage positionné à diérentes distances et à diérentes positions dans l'image est considéré.
6.3 Conclusion
Nous avons présenté dans ce chapitre une simple application de nos travaux. Nous proposons une manière d'évaluer et de comparer nos deux méthodes d'étalon-nage aux principales méthodes de l'état de l'art sans dépendre de la vérité terrain. Nous utilisons un objet étalon (dont les dimensions sont connues) et comparons ses
6.3 Conclusion 115 dimensions avant et après correction de la mesure de profondeur. Les résultats ob-tenus montrent que nos deux méthodes améliorent la précision de nos mesures. Les dimensions calculées après correction se rapprochent des dimensions réelles. Une meilleure correction est obtenue avec notre deuxième méthode, comparée à notre première méthode et à celles de l'état de l'art. Cela prouve que notre deuxième méthode est plus robuste car elle ne dépend pas d'une vérité terrain qui peut être entachée d'erreurs. Nous estimons également l'incertitude de calcul de ces dimen-sions en se basant sur notre modèle de bruit position-profondeur-T I (section3.3.2). Cela est réalisé par propagation d'incertitude à travers les diérentes formules de mesure.
Conclusion et perspectives
Nos travaux présentés dans ce mémoire traitent deux types d'erreur aectant les mesures de profondeur des caméras Temps-de-Vol : le bruit stochastique et la distorsion systématique. Nous avons caractérisé ces deux types d'erreur et avons présenté des contributions pour leur traitement. La première porte sur la modé-lisation du bruit des caméras Temps-de-Vol. La seconde consiste à modéliser et étalonner la distorsion systématique. Pour le bruit comme pour la distorsion sys-tématique, deux manières de les modéliser et de les étalonner sont proposées. La première vise une meilleure précision, tandis que la seconde privilégie la simplicité de mise en ÷uvre.
Travaux eectués. Nous donnons ci-dessous nos conclusions par rapport aux contributions apportées dans cette thèse.
• Modélisation du bruit stochastique. Après avoir montré que le bruit
suit une loi normale, nous avons proposé deux manières de le modéliser. Alors que les modèles de la littérature reposent uniquement sur l'amplitude, le premier modèle que nous avons proposé tient compte en plus de la position du pixel dans l'image. Quant au second, qui vise une meilleure précision, il remplace l'amplitude par la profondeur et le temps d'intégration. Une comparaison sur des données réelles montre qu'une meilleure précision est obtenue avec nos deux modèles, comparée à un modèle basé uniquement sur l'amplitude. Nous avons également montré que le second modèle ore une meilleur précision que le premier. Cependant, il est limité actuellement à une seule ré ectivité. A n de montrer l'intérêt de nos travaux, deux exemples d'application basés sur le modèle de bruit sont présentés : ltrage des cartes
118 CONCLUSION
de profondeur et calcul de l'incertitude de mesures géométriques formées à partir de ces cartes ;
• Modélisation et étalonnage des mesures de profondeur. A n
d'obte-nir une modélisation de meilleure précision que celle de la littérature, nous avons proposé une première méthode basée sur une formulation variation-nelle introduisant une contrainte de régularité.Elle utilise un modèle plus exible prenant en compte l'ensemble des distorsions sous un même forma-lisme.Pour la mise en ÷uvre, cette méthode conserve l'approche classique de calcul de vérité terrain pour chaque point utilisé dans l'étalonnage.Une comparaison avec des méthodes d'état de l'art montre qu'elle permet d'ob-tenir une correction plus précise.Cependant, elle est sensible à la précision de la vérité terrain dont l'acquisition nécessite une mise en ÷uvre délicate. Pour être moins sensible à la vérité terrain et avoir une mise en ÷uvre plus simple, nous proposons une deuxième méthode qui utilise une vérité terrain structurelle liée à la géométrie plane de la scène observée.Elle est basée principalement sur la correction de la non planarité qui nécessite un en-semble de vues d'une surface plane faciles à acquérir.En la comparant à deux méthodes d'état de l'art sur des données réelles, nous observons qu'en plus de sa simplicité de mise en ÷uvre, elle garantit une bonne précision. Pour ne pas dépendre de la vérité terrain dans notre évaluation et compa-raison de nos deux méthodes, nous proposons de mesurer les dimensions d'un objet étalon à partir de sa carte de profondeur et de les corriger avec nos deux méthodes.En comparant les résultats obtenus, nous avons observé une meilleure précision avec notre seconde méthode.Elle est, en eet, plus robuste car elle ne dépend pas d'une vérité terrain qui pourrait être entachée d'erreurs.
Nous avons illustré l'intérêt d'avoir ces deux modèles au travers d'une applica-tion de mesure 3D à partir de cartes de profondeur issues du capteur Temps-de-Vol. Pour cela, nous proposons d'estimer les mesures 3D ainsi que leurs incertitudes as-sociées par propagation d'incertitude en nous basant sur le modèle du bruit et en corrigeant les distorsions.
Perspectives. Quelques améliorations peuvent être apportées à nos travaux a n d'obtenir une modélisation plus complète des deux types d'erreur considérés :
• Prise en compte de la ré ectivité dans la modélisation du bruit.
Dans notre premier modèle de bruit, la ré ectivité était incorporée implici-tement dans l'information d'amplitude.Alors que dans le second, elle était considérée constante.Il est donc important de l'intégrer dans le second mo-dèle et de pouvoir comparer nos deux momo-dèles sur des données où la
ré ec-119 tivité varie. La manière de modéliser la variation du bruit en fonction de la ré ectivité doit être étudiée ;
• Extension des modèles d'étalonnage de la mesure de profondeur.
Les deux méthodes d'étalonnage proposées prennent en compte le principal facteur de la distorsion de la mesure de profondeur qui est l'erreur systéma-tique. Ces méthodes peuvent être améliorées en prenant en compte d'autres facteurs d'erreur comme le temps d'intégration et la ré ectivité.
• Test des méthodes d'étalonnage sur d'autres données. Il serait
inté-ressant de pouvoir tester et évaluer nos méthodes d'étalonnage de la mesure de profondeur en se basant sur une vérité terrain de haute précision. Une telle précision pourrait être obtenue avec les systèmes de mesure tels qu'un rail de mesure ou une `total station' ;
• Test des méthodes d'étalonnage sur d'autres capteurs. Les modèles
utilisés dans nos deux méthodes d'étalonnage n'intègrent aucune contrainte liée aux caméras Temps-de-Vol. Ils ne sont donc pas limités à ce type de caméras et il serait possible de les tester sur d'autres capteurs comme le Kinect ;
• Auto-étalonnage Les résultats expérimentaux ont montré que notre
se-conde méthode d'étalonnage est à la fois plus simple et plus robuste. Ce-pendant, sa limite est la nécessité de disposer d'une grande surface plane qui n'est pas toujours disponible. Cette contrainte peut être supprimée en l'inté-grant au cours du processus d'étalonnage pour faire de "l'auto-étalonnage". Ainsi, Kinect fusion fournit une estimation de la géométrie de la scène qui peut remplacer la contrainte de planarité. Une manière de réaliser l'étalon-nage consisterait à optimiser, dans un processus itératif, la reconstruction de la scène ainsi que les paramètres de distorsion de telle sorte à minimiser l'erreur entre chaque vue issue du modèle reconstruit par la caméra Temps-de-Vol et celui reconstruit avec Kinect fusion.
ANNEXE
A
Analyse du bruit de la caméra Kinect
Nous nous intéressons, dans cette annexe, à l'analyse du bruit des caméras Kinect. Cette étude est réalisée a n de comparer l'intensité et les facteurs de va-riation du bruit de cette caméra avec ceux des caméras Temps-de-Vol que nous avons présenté dans le chapitre 3.
122 Annexe A : Analyse du bruit de la caméra Kinect
Notre étude du bruit est basée sur le calcul de la variation des mesures de profondeur de diérentes images de profondeur prises dans les mêmes conditions. Des images d'un mur blanc (même objet utilisé dans l'étude du bruit des caméra Temps-de-Vol) sont acquises pour des distances allant de 0,5 m à 3,5 m. A chaque distance, 100 images de profondeur sont acquises. L'écart-type σ est calculé pour chaque point 2.5D des images de profondeur. Nous nous intéressons à la variation du bruit en fonction de la position du pixel dans l'image. La gure A.1 présente
(a) (b) (c) (d)
Figure A.1 Écart-type σ (mm) d'une image de profondeur à une distance ap-proximative de : (a) 1,5 m, (b) 2 m, (c) 3 m et (d) 3,5 m. Les formes des 4 gures sont diérentes. Contrairement aux caméras Temps-de-Vol, la position du pixel dans l'image n'est pas un facteur de variation de σ pour les caméras Kinect.
123 l'écart type calculé pour 4 diérentes images de profondeur. Nous constatons que les gures n'ont pas la même forme et sont très diérents de ceux obtenus avec les caméras Temps-de-Vol ( gure 3.6). Pour les caméras temps de vol, σ augmente du centre de l'image vers les bords de l'image, tandis que, pour les caméras Kinect, le bruit dépend de l'angle d'observation de l'objet. Nous nous intéressons maintenant à la variation du bruit en fonction de la profondeur. La gure A.2 présente un aperçu de la variation de σ en fonction de la profondeur pour une plage de distance allant de 1.25 m jusqu'à 3,5 m. Nous observons que σ augmente en fonction de la profondeur, comme c'est le cas des caméras Temps-de-Vol ( gure 3.7). La valeur moyenne de σ, à une distance égale à 3,5 m, atteint approximativement 25 mm, tandis qu'elle ne dépasse pas 10 mm pour des T Is supérieur à 3,5 ms dans le cas des caméras Temps-de-Vol.
Figure A.2 Écart-type σ (mm) correspondant à des images de profondeur d'un mur blanc tracé en fonction de la profondeur. La valeur moyenne de σ est tracée en points rouge et la fonction approximant ces données en ligne bleue. La valeur moyenne de σ augmente en fonction de la profondeur approximativement de 2,5 mm jusqu'à 25 mm.
ANNEXE
B
Notions de base
Cette deuxième annexe expose les notions de base nécessaires à la lecture de cette thèse. Nous y décrivons tout d'abord des outils de vision par ordinateur. Nous présentons le modèle de caméra utilisé, ainsi que les méthodes de résolution des systèmes linéaires et les méthodes d'étalonnage des caméras et de calcul de pose. Ensuite, nous dé nissons des outils statistiques et mathématiques :méthode de propagation de l'incertitude, la fonction de type B-spline et la fonction spline de type plaque mince. Finalement, nous dé nissons la transformation de l'espace 2.5D vers l'espace 3D et la transformation entre les fonctions de correction de la dis-torsion de la mesure de profondeur dé nies dans ces deux espaces. Pour compléter la lecture de ce chapitre, nous renvoyons aux livres [Hartley & Zisserman 2004] et [Faugeras 1993].
126 Annexe B : Notions de base