Vision et Commande

(1)

Bureau C418 – courriel : [email protected]

Christophe DOIGNON

Professeur à Télécom Physique Strasbourg ICube, Université de Strasbourg

(Partie 1 : Vision robotique)

Télécom Physique 3A ISAV et Master IRIV (édition 2019-2020)

(2)

2

Chapitre 1 : Introduction

• Introduction,

• Espaces et coordonnées homogènes

• Représentation des rotations

• Applications

Chapitre 2 : De la scène 3D à l’image 2D (et vice-versa)

• Acquisition d’images

• Modélisation géométrique

• Recalage 2D-3D rigide (incluant la Pose d’une caméra)

Chapitre 3 : de l ’analyse du mouvement apparent aux asservissements visuels

• Analyse du champ de mouvement

• Asservissement visuel basé image (IBVS)

• Asservissement visuel basé position (PBVS)

(3)

Chapitre 2

De la scène 3D à l’image 2D

(4)

4

Synoptique générale de l’acquisition d’images

(5)

2.1 Acquisition d’images

➢ Les capteurs de vision sont composés :

• des éléments photosensibles (CMOS/CCD) des caméras,

• d’une série de lentilles formant l’optique de l’objectif,

• d’une électronique d’acquisition (conversion courant-tension, filtrage analogique, CAN, échantillonnage,…)

➢ Des modèles mathématiques proposés pour rendre compte de l'information visuelle géométrique sont basés sur :

• Toujours sur la projection perspective ou une de ses approximations (para-perspective, projection faible,…), issue du modèle des lentilles minces,

• Parfois incluant la distorsion radiale (effet non-linéaire : courbure des lentilles),

• Rarement incluant aussi la distorsion tangentielle(autre effet non-linéaire : désalignement des

(6)

6

➢ La Projection perspective

La géométrie projective est le support mathématique permettant l’étude des relations géométriques en vision par ordinateur. En particulier, deux types de transformations linéaires projectives sont employées : la projection perspective et l’homographie. Le terme linéaire s’entend au sens des espaces projectifs, ce qui induitl’emploi des coordonnées homogènes dans les relations mathématiques.

• La projection perspective (ou projection centrale), 𝜫, est une transformation linéaire d’un espace projectif 𝑷^𝑛 vers un espace projectif 𝑷^𝑛−1.Elle représentée la plupart du temps par une matrice réelle de dimensions (𝑛 × (𝑛 + 1)).

➢ Exemple ci-dessous, de 𝑷³ vers𝑷²:

➔Transformation non bijective !

➔Le centre de projection est tel que 𝐶 = Π 𝐶

P

Q

C

Q: projection perspective de P 𝑃 =

𝑥 𝑦 𝑧

𝑡 𝑄 = 𝑤

𝑢 𝑣 1 𝑄 = 𝜫 𝑃 =

1 0 0 0 0 1 0 0 0 0 1 0

𝑃

C: centre de projection 𝐶 =

0 0 0 𝑡

(7)

2.2 Modélisation géométrique

➢ Les Homographies

• Une homographie est une transformation linéaire bijective d’un espace projectif𝑷^𝑛 vers un autre espace projectif 𝑷^𝑛. Elle représentée la plupart du temps par une matrice réelle de dimensions ((𝑛 + 1) × (𝑛 + 1)). Les plus utilisées en vision par ordinateur sont les homographies entre des plans projectifs (de 𝑷² vers𝑷²) modélisant géométriquement les vues.

➢ Remarques :

• L’homographie entre deux plans sert à relier géométriquement plusieurs vues (plusieurs images d’une même scène), chacune étant modélisée par la modélisation perspective (uniquement pour des objets plans (2D) au seind’unescène 3D, cf. exemple ci-après).

• L’homographie entre deux plans sert aussi à relier géométriquement un plan de la scène (plan objet) avec le plan del’image.

• Ces deux exemples d’homographies de plans diffèrent par la décomposition de leurs éléments et par les contraintes géométriques qu’ellesdoivent vérifier.

\\VBOXSVR\win-share\cours\ViCo-2017\videos\2007-Andreff_AV3Dpose.divx.avi

(8)

8

➢ Exemple : Homographie entre deux vues(n’existeseulement que sil’objet est plan)

Exemple ci-dessous pour l’homographie 𝐻 de 𝑷² vers 𝑷² entre deux vues; Elle est représentée par une matrice (3 × 3), avec det 𝐻 non nul, et est définie à un facteurd’échelle près (d’où l’égalitéà 3 barres :≡ )

𝑖𝑄 ≡ ^𝑖𝐻_𝑜 𝑃 avec i = rou l (r=right ; l = left)

𝑙𝑄 ≡ ^𝑙

𝐻

_𝑟 ^𝑟𝑄 avec ^𝑙𝐻_𝑟 =

ℎ₁₁ ℎ₁₂ ℎ₁₃ ℎ₂₁ ℎ₂₂ ℎ₂₃ ℎ₃₁ ℎ₃₂ ℎ₃₃

(𝑃appartient à un plandans la scène) 𝑃

𝑄_𝑟

𝑟𝐶

𝑙𝑄et^𝑟𝑄: projections perspectives du point P 𝑄_𝑙

𝑙𝐶

𝑙𝑄 = ^𝑙𝑤

𝑙𝑢

𝑙𝑣 1

𝑙

𝐻

_𝑟

=

^𝑙

𝐻

_𝑜 ^𝑟

𝐻

_𝑜⁻¹

𝑙

𝐻

_𝑜

𝑟

𝐻

_𝑜

𝑟𝑄 = ^𝑟𝑤

𝑟𝑢

𝑟𝑣 1

(9)

2.2 Modélisation géométrique

➢ Modélisation perspective : détails

La relation géométrique entre un objet d’intérêt d’une scène 3-D et son image 2-D (le plan contenant la vue de cet objet d’intérêt) par projection perspective, est en fait composée de trois transformations : Tf euclidienne 3-D 𝑬, projection perspective 3-D/2-D𝚷et transformation affine 2-D𝑲 :

✓ Une transformation euclidienne 𝑬 : le vecteur de translation 3-D,𝒕 = ^𝑐

𝑡

_𝑜

=

𝐶𝑂_/𝑅_𝑐 et la rotation 3-D 𝑹 = ^𝑐

𝑅

_𝑜 (entre le repère de l’objet d’intérêt rigide (𝑅_𝑜) dans la scène et le repère du capteur (𝑅_𝑐)) constituentles paramètres extrinsèques (6 ddl). Ils représentent le point de vue :

𝑐𝑃 ≡ 𝑬 ^𝑜𝑃 ;

𝑐

𝑥

𝑐

𝑦

𝑐

𝑧

1

= ^𝑐𝑹_𝑜 ^𝑐𝑡_𝑜 0 0 0 1

𝑜𝑥

𝑜𝑦

𝑜𝑧 1

(𝑅_𝑐): a pour origine le centre de projection 𝐶, l’axe 𝑧 étant confondu avec l’axe optique (en pointillé ci- dessous) et dirigé vers la scène (convention).

(R

_o

) (R

_c

)

𝑂

(10)

10

✓ Une projection perspective 𝚷: pour projeter le point 3-D 𝑃 de l’objet d’intérêt sur le plan du capteur (matrice des éléments photosensibles) : cette projection, appelée aussi projection centrale passe toujours par un point particulier, le centre de projection 𝐶 : on obtient le point 2-D ^𝑠

𝑄

(𝑠 pour sensor plan) à l’intersection avec le plan image :

𝑐𝑤

𝑠𝑢

𝑠𝑣 1

=

𝑓 0 0 0 𝑓 0 0 0 1

1 0 0 0 0 1 0 0 0 0 1 0

𝑐𝑥

𝑐𝑦

𝑐𝑧 1

, donc : ^𝑐𝑤 = ^𝑐𝑧.

avec : 𝚷 =

1 0 0 0 0 1 0 0 0 0 1 0

Centre optique

Axe optique C

Q Plan image

Scène Plan image inversé

(symétrique / C)

Q’

𝑓 0 0 0 0 𝑓 0 0 0 0 1 0

−𝑓 0 0 0 0 −𝑓 0 0 0 0 1 0

f f

(11)

2.2 Modélisation géométrique

✓ Une transformation affine du point 𝑄_𝑠 dans le plan du capteur (𝑠 = sensor) (unité métrique) au point image 𝑄 (unité pixel) de la mémoire vidéo. Elle est représentée par une matrice triangulaire supérieure (3 × 3):

𝑢 𝑣 1

=

𝑠_𝑥/𝑙_𝑥 𝛾 𝑢_𝑐 0 1/𝑙_𝑦 𝑣_𝑐

0 0 1

𝑠𝑢

𝑠𝑣 1

On définit alors la matrice𝑲 =

𝐺_𝑥 𝛾𝑓 𝑢_𝑐 0 𝐺_𝑦 𝑣_𝑐

0 0 1

=

𝑠_𝑥/𝑙_𝑥 𝛾 𝑢_𝑐 0 1/𝑙_𝑦 𝑣_𝑐

0 0 1

𝑓 0 0 0 𝑓 0 0 0 1

(12)

12

✓ Les coefficients (𝐺_𝑥, 𝐺_𝑦, 𝑢_𝑐, 𝑣_𝑐, 𝛾) de la matrice 𝑲 sont appelés paramètres intrinsèques au système de vision. Ils ne dépendent pas du point de vue et caractérisent le système de vision.

• 𝑓 est la longueur focaledel’objectif, c’est la distance orthogonale entre le centre de projection et le plan image.

• 𝑙_𝑥 et 𝑙_𝑦 sont les dimensions d’un élément photosensible. Le rapport ^𝑙^𝑥

𝑙_𝑦 définit lerapport d’aspect ou aspect ratio.

• (𝑢_𝑐, 𝑣_𝑐) est un décalage, translation 2-D, entre l’origine de l’image et l’intersection avec la projection del’axeoptique, appelé point principal.

• 𝛾 traduit un défaut d’orthogonalité sur le capteur, mais c’est une grandeur considérée comme nulle la plupart du temps avec les capteurs récents, en particulier les caméras optiques numériques.

𝑲 =

𝐺_𝑥 𝛾 𝑢_𝑐 0 𝐺_𝑦 𝑣_𝑐

0 0 1

; |𝐺_𝑥| = 𝑠_𝑥𝑓/𝑙_𝑥

|𝐺_𝑦| = 𝑓/𝑙_𝑦

➔Les signes de 𝐺_𝑥 et de 𝐺_𝑦 dépendent de la convention prise pour définir l’orientation du repère caméra (𝑅_𝑐) par rapport au repère del’image.

(13)

2.2 Modélisation géométrique

En rassemblant l’ensemble des matrices mises en jeu, on obtient une formulation assez compacte de la relation géométrique entre un point 3-D 𝑃 = (^𝑜𝑥, ^𝑜𝑦, ^𝑜𝑧, 1)^𝑇 dont les coordonnées sont exprimées (en mm le plus souvent) dans le repère (𝑅_𝑜) attaché à l’objet d’intérêt et sa projection 𝑄 = 𝑤(𝑢, 𝑣, 1)^𝑇 dans l’image2-D, en pixels :

𝑄 ≡ ^𝑐𝑴_𝑜 𝑃 ou bien 𝑄 ∧ ^𝑐𝑴_𝑜 𝑃 = 0

et décomposée selon :

➔ La matrice réelle ^𝑐𝑴_𝑜 ≡ 𝑲 [^𝑐𝑹_𝑜 ^𝑐𝑡_𝑜] est de dimensions (3 × 4) et est définie à un facteur d’échelle près. Elle possède donc 11 composantes indépendantes (5 pour𝑲, 3 pour^𝑐𝑹_𝑜 et 3 pour^𝑐𝑡_𝑜).

𝑤 𝑢 𝑣 1

= 𝑲 ^𝑐𝑹_𝑜 ^𝑐𝑡_𝑜

𝑐𝑴_𝑜

𝑜𝑥

𝑜𝑦

𝑜𝑧 1

(14)

14

❑ EXERCICE

On dispose d’une caméra Allied Vision Technologies Manta G-125 composée de (1292 × 964) éléments photosensibles (capteur Sony ICX445). Chacun de ces photo-éléments, de forme carrée, a une taille de 3,75 micromètres. La sortie numérique est au format GigaEthernet (protocole standard Genicam) et permet le transfert de 30 images par seconde (chaque pixel est codé sur 8 à 12 bits au plus, permettant de coder l’intensité de la lumière sur 256 ou 4096 niveaux de gris). L’image temporairement stockée en mémoire vidéo une fois effectué le transfert des données de la caméra vers un ordinateur est définie ici avec une résolution HD : de (1366 × 768) pixels. On installe sur la caméra une optique Pulnix de focale fixe𝑓 = 8 mm.

Déterminer des valeurs approchées de tous les paramètres intrinsèques (𝛾 est supposée nul) à ce système de vision (𝐺_𝑥, 𝐺_𝑦, 𝑢_𝑐, 𝑣_𝑐) sachant que l’origine des pixels de l’image en haut et à gauche de l’image. L’axe 𝑥 de l’image est parallèle à l’axe horizontal du capteur et dans le même sens (vers la droite), l’axe𝑦 del’image est parallèle à l’axe vertical du capteur et dans le même sens (dirigé vers le bas); Ainsi le produit vectoriel 𝑧 = 𝑥 ∧ 𝑦 = −𝑥 ∧ −𝑦 est parallèle à l’axe optique et dirigé vers la scène. Même question mais pour respecter le ratio, on utilise toute la résolution du capteur Sony pour définir l’imagenumérique en mémoire vidéo.

(15)

2.2 Modélisation géométrique

➢ Correction exercice(1/2)

• Les signes de 𝐺_𝑥 et 𝐺_𝑦 sont déterminés par la manière dont on définit les sens des axes 𝑥 et 𝑦 du repère (R_c) de la caméra par rapport au repère de l’image. Ils sont positifs ici. Pour un point 3D donné 𝑃 dans (R_o) et sa projection dans l’image (𝑢 − 𝑢_𝑐, 𝑣 − 𝑣_𝑐), inverser le signe de 𝐺_𝑦 revient à inverser celui de ^𝑐𝑦 ( ^𝑐𝑧 est toujours positif), et donc revient à inverser 𝑡_𝑦 (2^ème composante du vecteur de translation ^𝑐𝑡_𝑜) et le 2^èmevecteur ligne𝑟₂^𝑇 de la rotation ^𝑐𝑅_𝑜. Même analyse avec le signe de𝐺_𝑥.

Format de l’image : 1366 × 768 = 1 049 088pixels

|𝐺_𝑥| = 𝑠_𝑥𝑓

𝑙_𝑥 = 1292

1366 × 8 × 10³

3.75 ≈ 2017,8 ; |𝐺_𝑦| = 𝑓

𝑙_𝑦 = 8 × 10³

3.75 ≈ 2133,3 𝑢_𝑐 = 1366

2 ; 𝑣_𝑐 = 768

• A une ligne d’éléments photosensibles correspond une ligne de pixels (pas de correspondance exacte2 entre 1 élément photosensible et un pixel); Mais on a toujours la correspondance entre 1 ligne entière d’éléments photosensibles et 1 ligne entière de pixels (correspondance « 1 à 1 » selon la verticale).

• Le débit de transfert théorique des données effectives (données vidéo) vaut ici (avec 256 niveaux de gris par pixel) : 𝐷 = 30 × 1292 × 768 × 8 ≈ 238,1 M bits/s A cela s’ajoute l’ensemble des champs (en-tête, adresses, ports, flags,…) d’une trame selon le protocole/couche de transport TCP (ou UDP) :

𝑐𝑦 = 𝑟₂₁^𝑜𝑥 + 𝑟₂₂^𝑜𝑦 + 𝑟₂₃^𝑜𝑧 + 𝑡_𝑦 𝑣 − 𝑣_𝑐 = 𝐺_𝑦

𝑐𝑦

𝑐𝑧

(16)

16

➢ Correction exercice(2/2)

Format de l’image : 1292 × 964 = 1 245 488 pixels

|𝐺_𝑥| = |𝐺_𝑦| = ^𝑓

𝑙_𝑦 = 8 × ¹⁰³

3.75 ≈ 2133,3; 𝑢_𝑐 = ¹²⁹²

2 ; 𝑣_𝑐 = ⁹⁶⁴

2

• Ces valeurs restent approximatives et sont seulement nominales. En particulier, on constate souvent en pratique des écarts entre la longueur focale annoncée par le fabricant et la longueur focale réelle. De plus, un décalage éventuel entre le centre de la matrice des éléments photosensibles et l’intersection de l’axe optique sur l’image (appelé point principal) ne peut pas être calculé (car il fait appel à deux éléments acquis souvent séparément et fixés par vissage); Si nécessaire, ce décalage et la longueur focale doivent être mesurés avec précision. Pour ce format, on maintient la correspondance « 1 à 1 » entre élément photosensible et pixel, ce qui est plus précis et plus efficace d’un point de vue énergétique (énergie lumineuse mieux capturée).

• Le débit de transfert théorique des données effectives (données vidéo) vaut ici :

𝐷 = 30 × 1292 × 964 × 8 ≈ 298,9 M bits/s (avec 256 niveaux de gris par pixel).

(17)

2.3 Recalage 2D-3D rigide

2.3.1 Introduction

A partir de la modélisation par la projection perspective (ci-dessus), le recalage 2D-3D consiste à déterminer la matrice𝑨 et le vecteur𝝉 (𝑨 = 𝑲 ^𝑐𝑹_𝑜 et𝜏 = 𝑲 ^𝑐𝑡_𝑜)composant les colonnes de la matrice^𝑐𝑴_𝑜 à partir :

• des données del’image (par exemple, un ensemble de𝑛points image 𝑄_𝑖 ) et

• d’unmodèle géométrique de l’objet rigide perçu (par exemple, un ensemble de 𝑛points 3-D ^𝑜𝑃_𝑖 ).

(R

_o

) 𝐶

𝑐

𝑴

_𝑜

?

Point principal

𝑂

Repère image 𝐼

Repère Objet Axe optique

𝑤_𝑖 𝑢_𝑖 𝑣_𝑖 1

𝑐𝑴_𝑜

𝑜𝑦_𝑖

𝑜𝑧_𝑖 1

(18)

18

➢ Si la matrice 𝑲 est déjà identifiée (caméra dite étalonnée), il n’y a qu’ à déterminer ^𝑐𝑹_𝑜 et ^𝑐𝑡_𝑜, on parle alors depose de caméra, ou delocalisationd’objet (voir section 2.3.3).

➢ La formulation vectorielle de la projection perspective 𝑄_𝑖 ∧ ^𝑐𝑴_𝑜 ^𝑜𝑃_𝑖 = 0₃ est un système linéaire de trois équations, de rang 2, pour chaque couple de points appariés (^𝑜𝑃_𝑖 ↔ 𝑄_𝑖) considéré. La matrice (3 × 4) réelle ^𝑐𝑴_𝑜 possède en réalité 11 composantes indépendantes (matrice définie à un facteur d’échelle près). La résolution de ce système, par conséquent pour déterminer cette matrice, montre qu’il faudrait donc considérer au moins six correspondances (ou appariements) points objet et points image, sans présence parmi eux de triplets colinéaires ou de quadruplets coplanaires (configurations singulières).

(R

_o

) 𝐶 𝑃

𝑐

𝑴

_𝑜

?

𝑂 𝑄

Point principal Repère

image 𝐼

𝑤_𝑖 𝑣_𝑖 1

= 𝑲 𝑹_𝑜 𝑡_𝑜

𝑐𝑴_𝑜

𝑜𝑧_𝑖 1

(19)

2.3 Recalage 2D-3D rigide

➢ La matrice ^𝑐𝑴_𝑜 peut être déterminée sans ambiguïté si on tient compte de sa décomposition spécifique et des contraintes physiques (rigidité et chiralité). En particulier :

𝑐𝑴_𝑜 =

𝑥₁ 𝑥₄ 𝑥₂ 𝑥₅ 𝑥₃ 𝑥₆

𝑥₇ 𝑥₁₀ 𝑥₈ 𝑥₁₁

𝑥₉ 𝑥₁₂ ≡ [𝑲 ^𝑐𝑹_𝑜 𝑲 ^𝑐𝑡_𝑜]

✓ Rigidité : les trois premières colonnes de la matrice ^𝑐𝑴_𝑜 correspondent au produit de la matrice triangulaire supérieure 𝑲 par la matrice de rotation ^𝑐𝑹_𝑜 = (𝑟)_𝑖𝑗. La valeur absolue du facteur d’échelle inconnu peut être calculé car la dernière ligne du produit matriciel 𝑲 ^𝑐𝑹_𝑜vaut 𝑥₃ 𝑥₆ 𝑥₉ = 𝑟31 𝑟₃₂ 𝑟₃₃ et doit être un vecteur unitaire (et aussi parce que la dernière ligne de𝑲 vaut[0 0 1]).

✓ Chiralité :l’objet d’intérêt ne pouvant se situer que devant la caméra d’axeoptique de direction 𝑧 pointant vers la scène, nous avons donc une contrainte géométrique sur la position^𝑐𝑡_𝑜 = (𝑡_𝑥, 𝑡_𝑦, 𝑡_𝑧)^𝑇: 𝑡_𝑧 > 0, et comme la dernière ligne de 𝑲 vaut [0 0 1], cela équivaut à vérifier que 𝑥₁₂ > 0, et par conséquent à fixer le signe du facteur d’échelle.

𝑐𝑴_𝑜

𝑜𝑦_𝑖

𝑜𝑧_𝑖 1

(20)

20

2.3.2 Cas général (caméra non calibrée)

➢ Si la matrice 𝑲 n’est pas connue, on peut déterminer l’ensemble des composantes de ^𝑐𝑴_𝑜 à partir de la formule𝑄_𝑖 ∧ ^𝑐𝑴_𝑜 ^𝑜𝑃_𝑖 = 0₃, pour chaque couple de points(^𝑜𝑃_𝑖, 𝑄_𝑖), 𝑖 = 1, … , 𝑛apparié :

𝑄_𝑖 ∧ ^𝑐𝑴_𝑜 ^𝑜𝑃_𝑖 = [𝑄_𝑖]_×

𝑥₁ 𝑥₄ 𝑥₂ 𝑥₅ 𝑥₃ 𝑥₆

𝑥₇ 𝑥₁₀ 𝑥₈ 𝑥₁₁ 𝑥₉ 𝑥₁₂

𝑜𝑥_𝑖

𝑜𝑦_𝑖

𝑜𝑧_𝑖 1

= 0 0 0 et réarrangé sous la forme :

[𝑄_𝑖]_× ^𝑜𝑥_𝑖 𝐼_3×3 ; ^𝑜𝑦_𝑖 𝐼_3×3 ; ^𝑜𝑧_𝑖 𝐼_3×3 ; 𝐼_3×3

𝑥₁ 𝑥₂ 𝑥₃ 𝑥₄ 𝑥₅ 𝑥₆ 𝑥₇ 𝑥₈ 𝑥₉ 𝑥₁₀ 𝑥₁₁ 𝑥₁₂

= 0 0 0

c’est-à-dire : ^𝑜𝑃_𝑖^𝑇۪ [𝑄_𝑖]_× 𝑋 = 0₃ ; avec 𝑋 = (𝑥₁, 𝑥₂, … , 𝑥₁₂)^𝑇.

(21)

2.3 Recalage 2D-3D rigide

𝑜𝑃_𝑖^𝑇۪ [𝑄_𝑖]_× 𝑋 = 0₃

۪ représente le produit matriciel de Kronecker. La résolution de ce système linéaire homogène peut être envisagée à partir de la méthode des moindres carrés, et mis en œuvre en recherchant une solution àl’aide de la décomposition en valeurs singulières (SVD). En effet avec 𝑛 couples (^𝑜𝑃_𝑖, 𝑄_𝑖), on aboutit au système linéaire homogène suivant :

𝑜𝑃₁^𝑇 ⊗ [𝑄₁]_×

⋮

𝑜𝑃_𝑛^𝑇 ⊗ [𝑄_𝑛]_×

𝑋 = 0_3𝑛 de la forme : 𝑯_(3𝑛×12) 𝑋 = 0_3𝑛

et on ne peut déterminer une solution exacte pour 𝑋 que si le rang de 𝑯_(3𝑛×12) est égal exactement à 11 (nombre de composantes de 𝑋 - 1).

➢ Résolution par la méthode des moindres carrés : La décomposition en valeurs singulières (SVD) de 𝑯_(3𝑛×12) permet de déterminer par l’approche des moindres carrés au moins une solution approchée pour 𝑋 (autre que la solution 𝑋 = 0, puisqu’il faut assurer que 𝑥₃² + 𝑥₆² + 𝑥₉² = 1), à l’aide d’au moins 𝑛 = 6 couples appariés (^𝑜𝑃_𝑖, 𝑄_𝑖) [chaque sous-système ^𝑜𝑃_𝑖^𝑇۪[𝑄_𝑖]_× étant de rang 2], en minimisant la quantité algébrique 𝑯_(3𝑛×12) 𝑋 ². Ceci permet d’élaborer l’algorithmesuivant :

(22)

22

Algorithme COR (Camera-Object Registration)

• Etape 1 : A partir des 𝑛 ≥ 6couples de points objet/image (𝑃_𝑖, 𝑄_𝑖), points appariés, former la matrice :

𝑯_(3𝑛×12) =

𝑜𝑃₁^𝑇 ⊗ [𝑄₁]_×

⋮

𝑜𝑃_𝑛^𝑇 ⊗ [𝑄_𝑛]_×

• Etape 2 : Calculer le rang de cette matrice qui doit être égal à 11 (solution exacte) ou plus probablement égal à 12 (bruit de mesures); Sinon, ajouter ou choisird’autrescouples de points.

• Etape 3 : Calculer la décomposition en valeurs singulières de 𝑯_(3𝑛×12) = 𝑼 𝑫 𝑽^𝑇 où𝑫est une matrice dont la diagonale contient les valeurs singulières rangées en ordre décroissant de la valeur absolue (la diagonale de la matrice carrée 𝑫^𝑇𝑫 contient les valeurs propres). 𝑼 et 𝑽 sont des matrices carrées et orthogonales et contiennent les vecteurs singuliers (gauches et droites). La dernière colonne de 𝑽, 𝑉₁₂, est le vecteur singulier associé à la plus petite valeur singulière (en valeur absolue, elle est nulle si le rang est égal à 11) : c’est la solution retenue pour𝑋.

• Etape 4 : Fixerl’amplitudedu facteurd’échellede𝑋en imposant :𝑥₃²+ 𝑥₆²+ 𝑥₉² = 1.

• Etape 5 : Si𝑥₁₂ < 0, remplacer𝑋par −𝑋, puis former la matrice^𝑐𝑴_𝑜:^𝑐𝑴_𝑜 =

𝑥₁ 𝑥₄ 𝑥₂ 𝑥₅ 𝑥₃ 𝑥₆

𝑥₇ 𝑥₁₀ 𝑥₈ 𝑥₁₁ 𝑥₉ 𝑥₁₂ ;

(23)

2.3 Recalage 2D-3D rigide

➢ Remarques :

✓ Les étapes 4 et 5 ne sont pas obligatoires. Elles sont obligatoires seulement si on souhaite extraire des informations métriques par la suite, en particulier pour identifier les paramètres extrinsèques - la matrice de rotation ^𝑐𝑹_𝑜 et le vecteur de translation ^𝑐𝑡_𝑜 - et les paramètres intrinsèques (matrice 𝑲).

✓ En pratique on obtient des résultats précis pour𝑋 que :

• si la matrice 𝑯_(3𝑛×12) est bien conditionnée, ce qui nécessite généralement l’emploi d’une normalisation des données et des mesures à partir de points 3-D bien répartis dansl’espace (avec des profondeurs significativement distinctes) et des projections dans l’image bien réparties dans le plan,

• si on disposed’un grand nombre de mesures, précises.

✓ Il est alors assez fréquent d’utiliser des estimateurs robustes (RANSAC,…) ou des M-estimateurs, rejetant automatiquement des mesures considérées comme aberrantes, par le calcul de statistiques sur des échantillons de 6-upletsde couples de points.

(24)

24

➢ Grâce à la décomposition RQ du produit 𝑨 = 𝑲^𝑐𝑹_𝑜(sous-matrice (3 × 3) de gauche de la matrice

𝑐𝑴_𝑜), on peut obtenir la matrice triangulaire supérieure 𝑲et la matrice de rotation ^𝑐𝑹_𝑜.

• Ci-dessous est reporté un code Matlab utile pour réaliser correctement cette décomposition spécifiquement pour le recalage 2D-3D rigide, à partir de la décomposition QR beaucoup plus connue et souvent disponible dans les bibliothèques de langage de programmation (attention aux notations ! Q est la matrice de rotation dans la décomposition QR) :

function [K Q]=rq4cor(A)

% function [K Q]=rq4cor(A)

% A [3 x 3]

% return K [3 x 3] upper triangular with K(3,3)=1, K(1,1) > 0 and K(2,2) > 0 and

% Q [3 x 3] rotation matrix (unitary i.e. Q'*Q=I AND det(Q)=1)

% such that A = K*Q

[Q K] = qr(flipud(A).');

K = flipud(K.');

K(:,1:3) = K(:,3:-1:1);

Q = Q.';

Q(1:3,:) = Q(3:-1:1,:);

....

(25)

2.3 Recalage 2D-3D rigide

La décomposition QR n’étant pas unique, il y a lieu de prendre certaines précautions pour extraire convenablement 𝑲 et^𝑐𝑹_𝑜 du produit 𝑨 = 𝑲^𝑐𝑹_𝑜. Dans ce code, intitulé ^rq4cor(), (RQ for Camera- Object Registration), l’orientation du repère caméra est prise identique à celle du repère image, c’est pourquoi les signes des composantes 𝐾₁₁, 𝐾₂₂ et 𝐾₃₃ sont contraints d’être positifs. Un changement de signe de 𝐾₃₃ modifiant aussi la direction du décalage (point principal), il faut donc effectuer cette vérification avant les autres.

function [K Q]=rq4cor(A) (suite) ....

% check the positiveness of K(3,3)(should be equal to 1, not -1) if K(3,3) < 0

K = -K;

Q = -Q;

end

% check for the signs of K(1,1)and K(2,2) if K(1,1) < 0

K(1,1) = -K(1,1);

Q(1,:) = -Q(1,:);

end

if K(2,2) < 0

K(2,2) = -K(2,2);

Q(2,:) = -Q(2,:);

(26)

26

Cas général (Caméra non calibrée): Mise enœuvre avec Matlab (1/3)

%

% STEP 1-a (simulation) : object point coordinates (at least 6), camera modeling and viewpoint definition.

%

% Definition of a set of (at least) 6 object points (given homogeneous coordinates) object = [18 6 -7 1;45 23 -17 1;8 7 -12 1;15 -34 22 1;3 24 6 1;-19 5 12 1]’;

%--- Vision system intrinsics

f = 12; % focal length of the lens (in mm)

lx = 1/100; ly = 1/100; % size of CCD cells (mm/pix)

u_c = 256; v_c = 256; % decentering (CCD camera center wrt optical axis for 512x512 of size)

K1 = [1/lx 0 u_c;0 1/ly v_c;0 0 1];

Kf = [f 0 0;0 f 0;0 0 1]; K = K1 * Kf;

PP = K * [1 0 0 0;0 1 0 0;0 0 1 0]; % perspective projection

%--- extrinsic parameters (viewpoint : Rotation R and translation t) R = theta2r([pi-pi/12 0 -pi/3])

t = [6 17 345]'

(27)

2.3 Recalage 2D-3D rigide

Cas général (Caméra non calibrée): Mise enœuvre avec Matlab (2/3)

%

% STEP 1-b (simulation) : projections of object points in the image plane and inclusion of synthetic gaussian noise onto image points coordinates.

%

%--- projection onto the image

T = [[R';t']';0 0 0 1]; % build homogeneous (4x4) matrix for euclidean transform PP = PP * T;

image = PP * object;

% set last homogeneous component to 1 so as to extract image point coord. in pixels) image = PP * object;

n = length(image);

for i=1:n

image(:,i) = image(:,i)/image(3,i);

end

% add synthetic noise on image point coordinates (to simulate added zero-mean Gaussian noise)

noise = 0.025;

image(1:2,:) = image(1:2,:) + randn(size(image(1:2,:)))*noise

(28)

28

Cas général (Caméra non calibrée) : Mise en œuvreavec Matlab (3/3)

% STEP 2 : solution for camera-object registration

%

%--- build the system matrix H H = zeros(3*n,12);

for i=1:n

H(3*i-2:3*i,:) = kron(object(:,i)',sk(image(:,i)));

end

% look for the solution as the singular vector associated to the lowest (absolute value) singular value of the SVD of H (it is given by the last column of V)

[U,D,V] = svd(H);

X = V(:,12);

Mco = [X(1:3)';X(4:6)';X(7:9)';X(10:12)']';

mu = Mco(3,1)^2+Mco(3,2)^2+Mco(3,3)^2;

Mco = Mco/mu;

if Mco(3,4) < 0 Mco =-Mco;

end

%--- intrinsic and extrinsic parameters recovery (with rq4cor() ---%

A = Mco(1:3,1:3);

[K1,R1] = rq4cor( A );

t1 = inv(K1)*Mco(1:3,4);

%--- you may now compare K with K1, R with R1 and t with t1, for several levels of noise and also with a bigger set of object points (only 6 here : the minimal required number of points).

(29)

2.3 Recalage 2D-3D rigide

2.3.3 Pose d’unecaméra

➢ La pose d’une caméra consiste à déterminer^𝑐𝑹_𝑜 et ^𝑐𝑡_𝑜, étant donné 𝑲 préalablement identifiée, des points 3-D 𝑃_𝑖 d’un objetd’intérêt rigide et leurs projections 𝑄_𝑖 dans une image.

• Dans le cas où les points 3-D objet 𝑃_𝑖 sont TOUS sur un même plan, la matrice 𝑯_(3𝑛×12) du (2.3.2) n’a pas un rang suffisant pour déterminer une solution non nulle pour le vecteur 𝑋 (rang < 11, quelle que soit la valeur de 𝑛) . Ceci est assez courant en pratique car la taille de l’objet d’intérêt est souvent faible au regard de la distance caméra-objet (correspondant à peu près à la norme du vecteur 𝑡). De plus, il est inutile de recalculer tout ou partie des paramètres intrinsèques si la matrice 𝑲 est déjà connue avec précision. Il est donc bien plus efficace d’utiliser une méthode spécifique qui nécessitera par ailleurs moins de couples de points à apparier.

(R

_o

) 𝐶 𝑃

𝑐

𝑹

_𝑜

,

^𝑐

𝑡

_𝑜

?

𝑂 𝑄

Point principal Repère

image 𝐼

Repère Caméra

(30)

30

A Low-Cost System for Quadrotor Pose Estimation using Fiducial Markers and Multi-Sensor Fusion

(Georgia Institute of Technology, Atlanta, USA ) https://www.youtube.com/watch?v=Xh9gmKJDyEs

Pose et calibration par multi-vues (de plans)

(31)

2.3 Recalage 2D-3D rigide

• Il est bien connu que trois points suffisent pour définir un plan, quatre pour définir une sphère 3-D…

Dans le cas général 4 points ne se situent donc pas dans un plan.

➢ Le problème perspectif à 𝑛 points (Perspective-𝒏-Point or P𝒏P for short) s’intéresse à la pose d’une caméra calibrée vis-à-vis d’un objet connu, objet plan si on considère trois points pour le définir, plan ou volumique si on considère au moins quatre points pour le définir. Plusieurs auteurs l’ont étudié depuis 30 ans, par exemple, on peut citer :

1. La méthode de Michel Dhome (P3P, PnP; 1989),

2. La méthode numérique itérative de Daniel Dementhon et Larry Davis (P4P; 1995), 3. La méthode de Long Quan et Lan (P3P, P4P, P5P; 1999),

4. La méthode de Lu (PnP; 2000),

5. La méthode de Vincent Lepetit (EPnP; 2008), 6. La méthode de YinQiang Zheng (PnP; 2013),…

parmid’autres.

(32)

32

• Aucune de ces méthodes est complètement linéaire et plusieurs solutions existent en général. On trouvera dans l’article de V. Lepetit une revue des principales méthodes. Il ressort des méthodes citées précédemment qu’il est nécessaire de disposer de trois couples de points appariés pour déterminer un nombre fini de solutions pour ^𝑐𝑹_𝑜 et^𝑐𝑡_𝑜. L’ajout d’autres points permet généralement de rejeter les solutions non valides.

➢ L’approche que proposons pour la vision robotique est une méthode dite PP3P, car basée sur des projections perspectives et des projections para-perspectives d’un ensemble 𝑂 de 𝑛 = 3points – donc un triangle - objet 𝑂 = 𝑇₁ = {𝑃₁, 𝑃₂, 𝑃₃}. Avec un nombre plus important de points, il est possible de subdiviser𝑂 en sous-ensembles de triangles. Par exemple, avec 𝑛 = 4points, 𝑂 = {𝑃₁, 𝑃₂, 𝑃₃, 𝑃₄} et les 4 triangles 𝑇₁ = {𝑃₁, 𝑃₂, 𝑃₃}, 𝑇₂= {𝑃₂, 𝑃₃, 𝑃₄}, 𝑇₃= {𝑃₃, 𝑃₄, 𝑃₁}, 𝑇₄= {𝑃₄, 𝑃₁, 𝑃₂} sont construits par permutations circulaires des indices (1,2,3,4). Chaque point est donc représenté dans trois des quatre triangles, et chaque point est alternativement utilisé dans un triangle comme pivot.

𝐶

𝑄

₄

𝑃

₂

𝑄

₁

𝑃

₃

𝑃

₄

𝑄

₂

𝑄

₃

𝑃

₁

(33)

2.3 Recalage 2D-3D rigide

• Si les points objets et images ne sont pas appariés, il est judicieux d’ordonner les triangles objet. En effet, les triangles image vont être redéfinis à chaque acquisition, alors que les triangles objet peuvent être intégrés dans le modèle de l’objet d’intérêt à l’avance (pre-processing). Le nombre de triangles ordonnés est égal au nombre d’arrangements de 3 éléments parmi 𝑛. Pour 𝑛 = 4 points par exemple 𝐴₄³ = ^4!

4−3 ! = 24; pour 𝑛 = 5, 𝐴₅³ = ^5!

5−3 ! = 60; pour 𝑛 = 8, 𝐴₈³ = 336; pour 𝑁 = 15, 𝐴₁₅³ = 2730…

➢ Les 3 étapes-clés de la méthode PP3P

1. La première étape consiste à déterminer tous les triangles participants au recalage, puis de calculer, pour chaque triangle, une transformation euclidienne entre le repère objet et un repère local au triangle (étape hors-ligne).

2. La deuxième étape est la recherche des solutions analytiques à l’aide des projections perspectives exactes du point pivot et para-perspective pour les deux autres points du triangle. Le calcul pourra être répété un grand nombre de fois si le nombre de triangles est élevé. La méthode autorise une exécution parallèle (étape en ligne).

3. La troisième étape consiste àsélectionner la solution qui minimisel’erreur de re-projection des autres points (hors du triangle), amenant à la meilleure précision des résultats (étape en ligne).

(34)

34

2.3.3 Pose d’unecaméra : Proj. perspective exacte,faibleet para-perspective :

➢ Pour la projection faible 𝐴_𝑝1 de pivot 𝑃₁, on a :𝑄₁ = 𝐴_𝑝1 𝑃₁ = Π(𝑃₁)

𝐶

𝑃_𝑖

𝑃₁ Π(𝑃_𝑖)

axe optique plan image

➢ Projection faible de pivot 𝑃₁ : étant donné le point 𝑃₁ et sa projection perspective (en bleu), on considère le plan passant par𝑃₁ et perpendiculaire àl’axeoptique. Pour un autre point 𝑃_𝑖 on a alors :

• La projection orthogonale de 𝑃_𝑖 (en rouge) sur le plan en pointillés, ℎ_𝑖, puis la projection perspective de ℎ_𝑖 sur le plan image composent la projection faible de 𝑃_𝑖 (approximation à l’ordre 0), 𝐴_𝑝1 𝑃_𝑖 .

➔La projection faible ne peut pas rendre compte des effets perspectifs.

𝑄₁

ℎ_𝑖

𝑐𝑧₁ 𝑢₁ 𝑣₁ 1

= 𝑲 1 0 0 1 0 0

0 0 0 0 0 1

𝑐𝑥₁

𝑐𝑦₁

𝑐𝑧₁ 1

; donc 𝑤_𝑖 = ^𝑐𝑧₁, ∀ 𝑖. ^𝑐𝑧_𝑖 ≠ ^𝑐𝑧₁ en général. Ceci correspond en fait à une transformation affine entre le plan en pointillés et le plan image(puisqu’ilssont parallèles)

quis’exprime plus simplement par :𝐴_𝑝1 𝑃_𝑖 𝑢_𝑖

𝑣_𝑖 1

= 𝑲

1/ ^𝑐𝑧₁ 0 0 0 1/ ^𝑐𝑧₁ 0

0 0 1

𝑐𝑥_𝑖

𝑐𝑦_𝑖 1

;

𝑃_𝑖 = 𝑥_𝑖 𝑦_𝑖 𝑧_𝑖 1 𝐴_𝑝1 𝑃_𝑖

(35)

2.3 Recalage 2D-3D rigide

2.3.3 Pose d’unecaméra : Proj. perspective exacte,faibleet para-perspective :

➢ Pour la projection para-perspective Π_𝑝1 de pivot𝑃₁, on a :𝑄₁ = Π_𝑝1 𝑃₁ = Π(𝑃₁)

𝑐𝑧₁ 𝑢₁ 𝑣₁ 1

= 𝑲 1 0 0 1 0 0

0 0 0 0 0 1

𝑐𝑥₁

𝑐𝑦₁

𝑐𝑧₁ 1

; donc𝑤_𝑖 = ^𝑐𝑧₁,∀ 𝑖 et pour les autres points,Π_𝑝1 𝑃_𝑖 telle que :

𝐶

𝑃_𝑖

𝑃₁ Π(𝑃_𝑖)

axe optique plan image

➢ Projection para-perspective de pivot 𝑃₁ : étant donné le point 𝑃₁ et sa projection perspective (en bleu), on considère le plan passant par𝑃₁ et perpendiculaire àl’axeoptique. Pour un autre point𝑃_𝑖 on a alors :

𝑄₁

ℎ_𝑖 𝑙_𝑖

= 𝑲

1 0 0 1 0 0

− ^𝑐𝑥₁/^𝑐𝑧₁ ^𝑐𝑥₁

− ^𝑐𝑦₁/^𝑐𝑧₁ ^𝑐𝑦₁ 0 ^𝑐𝑧₁

𝑐𝑥_𝑖

𝑐𝑦_𝑖

𝑐𝑧_𝑖 1

; donc 𝑤_𝑖 = ^𝑐𝑧₁, ∀ 𝑖

et ^𝑐𝑧_𝑖 ≠ ^𝑐𝑧₁en général. ^Π^𝑝1 ^𝑃^𝑖

𝑃_𝑖 = 𝑥_𝑖 𝑦_𝑖 𝑧_𝑖 1 𝐴_𝑝1 𝑃_𝑖

(36)

36

2.3.3 Pose d’unecaméra : méthode PP3P

Ce sont les trois premières étapes qui sont décrites maintenant. On note par la suite et le nombre de points objet, 𝑁.

➢ PP3P-Etape 1(méthode PP3P)

On note 𝑃ത_𝑘 = (^𝑜

𝑥

_𝑘, ^𝑜𝑦_𝑘, ^𝑜𝑧_𝑘)^𝑇 les coordonnées affines d’un point dans le repère objet (𝑅_𝑜). 1.1. Une transformation euclidienne^𝑜𝑬_𝑗 = ^𝑜𝑹_𝑗 ^𝑜𝑡_𝑗 est alors calculée entre (𝑅_𝑜) et le repère local attaché au triangle objet 𝑇_𝑗 𝑅_𝑜𝑗 - notons le 𝑀_𝑗𝑘 = {𝑀_𝑗1, 𝑀_𝑗2, 𝑀_𝑗3} - afin quel’on ait

𝑀ഥ_𝑗1 = (0,0,0)^𝑇, 𝑀ഥ_𝑗2 = ( ^𝑗𝑋₂, 0,0)^𝑇 et 𝑀ഥ_𝑗3 = ( ^𝑗𝑋₃, ^𝑗𝑌₃, 0)^𝑇. Ainsi seules 3 coordonnées au plus (sur 9) sont non nulles.

1.2. Les 𝑁 − 3 autres points objet 𝑃_𝑖, avec 𝑃ത_𝑖 = ( ^𝑜𝑥_𝑖, ^𝑜𝑦_𝑖, ^𝑜𝑧_𝑖)^𝑇, (𝑖 ≠ 𝑘) dans 𝑅_𝑜 , ont des coordonnées affines notées𝑀ഥ_𝑗𝑖 = ( ^𝑗𝑋_𝑖, ^𝑗𝑌_𝑖, ^𝑗𝑍_𝑖)^𝑇 dans ce repère local 𝑅_𝑜𝑗 et sont calculées par la formule :

𝑃ത_𝑖 = ^𝑜𝑹_𝑗 𝑀ഥ_𝑗𝑖 + ^𝑜𝑡_𝑗.

• Remarques :

✓ Cette étape n’est pas obligatoire en général (mais elle l’est dans l’approche proposée ici), et peut être réalisée hors-ligne. Elle contribue à réduire significativement les calculs en ligne par la suite.

✓ Le point 𝑀_𝑗1, origine du repère 𝑅_𝑜𝑗 , est choisi comme point pivot dans l’utilisation de la projection para-perspective des deux autres points 𝑀_𝑗2 et 𝑀_𝑗3 du triangle𝑇_𝑗.

𝑃_𝑘 = 𝑃ത_𝑘 1

(37)

2.3 Recalage 2D-3D rigide

➢ PP3P-Etape 2(méthode PP3P)

2.1. Les paramètres intrinsèques étant supposés connus ici, on utilise cela pour noter alors les coordonnées affines 𝑄ത_𝑘 = (𝑢^′_𝑘 = (𝑢_𝑘 − 𝑢_𝑐)/𝐺_𝑥, 𝑣^′_𝑘 = (𝑣_𝑘 − 𝑣_𝑐 )/𝐺_𝑦 )^𝑇 dans le repère image centré (sur le point principal 𝑄_𝑐 = (𝑢_𝑐 , 𝑣_𝑐 )^𝑇 et ramené à l’échelle métrique), la projection du point objet 𝑃_𝑘, c’est-à-dire :

𝑄 ≡ 𝑲ത ⁻¹ 𝑄

• Remarque : Il est possible d’opérer une normalisation des données image également. Je recommande dans ce cas d’employer la même transformation affine pour tous les points image, car cette étape étant réalisée en ligne, une transformation spécifique par triangle image aboutirait à un grand nombre de transformations pour cette normalisation quand le nombre total de points visibles devient élevé.

➔ 6 équations linéaires (2 par couple de points en correspondance 𝑃_𝑘 ↔ 𝑀_𝑗𝑘 ↔ 𝑄_𝑘) sont obtenues entre les coordonnées du triangle objet 𝑇_𝑗 𝑅_𝑜𝑗 et son image 𝐹_𝑗 = Π_𝑝(𝑇_𝑗) = {𝑚_𝑗1, 𝑚_𝑗2, 𝑚_𝑗3} par projection para-perspective. Ainsi, en suivant les même règles sur les indices que pour les triangles objet on a, avec 𝑁_𝑣 = 4points visibles :

𝐹₁ = { ത𝑄₁, ത𝑄₂, ത𝑄₃},𝐹₂= { ത𝑄₂, ത𝑄₃, ത𝑄₄}, 𝐹₃= { ത𝑄₃, ത𝑄₄, ത𝑄₁}, 𝐹₄= { ത𝑄₄, ത𝑄₁, ത𝑄₂}).

(38)

38

➢ PP3P-Etape 2(2.2)

Les 6 relations linéaires sont les suivantes avec la projection para-perspectiveΠ_𝑝1 de pivot 𝑀_𝑗1 : (Rappel : 𝑀ഥ_𝑗1 = (0,0,0)^𝑇, 𝑀ഥ_𝑗2 = ( ^𝑗𝑋₂, 0,0)^𝑇 et𝑀ഥ_𝑗3 = ( ^𝑗𝑋₃, ^𝑗𝑌₃, 0)^𝑇. )

✓ pour 𝑚_𝑗1 = Π(𝑀_𝑗1): ^𝑐𝑧₁ 𝑢′₁ 𝑣′₁ 1

= 1 0 0 1 0 0

0 0 0 0 1 0

𝑟₁₁ 𝑟₁₂ 𝑟₁₃ 𝑡_𝑥 𝑟₂₁ 𝑟₂₂ 𝑟₂₃ 𝑡_𝑦 𝑟₃₁ 𝑟₃₂ 𝑟₃₃ 𝑡_𝑧

0 0 0 1

0 00 1

(39)

2.3 Recalage 2D-3D rigide

➢ PP3P-Etape 2(2.2)

Les 6 relations linéaires sont les suivantes avec la projection para-perspectiveΠ_𝑝1 de pivot 𝑀_𝑗1 : (Rappel : 𝑀ഥ_𝑗1 = (0,0,0)^𝑇, 𝑀ഥ_𝑗2 = ( ^𝑗𝑋₂, 0,0)^𝑇 et𝑀ഥ_𝑗3 = ( ^𝑗𝑋₃, ^𝑗𝑌₃, 0)^𝑇. )

✓ pour 𝑚_𝑗1 = Π(𝑀_𝑗1): ^𝑐𝑧₁ 𝑢′₁ 𝑣′₁ 1

= 1 0 0 1 0 0

0 0 0 0 1 0

0 0 0 1

0 00

1

✓ pour 𝑚_𝑗2 = Π_𝑝1(𝑀_𝑗2) et 𝑚_𝑗3 = Π_𝑝1 𝑀_𝑗3 :

𝑐𝑧₁ 𝑢′_𝑖 𝑣′_𝑖 1

= 1 0 0 1 0 0

−𝑢′₁ ^𝑐𝑥₁

−𝑣′₁ ^𝑐𝑦₁ 0 ^𝑐𝑧₁

0 0 0 1

𝑗𝑋_𝑖

𝑗𝑌_𝑖

𝑗𝑍_𝑖 = 0 1

Les composantes 𝑟_𝑙𝑐 d’une part et 𝑡_𝑥 , 𝑡_𝑦 et 𝑡_𝑧 correspondent à la matrice de rotation ^𝑐𝑹_𝑗 et au vecteur ^𝑐𝑡_𝑗 entre le repère local 𝑅_𝑜𝑗 au triangle objet𝑇_𝑗 et le repère caméra 𝑅_𝑐 .