NON CALIBRÉES ET ESTIMATION
4.2 Factorisation de la matrice fondamentale
La matrice fondamentale définit un faisceau de droites épipolaires dans chaque image, ainsi qu’une cor-respondance homographique entre ces droites épipolaires. Elle encapsule le point d’incidence de chacun des faisceaux épipolaires, ce sont les épipôles, ainsi qu’une homographie de P1 à 3 degrés de liberté, nommée
transformation épipolaire. Ces entités peuvent être extraites de la matrice fondamentale et inversement, cette
dernière peut être exprimée en fonction de ces entités : c’est la factorisation de la matrice fondamentale. Considérons la formulation suivante de la matrice fondamentale : F ∼ [e]∧HΠ, où e est le deuxième épipôle et HΠ une homographie de plan. On remarque que seul un des deux épipôles entre en jeu et qu’ils ne jouent donc pas un rôle symétrique. Cette équation est donc une forme de factorisation de la matrice fonda-mentale, mais partielle seulement. Ceci soulève la question suivante : existe-t-il une factorisation de la matrice fondamentale qui ferait explicitement apparaître les deux épipôles et leur ferait jouer un rôle symétrique ? Nous montrons l’existence d’une telle factorisation, qui s’écrit sous la forme F∼ [e]
∧GΠ ,d[e]∧. Nous montrons que la matrice GΠ ,d représente une extension de la transformation épipolaire au 2D.
Nous distinguons donc deux niveaux de factorisation : la factorisation partielle et la factorisation totale. La factorisation partielle est basée sur les homographies de plans, tandis que la factorisation totale est basée sur les transformations épipolaires étendues que nous introduisons. Les caractéristiques de ces niveaux de factorisation sont résumées ci-dessous :
niveau de factorisation entités transformation impliquée forme factorisée factorisation partielle e, HΠ homographie de plan HΠ F ∼ [e]∧HΠ
factorisation totale e, e, GΠ ,d transformation épipolaire étendue GΠ ,d F ∼ [e]
∧GΠ ,d[e]∧ Ces factorisations permettent une intime compréhension du rôle joué par la matrice fondamentale dans le posi-tionnement relatif de deux caméras non calibrées. La factorisation partielle est à la base de plusieurs réalisations canoniques [90, 130]. La factorisation totale permet de construire plusieurs paramétrisations de la matrice fon-damentale [49, 128, 233, 236].
4.2.1 Factorisation partielle
La factorisation partielle de la matrice fondamentale consiste à écrire cette dernière sous la forme suivante :
F ∼ [e]∧HΠ. (4.1) La transformation HΠ est une homographie de plan. Il existe une famille de transformations HΠ satisfaisant l’équation (4.1). Cette équation en est une caractérisation indirecte. Notre but est de caractériser directement la famille des homographies de plan par une paramétrisation. Pour ce faire, nous examinons au préalable son rôle dans la factorisation partielle. La figure 4.1 illustre ce rôle ainsi que la paramétrisation.
e e F HΠ q q v u d l l Q Π
FIG. 4.1 – Illustration du rôle de l’homographie de plan HΠ dans la factorisation partielle de la matrice fon-damentale F ∼ [e]∧HΠ et de la construction d’une paramétrisation de la famille des homographies de plan. Une homographie de plan associe à un point de l’image de gauche un point sur la droite épipolaire corres-pondante dans l’image de droite. Une sur-paramétrisation en fonction ded et ¯Π en est donnée par l’équation
HΠ ∼ [d]∧F − eΠ¯T(voir texte principal). L’homographie de plan HΠ est induite par le planΠ .
Rôle des homographies de plan. Une homographie de plan HΠ associe à un point de l’image de gauche un point sur la droite épipolaire associée dans l’image de droite. Définissons ce rôle à partir de l’équation (4.1).
Pour un pointq de l’image de gauche, Fq ∼ [e]∧HΠq s’interprète comme l’équation de la droite épipolaire l associée dans l’image de droite. Notons v ∼ HΠq. Le produit vectoriel [e]
4.2. FACTORISATION DE LA MATRICE FONDAMENTALE 55
épipolaire car elle contient l’épipôle e. Cette droite épipolaire est définie par le point v. Ce dernier doit donc être sur la droite épipolaire l. Notons que sa position le long del n’est pas contrainte. Le rôle d’une homographie de plan est donc d’affecter à un point de l’image de gauche, un point sur la droite épipolaire correspondante dans l’image de droite.
Paramétrisation des homographies de plan. La paramétrisation des homographies de plan est effectuée en construisant un point particulieru surl puis en introduisant une variable α permettant de paramétrer tous les points del. Pour ce faire, nous définissons une droitedquelconque ne contenant pas l’épipôlee:
expression interprétation
q point de l’image de gauche
l ∼ Fq droite épipolaire dans l’image de droite u ∼ [d]
∧Fq intersection de la droite épipolaire dans l’image de droite et de la droited v ∼ [d]∧Fq + αe point sur la droite épipolaire dans l’image de droite
On observe que cette définition a 3 paramètres libres, l’équation de la droited ’ et α. Posons α = −¯ΠTq avec
¯
Π∈ R3. On obtient l’expression suivante des homographies de plan :
HΠ ,d ∼ [d]
∧F − eΠ¯T. (4.2)
Dans cette expression, seuls 3 des 5 paramètres d et ¯Π sont indépendants. Ceci se vérifie facilement en sub-stituant le vecteur e par son expression (2.50) dans l’équation (4.2) et en développant. Sans hypothèse sur la position de l’épipôle e, la seule droite dne contenant jamaiseest la droite d’équation d ∼ e. Ce choix nous donne l’expression de la famille des homographies de plans, équation (2.51), paramétrée par ¯Π :
HΠ ∼ [e]∧F − eΠ¯T. (4.3)
L’homographie de plan canonique est donnée par ¯Π = 0 :
ˇ
H ∼ [e]∧F. (4.4) Elle est de rang 2 et unique car c’est la seule homographie de plan ayant pour noyaux gauche et droit les épi-pôles. Cette expression présente une forme de dualité avec la factorisation partielle de la matrice fondamentale donnée par l’équation (4.1).
Luong et Viéville [130] montrent qu’une telle homographie est induite par un plan contenant le deuxième centre de projection et la droite d’équation e. Ils l’interprètent comme une projection de P2vers P1, car elle affecte à un point de l’image de gauche, un point sur la droite épipolaire correspondante dans l’image de droite, situé sur la droite d’équation e. Luong et Viéville nomment cette homographie la projection épipolaire. On peut généraliser ce concept en partant de l’équation (4.2). Si l’on choisit ¯Π = 0 dans cette équation, on obtient alors une homographie [d]∧F. C’est l’homographie d’un plan contenant le deuxième centre de projection et une
droite d’équation ddans la deuxième image. Par analogie avec le concept de Luong et Viéville, on peut appeler cette homographie la projection épipolaire généralisée, dans le sens où elle affecte à tout point de l’image de gauche, un point sur la droite épipolaire correspondante dans l’image de droite et sur la droite d’équation d. Propriétés des homographies de plan. Dans le cas général, une homographie de plan met en correspondance les épipôles :
e ∼ HΠe.
Ceci se vérifie facilement en utilisant la paramétrisation (4.2) la plus générale. Elle encapsule la transformation épipolaire, mais seulement la “moitié” des épipôles dans le sens où si un épipôle est donné, HΠ permet de retrouver l’autre. La famille des transformations HΠ est de dimension 3. D’autres propriétés des homographies de plan sont données en §2.11, chapitre 2.
4.2.2 Factorisation totale
La factorisation totale de la matrice fondamentale consiste à écrire cette dernière sous la forme suivante :
F ∼ [e]
∧GΠ ,s[e]∧. (4.5)
La transformation GΠ ,s est ce que nous appelons une transformation épipolaire étendue. Notre but est de caractériser la famille des transformations épipolaires étendues GΠ ,s satisfaisant l’équation de factorisation totale (4.5). Pour ce faire, nous examinons au préalable son rôle dans la factorisation totale. La figure 4.2 illustre ce rôle ainsi que la paramétrisation.
e e F HΠ GΠ ,s q q s s u u l l Q Π S
FIG. 4.2 – Illustration du rôle de la transformation épipolaire étendue GΠ ,s dans la factorisation totale de la matrice fondamentale F ∼ [e]∧GΠ ,s[e]∧ et de la construction de la famille des transformations épipolaires étendues. Une transformation épipolaire étendue associe à une droite épipolaire de l’image de gauche, un point sur la droite épipolaire correspondante dans l’image de droite. Une sur-paramétrisation en fonction des, d et ¯Π en est donnée par l’équation GΠ ,s,d ∼ ([d]
∧F − eΠ¯T)[s]∧ (voir texte principal). La transformation épipolaire étendue GΠ ,sest induite par le planΠ et la droite S sur ce plan, dont les projections dans les images sont notéess et s.
Rôle des transformations épipolaires étendues. Une transformation épipolaire étendue associe à une droite épipolaire de l’image de gauche, un point sur la droite épipolaire correspondante dans l’image de droite. Elle ne
correspond ni à une homographie de plan point-point ni à sa forme duale droite-droite. Examinons l’équation (4.5). Pour un pointq de l’image de gauche, Fq ∼ [e]∧GΠ ,s[e]∧q est l’équation de la droite épipolaire l correspondante dans l’image de droite. D’après le raisonnement de la section précédente, le pointud’équation u ∼ GΠ ,s[e]∧q doit être un point quelconque sur l. L’équation [e]∧q étant celle de la droite épipolaire l associée à q dans l’image de gauche, on en déduit que GΠ ,s associe à une droite épipolaire de l’image de gauche, un point quelconque sur la droite épipolaire correspondante dans l’image de droite. L’application d’une transformation épipolaire étendue à une droite de l’image de gauche qui n’est pas une droite épipolaire n’a pas de sens et n’est pas précisée.
Les transformations épipolaires étendues ont un rôle dual à celui de la matrice fondamentale, dans le sens où la contrainte épipolaire sur les points qTFq = 0, se reécrit sur les droites épipolaires via une transformation
4.2. FACTORISATION DE LA MATRICE FONDAMENTALE 57
épipolaire étendue :
lTGΠ ,sl = 0.
La démonstration de cette égalité est directe. Considérons la contrainte épipolaire et remplaçons la matrice fondamentale par sa factorisation totale (4.5), on obtient :
qT[e] ∧ lT GΠ ,s[e] ∧q l = 0,
où l’on identifie les équations des deux droites épipolaires.
Paramétrisation des transformations épipolaires étendues. Pour construire la paramétrisation recherchée, nous définissons une droites quelconque ne contenant pas l’épipôle e. Soit q un point de l’image de gauche, lla droite épipolaire correspondante dans l’image de droite etuun point surl:
expression interprétation
l droite épipolaire dans l’image de gauche
u∼ [s]∧l intersection de la droite épipolaire dans l’image de gauche et de la droited u ∼ HΠ[s]∧l point sur la droite épipolaire dans l’image de droite
On observe que cette définition a 5 paramètres, les 3 de HΠ et les 2 de la droites. En remplaçant HΠ par son expression (4.2), on obtient l’expression suivante des transformations épipolaires étendues :
GΠ ,s,d ∼ ([d]
∧F − eΠ¯T)[s]∧. (4.6) Cette définition est sur-paramétrée. En choisissant pourdla seule droite ne contenant jamaisedont l’équation est d ∼ e, on obtient la famille des transformations épipolaires étendues :
GΠ ,s ∼ ([e]
∧F − eΠ¯T)[s]∧. (4.7) Sans hypothèse sur la position de l’épipôle e la seule droite s ne contenant jamais e est la droite d’équation s∼ e. La transformation épipolaire étendue canonique est donnée par s ∼ e et ¯Π = 0 :
ˇ
G ∼ [e]∧F[e]∧ ∼ ˇH[e]∧. (4.8) Cette expression présente une forme de dualité avec la factorisation totale de la matrice fondamentale donnée par l’équation (4.5). Notons que ˇG est de rang 2 et unique car c’est la seule transformation épipolaire étendue
ayant pour noyaux gauche et droit les épipôles.
Luong et Viéville [130] introduisent une matrice G définie comme notre transformation épipolaire étendue canonique ˇG, équation (4.8). Ils montrent la dualité des formules F ∼ [e]
∧G[e]∧et G∼ [e] ∧F[e]∧.
Propriétés des transformations épipolaires étendues. En général, une transformation épipolaire étendue ne contient pas d’information sur les épipôles. Elle n’encapsule donc que la transformation épipolaire, d’où son nom. La famille des transformations épipolaires étendues est de dimension 5. Géométriquement, cela corres-pond au choix d’un plan et d’une droite sur ce plan. Schmid et Zisserman [173] étudient la famille d’homo-graphies de plan induite par un faisceau de plans autour d’une droite 3D. La transformation épipolaire étendue est de nature différente car elle associe des points alignés au faisceau de droites épipolaires (tout comme une matrice fondamentale associe des droites épipolaires à des points) :
GΠ ,s :P1 → P1.
Les points sont alignés sur la droite s dont l’équation est donnée par s ∼ H
Πs, où HΠ est l’homographie duale (pour les droites) induite par le planΠ .
La factorisation de Faugeras et Luong. Pour mettre en évidence la transformation épipolaire, Faugeras et Luong [60, §5.2.3] définissent une droitec ne contenant pas l’épipôle e par deux points x et y. Ils définissent de même une droite dans la deuxième image. Ils montrent que la matrice fondamentale peut alors s’écrire :
F ∼ [e]∧ Gx ,y,x ,y x y a b c d g xT yT [e]∧. (4.9)
Dans cette décomposition, on retrouve la transformation épipolaire g et la transformation épipolaire étendue via la sur-paramétrisation Gx ,y,x,y.
4.2.3 Résumé
Nous résumons les deux factorisations de la matrice fondamentale étudiées ci-dessus.
Factorisation partielle : “épipôle + homographie”. La factorisation partielle est définie par l’équation F∼
[e]
∧HΠ. Le vecteur edonne les coordonnées du deuxième épipôle et H
Π s’interprète comme une homographie de plan. Sa forme la plus générale est HΠ ,d ∼ [d]∧F − eΠ¯T. Une paramétrisation minimale est HΠ ∼
[e]∧F − eΠ¯T. Le vecteur-3 ¯Π s’interprète alors comme une équation de plan réduite. L’homographie de plan
canonique est ˇH ∼ [e]∧F.
Factorisation totale : “épipôle + épipôle + transformation épipolaire étendue”. La factorisation totale est définie par l’équation F ∼ [e]
∧GΠ ,s[e]∧. Les vecteurs e et e donnent les coordonnées des épipôles et
GΠ ,s s’interprète géométriquement comme la transformation dégénérée induite par une droite sur un plan et forme la transformation épipolaire étendue. Sa forme la plus générale est GΠ ,s,d ∼ ([d]
∧F − eΠ¯T)[s]∧. Une paramétrisation minimale est GΠ ,s ∼ ([e]
∧F − eΠ¯T)[s]∧. Le vecteur-3 ¯Π s’interprète alors comme une équation de plan réduite et le vecteur-3 s comme l’équation de la projection dans la première image d’une droite sur ce plan. La transformation épipolaire étendue canonique est ˇG ∼ [e]∧F[e]∧.