noir, en blanc, les régions de l’espace pour lesquelles la distance au nuage de points 2D est respecti- vement faible, élevée. Au centre : le gradient de la carte de distance suivant x. A droite : le gradient de la carte de distance suivant y. Images extraites de (Fitzgibbon, 2003).
proche de la solution optimale afin de garantir la bonne convergence de l’algorithme LM-ICP et de déterminer précisément les distances Ls,
b
sde l’équation (A.9). La détection des points appartenant aux
bords n’est pas l’objectif ici. L’approche proposée étant robuste aux erreurs de mises en correspon- dance, des opérateurs simplistes de détection des bords sont utilisés. En l’absence de texture comme c’est le cas pour la première expérience, ils sont détectés en recherchant les fortes discontinuités de profondeur dans le nuage de points 3D. Pour la deuxième expérience, les images d’intensité sont uti- lisées pour segmenter les contours. Le résultat est assez bruité mais ne perturbe pas trop la qualité de la reconstruction.
A.5.1
Une feuille de papier observée par un scanner à lumière structurée
Ce capteur fournit un nuage de points 3D précis et haute résolution. Différentes déformations d’une feuille de papier ne présentant pas de consistance temporelle sont capturées. Le terme de lissage temporelle Ex est donc désactivé pour cette expérience. L’orientation initiale de la grille est estimée
en recalant un plan sur les données. La projection des points 3D sur ce plan définit la taille et les bords de la grille. Les figures A.3(a), A.3(b) et A.3(c) présentent trois exemples de nuages de points 3D. La première ligne illustre les données d’entrée et la position initiale du modèle. Pour le premier exemple A.3(a), les déformations sont situées principalement le long des contours horizontaux, pour le deuxième exemple A.3(b) le papier est plié en rabattant le coin supérieur droit vers le coin inférieur gauche ; enfin, pour le troisième exemple A.3(c) les déformations sont réparties un peu partout sur la surface. Les résultats du recalage sont présentés sur la deuxième ligne des figures A.3(a), A.3(b) et A.3(c). Les déformations estimées sont précises aussi bien pour les points intérieurs du maillage que pour ceux appartenant aux bords, tout en étant lisses comme espéré. Des images synthétiques ont été générées à partir des surfaces reconstruites ; elles sont représentées sur la dernière ligne des figures A.3(a), A.3(b) et A.3(c). Le rendu obtenu est très réaliste quelque soit la texture utilisée, comme l’illustre la figure A.4.
La même grille est utilisée pour chaque nuage de points. Les correspondances entre les différentes reconstructions sont alors naturellement connues : les points en correspondance sont ceux situés à la même position sur la grille. Des déformations intermédiaires peuvent être générées synthétiquement en interpolant la trajectoire des sommets entre différentes reconstructions. La figure A.5 montre des
FIG. A.2 – Structures des matrices Jacobienne et Hessienne. A gauche : structure de la matrice Jacobienne. Sa taille est de 3.694 × 900, elle a 3.324.600 composantes dont seulement 25.626 sont non-nulles. A droite : structure de la matrice matrice Hessienne. Sa taille est de 900 × 900, elle a 810.000 composantes dont seulement 46.716 sont non-nulles.
exemples de déformations intermédiaires obtenues par une simple interpolation bilinéaire entre les sommets des modèles évalués sur les données représentées sur les figures A.3(a), A.3(b), A.3(c). Un schéma d’interpolation plus complexe préservant les propriétés physiques de la surface observée est à privilégier. Ce dernier devra notamment incorporer la contrainte d’inextensibilité.
A.5.2
Une couverture observée par un système stéréoscopique
Ce capteur acquière des images en temps réel (25 images par seconde) et fournit en sortie des informations 3D et d’intensité. Une longue séquence, présentant des déformations d’une couverture, est capturée : la qualité des images est faible. De plus, les nuages de points 3D sont bruités. Notons également que le champ de vue de ce capteur est très limité, environ 30cm3.
Une image de la couverture est représentée sur la figure A.6(a). Seule la région délimitée par le carré noir est prise en compte lors de cette expérience. Notons que seules les correspondances 2D entre l’image de gauche et celle de droite sont estimées précisément par le système stéréo. Les corres- pondances temporelles ne sont pas fiables en raison des distortions introduites par les déformations de la couverture. La figure A.6(b) représente le nuage de points 3D fourni par le système stéréo pour la première image de la séquence : un grand nombre de points 3D sont aberrants notamment sur les bords. La scène est en outre difficilement reconnaissable.
Nous utilisons les images d’intensité afin de sélectionner automatiquement la région d’intérêt, c’est-à-dire le carré noir, dont les contours sont extraits par des techniques standards d’analyse d’images. La figure A.7(a) illustre les contours extraits de l’image d’intensité (figure A.6(a)) tandis que la figure A.7(b) représente les données 3D sélectionnées (nuage de points 3D et points appartenant aux bords), c’est-à-dire celles relatives à la région d’intérêt.
Résultats expérimentaux 145
overlaid onto the model, for rendering realistic paper deformation from arbitrary
points of view. Figure 3 shows the paper sheet reconstruction with different
textures.
(a)
(b)
(c)
Figure 2: The paper sequence. Three examples of point clouds with the grid
mesh superimposed at the starting position (top) and after model fitting (cen-
ter). Boundary points are evidenced. The reconstructed model is shown with a
new texture (bottom).
Finally, since the same grid is fit on all the images, the correspondences
between different frames are recovered as a by product (i.e., the corresponding
points are those lying on the same grid position). In this manner, it is possi-
ble to synthetically interpolate the intermediate frames between two or more
reference images. Figure 4 shows some intermediate frames between the actual
scanned images shown in Figures 2 (a), (b) and (c) respectively. Here, interme-
diate grids are recovered by simple linear interpolation between corresponding
mesh vertices. More sophisticated interpolation schemes incorporating the non-
extensibility penalty e
xso as the make the surface behave similarly to a real
paper sheet.
9
(a)
points of view. Figure 3 shows the paper sheet reconstruction with different
textures.
(a)
(b)
(c)
Figure 2: The paper sequence. Three examples of point clouds with the grid
mesh superimposed at the starting position (top) and after model fitting (cen-
ter). Boundary points are evidenced. The reconstructed model is shown with a
new texture (bottom).
Finally, since the same grid is fit on all the images, the correspondences
between different frames are recovered as a by product (i.e., the corresponding
points are those lying on the same grid position). In this manner, it is possi-
ble to synthetically interpolate the intermediate frames between two or more
reference images. Figure 4 shows some intermediate frames between the actual
scanned images shown in Figures 2 (a), (b) and (c) respectively. Here, interme-
diate grids are recovered by simple linear interpolation between corresponding
mesh vertices. More sophisticated interpolation schemes incorporating the non-
extensibility penalty e
xso as the make the surface behave similarly to a real
paper sheet.
9
(b)
points of view. Figure 3 shows the paper sheet reconstruction with different
textures.
(a)
(b)
(c)
Figure 2: The paper sequence. Three examples of point clouds with the grid
mesh superimposed at the starting position (top) and after model fitting (cen-
ter). Boundary points are evidenced. The reconstructed model is shown with a
new texture (bottom).
Finally, since the same grid is fit on all the images, the correspondences
between different frames are recovered as a by product (i.e., the corresponding
points are those lying on the same grid position). In this manner, it is possi-
ble to synthetically interpolate the intermediate frames between two or more
reference images. Figure 4 shows some intermediate frames between the actual
scanned images shown in Figures 2 (a), (b) and (c) respectively. Here, interme-
diate grids are recovered by simple linear interpolation between corresponding
mesh vertices. More sophisticated interpolation schemes incorporating the non-
extensibility penalty e
xso as the make the surface behave similarly to a real
paper sheet.
9
(c)
FIG. A.3 – Résultat du recalage sur trois nuages de points 3D provenant d’un scanner à lumière