Paramètres influençant l’estimation du mouvement

Lors du processus d’estimation du mouvement des pièces mécaniques, plusieurs données peuvent influencer la qualité de cette estimation. Nous avons analysé la corrélation entre l’erreur dans l’estimation de cette matrice et les paramètres suivants :

— le nombre d’inliers de chaque objet utilisés pour l’estimation de la pose ;

— le déplacement 2D et 3D du centre du nuage de points de chaque objet entre deux images de notre séquence vidéo qui peut être interprété comme la ”perturbation” de ce centre de gravité au cours du temps ;

et la sphéricité qui sont déterminées de la manière suivante :                  lin´earit´e = ^λ1−λ2 λ1 planarit´e = ^λ2−λ₃ λ1 sph´ericit´e = ^λ3 λ1 (4.12)

avec λ_1,2,3correspondent aux valeurs propres issues de la matrice de covariance du nuage de points. Les valeurs propres sont ordonnées comme suit λ₁ ≥ λ₂ ≥ λ₃.

— le volume et la densité des nuages de points de chaque objet,

— la qualité moyenne des mises en correspondance qui représente la valeur moyenne des distances enregistrées pour les mises en correspondance,

— le pourcentage d’inliers pouvant être considérés comme des correspondances fortes. Nous avons défini une correspondance forte de la manière suivante :

c ∈ S_{f orte} ⇔ dist(c) ≤ µ +√^3σ

N ^(4.13)

avec c un inlier, Sf orte l’ensemble des correspondances fortes, dist(c) la distance eu-clidienne associée à la correspondance c), µ et σ respectivement la valeur moyenne et l’écart-type des scores de similarité des correspondances établies pour un objet spéci-fique à une image t de notre séquence vidéo et N le nombre d’inliers. Nous nous inspi-rons des paramètres d’un intervalle de confiance à 99,7 % pour établir le seuil que nous utilisons. Ce pourcentage peut indiquer que les scores de similarité des correspondances mises en place ont 99,7 % de chances de se trouver dans l’intervalle choisi. Nous notons alors le pourcentage effectif d’inliers se trouvant dans cet intervalle.

Comme la matrice de transformation est basée sur les poses des objets mis en jeu dans les séquences vidéos, nous avons également pris en compte certains paramètres caractérisant les deux objets. Nous avons sélectionné, dans ce cas précis, que les paramètres présentant des corrélations fortes telles que

— le rapport entre le nombre d’inliers de l’objet de référence et de l’objet en mouvement ; — le rapport entre le nombre d’inliers de l’objet de référence et celui de l’objet en

mouve-ment et le rapport entre le nombre d’inliers de l’objet en mouvemouve-ment et celui de l’objet de référence suivant deux formulations différentes définies de la manière suivante :

       rinliers(Or/Om) = ^NOr N_Om +^NOm N_Or r_expoinliers(O_r/O_m) = e −NOr NOm + e −NOm NOr (4.14)

— le rapport entre le pourcentage de correspondances fortes de l’objet de référence et celui de l’objet en mouvement et le rapport entre le pourcentage de correspondances fortes entre l’objet en mouvement et celui de référence suivant la formulation suivante :

rpourcentage(Or/Om) = ^POr

P_Om ⁺ P_Om

P_Or ^(4.15)

L’erreur dans l’estimation de la matrice de transformation est calculée de la manière sui-vante :

erreur = kT_expT_th´⁻¹_eoriquek_{f robenius} (4.16) avec T_exp la matrice de transformation à l’instant t et T_th´eoriquela matrice de transformation théoriquement appliquée aux objets à l’instant t.

Nous avons établi nos corrélations en nous basant sur les données recueillies des vidéos synthétiques. Nous avons effectué cette analyse sur 9 vidéos de 100 images chacune représentant des mouvements distincts. Comme le mouvement théorique entre les objets est connu dans ces vidéos, nous avons donc une vérité terrain sur les transformations entre les objets qui sont manipulés.

Afin d’identifier les liens entre les paramètres en entrée et l’erreur entre la théorie et l’expé-rimentation, nous avons utilisé trois métriques :

— Coefficient de corrélation : le coefficient de corrélation linéaire ou coefficient de Pear-son indique le degré de liaiPear-son linéaire entre deux variables. La valeur p associée permet de tester la significativité statistique des valeurs du coefficient de corrélation calculée.

— Coefficient de Spearman : contrairement au coefficient de Pearson, le coefficient de Spearman permet d’identifier les liens monotones entre deux variables.

— Information mutuelle : elle permet d’identifier le degré de dépendance statistique exis-tant entre deux variables.

Déterminer ces trois métriques permettrait d’identifier assez rapidement le type de lien pou-vant exister entre deux variables et ainsi de déterminer la forme de la fonction qui pourrait les lier.

Nous obtenons ainsi les valeurs suivantes pour les métriques présentées précédemment que nous regroupons dans le tableau4.1. L’objet 0 correspond à l’objet de référence, statique dans nos séquences vidéos et l’objet 1 à l’objet en mouvement.

4. L ’ASSEMBLA GE EN T ANT Q UE STR UCTURE D YN AMIQ UE

id objet paramètres Pearson valeur p Spearman valeur p IM

0 nb inliers 0.0842 0.0115 -0.3585 0 1.3070 déplacement 2D 0.1604 0 0.0184 0.5816 0.2173 déplacement 3D 0.0269 0.4204 0.1029 0.0020 0.0331 linéarité 0.0282 0.3980 -0.0689 0.0389 0.1241 planarité 0.0480 0.1498 0.1071 0.0013 0.1111 sphéricité -0.0769 0.0210 -0.0019 0.9544 0.0690 volume 0.0734 0.0277 -0.2203 0 1.0081 densité -0.0532 0.1106 -0.0133 0.6907 0.2338

qualité moyenne correspondance -0.4184 0 -0.0938 0.0049 0.7058

pourcentage correspondance forte 0.1979 0 0.2920 0 3.2034e-16

1 nb inliers -0.4844 0 -0.2465 0 1.1266 déplacement 2D 0.5103 0 0.1476 0 0.7344 déplacement 3D 0.5782 0 0.1503 0 0.2468 linéarité 0.2611 0 0.1253 0.0002 0.1404 planarité 0.1068 0.0013 -0.1370 0 0.1039 sphéricité -0.3043 0 -0.1397 0 0.0389 volume -0.3329 0 -0.0959 0.0040 1.0338 densité 0.0086 0.7962 -0.1835 0 0.4276

qualité moyenne correspondance 0.1578 0 -0.1049 0.0016 1.2838

pourcentage correspondance forte 0.6592 0 0.4022 0 3.2034e-16

0 et 1

rapport inliers objet 0 / objet 1 0.6499 0 -0.1972 0 0.8414

r_inliers(O_r/O_m) 0.6582 0 0.3969 0 0.8241

rexpoinliers(Or/Om) 0.7313 0 0.4145 0 3.2034e-16

r_pourcentage(O_r/O_m) 0.7331 0 0.3695 0 3.2034e-16

TABLE4.1 – Tableau récapitulant les corrélations entre l’erreur dans l’estimation de la matrice de transformation et différents paramètres pouvant l’influencer.

Si l’on ne tenait compte que des objets de manière individuelle et uniquement du coefficient de corrélation, il s’avère que les paramètres de l’objet de référence, excepté la qualité moyenne des correspondances, ont une influence linéaire quasiment nulle sur la matrice de transforma-tion. En revanche, la qualité moyenne des correspondances a une corrélation linéaire moyenne avec l’erreur dans l’estimation de cette matrice. En effet, cela peut être dû au fait que ce pa-ramètre garantit, d’une certaine manière, la qualité de la pose associée à l’objet de référence. Cependant, comme cette valeur n’est pas assez forte (en général, on estime que la corrélation li-néaire est forte si sa valeur est supérieure à 0.7), nous ne pouvons pas en déduire une potentielle existence d’une fonction linéaire entre la qualité des correspondances et l’erreur. Toutefois, l’in-formation mutuelle nous révèle une potentielle relation entre l’erreur et le nombre d’inliers de l’objet de référence, le volume de son nuage de points et la qualité moyenne de ses correspon-dances.

Pour l’objet en mouvement, le pourcentage de correspondances fortes possède une corréla-tion linéaire presque forte avec l’erreur commise sur la matrice de transformacorréla-tion. En revanche, le nombre d’inliers de l’objet de référence, leur déplacement 2D ou 3D et la dispersion 2D de son nuage de points ont une corrélation linéaire moyenne. Le coefficient de Spearman permet d’éliminer ces dernières variables dans le cadre d’une recherche d’un potentielle fonction li-néaire avec l’erreur. En effet, leur coefficient de Spearman est relativement faible, cela indique que s’il y a une fonction reliant l’erreur et ces variables, celle-ci n’est pas monotone et donc non linéaire. L’information linéaire nous révèle, toutefois, que l’erreur et les variables suivantes : le nombre d’inliers de l’objet en mouvement, son déplacement 2D, le volume de son nuage de points et la qualité moyenne des correspondances, ont statistiquement une forte dépendance entre eux.

De plus, il apparaît ainsi que, dans la structure géométrique des nuages de points représentée, la linéarité, la planarité ou la sphéricité n’ont pas de corrélation significative avec l’erreur dans l’estimation de la matrice de transformation.

Si nous combinons les informations concernant le nombre d’inliers et le pourcentage de correspondances fortes provenant de chaque objet, c’est-à-dire, en calculant les rapports de ces informations entre un objet en mouvement et l’objet de référence, une corrélation linéaire forte peut être relevée. Les rapports r_expoinliers(O_r/O_m) et r_pourcentage(O_r/O_m) affichent les valeurs du coefficient de Pearson les plus fortes dans nos expérimentations. Nous testerons ces métriques pour établir, à l’aide de la régression linéaire, une fonction linéaire entre l’erreur et celles-ci afin de prédire la qualité de la pose estimée ainsi que le degré de confiance à attribuer aux données relevant du mouvement entre nos objets. Nous avons également tenté d’utiliser ces métriques pour établir des niveaux de confiance en la matrice de transformation à l’aide de la logique floue.

sont requis selon l’algorithme PnP choisi. Cependant, pour ne se contenter que de ce nombre de points, il faudrait être certain que les points extraits de l’image 2D correspondent parfaitement aux primitives 3D du modèle présent dans notre base de données, ce qui n’est pas forcément le cas. Cela signifie donc que si un des points correspond à un outlier, la pose calculée pour un des objets peut être totalement aberrante. Cela induit ainsi une mauvaise estimation de la matrice de transformation. Si un nombre de correspondances assez important est disponible pour estimer la pose, une sélection peut être effectuée afin d’éliminer un certain nombre d’outliers. De plus, la qualité de la mise en correspondance ou, du moins, le pourcentage de points pour lesquels les correspondances peuvent être considérées comme fortes ont une influence sur l’estimation de la pose induisant ainsi une erreur sur l’estimation de la matrice de transformation. Ainsi, nous avons exploré l’utilisation d’une méthode d’apprentissage, notamment les machines à vecteurs support à l’aide des variables concernant le nombre d’inliers de chaque objet ainsi que la qualité moyenne des correspondances afin de prédire le niveau de confiance que l’on peut avoir sur la matrice de transformation calculée à l’instant t.

Jusqu’à présent, les analyses que nous réalisons sur des données recueillies dans des condi-tions idéales peuvent ne pas refléter correctement la réalité. Mais, comme nous n’avons pas dans notre base de connaissance la valeur de la matrice de transformation théorique à chaque instant t dans les conditions réelles, nous nous sommes également demandés s’il existait une corrélation entre la variation de la matrice de transformation entre l’instant t et l’instant t + 1 et l’erreur d’estimation entre la transformation théorique et celle expérimentale. La variation de la matrice de transformation est calculée de la manière suivante :

variation = kT_tT_t+1⁻¹k_{f robenius} (4.17)

A partir de nos données, nous avons observé une forte corrélation linéaire entre ces deux informations (cf tableau4.2). Cela nous permettrait de nous affranchir de la nécessité d’avoir le modèle de mouvement théorique (donc le positionnement des pièces images par images sur nos séquences réelles) pour la caractérisation de la qualité des matrices de transformation cal-culées dans des conditions réelles. En effet, établir le mouvement théorique des pièces dans des conditions réelles peut être difficile et variable suivant la rapidité de l’utilisateur.

De plus, nous avons également vérifié que les corrélations entre les deux métriques que nous avons retenues pour l’estimation de la confiance à attribuer aux mesures que nous calculons et les variations de la matrice de transformation restaient fortes (cf tableau4.2). Cette vérification nous permettait de garder ces deux métriques dans le cadre d’une estimation d’une fonction linéaire entre ces variables et l’erreur associée dans le cadre d’une simulation réelle.

id objet paramètres variation matrice de transformation

0 et 1

erreur modèle / expérience 0.7454 rexpo_inliers(Or/Om) 0.6934

r_pourcentage(O_r/O_m) 0.6718

TABLE4.2 – Tableau récapitulant les corrélations entre la variation de la matrice de transforma-tion image par image et les métriques que nous avons retenues.