Influence de σ sur l’erreur moyenne de suivi

D’apr`es les graphes, la pr´ecision optimale du filtre est avoisin´ee pour un nombre de particules de 1000 et une s´electivit´e des filtres de σ = 23. Nous utiliserons ces r´eglages dans le reste de notre ´etude.

6.10.5 Pr´ecision de l’estimation de la profondeur

L’´evaluation de notre m´ethode d’estimation de la profondeur est bas´ee sur un conte de 7’15” capt´e simultan´ement par une cam´era de face et une capture de mouvement. La comparaison des profon- deurs estim´ees par cin´ematique inverse `a la v´erit´e terrain fournie par les capteurs magn´etiques met en ´evidence une erreur moyenne de 4 cm, ce qui est suffisant pour une utilisation dans le cadre de recon- naissance automatique de signes, mais trop impr´ecis pour une reconstruction pr´ecise de la posture du signeur. Plusieurs facteurs peuvent expliquer cette erreur d’estimation :

– L’erreur sur l’estimation de la profondeur de la main r´esulte du cumul des erreurs de suivi 2D. – La position de la main est en fait celle du centro¨ıde de la zone de peau de la main, visible sur la vid´eo. L’estimation de la position de la main est ainsi fauss´ee par la longueur variable des manches du signeur et par les changements de configurations des mains.

Les diff´erents traitements que nous appliquons ensuite `a l’estimation de la profondeur permettent en- suite de r´eduire l’erreur d’estimation. Pour la main domin´ee, nous notons une am´elioration de 15%

en moyenne sur la pr´ecision de la profondeur (67% de l’am´elioration provient de l’utilisation du lis- seur de Kalman et 33% de l’utilisation de la corr´elation entre les profondeurs des deux mains). Ces am´eliorations prouvent que la prise en compte des sp´ecificit´es des mouvements des LS dans un processus de correction des donn´ees de suivi permet une am´elioration de l’estimation de la pos- ture du signeur. Il serait maintenant envisageable d’aller plus loin en effectuant, comme en 8.2.3, une correction de la profondeur orient´ee par la cat´egorie des mouvements identifi´es. Ce point constitue une des perspectives de notre travail.

6.11 Conclusion

Nous avons pr´esent´e dans ce chapitre un nouvel algorithme de suivi de la posture du signeur.

La modification de l’algorithme pour suivre des signeurs `a manches courtes n’a pas ´et´e ´evalu´ee quan- titativement, faute de v´erit´e terrain disponible. Cependant, nous livrons nos observations qualitatives sur les r´esultats obtenus :

– Le filtre ne donne des r´esultats satisfaisants que lorsque les extr´emit´es des manches sont plus proches des coudes que des ´epaules du signeur.

– Le r´esultat du suivi est beaucoup plus d´ependant de l’image de peau qui doit int´egrer la couleur des avants-bras, de la tˆete et des mains.

– Le filtre est beaucoup moins pr´ecis en cas d’occultation de la tˆete par les mains.

Certaines informations comme l’orientation de la tˆete ne sont pas encore d´etermin´ees `a partir de l’image. La structure de l’algorithme permet n´eanmoins d’inclure des traitements sp´ecifiques pour les d´eterminer. Le temps de calcul n´ecessaire `a notre algorithme ´etant extrˆemement faible, des ´etapes de calcul suppl´ementaires peuvent ˆetre ajout´ees sans remettre en cause le fait qu’il puisse traiter les vid´eos en temps r´eel.

Quelques pistes peuvent ˆetre ´evoqu´ees pour am´eliorer encore la pr´ecision et la robustesse de notre algorithme de suivi :

– Une mod´elisation plus pr´ecise de la main de mani`ere `a localiser des parties sp´ecifiques de la main plutˆot que de localiser un centro¨ıde de zone de peau,

– Une initialisation automatique et optimale de la morphologie du signeur `a partir de la vid´eo, – L’utilisation d’informations de texture pour effectuer un suivi plus pr´ecis en cas d’occultations,

– La prise en compte d’autres informations comme la forme des mains pour effectuer la d´esambig¨uisa- tion.

Nous verrons dans la section 8.2.3, que d’autres informations de plus haut niveau peuvent ´egalement ˆetre utilis´ees pour am´eliorer le suivi. Cela n´ecessite des mod`eles de mouvements et de signes que nous pr´esentons dans la section suivante.

MODELE PARAMETRIQUE DE SIGNE POUR L’ANALYSE DE VID ´EOS

Nous avons d´ecrit dans la section pr´ec´edente, un algorithme permettant d’effectuer le suivi des mains, des coudes et de la tˆete d’un signeur dans une vid´eo. Nous disposons donc des mouvements absolus et relatifs de chacun de ses membres. Il s’agit maintenant d’exploiter ces mouvements pour en faire une interpr´etation de plus haut niveau. Nous reviendrons d’abord sur l’´etat de l’art du chapitre 5 en soulignant plusieurs manques des mod`eles de mouvement utilis´es dans les m´ethodes les plus cit´ees dans la litt´erature et nous justifierons le choix que nous avons fait de nous tourner vers des mod`eles de mouvement plus param´etriques. Notre analyse portera principalement sur la r´ealisation des mou- vements impliqu´es dans les signes.

Nous proposerons ensuite une classification des signes standards en un certain nombre de cat´egories de mouvements. Cette classification reposera sur diff´erents travaux d´ej`a effectu´es dans le cadre de la linguistique, de la g´en´eration automatique de Langue des Signes par signeur virtuel, ou de l’analyse automatique de Langues des Signes. Nous examinerons de fac¸on plus d´etaill´ee la mani`ere dont il serait possible de d´ecrire de mani`ere param´etrique les mouvements balistiques et les mouvements balistiques r´ep´et´es. Nous nous attarderons sur la d´ependance entre les mouvements des deux mains et les diff´erentes relations de sym´etries qu’il est possible de mettre en ´evidence. Nous discuterons ´egalement de la projection des mouvements dans l’espace 2D de la vid´eo, et ses cons´equences sur la caract´erisation du mouvement 2D.

`

A partir des diff´erentes classes de signes et de param`etres que nous aurons d´egag´ees, nous propo- serons une m´ethode pour estimer une similarit´e entre deux signes. Cette m´ethode sera utilis´ee pour effectuer une recherche de signe dans une vid´eo en LSF.

Nous ach`everons notre discussion sur les mod`eles de signes en montrant comment des param`etres portant sur d’autres articulateurs (configurations manuelles, rotations du poignet, coudes, labialisa- tion . . .) pourraient ˆetre pris en compte dans notre m´ethode de mod´elisation du signe.

7.1 Retour sur les syst`emes de reconnaissance de la LSF

Comme nous l’avons vu dans le chapitre 5, les m´ethodes les plus utilis´ees actuellement pour l’ana- lyse de signes sont bas´ees sur les Mod`eles de Markov Cach´es et les D´eformations Temporelles Dy- namiques. Ces mod`eles sont bas´es sur l’hypoth`ese sous-jacente qu’un signe peut ˆetre d´ecrit comme une succession d’´etats.

si bien que plusieurs modifications ont ´et´e apport´ees pour prendre en compte la variabilit´e globale du signe dans chacun des ´etats :

– Le d´ecouplage de l’analyse des diff´erents articulateurs par le biais de Mod`eles de Markov Cach´es Parall`eles,

– L’ajout de cycles dans les chaˆınes de Markov pour prendre en compte les r´ep´etitions, – La normalisation du signe `a reconnaˆıtre par rapport `a la posture de d´epart du signe,

– La normalisation du signe `a reconnaˆıtre prenant en compte son amplitude et son orientation, – La normalisation par projection du signe sur le meilleur plan.

Ces adaptations ont permis d’obtenir des r´esultats meilleurs que ceux obtenus avec les HMM et DTW traditionnels, mais font apparaˆıtre plusieurs probl`emes nouveaux.

Le premier probl`eme, peu mentionn´e dans la litt´erature, est de nature calculatoire. La normalisa- tion d’un signe (projection, changement d’amplitude et d’orientation, relocalisation) doit ˆetre ef- fectu´ee pour chaque segment de vid´eo avant de pouvoir appliquer les algorithmes de reconnais- sance. La cons´equence imm´ediate est qu’il n’est plus possible d’appliquer de programmation dyna- mique dans l’impl´ementation des algorithme de reconnaissance. Par cons´equent ces algorithmes sont extrˆemement lents `a ex´ecuter [WB99].

Le second probl`eme tient au d´ecouplage des diff´erents param`etres. Il est pertinent d’un point de vu calculatoire comme le montre [VM97], mais ce d´ecouplage nie les relations temporelles et g´eom´etriques entre les diff´erentes trajectoires. Nous savons pourtant grˆace `a des ´etudes comme [Fil08] qu’un signe peut ˆetre mod´elis´e comme des mouvements d’articulateurs, li´es par un certain nombre de contraintes qui font partie int´egrante de la d´efinition du signe.

Le troisi`eme probl`eme concerne le principe mˆeme de l’utilisation de mod`eles de signes utilisant n’importe quelle d´eformation temporelle du signe. Ces mod`eles sont contradictoires avec les observa- tions des linguistes qui soulignent une surprenante r´egularit´e dans l’effectuation des signes [Uye97]. D’autre part, nous savons que le mˆeme signe effectu´e avec deux dynamiques diff´erentes peut avoir des sens assez diff´erents.

Les raisons qui pr´ec`edent nous ont amen´es `a envisager une mod´elisation param´etrique du signe. Les param`etres qui caract´erisent le signe peuvent porter aussi bien sur les relations entre les mains droite et gauche, sur la structure spatiale du signe et sur sa structure temporelle.

Nous savons que le calcul des param`etres devra ˆetre fait sur chaque segment de la vid´eo analys´ee et que chaque type de mouvement exigera peut-ˆetre un mode de calcul des param`etres diff´erent. Cela est envisageable seulement si le nombre de cat´egories est limit´e. Pour cette raison, nous centrons dans un premiers temps, notre analyse sur une classification des diff´erents mouvements de la LSF.

7.2 Cat´egories de signes en LSF

Quelques ´etudes comme [Bra96] et [Los00] [Leb98] ont d´ej`a tent´e de cr´eer une classification des diff´erents signes de la LSF. Nous pr´esentons sous forme d’un tableau r´ecapitulatif 7.2, les statis- tiques pr´esent´ees dans [Bra96] car les cat´egories utilis´ees sont relativement proche des nˆotres. Les cat´egories seront illustr´ees figures 7.3, 7.4 et 7.5. Notre classification des mouvements impliqu´es

classe % droite 42,9 arc 26,1 statique 17,3 cercle 10,9 complexe 2,8