Mod´elisation des mouvements balistiques

L’analyse de mouvements balistiques est extrˆemement importante dans la mesure o`u ce type de mou-vement permet de mod´eliser plus de 42 % des signes et est `a la base de signes comme les pointages, qui ont un rˆole d´eterminant dans la transmission des messages en LSF.

Plusieurs profils de mouvements balistiques (x = f (t), y = f (t) ou z = f (t)) captur´es dans le cadre du projet SignCom sont pr´esent´es dans la figure 7.6. Ils permettent d’avoir une id´ee des pro-fils de mouvement. Les courbes repr´esentent le d´eplacement de la main en fonction du temps. Nous avons projet´e le mouvement sur l’axe (X,Y ou Z) dont la direction ´etait la plus proche de celle du mouvement. Plusieurs observations ´emergent de ces profils de mouvement :

– Le mouvement balistique est presque syst´ematiquement pr´ec´ed´e d’une phase de retrait o`u la main va dans le sens oppos´e du mouvement balistique.

Esp

a

ce

Temps

FIGURE7.6 – Comparaison de plusieurs mouvements balistiques acquis par capture de mouvement.

– Le mouvement balistique est suivi d’une phase de tenue ou d’une phase de retrait.

Nous cherchons maintenant `a quantifier les variations des param`etres des diff´erents mouvements balistiques. Nous inspirant de l’analyse propos´ee par Johnson [LJ90], nous d´ecomposons un ´enonc´e en une succession de phases de mouvements et de phases de tenues en segmentant comme si tous les mouvements avaient la mˆeme dynamique. Nous savons d’embl´ee que les caract´eristiques des mouvements ont de grandes chances d’ˆetre diff´erentes suivant qu’ils appartiennent `a des signes ou `a des transitions, cependant le fait d’utiliser des mod`eles de vitesse identique pour la segmentation nous permettra d’´eviter un biais de m´ethode qui consisterait `a utiliser des m´ethodes diff´erentes de segmentation et `a obtenir des diff´erences entre signes et transitions ne r´esultant que de la m´ethode de segmentation. Le profil de vitesse utilis´e pour les phases de mouvement est repr´esent´e sur la figure 7.7 et les tenues sont mod´elis´ees par des vitesses nulles. Nous tenons compte de la courbure que peuvent avoir les diff´erents mouvements. Notre mod`ele de transition permet de mod´eliser 9 courbures diff´erentes de mouvements balistiques allant d’une trajectoire rectiligne `a un demi cercle. Le profil de

vitesse utilis´e a ´et´e obtenu en moyennant une dizaine de profils de vitesses de mouvements balistiques segment´es `a la main. Il correspond `a l’´equation :

v(t) = cos((t − 0.5)π) ∗ exp((t − 0.5) ∗ (t − 0.5)) t ∈ [−0.25; 1.25]

FIGURE7.7 – Profil de vitesse balistique utilis´e pour la segmentation

Nous cherchons `a obtenir une r´egression au sens des moindres carr´es entre le profil de vitesse r´eel de la capture de mouvement et le profil de vitesse th´eorique obtenu en concat´enant les profils th´eoriques de vitesses correspondant aux phases de mouvements et de tenues. Notons qu’il y a superposition entre les phases de pr´eparation et de retrait des mouvements et les tenues (cf. figure 7.8).

Apr`es avoir v´erifi´e sur la vid´eo, que la segmentation propos´ee ´etait bien coh´erente, nous extrayons

!"#$%&%'() !"#$%&%'() !"#$%&%'()

*%'#%) *%'#%) *%'#%)

*%&+,)

FIGURE7.8 – Superposition des segments temporels de mouvements et de tenues

des profils de vitesses correspondant `a des mouvements balistiques impliqu´es dans la production de signes et d’autres profils correspondant `a des transitions. Pour chaque profil de vitesse, nous extrayons les param`etres suivants :

– L’amplitude du signeA (obtenue par int´egration de la vitesse),

– La dur´ee du signeT ,

– Le moment o`u la vitesse est maximaleτ /T (cf. figure 7.9),

– La r´egularit´e du profil de vitesseσv/Vm (cf. figure 7.9),

– La courbure de la trajectoirec ≈ r/D (cf. figure 7.10).

!"#$%& '()"%%"&

&&&&&&&&*&

+#$,()-."&&&&+& /-01"&!& 2(3&."& 4()"%%"& '()"%%"&#56"77"&'#&& 8390)&)6$"&."&,9&4()"%%"&&&&

!

_4&

FIGURE7.9 – Param`etres d’un mouvement balistique

D r

FIGURE 7.10 – Estimation de la courburec ≈ r/D d’un mouvement balistique

Il est possible d’observer sans surprise une augmentation de l’amplitude du signe avec sa dur´ee (dans le cas des signes et des transitions). Par contre, il n’est pas ´evident de proposer un mod`ele math´ematique satisfaisant expliquant la relation entre ces deux param`etres.

semblent pas corr´el´ees avec les variations d’autres param`etres, et les valeurs ne diff`erent pas entre les signes et les transitions.

Enfin, et c’est l`a une observation int´eressante, nous observons que les pics de vitesses maximales sont situ´es `a un endroit diff´erent pour les signes et pour les transitions. Alors que les profils de transition sont en moyenne sym´etriques, les profils de signes sont asym´etriques et font ressortir une phase d’acc´el´eration plus longue et moins brusque que la phase de d´ec´el´eration. Il s’agit selon nous d’un crit`ere phonologique parmi d’autres permettant d’identifier les segments temporels correspondant `a des signes. Les profils de vitesses moyens des transitions et des signes balistiques sont repr´esent´es figure 7.11 et permettent de constater cette asym´etrie. D’un point de vue quantitatif, on trouve des pics de vitesse `aτt/T = 0.50 pour les transitions4 etτs/T = 0.58 pour les signes balistiques. On note toutefois une variabilit´e dans la position de ce pic. L’´ecart type est voisin deσ(τ /T ) = 0.1 pour les signes comme pour les transitions. L’asym´etrie du profil ne doit donc ˆetre qu’un indice parmi d’autres pour distinguer avec certitude les signes, des transitions. Par ailleurs, nous avons essay´e de

T

τt

τs

FIGURE7.11 – Comparaison du profil de vitesse pour un signe balistique et pour une transition

d´eterminer `a l’aide d’une segmentation manuelle une loi math´ematique permettant de pr´edire la dur´ee des phases de tenues en fonction des caract´eristiques des mouvements balistiques qui le pr´ec´edaient. Nous ne trouvons ni de loi, ni de tendance permettant de lier la dur´ee de la tenue aux param`etres du

4Ceci va tout `a fait dans le sens de la mod´elisation d’une transition sous forme d’une interpolation sym´etrique entre un ´etat de d´epart et un ´etat d’arriv´ee mais devrait ˆetre valid´e encore par d’autres mesures

mouvement pr´ec´edent. Ceci peut-ˆetre dˆu `a la fois `a la faible taille de notre ´echantillon ou `a un d´efaut de notre m´ethode de segmentation. Il se peut ´egalement que la dur´ee de cette tenue soit r´egie par des r`egles qui ne sont pas de nature phonologique ou qu’il faille faire intervenir aussi le mouvement suivant.

Certaines ´etudes comme Losson font ressortir des profils de vitesses sp´ecifiques correspondant `a des

FIGURE 7.12 – Dur´ee de la tenue `a la fin des signes balistiques en fonction de la dur´ee du mouvement balistique

mouvements dits “tendus”, dans lesquels les phases d’acc´el´eration et de d´ec´el´erations sont br`eves et la majorit´e du signe est effectu´e `a vitesse constante comme le signe [LONGTEMPS]. Nous n’avons pas pu ´etablir une dichotomie claire entre des mouvements “tendus” et des mouvements “non tendus” sur la base du param`etre de r´egularit´e de la vitesse du signe. Peut-ˆetre ´etait-ce dˆu au fait que les mouvements “tendus” ´etaient sous repr´esent´es dans notre corpus ?

Dans le document Traitement automatique de vidéos en LSF Modélisation et exploitation des contraintes phonologiques du mouvement (Page 165-170)