Les combinaisons gestuelles

L’analyse multi-linéaire de gestes de référencement repose sur l’aspect temporel. Ce dernier porte sur les décalages temporels entre gestes.

Notations : Afin de faciliter l’extraction de combinaisons ainsi que leur analyse, nous avons eu recours à un système de notation qui simplifie l’appellation de "composante corporelle en mouvement" en une lettre "R", "T", "E" et "M".

« R »: Changement de la direction du regard.

« T »: Mouvement réalisé par la tête (rotation, inclinaison, etc). « E »: Mouvement de l’épaule (rotation, balancement, etc).

« M »: Mouvement de la main droite réalisant a) un signe localisé ou b) un signe de pointé vers un ou plusieurs loci4_.

Nous avons mesuré les délais temporels entre les gestes de référencement. Pour cela, nous avons utilisé les annotations manuelles effectuées sur le corpus de « Web- sourd », extrait les débuts et fins des segments appartenant aux pistes : « RH », « Head », « Shoulders »et « Gaze ».

Outre la possibilité de décrire les intervalles de combinaisons gestuelles, Nous nous proposons d’établir des relations temporelles entre gestes. Un travail similaire a été élaboré dans le cadre de l’étude de la liaison regard – geste en (LSF). [Papazoglou 2010] a utilisé la logique temporelle d’Allen [Allen 1994] et a conclut que les composantes corporelles se comportent d’une manière variée dans leurs relations avec le regard. D’autre part, son étude a révélé que le décalage temporel regard – pointé est de 8 images similaire à celui de regard – signe standard dont la moyenne est portée à 9 images. Nous avons donc utilisé la logique temporelle d’Allen dans le but de :

1. représenter les relations temporelles entre gestes simultanés qui ne commencent pas nécessairement au même moment,

2. établir des relations temporelles directes à partir de relations temporelles indirectes. La logique d’Allen consiste en 7 classes de relations temporelles (’<’,’=’,’m’,’o’,’d’,’s’,’f’) et leurs inverses (’>’,’=’,’mi’,’oi’,’di’,’si’,’fi’) [Allen 1983]. On peut illustrer les relations entre intervalles temporels de combinaisons gestuelles en utilisant ces classes. Le ta- bleau (4.2) illustre les relations temporelles possibles entre qui lient le changement de la direction du regard et le changement d’orientation de la tête (dans un référencement).

′ _<′

: le changement de la direction du regard (R) est réalisé avant le début de chan- gement d’orientation de la tête (T). Les segments (R) et (T) représentent la durée de réalisation des deux évènements. La relation entre les deux évènements est nommée « Before(R,T) » et représentée graphiquement par une "application" d’un noeud NR (qui représente l’évènement (R)) vers un noeud NT (qui représente

l’évènement (R)). L’application est étiquetée′ _<′ _{qui symbolise la nature de la}

relation.

pour les relation′ ₌′_,′_m′_,′_o′_,′_d′_,′_s′ _et′_f′ _{: Le segment (R) est délimité par des poin-}

tillés verticaux.

Symbole Relation Représentation graphique

′ _<′_{←→ Be f ore(R, T )} T R NR−(<) → NT ′ ₌′_{←→ Equal(R, T )} T _N R−(=) → NT ′_m′ _{←→ Meets(R, T )} T NR−(m) → NT ′_o′ _{←→Overlaps(R, T )} T NR−(o) → NT ′_d′ _{←→ During(R, T )} T NR−(d) → NT ′_s′ _{←→S tarts(R, T )} T NR−(s) → NT ′_f′ _{←→Finishes(R, T )} T NR −( f ) → NT

Table 4.2 – Formalisme de la logique d’Allen appliqué aux combinaisons de gestes de référencement réalisés à la fois par le regard et la tête (combinaisons de degré2)

Les représentations graphiques ne sont valables que pour des relations binaires. Dans la vérité terrain, nous avons identifié des segments de référencement où les évènements

de changement de direction du regard et de l’orientation de la tête se produisent deux fois dans un même segment. Le tableau (4.3) illustre des exemples de cas où l’orientation de la tête change deux fois dans un segment de référencement. La colonne de gauche représente les annotations de changement de la direction du regard (piste Eye Gaze) et de l’orientation de la tête (piste Head) ainsi que la délimitation des segments de référencement. Nous retiendrons la liste des relations temporelles résultantes dans la même représentation graphique. Exemple : NR−(o <) → NT.

Relation temporelle Représentation graphique

NR−(o <) → NT

NR−(m < o) → NT

NR−(o <>) → NT

Table 4.3 – Exemple de formalisation de relations temporelles entre le regard (noté "Eye Gaze" à gauche et "NR" à droite) et la tête (noté "Head" à gauche et "NT" à droite)

D’autre part, la logique d’Allen permet de donner des informations a priori sur la relation temporelle entre événements non consécutifs moyennant la transitivité.

La transitivité : Il s’agit d’un outil de déduction de la forme (4.5).

A=⇒r1 B; B=⇒r2 C; ⇒ A===========r1,r2,r3, r4, ...,rn⇒C (4.5) r1 : Relation temporelle entre A et B.

r2 : Relation temporelle entre B et C.

r1, r2, r3, r4, ..., rn : Relations temporelles possibles déduites de la matrice de transiti- vité. r1 et r2 peuvent en faire partie.

Nous exploiterons cet outil pour deux objectifs :

– Réduire le degré de combinaisons gestuelles comme nous l’avons annoncé dans la section (4.1).

– Réduire les combinaisons gestuelles où le regard est impliqué. Comme nous l’avons expliqué dans le chapitre (3), la direction du regard est un composant

difficile à percevoir dans les conditions actuelles d’acquisition de corpus vidéos et de traitement d’images. Nous essaierons par conséquent d’utiliser la méthode de transitivité dans la logique temporelle d’Allen pour s’affranchir de l’évènement du changement de la direction du regard.

L’exemple illustré dans la figure (4.6) représente une annotation de l’orientation de la tête et du déplacement des épaules dans une séquence de référencement. Les relations d’implications (voir formules ci-dessous4.6) formalisent certaines relations temporelles sous forme de graphe dont les noeuds {NT, NRetNE}représentent l’évènement (le geste

d’une composante corporelle) et les arcs {oi et o} représentent le type de relation entre deux gestes.

NT : la représentation graphique de l’événement gestuel « Mouvement de la tête ».

NR : la représentation graphique de l’événement gestuel « Changement de la direction

du regard ».

NE : la représentation graphique de l’événement gestuel « Mouvement des épaules ».

Figure 4.6 – Annotation d’une séquence de gestes de référencement

NT −(o) → NR (4.6)

NR−(oi) → NE

D’après le tableau de correspondance établi par [Allen 1983, p. 837], les relations de transitions possibles sont :

T(oI1I2, oiI2I3) = (o, oi, d, di) (4.7)

I1..I3 sont des intervalles temporels.

o, oi, d et di sont des relations temporelles (Voir tableau4.2).

Le terme à gauche formalise les deux relations temporelles qui lient, d’une part, I1 et I2 et d’autre part, I2 I3. Le terme à droite représente les relations temporelles possibles qui lient I1 et I3 selon la table de transition. Ainsi, nous avons les relations temporelles

possibles entre gestes éloignés dans le temps du mouvement de la tête et des épaules. Il serait intéressant d’expliciter l’égalité de la formule (4.7) par des coefficients de confiance afin de s’affranchir de la composante du regard.

⇒ NT −(?) → NE

Par définition, la transitivité fournit les relations temporelles possibles pour deux événe- ments dont on ne connait que les relations temporelles avec un tiers événement. Il serait intéressant de trouver un outil qui permet de déduire l’inverse c’est-à dire : à partir d’une relation temporelle entre deux événements, on peut déduire deux relations temporelles entre paires d’événements ayant en commun un tiers événement. L’exemple ci-dessous illustre la déduction du changement de la direction du regard (NR) comme évènement réalisé après le changement d’orientation de la tête (NR) et avant le mouvement des épaules (NE). (NR) est un évènement que nous cherchons à déduire à partir de la relation temporelle directe entre la tête et les épaules formalisée selon la logique d’Allen comme suit : NT −(d) → NE. Concrètement, ce que nous cherchons à déduire ; se sont deux relations temporelles qui lient d’une part le regard et la tête et d’autre part le regard et les épaules. Ainsi, pour un évènement donné (e), ceci serait représenté par la relation d’implication suivante : ∃e NT −(d) → NE ? = ⇒        NT −(o) → NR NR−(oi) → NE (4.8) Il s’agit d’une piste intéressant pour déduire le rôle du regard dans une construc- tion linguistique (référencement par exemple) quand le regard n’est pas perceptible ou difficilement perceptible.