Types de sym´etries

7.6 Mise en œuvre des patrons de signe : Comparaison de deux signes

Les patrons de mouvements et de relation main gauche / main droite que nous venons de d´ecrire per- mettent d’aboutir `a une classification efficace des signes. Nous avons par ailleurs d´egag´e un certain nombre de param`etres caract´erisant les patrons de mouvement. Nous cherchons `a nous servir de ces cat´egories ainsi que des caract´eristiques des signes pour estimer une mesure de ressemblance entre deux signes.

Nous ´evaluons la pertinence des patrons de mouvements dans le cadre de la recherche par le contenu dans des vid´eos en LSF. L’utilisateur qui souhaite effectuer une requˆete de signe effectue un exemple du signe `a trouver dans la vid´eo. Le programme doit lui pr´esenter les segments de la vid´eo qui sont les plus susceptibles de contenir le signe recherch´e.

Plusieurs ´etapes sont donc n´ecessaires :

– Effectuer un suivi dans la vid´eo requˆete et dans la vid´eo signe (´etape r´ealis´ee `a l’aide de notre algorithme de suivi).

– Segmenter la vid´eo de requˆete de signe pour d´elimiter la partie de la vid´eo qui correspond au signe recherch´e.

– Comparer le signe requˆete `a chaque segment de la vid´eo cible.

– Classer les segments de la vid´eo signe par score de similarit´e avec le signe requˆete.

Nous savons que les donn´ees de suivi dont nous disposons sont potentiellement entach´ees d’erreur. Nous savons ´egalement que les signes sont susceptibles de varier en emplacement, en orientation, en amplitude. Pour cela, nous ´ecartons d’embl´ee une recherche bas´ee sur une comparaison directe des trajectoires de signes.

Nous exposons dans les lignes qui suivent une d´emarche alternative consistant `a utiliser les patrons de mouvements pour segmenter le signe requˆete, puis pour effectuer une recherche des signes qui ont le mouvement le plus ressemblant.

7.6.1 Cat´egorisation des signes

Nous utilisons la notion de patrons de mouvement pour cat´egoriser les signes. Les 6 cat´egories de signes retenues sont les suivantes :

– mouvement balistique simple, – mouvement balistique r´ep´et´e, – mouvement angulaire, – mouvement en aller-retour, – mouvement circulaire simple, – mouvement circulaire r´ep´et´e.

Les patrons de mouvements correspondants ont ´et´e cr´e´es d’apr`es les mod´elisations de [Los00] en incluant toutefois ´egalement les observations sur la structure des mouvements balistiques avec et sans r´ep´etition que nous avons mentionn´es pr´ec´edemment comme l’amortissement des mouvements r´ep´et´es. `A chaque cat´egorie sont associ´es un patron dynamique et un ou plusieurs patrons g´eom´etriques (correspondant par exemple aux diff´erents sens de rotation des cercles)9_{. Nous utilisons les mesures} GS et DS d´efinies en 7.4 pour estimer l’appartenance des signes `a ces cat´egories.

Chaque signe implique ´egalement une cat´egorie de sym´etrie (2 mains mobiles, main gauche statique ou main droite statique). Nous utilisons les mesures M S et SY M pour estimer l’appartenance du signe `a ces cat´egories.

9<sub>Compte tenu des observations effectu´ees sur la structure des signes `a r´ep´etitions, il serait certainement n´ecessaire d’adopter</sub> plusieurs patrons g´eom´etriques et dynamique de mani`ere `a mieux tenir compte de la variabilit´e dans la structure des signes `a r´ep´etition. Nous souhaitons cependant tester dans un premier temps une mod´elisation des signes la plus simple possible de mani`ere `a tester la faisabilit´e de l’approche.

Nous travaillons cette fois dans un domaine temporel discret. Pour cette raison, les profils d’angles

α(τ) et de vitesses v_t(τ) sont tous deux discr´etis´es en N points (nous utilisons N=16 dans notre

impl´ementation).

Nous d´enombrons donc en tout6 ∗ 2 = 12 cat´egories de mouvements. L’appartenance d’un signe `a une de ces cat´egories peut ˆetre estim´ee de la mani`ere suivante.

Pour un signe effectu´e avec la main droite :

SCORE = GS_r.DS_r.M S

Pour un signe effectu´e avec la main gauche :

SCORE = −GS_l.DS_l.M S

Pour un signe effectu´e avec les deux mains :

SCORE = SY M.√GS_r.DS_r.GS_l.DS_l

7.6.2 Caract´erisation des signes

Les cat´egories de mouvement que nous venons de mentionner sont discr`etes (un signe appartient `a une cat´egorie ou n’y appartient pas). Nous choisissons de caract´eriser les mouvements `a l’aide de valeurs continues. Pour plus de lisibilit´e, nous faisons le choix de ne pas ´ecrire les formules de calcul associ´ees `a l’obtention de chaque valeur et nous d´ecrivons le mode de calcul en franc¸ais.

Les caract´eristiques des diff´erents mouvements sont les suivantes : L’orientation θ du signe dont le mode de calcul est d´ecrit§7.4,

L’orientation σ de la sym´etrie dont le mode de calcul est d´ecrit§7.5.2,

L’amplitude A du signe qui est la norme du vecteur−−→Lin dont le mode de calcul est d´ecrit§7.4,

L’emplacement−→P du signe est relatif `a la tˆete ; il est fourni par le vecteur joignant le barycentre

des positions successives de la tˆete au barycentre des positions successives des mains durant la position des signes,

La position relative−→R des mains qui est le vecteur joignant le barycentre des positions successives

de la main dominante au barycentre des positions successives de la main domin´ee.

Si un signe est effectu´e en utilisant la main gauche comme main dominante, la caract´erisation du signe sera effectu´ee en utilisant l’oppos´e des abscisses dans les donn´ees de suivi des mains et de la tˆete. De cette mani`ere, tout se passera comme si la requˆete avait ´et´e effectu´ee en utilisant la main droite comme main dominante. Le sch´ema qui suit illustre les diff´erents param`etres de ca- ract´erisations `a l’aide d’un exemple de requˆete de signe.

A P  A Amplitude du signe  Orientation du mouvement P Placement des mains par rapport à la tête R Position relative des mains

Orientation de la

symétrie

R