Param`etres de caract´erisation du mouvement

Lorsque deux mouvements appartiennent `a la mˆeme cat´egorie, il est possible de donner des mesures de similarit´e partielles pour chacun des param`etres de caract´erisation que nous venons d’´enum´erer. Nous cr´eons donc des op´erateurs de comparaison associ´es `a chacun des param`etres renvoyant une valeur entre 0 (les param`etres sont oppos´es) et 1 (les param`etres sont identiques). Nous pr´esentons ici les op´erateurs de comparaison utilis´es pour comparer deux mouvements (les indices1 et 2 per- mettront de distinguer les mesures concernant chacun des deux signes).

AMP : Op´erateur de comparaison d’amplitudes

AM P = min(A1, A2)/max(A1, A2)

TS : Op´erateur de comparaison d’orientations de sym´etries

T S = 0.5 cos(σ1− σ2) + 0.5

OR : Op´erateur de comparaison d’orientations de mouvement

OR= 0.5 cos(θ1− θ2) + 0.5

PL : Op´erateur de comparaison d’emplacement des signes

P L= 0.5

−→ P₁.−→P₂

max(−→P₁2,−→P₂2)+ 0.5

TR : Op´erateur de comparaison d’emplacements relatifs des mains

T R = 0.5

−→ R₁.−→R₂

7.6.3 Mesure de similarit´e entre deux signes

Nous cherchons maintenant `a estimer la similarit´e entre un signe 1 dont on connaˆıt la cat´egorie de mouvement et un signe2 en nous basant uniquement sur l’information du mouvement. Il s’agit donc de pond´erer les diff´erentes mesures d’appartenance du signe2 `a la cat´egorie du signe 1 et les mesures de similarit´e bas´ees sur les param`etres de caract´erisation du mouvement. La fusion de ces diff´erentes mesures est un point extrˆemement d´elicat sur lequel nous sommes loin d’apporter une solution d´efinitive. Nous pointons dans les lignes qui suivent quelques contraintes que doit respecter une m´ethode de fusion.

– La m´ethode de fusion retenue doit ˆetre d´ependante de la cat´egorie de mouvement. Il n’est par exemple pas forc´ement n´ecessaire de prendre en compte l’orientation des cercles dans le plan image, alors qu’il est fondamental de prendre en compte celle d’un mouvement balistique.

– La m´ethode doit tenir compte du fait que la main dominante peut ˆetre diff´erente pour le signe requˆete et pour le signe recherch´e.

– La m´ethode de fusion devra aussi changer en fonction du nombre de mains impliqu´ees dans le mouvement. Il va de soi que la notion d’orientation de sym´etrie n’a pas `a ˆetre prise en compte si une seule main bouge durant la r´ealisation du signe.

L’id´eal serait de b´en´eficier d’un ensemble d’apprentissage du signe `a reconnaˆıtre pour effectuer une pond´eration optimale des diff´erentes mesures d’appartenance aux cat´egories et mesures de simila- rit´e. Nous ne b´en´eficions malheureusement pas de tels ensembles dans notre exemple d’utilisation. En l’absence de connaissances suffisantes sur la fac¸on dont les signes sont amen´es `a varier, nous adoptons les m´ethodes de fusion relativement simplistes. Nous sommes toutefois certains qu’une ´etude de la variabilit´e des signes en fonction de leur structure phonologique permettrait de mettre au point des m´ethodes de fusion plus pertinentes. Pour des raisons de concision, nous ne pr´esenterons que certains cas repr´esentatifs de m´ethodes de fusion. Les mesures GS_r, DS_r, GS_l, DS_lrepr´esentent les scores g´eom´etriques et dynamiques des mains droite et gauche.

M´ethode d’´evaluation de la mesure de similarit´e entre deux mouvements de rotation effectu´es `a deux mains :

M´ethode d’´evaluation de la mesure de similarit´e entre deux mouvements de rotation effectu´es avec la main gauche :

SCORESIM = (MS ∗ GS_l∗ DS_l) ∗ (AMP ∗ T R ∗ P L ∗ T S)

M´ethode d’´evaluation de la mesure de similarit´e entre deux mouvements (hors rotation) effectu´es avec la main gauche :

SCORESIM = (MS ∗ GS_l∗ DS_l) ∗ (AMP ∗ T R ∗ P L ∗ T S ∗ OR)

7.7 Syst`eme de requˆete vid´eo 7.7.1 Etapes de la recherche´

Nous cherchons maintenant `a ´evaluer la pertinence de notre approche de comparaison de signes dans un syst`eme r´eel. Le probl`eme que nous cherchons `a r´esoudre consiste `a trouver dans une vid´eo V_t toutes les occurrences St(j) d’un signe Sspr´esent dans une vid´eo source Vs.

Plutˆot que de r´esoudre directement ce probl`eme comme dans [Alo06], nous choisissons de le scinder en plusieurs ´etapes :

A - Caract´erisation du signe requˆete Ss, d´etermination de sa cat´egorie cats

1. La vid´eo requˆete comportant le signe requˆete est enregistr´ee et on effectue le suivi des deux mains du signeur et de sa tˆete par la m´ethode d´ecrite dans [LAD09a].

2. Des scores sont calcul´es pour chaque intervalle temporel [t1, t2] et chaque cat´egorie cat de

signe.

3. Les diff´erentes propositions class´ees par score sont pr´esent´ees sous forme d’images de signe requˆete (`a la mani`ere de figure 7.27). L’utilisateur peut alors choisir d’apr`es la forme des fl`eches la cat´egorie catsdu signe et la relation entre les deux mains qui correspondent le mieux au signe

recherch´e.

B - Recherche dans la vid´eo

1. Un suivi de la tˆete et des mains est effectu´e dans la vid´eo-cible Vt(cette vid´eo n’a subi aucune

segmentation ou indexation pr´ealable).

2. Les filtres de la cat´egorie cat_s et les op´erateurs de comparaison sont appliqu´es sur tous les intervalles temporels de V_tde moins de T_max(2 s dans notre impl´ementation).

3. Les segments de vid´eo sont pr´esent´es `a l’utilisateur en les classant par score de similarit´e avec le signe source.

L’ensemble du processus est r´esum´e dans la figure 7.30.

1) Enregistrement du signe requête

2) Suivi tête et mains 3) Catégorisation

4) Présentation à l'utilisateur d'images de signe classées par score de vraisemblance phonologique

SCORE=SYM.(GSd .DSd .GSg .DSg) ou

SCORE = MS.GSd .DSd ou SCORE = MS.GSg .DSg

5) Caractérisation du signe requête

7) Caractérisation des segments de la vidéo cible

Suivi tête et mains Vidéo cible

10) Validation des résultats par l'utilisateur 8) calcul de scores de similarité entre requête et segments de la vidéo cible 9) classement des signes par score de similarité

SYM Degré d'appartenance du segment à une symétrie

(centrale, sagittale, translation ou alternée)

MS Degré d'appartenance à la famille des signes

effectués à l'aide d'une seule main

GS Degré d'appartenance du segment à une catégorie

cinématique : pour les mains gauche et / ou droite

DS Degré d'appartenance du segment à une catégorie

dynamique pour chaque catégorie cinématique

6) Calcul du degré d'appartenance à la catégorie de la requête

Catégorie 1 Catégorie 2 Catégorie 3

2

1 3

2

0.5

SYM Degré d'appartenance du segment à une symétrie

(centrale, sagittale, translation ou alternée)

GS Degré d'appartenance du segment à la catégorie

cinématique de la requête

(ici un mouvement balistique : 1) préparation " " 2) mouvement " " 3) retrait " " )

DS Degré d'appartenance du segment à la catégorie

dynamique de la requête (ici un mvt balistique)

A P  A Amplitude du signe  Orientation du mouvement

P Placement des mains

par rapport à la tête

R Position relative des

mains Orientation de la symétrie A Amplitude du signe  Orientation du mouvement

P Placement des mains

par rapport à la tête

R Position relative des

mains Orientation de la symétrie R  Segment retenu = signe trouvé 2 Choix du nombre de mains par l'utilisateur

Choix de la requête par l'utilisateur

A

B