HAL Id: tel-00584071
https://tel.archives-ouvertes.fr/tel-00584071
Submitted on 7 Apr 2011
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Riad Hammoud
To cite this version:
Riad Hammoud. Construction et Présentation des Vidéos Interactives. Interface homme-machine
[cs.HC]. Institut National Polytechnique de Grenoble - INPG, 2001. Français. �tel-00584071�
N o
THESE
pourobtenir legradede
DOCTEUR DE L'INPG
Speialite: IMAGERIE, VISION ET ROBOTIQUE
preparee au laboratoire GRAVIR-IMAGet INRIA Rh^one-Alpes
dans leadre del'eole Dotorale
Mathematiques,sienes ettehnologie del'information
presentee etsoutenue publiquement
par
Riad HAMMOUD
le27 fevrier2001
|||||||
Constrution et Presentation des Videos Interatives
|||||||
Direteurde these:Roger MOHR
Jury
M. AugustinLUX ,President
Mme. FranoisePRETEUX ,Rapporteur
M. TheirryPUN ,Rapporteur
M. LimingCHEN ,Rapporteur
M. RogerMOHR ,Examinateur
Mme. CordeliaSCHMID ,Examinateur
a Aba SalehetAbaHadi.
a Sa Dager.
Troisans deja!Me voila disant meria eux quiont rendu ette aventure possibleet
tous eux quil'ont ornee d'ehanges ou d'amities.
Je voudrais don tout d'abord remerier Roger Mohr, mon direteur de these, pour
m'avoir aueillidans l'equipe movi. Je luisuis tres reonnaissant d'avoir poursuivimon
enadrement lorsdesonsejoura Melbourneetdurantsadiretionduentrede reherhe
europeende Xerox agrenoble.Sa onane est auommenement de tout.
Je tiens a remerier le entre de reherhe d'Alatel d'avoir naner ette etude
et aussi le hef du projet movi, Radu Horaud, pour sa propositionde naner les trois
derniersmois(fevrier,marsetavril)demonsejoural'inria rh
^
onealpes.
Egalement,je
remerie l'equipe de PatrikBouthemy poursa ollaboration, etaussi l'InstitutNational
de l'Audiovisuelde nousavoir donne lapermissiond'utiliserleursdonnees videos.
Jeremerievivementlesmembresdemonjurypourl'honneurqu'ilsm'ontfait.Meria
M.AugustinLuxd'avoiraeptedepresidermonjury.MeriaMme.FranoisePr^eteuxet
M.ThierryPun,pourlesremarquesonstrutivesquiontpermisd'ameliorere memoire.
Meri a tous eux qui ont rendu la leture de e memoire et de mes publiations plus
agreable.Jevoudraisen partiulieriteMatthieuPersonnaz, RogerMohr,Augustin Lux,
BillTrrigs etRaginiChoudhury.
Jesuis tres reonnaissant aux gens quiont onsare du temps pourfaire un ehange
sientique et tehnique. Je voudrais en partiulier ite Christophe Biernaki, Partik
Gros etPasalBertolino.
Egalement,je saluttous les stagiairesquiont travaille sousma
diretion:Donaien Guifokou,MmeLeilaCammoun,MathieuRudant,KhassoumWone,
etGuillaumDurant.
Ma reonnaissane va enore vers tous les membres du projetmovi, pour leuresprit
d'equipeetleurordialite,maisaussipluslargementauxmembresdesequipesis2,prima
etopera.
Enn, il me faut saluer tous les amis qui m'ont entoure pour leurs servies et leurs
enouragementsjusqu'a e derniermoment.
1 Introdution 11
1.1 Contexteet motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.1.1 Struturesethyperliens . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.1.2 Interativite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2 Lesproblemessouleves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 Lesontributionsdeette these . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.4 Organisationde e memoire . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2 Generalites sur la struturation de la video 19 2.1 Struturehierarhiquede lavideo . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Vers unestruturationautomatique . . . . . . . . . . . . . . . . . . . . . . 22
2.3 Segmentationtemporelleen plans. . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1 Mesure de oherene temporelle duontenu . . . . . . . . . . . . . . 25
2.3.2 Methode d'analysede lasene3D . . . . . . . . . . . . . . . . . . . 26
2.4 Suivid'objetsdansla video . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4.1 Approhe automatique . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.2 Approhe semi-automatique . . . . . . . . . . . . . . . . . . . . . . . 28
2.5 Corpusd'experimentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.6 MPEG-7:interfaepourladesriptiondu ontenumultimedia . . . . . . . 30
2.7 Reapitulatifdu hapitre. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3 Modelisation statistique de l'apparene intra-plan des objets video 33 3.1 Introdution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.1.1 Lesproblemesadresses. . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1.2 La solutionproposee . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.1.3 Organisationdu hapitre . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 Representationde basniveau desobjets:unetatde l'art . . . . . . . . . . 38
3.2.1 Proprietesd'un desripteur . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.2 Desripteurspourl'appariementd'images . . . . . . . . . . . . . . . 39
3.2.2.1 Desripteurs globauxde ouleur . . . . . . . . . . . . . . . 40
3.2.2.2 Desripteurs dela forme . . . . . . . . . . . . . . . . . . . 43
3.2.2.3 Desripteurs dela texture. . . . . . . . . . . . . . . . . . . 43
3.4 Redution de laomplexite desdonnees . . . . . . . . . . . . . . . . . . . . 45
3.5 Variabiliteintra-plandes objetssuivis:leprobleme . . . . . . . . . . . . . 47
3.6 Modelisation parmelange delois:notre approhe . . . . . . . . . . . . . . . 49
3.6.1 Modele de melange . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.6.1.1 Caraterisation d'unedistributionmelange . . . . . . . . . 49
3.6.1.2 Melangesgaussiens . . . . . . . . . . . . . . . . . . . . . . 49
3.6.2 Modeles gaussiensave ontraintes . . . . . . . . . . . . . . . . . . . 50
3.6.2.1 Motivation poure travail . . . . . . . . . . . . . . . . . . 50
3.6.2.2 Les4 modelesgaussiensde bases . . . . . . . . . . . . . . 51
3.6.2.3 Lesmodelesparimonieux . . . . . . . . . . . . . . . . . . 52
3.6.2.4 Ellipsede dispersion . . . . . . . . . . . . . . . . . . . . . . 54
3.6.3 Estimationduparametrage du melange . . . . . . . . . . . . . . . . 56
3.6.3.1 Conditionsd'identiabilitedumelange . . . . . . . . . . . 56
3.6.3.2 Prinipesd'estimation . . . . . . . . . . . . . . . . . . . . . 56
3.6.4 Maximumde vraisemblaneparl'algorithmeEM . . . . . . . . . . 58
3.6.4.1 Informationmanquantepourlemelange. . . . . . . . . . . 58
3.6.4.2 Algorithmeiteratif. . . . . . . . . . . . . . . . . . . . . . . 58
3.6.5 EMetses variantesappliquesaumelange gaussien . . . . . . . . . . 59
3.6.6 Struturesen ompetition . . . . . . . . . . . . . . . . . . . . . . . . 62
3.7 Experimentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.8 Conlusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4 Classiation supervisee des objets video 73 4.1 Introdution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2 Etatde l'art. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3 Notreapprohe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.3.1 Seletiondesmodeles d'objets suivis . . . . . . . . . . . . . . . . . . 75
4.3.2 Partition de l'espaede desripteurs . . . . . . . . . . . . . . . . . . 75
4.3.3 Estimationdesparametres . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.4 Loidu melange global . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.5 Classement individueldesapparenes d'objetssuivis . . . . . . . . . 78
4.3.6 Classement robustedes apparenesd'objets . . . . . . . . . . . . . . 80
4.4 Experimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.4.1 SequeneAvengers-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.4.2 Lesmodelesd'objets . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.4.3 Lesdonnees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.4.4 Parametrage de l'approhe . . . . . . . . . . . . . . . . . . . . . . . 83
4.4.5 Lesrequ^etes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.4.6 Lesresultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.5 Approheslassiquesde reonnaissanedes objetsvideo . . . . . . . . . . . 88
4.6 Analyseomparative etdisussion . . . . . . . . . . . . . . . . . . . . . . . 92
5 Classiation automatiquedes objets video 97
5.1 Introdution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.1.1 Quelquespoints tehniquesaresoudre . . . . . . . . . . . . . . . . . 97
5.1.2 Solutionadoptee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.1.3 Organisationdu hapitre . . . . . . . . . . . . . . . . . . . . . . . . 98
5.2 Etatde l'art. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.3 Notreapprohe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .100
5.3.1 Hierarhie desdonnees . . . . . . . . . . . . . . . . . . . . . . . . . .100
5.3.2 Distaneentreles objets suivis . . . . . . . . . . . . . . . . . . . . .100
5.3.2.1 Forme generale . . . . . . . . . . . . . . . . . . . . . . . .101
5.3.2.2 Appariement deslassesd'apparenes intra-plan . . . . . .104
5.3.3 Classiationhierarhique . . . . . . . . . . . . . . . . . . . . . . .106
5.3.3.1 AlgorithmeduCAH . . . . . . . . . . . . . . . . . . . . . .106
5.3.3.2 Motivation duhoixde CAH . . . . . . . . . . . . . . . .107
5.3.3.3 Quelquesproblemesouverts. . . . . . . . . . . . . . . . . .108
5.3.3.4 Seletioninterativedu nombrede lasses. . . . . . . . . .109
5.4 Experimentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .111
5.4.1 La sequene Avengers-2 . . . . . . . . . . . . . . . . . . . . . . . . .111
5.4.2 Parametrage de l'approhe . . . . . . . . . . . . . . . . . . . . . . .111
5.4.3 Resultatsetproedure d'evaluation. . . . . . . . . . . . . . . . . . .113
5.4.4 Analyseomparative etdisussion . . . . . . . . . . . . . . . . . . .115
5.5 Conlusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .120
6 Extration des apparenes-les 123 6.2 Papier: A Probabilisti Framework of Seleting Eetive Key-Frames for VideoBrowsing andIndexing {RISA`2000 . . . . . . . . . . . . . . . . . .124
6.1 Resume de \A ProbabilistiFramework of SeletingEetive Key-Frames forVideoBrowsing andIndexing" - RISA`2000 . . . . . . . . . . . . . . . .124
7 Constrution des senes pour un lm video 137 7.1 Deuxetapespourlamaro-segmentationen senes . . . . . . . . . . . . . .137
7.2 Resumede\Amixedlassiationapproahofshotsforonstrutingsene strutureformovielms"{ IMVIP`2000 . . . . . . . . . . . . . . . . . . .140
7.3 Papier: A mixed lassiation approah of shots for onstruting sene strutureformovielms{ IMVIP`2000 . . . . . . . . . . . . . . . . . . . .145
8 Systemes interatifs pour la onstrution et l'utilisation de la video hy- perliee 157 8.1 Interations dansunsysteme de videotheque hyperliee . . . . . . . . . . . .157
8.3 Papier:InterativeToolsforConstrutingandBrowsingStruturesforMo- vieFilms {ACM`2000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .159
8.2 Resumede\InterativeToolsforConstrutingandBrowsingStruturesfor
9 Conlusion generale 167
9.1 Bilande travail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .167
9.2 Perspetivesdereherhe . . . . . . . . . . . . . . . . . . . . . . . . . . . .170
A Proprietes de l'algorithme EM 173
A.1 Croissanedela vraisemblane . . . . . . . . . . . . . . . . . . . . . . . . .173
A.2 Convergene deEM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .174
B Sequene \Danes with Wolves" 177
