Modélisation et gestion de concepts, en particulier temporels, pour l’assistance à la caractérisation de séquences d’images
Alain Simac-Lejeune
Direction : Patrick Lambert et Michèle Rombaut Laboratoire LISTIC Annecy et GIPSA-Lab Grenoble
14 juin 2011
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Contexte
production-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Problème
organiser (classement) et recherche de documents Contexte
production-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Problème
organiser (classement) et recherche de documents Contexte
production-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
Solution : l’indexation
étiqueter chaque document afin de permettre la recherche par navigation/requête
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Problème
organiser (classement) et recherche de documents Contexte
production-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
Solution : l’indexation
étiqueter chaque document afin de permettre la
recherche par navigation/requête
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Problème
organiser (classement) et recherche de documents Contexte
production-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
Solution : l’indexation
étiqueter chaque document afin de permettre la recherche par navigation/requête
/ 43
texte : OK video : ?
Existant
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3
Existant
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
Existant
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
exemples : mots-clés, INA
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3
Existant
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes : - long
- subjectif
- liée à la langue
exemples : mots-clés, INA
Existant
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes : - long
- subjectif
- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3
Existant
machine learning Etape 1
Création base apprentissage
Etape 2
Classification supervisée Etape Manuelle Etape Automatique
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes : - long
- subjectif
- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Existant
machine learning Etape 1
Création base apprentissage
Etape 2
Classification supervisée Etape Manuelle Etape Automatique annotation manuelle
annotation collaborative visionnage actif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes : - long
- subjectif
- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3
Existant
machine learning Etape 1
Création base apprentissage
Etape 2
Classification supervisée Etape Manuelle Etape Automatique annotation manuelle
annotation collaborative visionnage actif
annotation assistée
AdaBoost SVM HMM
k-plus proches voisins
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes : - long
- subjectif
- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Existant
machine learning Etape 1
Création base apprentissage
Etape 2
Classification supervisée Etape Manuelle Etape Automatique annotation manuelle
annotation collaborative visionnage actif
AdaBoost SVM HMM
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes : - long
- subjectif
- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4
Approche proposée
concept = élément de contenu de niveau sémantique élevé par exemple, concept dans la suite : ‘courir’
On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Approche proposée
concept = élément de contenu de niveau sémantique élevé par exemple, concept dans la suite : ‘courir’
On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
notre approche : sélectionner des segments vidéos qui correspondent à un concept
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4
Approche proposée
concept = élément de contenu de niveau sémantique élevé par exemple, concept dans la suite : ‘courir’
On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
annotation d’une base plus petite
/ 43
notre approche : sélectionner des segments vidéos qui correspondent à un concept
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Approche proposée
concept = élément de contenu de niveau sémantique élevé par exemple, concept dans la suite : ‘courir’
On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
notre approche : sélectionner des segments vidéos qui correspondent à un concept
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
MODELISATION
Structuration de la base
Modèles
Expert en Traitement d’Images
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
Phase ‘offline’
MODELISATION
Structuration de la base
Modèles
Expert en Traitement d’Images
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
MODELISATION
Structuration de la base
Modèles
Expert en Traitement d’Images
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
Phase ‘offline’
MODELISATION
Structuration de la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extraction de segments vidéo
Modèle de concept
Interactions par QR
Expert Applicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
MODELISATION
Structuration de la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extraction de segments vidéo
Modèle de concept
Interactions par QR
Expert Applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
Phase ‘offline’
MODELISATION
Structuration de la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extraction de segments vidéo
Modèle de concept
Interactions par QR
Expert Applicatif
VALIDATION
Validation
Prototypes Expert Applicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
MODELISATION
Structuration de la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extraction de segments vidéo
Modèle de concept
Interactions par QR
Expert Applicatif
VALIDATION
Validation
Prototypes Expert Applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extraction d’attributs
Attributs
Phase ‘offline’ Phase interactive
MODELISATION
Structuration de la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extraction de segments vidéo
Modèle de concept
Interactions par QR
Expert Applicatif
VALIDATION
Validation
Prototypes Expert Applicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Plan de la présentation
Extraction d’attributs
Structuration
de la base Extraction
de segments vidéo Attributs
Modèles Modèle
de concept
Interactions par QR
Validation
Prototypes
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
Expert Applicatif
Expert Applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 7
Informations bas niveau
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Image compensée Flot optique Lignes (Hough) SIP STIP
Informations bas niveau
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Image compensée Flot optique Lignes (Hough) SIP STIP
SIP : Spatial Interest Points - Points d’intérêt spatiaux (statiques)
STIP : Spatio-Temporal Interest Points - Points d’intérêt spatio-temporels (dynamiques)
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 7
Informations bas niveau
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Image compensée Flot optique Lignes (Hough) SIP STIP
SIP : Spatial Interest Points - Points d’intérêt spatiaux (statiques)
STIP : Spatio-Temporal Interest Points - Points d’intérêt spatio-temporels (dynamiques)
D’autres opérateurs mis en place et utilisés :
couleurs dominantes, contraste, luminance, forme/taille/position des objets
Attributs
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 8
Attributs
Attributs plan Attributs image Attributs objet
type caméra (fixe ou mobile)
orientation caméra zoom caméra nombre de lignes
nombre de SIP nombre de STIP
intensité du flot optique orientation du flot optique
taille objet
position verticale position horizontale
nombre de SIP nombre de STIP
intensité du flot optique compacité
nombre d’objets
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Attributs
Attributs plan Attributs image Attributs objet
type caméra (fixe ou mobile)
orientation caméra zoom caméra nombre de lignes
nombre de SIP nombre de STIP
intensité du flot optique orientation du flot optique
taille objet
position verticale position horizontale
nombre de SIP nombre de STIP
intensité du flot optique compacité
nombre d’objets
exemple : compacité (0-1)
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9
Point d’intérêt : définition
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9
Point d’intérêt : définition
/ 43
une couleur un contour
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur un contour
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9
Point d’intérêt : définition
/ 43
une couleur un contour
notion de zone intéressante ou d’intérêt
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
une couleur un contour
notion de zone intéressante ou d’intérêt
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9
Point d’intérêt : définition
zone où le gradient varie dans plusieurs directions
/ 43
une couleur un contour
notion de zone intéressante ou d’intérêt
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Point d’intérêt : définition
zone où le gradient varie
une couleur un contour
notion de zone intéressante ou d’intérêt
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 10
Points d’intérêt spatio-temporels
Matrice du filtre Hessian-Laplace
Critère de saillance Extrema locaux positifs
saillance > seuil
[ref] : On space-time interest points. International Journal of Computer Vision, Ivan Laptev, 2005.
/ 43
Extension spatio-temporelle des points d’intérêt
Filtrage gaussien spatial et temporel
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Evaluation des STIP : intérêt / saillance
points d’impact
Eye-tracker
impact = zone rouge cartes de saillance
a) image originale b) saillance statique c) saillance dynamique
carte d’intérêt et points d’intérêt
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 12
Evaluation des STIP : résultats
STIP pertinents : mouvement rapide et désordonné SIP pertinents : visage et main
Mouvement de foule : pas de corrélation
/ 43
[ref] : Relevance of Interest Points for Eye Position Prediction on videos, Simac-Lejeune, Marat, Pellerin, Lambert, Rombaut, Guyader, ICVS, 2009
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Evaluation des STIP : détection de changements
2 courbes :
- bleue : instantanée - rouge : lissée
base de 125 séquences d’athlétisme
précision moyenne 0.87 rappel moyen 0.86
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 14
Plan de la présentation
Extraction d’attributs
Structuration
de la base Extraction
de segments vidéo Attributs
Modèles Modèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
Expert Applicatif
Expert Applicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Nécessité de la modélisation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 16
Modèle de briques
1 modèle de brique basique = 1 attribut + 1 propriété exemple : compacité-faible = compacité + intervalle[0;0,4]
1 attribut => n modèles de briques basiques exemple : compacité - 3 briques (faible / moyenne / forte)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration en briques
suivi d’une variable dans le temps
=> segmentation temporelle
modèle brique basique ‘compacité’
- faible (0 à 0,4)
- moyenne (0,4 à 0,6) - forte (0,6 à 1,0)
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18
Opérateurs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison de modèle de briques
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18
Opérateurs
construction de modèle de briques élaborées par combinaison de modèle de briques
/ 43
Exemples 4 types d’opérateurs
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison de modèle de briques
Exemples 4 types d’opérateurs
Algèbre temporelle
(relations de Allen) x puis y x suivi de y x pendant y
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18
Opérateurs
construction de modèle de briques élaborées par combinaison de modèle de briques
/ 43
Exemples 4 types d’opérateurs
Algèbre temporelle
(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’
INDU (<,>,=) x < y
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Opérateurs
construction de modèle de briques élaborées par combinaison de modèle de briques
Exemples 4 types d’opérateurs
Algèbre temporelle
(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’
INDU (<,>,=) x < y
Opérateurs logiques
(et, ou exclusif) x et y
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18
Opérateurs
construction de modèle de briques élaborées par combinaison de modèle de briques
/ 43
Exemples 4 types d’opérateurs
Algèbre temporelle
(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’
INDU (<,>,=) x < y
Opérateurs logiques
(et, ou exclusif) x et y
Autres opérateurs (*, ) n (x suivi de y)*
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple de construction d’un modèle de brique élaborée
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne compacité forte
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne compacité forte
opérateurs
suivi de ou exclusif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne compacité forte
opérateurs
suivi de ou exclusif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne compacité forte
opérateurs
suivi de ou exclusif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 20
Plan de la présentation
Extraction d’attributs
Structuration
de la base Extraction
de segments vidéo Attributs
Modèles Modèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
Expert Applicatif
Expert Applicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21
But du système problème
comment définir un concept à partir des briques extraites ?
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système problème
comment définir un concept à partir des briques extraites ?
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21
But du système problème
comment définir un concept à partir des briques extraites ?
système de Q/R
/ 43
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système problème
comment définir un concept à partir des briques extraites ?
Celui qui connaît les modèles de briques
construit
Expert en Traitement d’Images
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21
But du système problème
comment définir un concept à partir des briques extraites ?
système de Q/R
Celui qui connaît les modèles de briques
construit
Expert en Traitement d’Images
Celui qui connaît l’application
utilise
Expert Applicatif
/ 43
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
But du système problème
comment définir un concept à partir des briques extraites ?
Celui qui connaît les modèles de briques
construit
Expert en Traitement d’Images
Celui qui connaît l’application
utilise
Expert Applicatif
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22
Exemple
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple
Question 1 : quel est le type d’activité du concept à définir ? Réponses : communication / déplacement / mouvement / ...
=> réponses active ou désactive des thèmes de questions réponse : mouvement
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22
Exemple
/ 43
Question 1 : quel est le type d’activité du concept à définir ? Réponses : communication / déplacement / mouvement / ...
=> réponses active ou désactive des thèmes de questions réponse : mouvement Question 2 : quelle est la vitesse du mouvement ?
Réponses : lent / plutôt lent / assez rapide / rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide réponse : rapide
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Exemple
Question 1 : quel est le type d’activité du concept à définir ? Réponses : communication / déplacement / mouvement / ...
=> réponses active ou désactive des thèmes de questions réponse : mouvement Question 2 : quelle est la vitesse du mouvement ?
Réponses : lent / plutôt lent / assez rapide / rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide réponse : rapide
...
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22
Exemple
/ 43
Question 1 : quel est le type d’activité du concept à définir ? Réponses : communication / déplacement / mouvement / ...
=> réponses active ou désactive des thèmes de questions réponse : mouvement Question 2 : quelle est la vitesse du mouvement ?
Réponses : lent / plutôt lent / assez rapide / rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide réponse : rapide
...
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
n Question 12 : combien y a-t-il de phases distinctes ?
Réponses : 1 / 2 / 3 / 4 ou plus réponse : 3
=> nombre de phases : sélection de l’opérateur m ‘suivi de’, et de (nombre)
«y a-t-il plusieurs phases ?» et de la réponse oui
Définition et fonctionnement
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23
Définition et fonctionnement
Question
Réponses
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Définition et fonctionnement
Modèle de brique(s)
Question
Réponses
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23
Définition et fonctionnement
Opérateur(s)
Modèle de brique(s)
Question
Réponses
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Définition et fonctionnement
Navigation Opérateur(s)
Modèle de brique(s)
Question
Réponses
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23
Définition et fonctionnement
1 réponse = 1 nouvelle information pour la définition du concept
Navigation Opérateur(s)
Modèle de brique(s)
Question
Réponses
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24
Liens : briques et opérateurs
/ 43
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
réponse A réponse B réponse C réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24
Liens : briques et opérateurs
/ 43
sélection des modèles de briques no-1 et c-f
réponse A réponse B réponse C réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
sélection des modèles de briques no-1 et c-f
sélection des modèles de briques no-1 et c-f
et liaison m
réponse A réponse B réponse C réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24
Liens : briques et opérateurs
/ 43
sélection des modèles de briques no-1 et c-f
sélection des modèles de briques no-1 et c-f
et liaison m
sélection de la liaison m
réponse A réponse B réponse C réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Liens : briques et opérateurs
sélection des modèles de briques no-1 et c-f
sélection des modèles de briques no-1 et c-f
et liaison m
sélection de la liaison m
ne sais pas
sélection de plusieurs modèles de briques
réponse A réponse B réponse C réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24
Liens : briques et opérateurs
/ 43
sélection des modèles de briques no-1 et c-f
sélection des modèles de briques no-1 et c-f
et liaison m
sélection de la liaison m
ne sais pas
sélection de plusieurs modèles de briques
avec un ou exclusif
question inutile
sélection d’aucun modèle ni opérateur mais
application d’une règle / modèle fo
réponse A réponse B réponse C réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25
Structuration
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
structuration arborescente
ordonnancement des questions problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25
Structuration
structuration arborescente
ordonnancement des questions - par thème
- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
question initiale
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
structuration arborescente
ordonnancement des questions problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
question initiale thème 1
questions 1.x
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25
Structuration
structuration arborescente
ordonnancement des questions - par thème
- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
question initiale thème 1
questions 1.x
thème 2 questions 2.x
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Structuration
structuration arborescente
ordonnancement des questions problème : comment choisir la question suivante pour maximiser l’information
apportée, garder la cohérence et être certain de son intérêt
question initiale thème 1
questions 1.x
thème 2 questions 2.x
thème 3
questions 3.x
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25
Structuration
structuration arborescente
ordonnancement des questions - par thème
- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
question initiale thème 1
questions 1.x
thème 2 questions 2.x
thème 3
questions 3.x
Q 1.1 Q 1.2 Q 1.3 Q 1.4 Q 1.7 Q 1.5
Q 1.6
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
automatique : quand il n’y a plus de questions à poser manuelle : l’utilisateur souhaite s’arrêter
résultat : un modèle de concept
exemple : définition de la marche
Résultat final de la phase de QR
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 27
Plan de la présentation
Extraction d’attributs
Structuration
de la base Extraction
de segments vidéo Attributs
Modèles Modèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
Expert Applicatif
Expert Applicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28
Recherche de prototypes et rétroaction
système QR base de données
de séquences
Expert Applicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
système QR base de données
de séquences
Expert Applicatif
Définition du concept
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28
Recherche de prototypes et rétroaction
système QR base de données
de séquences
Expert Applicatif
Définition du concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
système QR base de données
de séquences
Expert Applicatif
Définition du concept
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28
Recherche de prototypes et rétroaction
système de requête
système QR base de données
de séquences
Expert Applicatif
Définition du concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
système de requête
système QR base de données
de séquences
Expert Applicatif
Définition du concept
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28
Recherche de prototypes et rétroaction
système de requête
système QR base de données
de séquences
Expert Applicatif
Définition du concept
/ 43 Expert
Applicatif
prototypes potentiellement intéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
système de requête
système QR base de données
de séquences
Expert Applicatif
Définition du concept
prototypes potentiellement
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28
Recherche de prototypes et rétroaction
système de requête
système QR base de données
de séquences
Expert Applicatif
système d’analyse Définition du concept
/ 43 Expert
Applicatif
prototypes potentiellement intéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
système de requête
système QR base de données
de séquences
Expert Applicatif
système d’analyse Définition du concept
prototypes potentiellement
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28
Recherche de prototypes et rétroaction
système de requête
système QR base de données
de séquences
Expert Applicatif
système d’analyse Définition du concept
/ 43 Expert
Applicatif
prototypes potentiellement intéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Recherche de prototypes et rétroaction
système de requête
système QR base de données
de séquences
Expert Applicatif
système d’analyse
Définition du concept Définition finale du concept
prototypes potentiellement
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 29
Validation : algorithme de correction
prototypes validés
algorithme de recherche de ‘modèle’
définition initiale briques
=
ajout de briques et d’opérateurs ajout d’informations de séquentialité
modification opérateurs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Plan de la présentation
Extraction d’attributs
Structuration
de la base Extraction
de segments vidéo Attributs
Modèles Modèle
de concept
Interactions par QR
Validation
Prototypes
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
Expert Applicatif
Expert Applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
EVALUATION
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 31
Base de données
40 Go de données, 10000 plans, 12 heures
9 bases : synthèse, athlétisme, saillance, animation, laboratoire (normal et HD) ainsi que les bases UCF (Sports et 50 ) et KTH
résolution de 160x120 à 1920 x1080 - moyenne 300x300 durée de 45 à 250 images (2 à 10 sec) - moyenne 100 images thèmes : sports, télévision, animation
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Données du système
Extraction d’attributs
Structuration
de la base Extraction
de segments vidéo Attributs
Modèles Modèle
de concept
Interactions par QR
32 questions (108 réponses)
6 thèmes : 40 Go
12 heures
EXTRACTION MODELISATION DEFINITION
Expert en Traitement d’Images
Expert Applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 33
Evaluation en temps
Base complète (10000 séquences, 12 heures, 1 concept) Hypothèse :
1. une annotation manuelle est réalisée à vitesse de lecture x4
définition d’un concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Evaluation en temps
Base complète (10000 séquences, 12 heures, 70 concepts) Hypothèses :
1. une annotation manuelle est réalisée à vitesse de lecture x4 2. un utilisateur ne peut annoter simultanément 5 concepts
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 35
Evaluation des définitions et de l’algorithme
base composée de 1000 plans (25 par actions) 5 actions : marcher/courir/plonger/sauter/skier
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Evaluation des définitions et de l’algorithme
base composée de 1000 plans (25 par actions) 5 actions : marcher/courir/plonger/sauter/skier
nombre de plans
15 20 25
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
