Equipe VERTIGO
Permanents:
Philippe Rigaux, PU, responsable (en disponibilité 2011-2014)
Michel Crucianu, PU (directeur du CEDRIC 2010-2014)
Marin Ferecatu, McF
Nicolas Travers, McF
Raphaël Fournier-S’niehotta, McF (recrutement 2014)
Doctorants
Quatre thèses soutenues : A. Stoian 2012-2015, H. Randrianarivo 2012 -2016, Q. N. Tran 2013-2017, L. Yang 2013-2017
Trois en cours : A. Besedin (bourse CEA) depuis 9/16, Y. Le Cacheux (bourse CEA) depuis 10/17, F. Foscarin (ANR MuNIR) début 11/17
Domaine(s) de recherche, collaborations internes
Bases de
données Recherche
d’informati on
Fouille de données / apprentissage
Descripteurs,
recherche/classement Modèles, langages,
index et algorithmes
Analyse d'images :
segmentation, extraction d'objets, passage à
l’échelle
Domaine(s) de recherche, collaborations internes
Bases de
données Recherche
d’informati on
Fouille de données / apprentissage ISID
Axe B (S. Cherfi, F. Hamdi)
Réseaux sociaux
Organisation ICDE18
(C. du Mouza)
Domaine(s) de recherche, collaborations internes
Bases de
données Recherche
d’informati on
Fouille de données / apprentissage ISID
Axe B (S. Cherfi, F. Hamdi)
Réseaux sociaux
Organisation ICDE18
(C. du Mouza)
MSDMA En
discussion
Etant donnée une (grande) collection de « documents », développer des méthodes et outils (efficaces) basés sur le contenu pour : l’interrogation (structurée, non structurée), la classification, l’extraction d’information et de connaissance.
Point commun: gestion par le contenu de grandes collections multimédia
23/10/2017 CEDRIC EA4629 5
Etant donnée une (grande) collection de « documents », développer des méthodes et outils (efficaces) basés sur le contenu pour : l’interrogation (structurée, non structurée), la classification, l’extraction d’information et de connaissance.
Contenu = image (Axe A)
Segmentation automatique, Annotation sémantique
Point commun: gestion par le contenu de grandes collections multimédia
23/10/2017 CEDRIC EA4629 6
Etant donnée une (grande) collection de « documents », développer des méthodes et outils (efficaces) basés sur le contenu pour : l’interrogation (structurée, non structurée), la classification, l’extraction d’information et de connaissance.
Contenu = document Web
On extrait des « token » (mots-clés normalisés)
Mieux: On exploite ce qui existe (les liens) Encore mieux: on analyse sémantiquement pour chercher
des entités, des événements => on annote
Point commun: gestion par le contenu de grandes collections multimédia
23/10/2017 CEDRIC EA4629 7
Etant donnée une (grande) collection de « documents », développer des méthodes et outils (efficaces) basés sur le contenu pour : l’interrogation (structurée, non structurée), la classification, l’extraction d’information et de connaissance.
Contenu = musique notée (Axe B)
Point commun: gestion par le contenu de grandes collections multimédia
23/10/2017 CEDRIC EA4629 8
Modélisation (séries temporelles), similarité, analyse du langage musical
Evolution pendant la période
23/10/2017 CEDRIC EA4629 9
2012 9/2014 2017
Evolution pendant la période
23/10/2017 CEDRIC EA4629 10
Axe « Image et apprentissage »
2012 9/2014 2017
Thèmes : segmentation d'images, classification multi-modale Financements: FUI Polymatic, ANR Mex-Culture, ANR Poeme Collaborations : CEA, ONERA
Evolution pendant la période
23/10/2017 CEDRIC EA4629 11
Axe « Image et apprentissage »
2012 9/2014 2017
Axe «Données du Web »
Thèmes : systèmes de notification, bases documentaires Financements: FUI Polymathic
Collaborations : ISID
Evolution pendant la période
23/10/2017 CEDRIC EA4629 12
Axe « Image et apprentissage »
2012 9/2014 2017
Axe «Données du Web »
Startup Internet Memory Research
Fondation en septembre 2011 (Julien Masanès, CEO)
Philippe Rigaux co-fondateur, directeur scientifique de 2011 à 2014
Activité: valorisation de données extraites du Web (collecte, extraction, classification):
7 employés temps-plein
2 projets européens en cours
Développement focalisé sur l'analyse du commerce en ligne
Problématiques R&D communes à Vertigo
Septembre 2014, arrivée de R. Fournier- S’niehotta, retour de disponibilité de Philippe Rigaux.
Evolution pendant la période
23/10/2017 CEDRIC EA4629 13
Axe « Image et apprentissage »
2012 9/2014 2017
Axe «Données du Web » Axe «Informatique musicale » Startup Internet Memory Research
Thèmes : gestion de partitions numérisées, analyse musicale automatique, transcription audio / notation
Financements: ANR MuNIR, projet Mastodons GioQoSo
Collaborations : IreMus/Sorbonne, McGill/Montréal, communauté MEI
Evolution pendant la période
23/10/2017 CEDRIC EA4629 14
Axe « Image et apprentissage »
2012 9/2014 2017
Axe «Données du Web » Axe «Informatique musicale » Startup Internet Memory Research
Projet à 5 ans. Deux axes.
Axe A : images et apprentissage
Permanents : M. Crucianu et M. Ferecatu
Deux doctorants : A. Besedin, Y. Le Cacheux
Recherche de financement en cours
Axe B : informatique musicale
Permanents : P. Rigaux, N. Travers, R. Fournier
Un doctorant : F. Foscarin
Financement : ANR MuNIR, projet GioQoSo
Axe A: images et apprentissage
23/10/2017 CEDRIC EA4629 15
• Détection avec segmentation de composants visuels
• Interaction entre segmentation, contexte et détection
• Segmentation fine spatiale (image) et temporelle (vidéo)
• « Traduction » entre modalité visuelle et modalité textuelle
• Passage d’une modalité à une autre, représentation latente commune, utilisation conjointe des deux modalités
• Passage à l’échelle de la détection
• Base de N données, identifier avec une complexité <
O(N) les occurrences d’éléments d’une classe
• Données en flux, ne permettant pas de réapprendre avec toutes les données à l’apparition de nouvelles classes
• Description robuste de contenus visuels
• Description fiable malgré segmentation approximative
Problématique
23/10/2017 CEDRIC EA4629 16
Résultats obtenus
23/10/2017 CEDRIC EA4629 17
• Détection efficace avec segmentation temporelle d’actions dans les vidéos, query by detector, thèse A. Stoian (2012-2015), Mex-Culture (ANR), publications TCSVT, ICIP
• Descripteur de formes dont la qualité est améliorée par la présence de bruit, post-doc C. Raftopoulos (2013-2014), Polymathic (FUI),
publication CVPR
• Prédiction structurée pour détection d’objets tenant compte du contexte local, thèse H. Randrianarivo (2012-2016), bourse ONERA, publications JSTARS, IGARSS
Résultats obtenus
23/10/2017 CEDRIC EA4629 18
• Segmentation sémantique avec réseaux profonds et affinage, thèse L.
Yang (2014-2017), CIFRE Shopedia, publications PCM, MMM
• Représentations conjointes complétées pour la recherche et la détection trans-modale, thèse Q. N. Tran (2013-2017), bourse CEA, publications CVPR, workshop ACM MM
• Apprentissage incrémental pour flux de données, thèse A. Besedin, depuis 2016, bourse CEA
Publications, collaborations, financements
23/10/2017 CEDRIC EA4629 19
• Stratégie de publication
• Choix du média (journal ou conférence internationale) suivant la cible visée par le résultat des travaux
• Valorisation
• Notamment à travers les partenaires industriels
• Collaborations
• Nationales : partenaires académiques (LABRI dans Mex-Culture, IGN dans POEME), partenaires industriels (CEA et ONERA dans les thèses qu’ils financent à 100 %, Shopedia dans CIFRE,
Nicéphore Cité dans POEME)
• Internationales : académiques (IPN Mexique dans Mex-Culture, UFMG Brésil dans COFECUB)
• Financements
• Nationaux : industriels (bourses CEA et ONERA, CIFRE Shopedia), ANR POEME 2013-2016
• International : ANR Blanc (Mexique) Mex-Culture 2012-2015
Projet et défis scientifiques
23/10/2017 CEDRIC EA4629 20
Détection avec extraction de composants visuels
Apprentissage profond avec peu d’exemples (Small Data vs Big Data)
Compréhension de scène visuelle
→ recherche de financements (projet européen, CIFRE, FUI)
Traduction modalité visuelle
↔
modalité textuelle Compositionnalité des représentations linguistiques apprises
Identification complémentarités / redondances
→ démarrage thèse Y. Le Cacheux (bourse CEA depuis 10/2017), recherche autres financements
Accueil dans l’équipe de Mihai Datcu (DLR) sur une chaire Blaise Pascal (financée par la Fondation de l’ENS, 2018-2020). Son projet concerne l’apprentissage pour la caractérisation sémantique d’images satellite
23/10/2017 CEDRIC EA4629 21
Axe B: informatique musicale
23/10/2017 CEDRIC EA4629 22
Bases de données de partitions musicales
23/10/2017 CEDRIC EA4629 23
Partition numérisée = codage de la musique dans le langage de la notation musicale
Bases de données de partitions musicales
23/10/2017 CEDRIC EA4629 24
Partition numérisée = codage de la musique dans le langage de la notation musicale
Un langage conçu à la Renaissance...
Bases de données de partitions musicales
23/10/2017 CEDRIC EA4629 25
Partition numérisée = codage de la musique dans le langage de la notation musicale
Et toujours utilisé pour des musiques très différentes.
Bases de données de partitions musicales
23/10/2017 CEDRIC EA4629 26
Partition numérisée = codage de la musique dans le langage de la notation musicale
Basé sur un système de symboles et de signes graphiques
Bases de données de partitions musicales
23/10/2017 CEDRIC EA4629 27
Partition numérisée = codage de la musique dans le langage de la notation musicale
Basé sur un système de symboles et de signes graphiques
.. dont le contenu est aussi disponible sous la forme d'un
encodage très précis
Interrogation structurée
Etant donné un corpus de partitions, quel modèle, quel langage pour les sélectionner, en extraire des fragments, le transformer, les combiner
TENOR'16, ISMIR'16, TIME'16, soumission à Information Systems en cours
Recherche par similarité
Appariement de fragments mélodiques, recherche, classement, indexation
MEC'16, soumission à Computer Music Journal en cours
Analyse musicale automatisée
Identification automatique des structures du langage musical via la notation
Publication à TENOR’2017 (courte démo?)
Qualité de l’encodage
Modélisation du contenu musical, expression de règles (avec ISID)
Publication à ISMIR 2016
P h l i ti /dé t ti d l l t f NEUMA
Problématiques explorées
23/10/2017 CEDRIC EA4629 28
Interrogation structurée
Etant donné un corpus de partitions, quel modèle, quel langage pour les sélectionner, en extraire des fragments, le transformer, les combiner
TENOR'16, ISMIR'16, TIME'16, soumission à Information Systems en cours
Recherche par similarité
Appariement de fragments mélodiques, recherche, classement, indexation
MEC'16, soumission à Computer Music Journal en cours
Analyse musicale automatisée
Identification automatique des structures du langage musical via la notation
Publication à TENOR’2017 (courte démo?)
Qualité de l’encodage
Modélisation du contenu musical, expression de règles (avec ISID)
Publication à ISMIR 2016
P h l i ti /dé t ti d l l t f NEUMA
Problématiques explorées
23/10/2017 CEDRIC EA4629 29
• Stratégie de publication
• Présence systématique dans les conférences du domaine: ISMIR, TENOR, MEC, JIM.
• Valorisation
• Développement de la plate-forme en ligne NEUMA, démonstration des outils développés sur des corpus
• Collaborations
• Nationales: laboratoires de musicologie (IReMUS, Sorbonne; CESR, Tours) et d’informatique musicale (AlgoMus, Lille / INRIA Paris)
• Internationales: communauté MEI (organisation MEC 2017), McGil/Montréal
• Financements
• National: GioQoSo, CNRS/Mastodons, depuis 05/2016
• International: ANR MuNIR avec McGill/Montréal, depuis 11/2017
Développement du nouvel axe, 2014-2017
23/10/2017 CEDRIC EA4629 30
Axe B : projet et défis scientifiques
23/10/2017 CEDRIC EA4629 31
2. Transcription
1. Formalisation calculatoire de l'analyse musicale : comment identifier les séquences tension/détente, l'organisation du discours
Quel est le bon langage pour décrire un contenu musical (audio ou temps réel) ?
Axe B : projet et défis scientifiques
23/10/2017 CEDRIC EA4629 32
2. Transcription
1. Formalisation calculatoire de l'analyse musicale : comment identifier les séquences tension/détente, l'organisation du discours
Quel est le bon langage pour décrire un contenu musical (audio ou temps réel) ?
Axe B : projet et défis scientifiques
23/10/2017 CEDRIC EA4629 33
2. Transcription
Défis associés à la transcription :
Le langage de la notation rend-il vraiment compte des phénomènes décrits
Si oui peut-on produire automatiquement une notation à partir d'un document audio ?
Si non peut-on déterminer les phénomènes les plus
caractéristiques et leur associer un système de signes ?
Thèse de Francesco Foscarin
1. Formalisation calculatoire de l'analyse musicale : comment identifier les séquences tension/détente, l'organisation du discours
Vie de l'équipe
23/10/2017 CEDRIC EA4629 34
Séminaires
Séminaire régulier « MuNIR », trimestriel, 15 personnes (Cnam, IreMus, AlgoMus, CESR, invités), cf. http://munir.cnam.fr
Séminaire ponctuel Vertigo (doctorants, post-doc, invités, 3 en 16-17)
Recherche de financements
Appels ANR, appels FUI (FUI25 avec Internet Memory + CEA), CIFRE
Collaborations internes et externes
ISID recherche (Axe B, 2 publis en 2017) et organisation ICDE'2018
MSDMA : comités de suivi de thèses, échanges en cours
Enseignement
Certificat Données Massives (2 cours, fort succès)
Diapositive « SWOT »
23/10/2017 CEDRIC EA4629 35
Forces.
Domaines porteurs (Big Data, apprentissage, humanités numériques...)
Bons partenariats, activité reconnue Faiblesses.
Domaines porteurs ! Donc très concurrentiels (doctorants, moyens)
Ouverture, collaborations, visibilité
Opportunités.
Multiplication des applications et des sollicitations
Libération des données en cours Menaces.
Masse critique de l'équipe
