HAL Id: tel-01748423
https://tel.archives-ouvertes.fr/tel-01748423v2
Submitted on 29 Mar 2011
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Blaise Potard
To cite this version:
Blaise Potard. Inversion acoustique-articulatoire avec contraintes. Interface homme-machine [cs.HC].
Université Henri Poincaré - Nancy 1, 2008. Français. �NNT : 2008NAN10085�. �tel-01748423v2�
UFR STMIA
Inversion acoustique-articulatoire avec contraintes
TH` ESE
pr´esent´ee et soutenue publiquement le 23 octobre 2008 pour l’obtention du
Doctorat de l’universit´ e Henri Poincar´ e – Nancy 1
(sp´ ecialit´ e informatique)
par
Blaise Potard
Composition du jury
Rapporteurs : R´egine ANDRE-OBRECHT, Professeur, Universit´e Paul Sabatier Pierre BADIN, Directeur de Recherche, CNRS
Examinateurs : No¨elle CARBONELL, Professeur, Universit´e Henri Poincar´e Shinji MAEDA, Directeur de Recherche, CNRS
Xavier RODET, Professeur, Universit´e Paris VI Directeur de th` ese : Yves LAPRIE, Directeur de Recherche, CNRS
Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503
Je tiens tout partiulièrement à remerier mon direteur de thèse, Yves Laprie, pour sa
patiene, ses onseils et ses enouragements. Je tiens également à remerierShinji Maeda pour
nous avoir fourni son modèle artiulatoire et ses données, et pour les éhanges sientiques
frutueuxquenousavonspuavoir.
Je remerie profondément Martine Kuhlmann, la serétaire de l'équipe,pour sa patiene et
sagentillesse sans limites.
Je remerie ensuite tous les enseignants du département Informatique de l'Université Henri
Poinaré Nany 1, pour leurs onseils, leur patiene et leur soutien, et tout partiulièrement
AlainMirgaux, OdileMella et Vinent Colotte.
Enn, je remerie mafamille et tousmes amis,pour leursoutiensans faille.
ÀDelphine, Stéf,Matthias,Ben,Nio,Véro ettousles autres,pare qu'ilsle valent bien;
Àtousles membresdu Loria grâeàquij'aipupasser de trèsbonsmoments, toutpartiulièrement
les oupants dubureau C130,les membresdes équipes Parole, MagritetMaia, ettouseux queje
ne itepas maisquise reonnaîtront.
Etàtous euxquisontpartis.
Introdution
Chapitre 1
Préliminaires
1.1 Aoustique de laparole . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Prodution de laparole . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Synthèse artiulatoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Modélisationdu onduitvoal . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Passage de laoupesagittaleà lafontion d'aire . . . . . . . . . . . . 7
1.2.3 Simulation aoustique . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 Inversionaoustique-artiulatoire . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.1 Problème malposé. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.2 Prinipe de résolution . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.3 Résolution par introdution de ontraintes . . . . . . . . . . . . . . . 15
1.4 Conlusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Partie I Inversion 17 Introdution Chapitre 2 Constrution de odebook hyperuboïque 2.1 Paramétrisationaoustique et artiulatoire . . . . . . . . . . . . . . . . . . . 21
2.1.1 Modèleartiulatoire de Maeda . . . . . . . . . . . . . . . . . . . . . . 21
2.1.2 Synthétiseur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.1.3 Paramétrisation aoustique . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.4 Quelquesrésultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Présentation de lastruture hyperuboïdale . . . . . . . . . . . . . . . . . . . 24
2.2.1 Choixde lastruture . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.2 Dénitions de lastruturehyperuboïdale . . . . . . . . . . . . . . . . 24
2.2.3 Modélisation mathématique. . . . . . . . . . . . . . . . . . . . . . . . 25
2.3 Constrution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.1 Test derégularité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.2 Utilisationdespolynmesmultivariéspour aluler l'approximation . 30 2.3.3 Seuillage aoustique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.4 Subdivision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4 Réalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.1 Caluldu veteur aoustique . . . . . . . . . . . . . . . . . . . . . . . 36
2.4.2 Cahe de formants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4.3 Génération despointsde test . . . . . . . . . . . . . . . . . . . . . . . 39
2.5 Évaluation expérimentale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.5.1 Resynthèsed'un veteur artiulatoire par interpolation . . . . . . . . 43
2.5.2 Valeursoptimalespour lealul delamatrie jaobienne . . . . . . . 44
2.5.3 Seuilsde subdivisionet préision aoustique . . . . . . . . . . . . . . 44
2.5.4 Temps de onstrution . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.5.5 Couverture de l'espaeartiulatoire . . . . . . . . . . . . . . . . . . . 47
Chapitre 3 Inversion par odebook 3.1 La méthode d'inversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1.1 Prinipe général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.1.2 Restreindrel'ensembled'hyperuboïdes àexplorer . . . . . . . . . . . 52
3.1.3 Résolution dusystèmed'équation
P (X) = s
. . . . . . . . . . . . . . 533.1.4 Éhantillonnage de solutions . . . . . . . . . . . . . . . . . . . . . . . 55
3.2 Quelquesrésultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.2.1 Inversionde voyellesisolées . . . . . . . . . . . . . . . . . . . . . . . . 56
3.2.2 Domaines aoustiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2.3 Statistiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.2.4 Temps de alul . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Chapitre 4 Trajetoires artiulatoires 4.1 Lissagenon-linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.1.1 Critèressur larégularité de latrajetoire desartiulateurs . . . . . . 70
4.1.2 Critère global àminimiser. . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3 Inversiondynamique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.1 Inversionde lasynthèse aoustique. . . . . . . . . . . . . . . . . . . . 75
4.4 Conlusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
Partie II Contraintes 81 Introdution Chapitre 5 Contraintes phonétiques 5.1 Prinipe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.2 Domaines artiulatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.2.1 Classiation desphonèmes . . . . . . . . . . . . . . . . . . . . . . . . 85
5.2.2 Transposition desontraintes phonétiques danslemodèle artiulatoire 86 5.3 Domaines aoustiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.3.1 Partitionnement del'espae aoustique . . . . . . . . . . . . . . . . . 88
5.3.2 Données aoustiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.4 Sore phonétique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.5 Inversionave ontraintes phonétiques . . . . . . . . . . . . . . . . . . . . . . 92
5.5.1 Constrution de odebooks . . . . . . . . . . . . . . . . . . . . . . . . 92
5.5.2 Inversionstatique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.5.3 Inversiondynamique. . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.6 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
Chapitre 6 Évaluation des ontraintes phonétiques 6.1 Correspondaneartiulatoire-aoustique . . . . . . . . . . . . . . . . . . . . . 99
6.2 Inversionstatique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.2.1 Expérienes d'inversion . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.2.2 Analyse desrésultats . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
6.3 Inversiondynamique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.3.1 Inversionde transitionsVoyelle-Voyelle . . . . . . . . . . . . . . . . . 113
6.3.2 Réapitulatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.4 Conlusions et perspetives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
Chapitre 7
Contraintes visuelles
7.1 Origine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
7.2 Données multimodales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.2.1 Miniorpus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
7.2.2 CorpusAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.2.3 Données duprojetASPI . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.3 Traitement desdonnées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.4 Implémentation desontraintes visuelles . . . . . . . . . . . . . . . . . . . . . 129
7.4.1 Correspondane entre les marqueurset lemodèleartiulatoire . . . . 130
7.4.2 Inversionave ontraintesvisuelles . . . . . . . . . . . . . . . . . . . . 133
7.5 Expérienes d'inversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
7.5.1 Comparaisondesdeux méthodes . . . . . . . . . . . . . . . . . . . . . 133
7.5.2 Expérienes d'inversion . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7.6 Conlusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
Conlusions et perspetives 139 Conlusions et perspetives Annexe A Corpus PB A.1 Paramètres artiulatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
Annexes
Bibliographie 147
L'
unedesprinipalesaratéristiquesquidistinguent l'hommedel'animalestl'utilisation de
laommuniation parlée. Bien que ne possédant pasl'appareil phonatoire leplus sophis-
tiqué(ertains oiseaux peuvent en eet réaliser des sons nettement plus élaborés), la parole et
lesméanismesde produtions'yrattahant restent parmiles manifestationsles plusomplexes
et lesmoinsbien onnus du génie humain.
L'Homme n'aeu deessed'étudier e phénomène, et depuisque lesordinateurs existent, de
herher à le reréer artiiellement. Depuis relativement longtemps, on a réalisé des modèles
logiiels de l'appareil phonatoire, apables d'imiter la voix humaines en simulant les équations
physiquesdel'aoustiquedefaçonplusoumoinssimpliée,et ave plusoumoinsde suès.Ces
modèles desynthèse peuvent parfoisémettre dessonsqui ressembleà s'yméprendreà unevoix
humaine réelle; malheureusement, pour piloter dèlement de tels modèles, il est néessaire de
disposer dedonnées surlemouvement des diérentsartiulateurs, et surlasoure sonore.
Il existe destehniquesd'imagerie permettant d'obtenirdesinformations surlapositiondes
artiulateurs,maisauunede estehniquesn'est parfaite:soit ellesneapturent quepartielle-
mentle onduit(images duvisagedu louteur permettant de voirlapositiondeslèvres et dela
mâhoire,apteursmagnétiquesàdespositionspréisesàl'intérieurdelabouhe,éhographie...),
soit n'ont pas une résolution temporelle susante pour apturer les subtilités de l'artiulation
de la parole naturelle (par exemple l'IRM, qui permet d'obtenir une vue tridimensionnelle du
onduitvoal, maisnéessitedestempsde poseprohibitifs,oularépétitiond'unemêmephrases
desentainesdefois),soitenoresontfranhementdangereuses(parexemplelainéradiographie,
oùlelouteursubit desentainesde radiographiessurune durée dequelquesseondes).
L'obtentionlogiielle desmouvements artiulatoiresà l'origined'un sondonné,ou inversion
aoustique-artiulatoire,voiretoutsimplement inversion,estunepropositionalternativeetom-
plémentaire àestehniquesd'imagerie.Ils'agitenréalitéd'unproblèmelépourdenombreuses
appliations.Outrelesmodèlesdesynthèsevoale,esdonnéespeuventeneetêtreutilesdansde
nombreuxas:laompressiondeparolepourlatéléphonie, l'étudedeslangues,etsurtout l'ani-
mation de têtes parlantes(pour l'industrie inématographique et desloisirs, l'apprentissage des
langues,l'aideauxpersonnesmalentendantes...). Parailleurs, lesdonnéesartiulatoires peuvent
aussitrouver leurutilité dans desdomainesaussidisparates quelareonnaissane automatique
delaparole,lasynthèse voale paronaténation,laphonétiqueet laphonologie,lamédeine...
De part sa position entrale dans tous les domaines liés au traitement automatique de la
parole,et par samyriaded'appliations potentielles, l'inversionaoustique-artiulatoire est l'un
despointsruiauxdel'étudedelaparole.D'ailleurs,trèstt,lespionniersdel'étudedelaparole
sesontintéressésàlamodélisationartiulatoire duonduitvoal(notammentFant(Fant 1960 ),
Stevens (Stevens&House 1955 ), Flanagan (Ishizaka &Flanagan1972 )...). Mais la véritable
étude fondamentale du domaine de l'inversion, et également l'une desplus intéressantes, est le
travailréalisé par Atalet sesollègues (Atalet al.1978 ).
Malheureusement, les quatre années onsarées à l'étude de e sujet ne me permettent pas
