A l’aide deRoots, un processus d’annotation automatique complet a ´et´e mis en place pour remplir cette structure [Boeffard2012, boeffard2012a]. Cette chaˆıne d’annotation permet, `a partir d’un signal audio et du texte qui lui est associ´e, d’obtenir un corpus complet annot´e sur diff´erents niveaux.
Tout d’abord, la mise en place du proc´ed´e d’annotation doit respecter un certain nombre de contraintes dict´ees par l’usage du corpus annot´e et la maˆıtrise des perfor-mances. La premi`ere contrainte concerne le texte qui devra ˆetre conserv´e sous sa forme originale ; les ´ecarts de lecture devront ˆetre signal´es par des balises. La seconde concerne le d´ecoupage du corpus. Notre objectif ´etant d’annoter un corpus sur diff´erents niveaux, nous sommes amen´es `a traiter des fragments de parole ou de texte de taille variable. En effet il est souhaitable pour une analyse syntaxique de disposer d’une phrase compl`ete alors qu’une segmentation en phones est plus efficace sur des extraits courts. Le texte et les plages d’enregistrement seront donc d´ecoup´es avec une granularit´e suffisamment fine pour pouvoir travailler sur des fragments courts. Ces fragments pourront ˆetre r´eunis afin de former une phrase ou un fragment plus long `a condition de toujours conserver la coh´erence du texte. Enfin, pour garantir une annotation de qualit´e, il faut garder la pos-sibilit´e d’une intervention manuelle en tenant compte des indicateurs de confiance fournis par les outils intervenant dans le processus.
La chaˆıne d’annotation, pr´esent´ee sur la figure 5.4, est constitu´ee de deux ´etapes. La premi`ere consiste `a fractionner l’enregistrement de plusieurs heures de parole et d’y
asso-tel-00913565, version 1 - 3 Dec 2013
Figure 5.4 – Processus d’annotation d’un livre-audio
cier le texte correspondant. Cette ´etape, d’autant plus coˆuteuse en temps que le d´ecoupage du signal est fin, n´ecessite le recours `a un syst`eme de reconnaissance de la parole (ASR) pour retrouver dans le texte complet l’ancrage de la transcription associ´ee au signal. Les extraits sont ensuite regroup´es pour reconstituer les phrases du texte original. La deuxi`eme
´etape concerne l’annotation des phrases du texte et du signal mis en correspondance. La repr´esentation des donn´ees par Rootsest r´ealis´ee d`es l’´etape de d´ecoupage par exemple d’un livre-audio en phrases. Elle est enrichie au fur et `a mesure de l’annotation des donn´ees par l’ajout de nouvelles s´equences de description et de relations entre ces s´equences.
5.2.1 D´ecoupage du signal de parole et alignement avec le texte
La premi`ere ´etape, concernant `a obtenir un alignement entre le texte et le signal, a fait l’objet de plusieurs travaux. [Braunschweiler2010] propose un syst`eme automatique ali-gnant des zones de textes d’un livre-audio pour des applications en synth`ese de la parole
`
a partir du texte. L’objectif pour d’autres ´etait de faire face `a des transcriptions ap-proximatives [Tao2010] ou d’effectuer un alignement sans d´ecouper le texte [Moreno2009, prahallad2007]. Dans notre cas, le texte devra ˆetre d´ecoup´e pour effectuer les diff´erentes analyses et pour faciliter sa repr´esentation, en particulier dans l’hypoth`ese d’une v´erifica-tion manuelle.
Nous avons choisi d’effectuer l’alignement du texte et du son en 3 ´etapes : 1. D´ecoupage de l’enregistrement sur des pauses ;
2. Reconnaissance du texte associ´e `a chaque fragment sonore par un syst`eme de recon-naissance automatique de la parole ;
3. Alignement entre le texte reconnu et le texte original.
tel-00913565, version 1 - 3 Dec 2013
Le d´ecoupage de l’enregistrement repose sur l’observation des niveaux d’´energie et sur la longueur des silences. Les seuils sont fix´es selon le d´ebit du locuteur et les niveaux d’enregistrement. L’id´eal est d’obtenir un fragment sonore en dessous de la phrase, per-mettant ainsi de reconstituer les phrases tout en gardant des points d’ancrage `a l’int´erieur de chaque phrase dans le cas des phrases longues.
En utilisant un syst`eme de reconnaissance, un texte est obtenu `a partir du signal acoustique. Ce texte, qui g´en´eralement diff`ere du texte original, permet d’obtenir un pivot entre le signal et le texte original. Pour cela, un alignement est effectu´e entre les deux textes. Les extraits reconnus sont trait´es dans l’ordre du texte ce qui permet, si un extrait est pr´esent plusieurs fois dans le texte, de n’effectuer l’analyse qu’une seule fois et d’utiliser le r´esultat obtenu pour les autres occurrences. Lorsque la position du premier extrait dans le texte original est d´etermin´ee, il est associ´e au fichier sonore puis supprim´e du texte original. L’op´eration est reproduite pour les extraits suivants jusqu’`a la fin du texte. De plus, en comparant le texte original et le texte issu de la reconnaissance, il est possible de mesurer le taux d’erreurs de reconnaissance des mots. Ces erreurs peuvent ˆetre dues `a une d´efaillance du syst`eme de reconnaissance ou `a une lecture erron´ee du texte (mauvaise prononciation ou modification du texte). Les ´ecarts entre texte reconnu et texte original peuvent ˆetre signal´es afin de permettre `a un op´erateur de contrˆoler les passages concern´es.
Enfin pour conserver au mieux la structure du texte, les extraits sont regroup´es en phrases en respectant les ponctuations majeures. Lorsqu’un extrait n’est pas termin´e par une ponctuation forte, il est simplement regroup´e avec l’extrait suivant. Cependant l’information sur la fronti`ere entre les deux extraits est conserv´ee.
5.2.2 Annotation
La deuxi`eme ´etape consiste `a obtenir les annotations sur diff´erents corpus en se basant sur le texte ainsi que le signal pr´ec´edemment align´es et stock´es dans un ensemble d’´enonc´es Roots.
Pour r´ealiser cette ´etape, l’ensemble des outils n´ecessaires sont appel´es les uns ind´epen-damment des autres. En effet, si on suppose une s´equence pivot, chaque annotation peut ˆetre obtenue s´epar´ement. La mise en commun des diff´erents annotations ´etant r´ealis´ee en utilisant la s´equence pivot comme support. Roots permet de r´ealiser cela grˆace `a l’iso-lement d’une annotation dans une s´equence d´edi´ee et `a la relation qui permet de lier la s´equence de l’annotation avec la s´equence pivot. La structure Roots´etant sauv´ee au for-mat XML, le chargement d’un ´enonc´e stock´e dans plusieurs fichiers a ´et´e implant´e. Ceci apporte deux avantages : la possibilit´e de ne charger qu’un sous-ensemble de s´equences n´ecessaires `a un traitement donn´e ; la possibilit´e de pouvoir ´egalement distribuer le pro-cessus d’annotation. En dernier lieu, il est n´ecessaire de d´efinir les interfaces permettant d’importer le r´esultat obtenu par un outil dans la structure Roots.
tel-00913565, version 1 - 3 Dec 2013
Les informations obtenues `a chaque analyse sont int´egr´ees `a l’´enonc´eRoots affinant ainsi la description du corpus et permettant d’´etablir de nouvelles relations entre les
´el´ements des diff´erentes annotations.