Description de quelques approches

Nous présentons ici quelques techniques que nous avons expérimentées pour classer chaque extrait audio en deux ou trois classes parmi celles définies précédemment : voix du commenta-teur, bruit de la foule, sifflet de l’arbitre. Ces approches [Lef02g] sont présentées dans l’ordre croissant de leur complexité. La dernière est une approche plus personnelle et originale dont nous préconisons l’utilisation [Lef02h].

Quelques approches simples

Avant de proposer une méthode complexe pour la segmentation audio, nous avons vérifié que les limitations des approches les plus simples ne permettaient pas de résoudre convenable-ment notre problème. Nous pourrons ainsi utiliser la fréquence ou l’amplitude du signal sonore comme un élément discriminant.

La fréquence du signal peut être utilisée pour détecter les extraits audio correspondant au sifflet de l’arbitre. En effet, celui-ci produit un son composé de deux ou trois fréquences ap-partenant à l’intervalle[3700,4300]Hz. Un exemple de spectrogramme représentant un extrait de sifflet est donné dans la partie gauche de la figure 8.6. Il est aisé de distinguer les lignes horizontales représentant les fréquences du son correspondant au sifflet. La classification en deux classes, sifflet et autre, peut alors être effectuée en trois étapes successives. Le spectro-gramme est seuillé afin de ne garder uniquement que les valeurs les plus significatives. Ensuite, pour chaque fréquence, l’amplitude associée est calculée. Finalement l’extrait audio est classé en sifflet si le nombre de lignes obtenues est égal ou supérieur à deux. La principale limite de cette approche vient du fait que les fréquences liées au sifflet peuvent être un sous-ensemble des fréquences liées à la voix du commentateur. De ce fait, il est possible de classer des extraits de voix du commentateur en sifflet de l’arbitre. La partie droite de la figure 8.6 contenant le spectrogramme d’un extrait de voix illustre ce problème.

8.4. Analyse supplémentaire des données sonores 156

FIG. 8.6 – Spectogrammes de signaux audio correspondant au sifflet de l’arbitre (à gauche) et à la voix du commentateur (à droite).

Il est également possible d’utiliser l’amplitude du signal. Celle-ci peut notamment être utile pour classer un extrait en voix du commentateur ou en bruit de la foule. Un signal audio conte-nant ces deux types d’extraits classés manuellement est présenté dans la figure 8.7. Nous consta-tons que l’amplitude moyenne n’est pas égale pour les deux classes. Cette mesure peut donc être utilisée pour effectuer la classification. Si l’amplitude moyenne est supérieure à un seuil, l’extrait audio est classé en voix du commentateur. Sinon il est associé au bruit de la foule.

Nous considérons que les propriétés des données audio sont constantes tout au long de la sé-quence. Il n’est alors pas nécessaire d’utiliser un seuil adaptatif mais simplement un seuil fixe dont la valeur est fixée après apprentissage. Si nous considérons des pistes audio, provenant de différentes retransmissions télévisées, qui se caractérisent par une grande variation de leurs propriétés, l’apprentissage devra être effectué en ligne en considérant un corpus constitué des premières secondes de la piste audio. Les résultats obtenus sont donnés dans le tableau 8.1. A partir de ces résultats, nous pouvons conclure que la qualité de la méthode n’est pas suffisante pour effectuer une classification correcte.

signal

classification

FIG. 8.7 – Signal audio (en haut) contenant des extraits classés manuellement (en bas) comme

"commentateur" (en rouge) ou "foule" (en jaune).

8.4. Analyse supplémentaire des données sonores 157 Les taux de qualité présentés dans les tableaux de cette section ont été calculés en compa-rant les résultats obtenus par les différentes méthodes de segmentation avec une segmentation de référence obtenue manuellement par plusieurs auditeurs. Nous ne considérons ici que les extraits audio ayant fait l’objet d’un consensus entre tous les utilisateurs. Précisons également que les pistes audio traitées correspondent à différentes retransmissions télévisées de différents matchs de football.

Classe Rappel Précision

Foule 77 % 50 %

Commentateur 62 % 84 %

TAB. 8.1 – Résultats d’une segmentation en deux classes basée sur l’analyse de l’amplitude du signal.

Nous venons de montrer que l’utilisation directe d’éléments simples tels que la fréquence ou l’amplitude ne permet pas d’obtenir des résultats satisfaisants. Nous proposons donc d’utiliser des caractéristiques plus complexes, comme une analyse cepstrale.

Analyse cepstrale

Le cepstre est un outil fréquemment utilisé en analyse et reconnaissance de la parole. Il est défini comme une application de trois opérateurs successifs : une transformée de Fourier, un logarithme, et une transformée de Fourier inverse. Cette transformation permet de déterminer la fréquence fondamentale de la parole et de séparer le signal d’excitation du signal de parole pure.

De même qu’un spectrogramme représente le spectre d’un signal, il est possible d’utiliser un cepstrogramme qui est une représentation graphique en trois dimensions du signal audio basée sur le calcul du cepstre. La figure 8.8 montre les projections 2-D de deux cepstrogrammes obtenus pour des extraits de foule et de voix du commentateur.

FIG. 8.8 – Projection 2-D du cepstrogramme d’un signal audio correspondant à la foule (à gauche) et à la voix du commentateur (à droite).

8.4. Analyse supplémentaire des données sonores 158 A partir de cette figure, nous pouvons noter que la foule est représentée par une courbe sinusoïdale, ce qui n’est pas le cas de la voix du commentateur. Deux raisons peuvent être avancées pour expliquer ce phénomène : le son émis par la foule peut être considéré comme un bruit, ou bien il peut être amplifié par le stade (phénomène d’écho). Il est donc possible de segmenter ces deux types de son (foule et voix du commentateur) en se basant sur le principe énoncé. Pour cela, nous effectuons une régression de la courbe obtenue par une sinusoïde de même fréquence et de même phase. La différence avec la sinusoïde théorique est mesurée puis comparée à un seuil (obtenu par une procédure d’apprentissage supervisé) pour classer l’extrait en foule ou en voix. Les résultats obtenus sont donnés dans le tableau 8.2.

Classe Rappel Précision

Foule 72 % 96 %

Commentateur 98 % 86 %

TAB. 8.2 – Résultats d’une segmentation en deux classes basées sur une analyse cepstrale.

Il est clair que la qualité de cette dernière approche est plus élevée que celle des approches simples décrites précédemment. Cependant, les taux de qualité ne sont pas encore satisfaisants et la méthode décrite ici ne permet de gérer que deux classes différentes. Nous proposons alors d’utiliser les chaînes de Markov cachées pour caractériser les extraits de chacune des classes afin de procéder à la classification de nouveaux extraits.

Utilisation des chaînes de Markov cachées

Les méthodes décrites précédemment, basées sur l’utilisation d’une unique caractéristique, ne permettent pas d’obtenir des résultats satisfaisants. Afin de combiner ces différentes caracté-ristiques, il est possible d’utiliser les chaînes de Markov cachées déjà présentées dans la section 5.2. L’architecture ici employée est également ergodique, tandis que l’apprentissage et la recon-naissance sont effectués avec les algorithmes de Baum-Welch et de Forward respectivement.

Nous voulons définir trois CMC, une pour chaque classe. Chaque extrait sera alors affecté à la classe associée au meilleur score.

Les données d’observation que nous considérons consistent en un ensemble de caractéris-tiques dont l’intérêt a été validé dans [Liu98]. Pour chaque segment audio d’une durée d’une seconde, nous calculons les 11 caractéristiques suivantes : non-silence ratio (NSR), volume stan-dard deviation (VSTD), stanstan-dard deviation of zero crossing rate (ZSTD), volume dynamic range (VDR), standard deviation of pitch period (PSTD), smooth pitch ratio (SPR), non-pitch ratio (NPR), frequency centroid (FC), frequency bandwidth (FB), 4 Hz modulation energy (4ME), et

8.4. Analyse supplémentaire des données sonores 159 energy ratio of subband 1-3 (ERSB1-3). Lorsque l’on travaille avec plusieurs caractéristiques en analyse des données audio, il est nécessaire de déterminer quelles caractéristiques fournissent la plus grande contribution pour la performance de la reconnaissance, et de sélectionner ces caractéristiques [Boc93]. Nous avons donc effectué une Analyse en Composantes Principales (ACP) en considérant ces 11 caractéristiques. En conclusion de cette analyse, nous avons ob-servé qu’aucune caractéristique ne devait être rejetée du fait de son manque de contribution.

Afin d’analyser des extraits sonores d’une durée d’une seconde, nous les divisons en trames contenant chacune 1024 échantillons. Deux trames successives seront décalées de 512 échan-tillons dans le but de conserver la propriété de continuité. Le tableau 8.3 montre les résutlats obtenus avec cette méthode.

Classe Rappel Précision

Sifflet 88 % 88 %

Foule 61 % 87 %

Commentateur 77 % 90 %

TAB. 8.3 – Résultats d’une segmentation en trois classes basée sur les chaînes de Markov ca-chées.

Afin d’améliorer la qualité de la classification, nous proposons une méthode plus élaborée, basée sur la diminution de la variabilité des caractéristiques des signaux au sein de chacune des classes. Pour cela nous utilisons conjointement un classifieur K-Means et les chaînes de Markov cachées multidimensionnelles.