4.6 Comparaison de deux approches interactives
4.6.1 Approche par passages multiples (PM)
4.6.1.1 Concept
Cette première approche est inspirée d’une pratique courante qui consiste à écouter une pièce dans son intégralité pour réaliser la transcription d’un objet particulier. En pro- cédant ainsi, on peut focaliser toute son attention uniquement sur cet objet et réaliser une transcription précise (on peut considérer que cette transcription est horizontale car elle suit l’évolution d’un objet particulier). Par analogie à cette pratique, nous proposons une première boucle d’interaction par passages multiples qui invite l’utilisateur à se concentrer sur un objet unique à la fois. Une nouvelle boucle d’interaction est réalisée pour chacune des Q classes d’intérêt. Cette approche a pour particularité de proposer un retour utilisa- teur simple car binaire que l’on peut résumer par la question suivante : le segment proposé appartient-il à la classe courante ? Le système propose une prédiction à l’utilisateur qui peut soit la corriger soit la valider. La boucle d’interaction par passages multiples est dé- crite dans l’algorithme 2.
On définit les variables et fonctions suivantes :
• M : ensemble des modèles de prédiction pour chaque classe.
• L, U : les ensembles des segments de mixtures respectivement étiquetés et non éti- quetés du problème.
• C : ensemble des classes de sons visées.
• S0 : le segment de mixture sélectionné par la procédure d’échantillonnage de seg- ments.
• train(L, Ci) : fonction d’entrainement qui retourne le modèle appris pour la classe Ci avec un ensemble d’échantillons étiquetés L.
• E(τ, Mi) : fonction d’échantillonnage qui retourne le degré d’utilité d’un segment Sτ ∈ U étant donné le modèle Mi.
Algorithme 2 Boucle d’interaction par passages multiples
1 Variable
2 M:ensemble de modèles
3 L,U :ensemble de segments de mixtures
4 C :ensemble de classes
5 S0:segment de mixtures
6 i, Q, τ :entiers
7 Début
8 Pour i variant de 1 à Q Faire
9 Répéter
10 Mi ← train(L, Ci)
11 S0 = arg maxτ ∈UE(τ, Mi)
12 label(S0) ← correction_pm(S0)
13 U ← U \ S0
14 L ← L ∪ S0
15 TantQue l’utilisateur n’est pas satisfait
16 Fin
• correction_pm() : fonction qui demande à l’utilisateur de valider/corriger la prédic- tion.
Dans la boucle d’interaction par passages multiples, pour chaque classe i, Mi est en- trainé avec les exemples de L puis le segment S0 qui maximise la fonction d’utilité E est recherché. Ensuite on demande à l’utilisateur de valider ou corriger S0. Enfin, le segment S0 est enlevé de l’ensemble des segments non étiquetés U puis ajouté à celui des étiquetés L. La boucle tant que est répétée jusqu’à ce que l’utilisateur soit satisfait de la prédiction pour la classe i avant de passer à la classe suivante.
4.6.1.2 Stratégies d’échantillonnage
Dans cette section, nous présentons les différentes stratégies d’échantillonnage qui ont été testées dans le cadre de l’approche par passages multiples. En effet, nous avons défini une fonction de score d’utilité u(k) dans la section 4.5.4.2 qui est utilisée pour calculer l’utilité d’un segment dans l’équation 4.6. Les stratégies d’échantillonnage sont différentes pour les deux approches d’interaction. Dans cette première approche, l’utilisateur se focalise sur une classe unique et le classifieur SVM est bi-classe. Nous cherchons à résoudre un problème OVA classique et par conséquent, il n’y a pas de recombinaison de classifieurs : soit l’échantillon appartient à la classe, soit il appartient à une autre classe. Les stratégies d’échantillonnage suivantes sont les plus courantes :
Stratégie de l’échantillon le plus positif ou “Most Positive” (MP)
Cette stratégie sélectionne les échantillons qui sont considérés par le classifieur comme étant les plus pertinents (Crucianu et al. (2004)). Dans notre cas, nous disposons d’une probabilité a postériori estimant l’appartenance à la classe visée. Par conséquent, les échan- tillons les plus pertinents sont ceux qui maximisent la probabilité a postériori. Géométri- quement, ces échantillons sont les plus éloignés de la surface de décision et du côté positif. Cette stratégie a pour avantage de proposer à l’utilisateur rapidement des échantillons de la classe d’intérêt. L’utilisateur est donc rassuré car il n’a pas beaucoup de corrections à effectuer mais en contrepartie la généralisation peut prendre plus de temps.
Stratégie de l’échantillon le plus négatif ou “Most Negative” (MN) Cette stratégie est le contraire de la précédente : elle sélectionne les échantillons qui sont considérés par le classifieur comme étant les moins pertinents (Wu et al. (2006)). Géométriquement, ces échantillons sont les plus éloignés de la surface de décision et du côté négatif (n’appartenant pas à la classe visée). Cette stratégie a pour avantage d’introduire de la diversité dans les données d’apprentissage en sélectionnant des échantillons considérés comme différents de la classe visée.
Stratégie de l’échantillon le plus ambigu ou “Most Ambiguous” (MA) Cette dernière stratégie (également appelée stratégie de l’échantillon le plus informatif ou “Most Informative” dans la littérature) a pour but de sélectionner les échantillons qui ap- portent le plus d’informations au classifieur (Tong & Chang (2001)). Ainsi, les échantillons sélectionnés sont ceux qui sont les plus proches de la surface de décision dans l’espace des attributs. Cette stratégie a pour avantage de permettre au classifieur d’“affiner” la surface de décision. En théorie, cette approche doit permettre de généraliser rapidement dans le cas d’un classifieur discriminatif.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 p(Ci/Xk) Score Most Positive Most Negative Most Ambiguous
Fig. 4.6 – Courbes de calcul des scores d’utilités pour différentes stratégies Le score d’utilité u(k) est obtenu à partir de la probabilité a postériori en utilisant la courbe correspondante de la figure 4.6. On peut interpréter facilement ces courbes.
Dans le cas de la stratégie MP, les échantillons dont la probabilité est inférieure à 0.5 n’appartiennent probablement pas à la classe en question et auront donc un score nul. Par contre, les échantillons ayant une probabilité forte d’appartenance à la classe auront un score fort comme on peut le voir sur la courbe. Dans le cas de la stratégie MA, les échantillons les plus ambigus sont ceux ayant une probabilité incertaine située autour de la valeur 0.5. Donc, la courbe correspondante admet un score d’utilité maximum pour cette valeur de probabilité et des scores nuls pour les valeurs de probabilités certaines (c’est-à-dire 0 ou 1).
Nous avons réalisé une expérience préliminaire sur les pièces synthétiques du corpus polyphonique afin de comparer les différentes stratégies d’échantillonnage : échantillon le plus ambigu (MA), le plus positif (MP), le plus négatif (MN). Dans cette expérience, nous simulons les interactions avec l’utilisateur pendant la phase de classification. Le corpus synthétique utilisé pour cette expérience est polyphonique (corpus P) et nous utilisons la segmentation “parfaite” obtenue lors de la génération. Ainsi, nous évaluons la f-mesure à chaque itération de l’algorithme pour 100 pièces synthétiques de difficulté intermédiaire (3 sources sonores peuvent apparaitre simultanément au maximum). La simulation boucle jusqu’à ce que le score maximum soit atteint (f − mesure = 1). Nous calculons le score de f-mesure Fi pour la classe Ci en utilisant les prédictions au niveau de chaque segment :
Fi = 2RiPi Ri+ Pi
(4.8) où Ri et Pi sont les mesures de rappel et de précision de la classe i.
Fig. 4.7 – f − mesure en fonction du nombre d’itérations pour 3 stratégies d’échantillon- nage
La figure 4.7 présente une vue globale de la moyenne de f-mesure pour toutes les itérations de l’expérience. La figure 4.8 montre les performances détaillées des 3 stratégies d’échantillonnage sur les premières itérations. Dans cette dernière figure, la marque centrale des boites en fil de fer correspond à la médiane, les bords des boites sont les 25emeet 75eme centiles, les fils de fer s’étendent jusqu’aux minimas et maximas des données. Les deux figures nous permettent de voir que la stratégie MA est la plus performante suivie de la stratégie MP et de MN. La stratégie MA permet d’obtenir un score de f-mesure de 0.95 en 12 itérations en moyenne comme le montre la figure 4.7. Les deux autres stratégies,
Fig.4.8 – Comparaison de performances détaillées pour les premières itérations respectivement MP et MN permettent d’obtenir les mêmes résultats en 19 et 41 itérations. L’efficacité de la stratégie MA avec les classifieurs SVM est un résultat attendu compte tenu du fait que cette stratégie tend à préciser la surface de décision en sélectionnant les échantillons ambigus. Cette expérience nous a permis de vérifier ce résultat sur nos données.