Évaluation des connaissances

Dans cette partie nous évaluons de façon quantitative les capacités de pré-diction des modèles présentés dans la partie précédente. Pour chaque expé-rience, le modèle interpolé est comparé aux sous-modèles pris séparément. Après estimation des différentes probabilités des sous-modèles sur le corpus d’apprentissage et optimisation des coefficients des modèles sur le corpus de validation, nous utilisons ici le corpus de test pour obtenir les scores d’entro-pie croisée des modèles. Les tableaux présentés dans cette partie montrent les

Note à note ^{coefficients Entropie croisée} λ₁ λ₂ α β H P₁+P₂ 0,526 0,182 0,292 0 3,231 P1 0,801 0 0,199 0 3,285 P₂ 0 0,756 0,244 0 3,300 unigramme seul 0 0 1 0 3,467

Tableau ^{4.1 – Entropie croisée (bits/note) pour la prédiction de mélodies} improvisées note à note avec une interpolation linéaire. Les lignes du tableau présentent les résultats pour l’interpolation des sous-modèles de bigramme et mélodie/accord (P₁+P₂), puis pour le bigramme seul (P₁), puis pour le modèle mélodie/accord (P₂), puis pour l’unigramme seul.

coefficients obtenus après optimisation sur le corpus de validation et les scores d’entropie croisée obtenus sur le corpus de test.

Dans un premier temps, nous avons évalué la capacité de prédiction du modèle avec une interpolation linéaire dans le cas où la mélodie est considérée note à note. Dans ce cas, Mt correspond à la t^ème note de la mélodie et Ct correspond à l’accord qui résonne lors de l’attaque deM_t(c’est-à-dire l’accord joué en même temps que la note s’il y en a un ou l’accord joué précédemment sinon). Nous obtenons alors les scores présentés dans le Tableau 4.1. Tout d’abord, nous pouvons constater que l’interpolation des deux sous-modèles permet d’obtenir un meilleur pouvoir de prédiction de mélodies improvisées au sens de l’entropie croisée que les sous-modèles pris séparément. Nous pouvons voir également que le bigramme sur la mélodie a une importance supérieure au sous-modèle relationnel entre mélodie et harmonie. Cela semble cohérent par rapport au style bebop du corpus. En effet, le bebop possède un langage très chromatique dont les phrases passent parfois par-dessus l’harmonie. Ce-pendant, l’organisation des phrases est dirigée par cette harmonie, ce qui peut expliquer pourquoi une amélioration est obtenue dans le modèle interpolé. Nous pouvons aussi remarquer que le lissage additif n’est pas nécessaire dans cette situation (β = 0). Ceci peut être expliqué par le fait que l’ensemble des événe-ments présents dans le corpus de test (que ce soit des couples de notes ou des couples note-accord) est également présent dans le corpus d’apprentissage.

Dans un second temps, nous avons testé comment l’interpolation s’adapte lorsque l’on considère la mélodie non pas note à note mais par trames tem-porelles. Nous avons fait varier la longueur de trame d’un demi-temps jusqu’à quatre temps. Dans ce cas, la mélodieM_t correspond à la liste des notes dont l’attaque a lieu dans la tramet, sans prendre en considération leur ordre tem-porel (c’est-à-dire que la séquencefa sol la jouée dans une même trame et la séquencesol la fa ont la même représentation). De même,C_tcorrespond à l’ac-cord ou à la liste d’acl’ac-cords dont l’attaque a lieu dans la tramet, sans prendre en considération leur ordre temporel. Ici encore, nous utilisons une interpola-tion linéaire des modèles. Nous obtenons les scores présentés dans le Tableau 4.2. Encore une fois, nous pouvons constater que pour toutes les longueurs de trames considérées, l’interpolation des deux sous-modèles permet d’obtenir un

Trame = 1/2 temps ^{Coefficients Entropie croisée} λ₁ λ₂ α β H(M) P₁+P₂ 0.693 0.031 0.276 0 2.951 P₁ 0.714 0 0.286 0 2.956 P₂ 0 0.623 0.377 0 3.224 unigramme seul 0 0 1 0 3.719 Trame = 1 temps ^{Coefficients Entropie croisée}

λ₁ λ₂ α β H(M)

P₁+P₂ 0.582 0.129 0.289 0 4.543

P₁ 0.672 0 0.328 0 4.572

P₂ 0 0.639 0.361 0 4.881 unigramme seul 0 0 0.998 0.002 5.858 Trame = 2 temps ^{Coefficients Entropie croisée}

λ1 λ2 α β H(M)

P₁+P₂ 0.187 0.508 0.303 0.002 6.824

P₁ 0.392 0 0.602 0.006 7.382

P₂ 0 0.671 0.327 0.002 6.937 unigramme seul 0 0 0.992 0.008 8.396 Trame = 4 temps ^{Coefficients Entropie croisée}

λ1 λ2 α β H(M)

P1+P2 0.027 0.372 0.553 0.048 9.846

P1 0.082 0 0.762 0.156 10.500

P2 0 0.390 0.557 0.053 9.868 unigramme seul 0 0 0.818 0.182 10.713 Tableau ^{4.2 – Entropie croisée (bits/trame) pour la prédiction de mélodies} improvisées par trame avec interpolation linéaire. Les lignes du tableau pré-sentent les résultats pour l’interpolation des sous-modèles de bigramme et mé-lodie/accord (P₁+P₂), puis pour le bigramme seul (P₁), puis pour le modèle mélodie/accord (P2), puis pour l’unigramme seul.

Note à note ^{coefficients Entropie croisée}

γ₁ γ₂ H(M)

P₁+P₂ 0,973 0,267 3,114

P1 1 0 3,285

P₂ 0 1 3,300

Tableau^{4.3 – Entropie croisée (bits/note) pour la prédiction de mélodies} im-provisées note à note avec une interpolation log-linéaire. Les lignes du tableau présentent les résultats pour l’interpolation des sous-modèles de bigramme et mélodie/accord (P1+P2), puis pour le bigramme seul (P1), puis pour le modèle mélodie/accord (P₂).

meilleur pouvoir de prédiction de mélodies improvisées au sens de l’entropie croisée que les modèles pris séparément. Nous pouvons également remarquer que le choix de la longueur de trame a un impact important sur les coefficients des modèles. Le modèle de bigramme prend une importance plus grande pour des longueurs de trame courtes, alors que le modèle mettant en relation mé-lodie et harmonie prend le dessus pour des longueurs de trame plus élevées. Ceci peut s’expliquer par le fait que les accords changent en moyenne une fois toutes les mesures et donc que les trames de deux ou quatre temps caracté-risent mieux l’évolution harmonique, alors que les trames d’un demi-temps ou d’un temps sont plus adaptées pour considérer une évolution mélodique. De plus, le lissage devient de plus en plus important lorsque la longueur de trame s’agrandit. Cela s’explique par le fait que les séquences considérées pour chaque trame deviennent de plus en plus longues et donc que la taille du vocabulaire s’agrandit en même temps que le nombre de trames considérées diminue. Il est important de noter que l’on ne peut pas comparer les scores d’entropie croisée pour des trames de longueurs différentes, car la taille de vocabulaire varie pour chaque taille de trame, ce qui a un impact dans le calcul de l’entropie croisée. Finalement, nous avons voulu comparer la capacité de prédiction du sys-tème lorsque l’on utilise une interpolation log-linéaire dans le cas où la mélodie est considérée note à note. Nous obtenons les résultats présentés dans le Ta-bleau 4.3. De manière similaire à l’interpolation linéaire, nous obtenons un meilleur pouvoir de prédiction de mélodies improvisées au sens de l’entropie croisée pour le modèle interpolé que pour les sous-modèles pris séparément. Encore une fois, les séquences étant prises note à note, le bigramme sur la mélodie a une importance supérieure au sous-modèle relationnel entre mélodie et harmonie. Cependant, si l’on compare les résultats obtenus entre l’inter-polation linéaire et l’interl’inter-polation log-linéaire, nous pouvons remarquer que l’interpolation log-linéaire permet un meilleur pouvoir de prédiction au sens de l’entropie croisée. Bien qu’elle soit plus lourde en calcul du fait du plus grand nombre de coefficients et par la normalisation parZ, elle permet d’obtenir une amélioration relative du pouvoir de prédiction de 3,6% au sens de l’entropie croisée.

De manière générale, ces résultats sont encourageants. Bien que l’améliora-tion en terme d’entropie croisée est assez faible, l’interpolal’améliora-tion de sous-modèles

permet d’obtenir un meilleur pouvoir de prédiction dans l’ensemble des cas étudiés, alors que nous utilisons seulement deux sous-modèles très simples. Les meilleurs résultats sont obtenus avec l’utilisation de l’interpolation log-linéaire. Nous utiliserons alors, par la suite, l’interpolation log-linéaire note-à-note pour les applications présentées dans les parties suivantes nécessitant un apprentis-sage de connaissances multidimensionnelles. Il est cependant difficile de définir si l’entropie croisée rend correctement compte de la qualité perçue dans le cas de la musique improvisée. L’entropie croisée mesure la capacité de prédiction et donc de reproduction d’un système, alors que l’improvisation n’est pas une pratique basée uniquement sur la reproduction, mais sur la variété dans l’ex-pressivité du musicien. De plus, le modèle probabiliste forme un ensemble de connaissances globales qui ne prend pas en compte l’organisation locale d’une improvisation. Nous avons alors décidé de combiner ce modèle de connaissances avec un oracle des facteurs représentant une mémoire locale.