L'objectif de ces premiers tests est d'évaluer la qualité des hypothèses de reconnaissance. En particulier, il s'agit de vérifier que les symboles sont bien détectés, et que l'ensemble des hypothèses de reconnaissance inclut effectivement les classes exactes.
7.2.1. Résultats et analyse
Le tableau 7.1 indique la répartition des hypothèses de reconnaissance, par classe, puis sur tous les symboles : par exemple, la colonne H1 indique dans quelle proportion la classe correcte est présente dans le niveau d'hypothèse H1, sans hypothèse H0 (score de corrélation supérieur au seuil de décision td(k)). La somme des quatre colonnes "H1", "H0+H1", "H2" et "H3" donne le
pourcentage de symboles dont la classe est bien dans les hypothèses de reconnaissance.
Sur le total des symboles, 99.68% ont été correctement analysés. Cela signifie qu'au moins 0.32% des erreurs finales sont faites lors de la segmentation ou de l'analyse individuelle des symboles.
Pour les classes peu ambiguës (typiquement les noires, les barres de mesure), l'hypothèse correcte est située à plus de 99% dans le niveau H1, avec ou sans hypothèses H0, c'est-à-dire que le modèle de classe correspondant obtient le plus haut score de corrélation. En revanche, les classes qui présentent davantage de variabilité (typiquement les altérations, les appoggiatures, les blanches, les quarts et huitièmes de soupir) ont davantage d'hypothèses correctes dans les niveaux H2 ou H3. Ce tableau prouve donc qu'il est nécessaire de générer plusieurs hypothèses de reconnaissance par objet : au total, 0.91% des hypothèses correctes ne correspondent pas au score de corrélation maximal, 2.95% des symboles ne sont pas reconnus de manière certaine (dans la colonne "H1"). On
Chapitre 7 HYPOTHESES CORRECTES (%) Classe H1 H1+H0 H2 H3 TOTAL (%) 99.49 0.06 0.03 0.06 99.64 96.35 02.39 0.90 0.06 99.70 89.85 07.79 01.46 0.32 99.43 45.07 39.20 5.87 1.88 92.02 89.84 05.88 3.39 0.62 99.73 99.79 0.14 0.04 0.00 99.97 80.49 0.70 14.46 2.70 98.34 77.42 20.74 0.92 0.00 99.08 83.17 15.01 0.27 0.00 98.45 57.14 0.00 42.86 0.00 100.00 72.00 10.67 15.33 0.00 98.00 90.90 6.48 1.50 0.00 98.88 93.90 4.78 0.84 0.00 99.52 98.20 1.80 0.00 0.00 100.00 71.72 26.21 0.69 0.00 98.62 TOTAL 96.73 02.04 0.78 0.13 99.68
Tableau 7.1 : Répartition des hypothèses de reconnaissance, par classe, et sur tous les symboles constate cependant que le niveau d'hypothèse H3 semble inutile en ce qui concerne les symboles qui ne sont pas caractérisés par un segment vertical (silences, points, rondes). Il a donc été supprimé.
Le tableau 7.2 donne davantage de détails sur les erreurs. La première colonne indique le pourcentage de symboles qui ne sont pas dans les hypothèses de reconnaissance. Ces erreurs sont de deux sortes : soit le symbole n'est pas détecté, soit il a été détecté, mais sa classe n'a pas été retenue. Les colonnes suivantes, "symbole non détecté" et "confusion", indiquent la proportion des deux types d'erreurs. Enfin, les trois dernières colonnes évaluent le taux de symboles ajoutés, en distinguant deux cas : soit il s'agit d'un symbole qui n'a pas à être reconnu ("Ajout"), soit il s'agit d'une sur-détection (un symbole qui doit être reconnu et qui est détecté plusieurs fois).
Les cas d'hypothèses manquantes ont plusieurs origines. La plus courante est une très mauvaise impression ou une forte dégradation du document. La conséquence est, soit une segmentation fausse (Figure 7.1), soit un rejet de la bonne hypothèse car les critères de préclassification ne sont pas suffisamment satisfaits ou le score de corrélation est trop faible (Figure 7.2). On peut cependant noter que les cas de connexions parasites sont généralement très bien
Résultats
Classe non présente dans les hypothèses de
reconnaissance Hypothèses ajoutées
TOTAL Symbole non détecté Confusion TOTAL Sur-détection Ajout
0.36 0.17 0.19 0.64 0.11 0.53 0.30 0.24 0.06 83.86 0.24 83.62 0.57 0.41 0.16 15.26 7.14 8.12 7.98 1.64 6.34 95.77 0.00 95.77 0.27 0.16 0.12 6.38 4.55 1.83 0.03 0.02 0.01 0.25 0.09 0.16 1.66 1.13 0.52 0.52 0.00 0.52 0.92 0.00 0.92 0.00 0.00 0.00 1.55 1.28 0.27 48.55 0.32 48.23 0.00 0.00 0.00 0.00 0.00 0.00 2.00 1.33 0.67 32.67 0.00 32.67 1.12 0.75 0.37 9.98 0.00 9.98 0.48 0.12 0.36 37.46 21.05 35.41 0.00 0.00 0.00 37.39 0.00 37.39 1.38 0.69 0.69 55.86 0.00 55.86 TOTAL 0.32 0.17 0.15 8.20 0.88 7.32
Tableau 7.2 : Erreurs dans les hypothèses de reconnaissance
résolus. Au contraire, les effacements importants de pixels conduisent presque toujours à une erreur. Le rejet d'hypothèses exactes peut également être dû à l'inadéquation des modèles génériques de classe, combinée à une impression de qualité moyenne et/ou des imprécisions dans l'effacement des lignes de portée (Figure 7.3).
Enfin, certains choix qui ont été faits pour la segmentation et la préclassification, sont l'origine de quelques erreurs. La figure 7.4 résume les principaux cas. Ils sont néanmoins très marginaux par rapport aux précédentes sources d'erreurs, à l'exception du problème plus récurrent de la préclassification erronée de certaines blanches (d).
On constate dans le tableau 7.2 que de nombreux symboles sont ajoutés. Les sur-détections ont différentes origines : la plus fréquente concerne les dièses et les bécarres, qui, présentant deux segments verticaux, peuvent être détectés deux fois (paragraphe 3.2.2, Figure 3.29). Les soupirs font également l'objet de plusieurs détections, puisqu'ils peuvent être analysés en tant que symbole caractérisé par un segment vertical (paragraphe 4.2), ou en tant que silence (paragraphe 4.3). Cette
Chapitre 7
Figure 7.1 : Exemples de défauts graves de segmentation, dus à de fortes dégradations de l'image
Figure 7.2 : Exemples de symboles dont la classe n'est pas présente dans les hypothèses, à cause de la mauvaise qualité du document original. (rejet de la classe en préclassification (Tableau 4.1) ou lors de la sélection d'hypothèses (Tableau 4.3)).
Figure 7.3 : Exemples de symboles inadaptés aux modèles de classe. Les scores de corrélation obtenus par les modèles de référence sont trop faibles, et ne passent pas les règles de sélection d'hypothèses (Tableau 4.3).
Résultats
(a) (b) (c) (d) (e) (f) Figure 7.4 : Exemples d'erreurs liées à la méthodologie et au document
(a) La détection certaine (hypothèse H1 sans hypothèse H0) d'une appoggiature empêche la recherche d'un silence au- dessous (paragraphe 4.3.1); (b) L'effacement de tous les empans courts satisfaisant aux équations 3.25 et 3.26, conduit à effacer partiellement le point au-dessous de la portée, car il n'est pas à une position usuelle; (c) Le point n'est pas dans la zone de recherche définie par l'équation 4.9; (d) L'effacement des lignes de portée dégrade la tête de note blanche ; en conséquence, la possibilité d'une note est rejetée en préclassification (Tableau 4.1). Comme par ailleurs une barre de mesure est détectée avec un score de corrélation suffisant, cette erreur n'est pas rattrapée (paragraphe 4.2.4); (e) Le dièse n'est pas détecté au bon endroit (résultat en noir). Cette erreur est due à 3 causes : la présence de la barre de mesure à cette distance, un modèle de classe insuffisamment ressemblant, la plage de corrélation assez large (sI/2 dans la direction horizontale, tableau 4.2); (f) Un unique point est recherché après les têtes de note ou les silences,
et le second point n'est pas détecté.
redondance devrait être simple à éliminer, car les soupirs sont généralement bien isolés des autres symboles. Des segments verticaux très épais conduisent également à des sur-détections. Cela concerne notamment les bémols et les notes.
Les diverses inscriptions qui ne correspondent pas à des symboles à reconnaître, en particulier les textes, conduisent à des ajouts de symboles, essentiellement de bémols et d'appoggiatures. Les ajouts de silences sont dus à des confusions avec des liaisons, des queues de note, ou d'autres signes sur la portée. En ce sens, une segmentation préalable des silences, par analyse de connexité, suivie d'une préclassification, réduirait considérablement le taux de ces hypothèses supplémentaires. Enfin, les points ajoutés proviennent de bruits, de fragments de lignes de portée additionnelles incomplètement effacées, ou encore des points de staccato. La figure 7.5 montre quelques exemples de ces hypothèses inutiles.
Figure 7.5 : Exemples d'hypothèses ajoutées
Chapitre 7
correctement analysé. Les taux évoluent entre 1.1, pour la classe "noire" qui présente le moins d'ambiguïté, et 2.4 pour la classe "appoggiature" qui présente le plus d'ambiguïté. Ils sont pour la plupart inférieurs à 2, ce qui tend à prouver que les critères utilisés pour la sélection d'hypothèses sont bien définis. Des seuils plus bas résoudraient quelques-uns des problèmes illustrés dans la figure 7.3, mais conduiraient à davantage d'hypothèses, donc également à davantage d'ambiguïté dans les étapes ultérieures. Les expérimentations ont montré que les choix qui ont été faits constituent le meilleur compromis.
Classe Taux Classe Taux
1.00 1.17 1.38 1.71 2.26 2.10 2.40 1.95 2.04 1.92 1.10 1.46 1.80 1.76 1.36 TOTAL 1.19
Tableau 7.3 : Nombre moyen d'hypothèses par symbole bien détecté
7.2.2. Conclusion
Les prétraitements, la segmentation et l'analyse individuelle des symboles conduisent donc à de bons résultats, avec néanmoins 0.32% de symboles incorrects et 8.20% de symboles ajoutés. Les tests réalisés sur une large base de données tendent à prouver que les nombreux paramètres qui ont été définis ne sont pas restrictifs, mais qu'ils modélisent correctement la notation musicale (voir également les tests de robustesse décrits dans la section 7.3.4). L'axe principal d'amélioration consisterait à réduire le nombre de fausses détections. On peut, pour cela, envisager une détection préalable des textes [Fletcher, Kasturi 88], ainsi qu'une segmentation et une préclassification des symboles qui ne sont pas caractérisés par un segment vertical. Il est à noter que la méthode de segmentation des autres symboles est performante. Elle permet généralement de surmonter le problème des connexions parasites. En revanche, elle échoue en cas de dégradations trop importantes des segments (pixels noirs effacés), et il faudrait, pour les partitions présentant ces défauts, envisager des techniques de restauration. Il serait également intéressant d'étudier plus en détail les différentes polices, afin d'optimiser les modèles génériques de classe et d'en proposer éventuellement davantage. L'ambiguïté serait alors probablement réduite.