L’évaluation

5.1.1. Bases de données

Toutes les expérimentations sont effectuées avec les bases des données détaillées dans le chapitre 3. La base CIEL de symboles isolés est découpée en deux parties. La première (180 scripteurs) est utilisée pour l’apprentissage des classifieurs isolés. La deuxième partie (100 scripteurs) sert à évaluer ces classifieurs.

En ce qui concerne les bases d’expressions, la partie utilisée pour l’apprentissage global du système (classifieurs et modèles structurels) est résumée dans le Tableau 15.

Tableau 15 - Constitution des bases d'apprentissage d'expressions

Base #Scripteurs #Symboles #Expressions

Calculette 180 5448 900

RamanReduced_CIEL 180 74160 6480

RamanReduced_IROCIEL 200 82400 7200

Le Tableau 16 résume les bases d’expressions utilisées pour évaluer la performance du reconnaisseur d’expressions mathématiques.

148

Tableau 16 - Constitution des bases de test d'expressions

Base Nature #Scripteurs #Symboles #Expressions Calculette Synthétique 100 3051 500 RamanReduced_CIEL Synthétique 100 41200 3600 RamanReduced_Réelle Réelle 10 784 70 RamanReduced_Wiki_CIEL Réelle 166 1477 211

5.1.2. Les mesures d’évaluation

Nous nous sommes limités aux trois mesures suivantes pour évaluer les performances du reconnaisseur d’expressions mathématiques (cf. chapitre 3):

- Le taux de segmentation : symboles de total nombre segmentés bien symboles de nombre segRate=

- Le taux de reconnaissance des symboles : symboles de total nombre reconnus bien symboles de nombre recoRate=

- Le taux de reconnaissance d’expressions : s expression d' total nombre reconnues bien s expression d' nombre expRate=

Ces mesures sont utilisées pour évaluer la reconnaissance d’expressions, mais aussi pour valider l’apprentissage.

Il pourrait sembler judicieux de mesurer les performances en termes de rejet des mauvaises hypothèses de segmentation, par exemple grâce à un taux de fausses acceptations ou de vrais rejets. Toutefois, cette évaluation est difficile à cause de la grande quantité et variété des mauvaises hypothèses générées par rapport aux vrais symboles (en moyenne 61 mauvaises segmentations pour chaque symbole d’une expression). Cette mesure n’est pas forcement pertinente dans notre système car celui-ci permet de prendre en compte plusieurs résultats de classification de chaque hypothèse : la bonne réponse (rejet ou symbole) peut être en seconde position et néanmoins retenue par la solution globale.

5.1.3. Protocole expérimental

Une expérimentation consiste en deux étapes : l’apprentissage du classifieur puis l’évaluation de la performance du reconnaisseur d’expressions. L’apprentissage peut être isolé ou global.

Dans le cas isolé, le classifieur est entraîné sur la base isolée et ensuite utilisé dans le reconnaisseur d’expressions.

L’apprentissage global est effectué avec une base d’apprentissage d’expressions. Dans un apprentissage libre (sans grammaire) le résultat de la

Expérimentations et résultats

149

reconnaissance d’une expression manuscrite est un ensemble de regroupements de traits reconnus comme symboles sans aucune information contextuelle. Dans ce cas, pendant l’apprentissage nous n’utilisons que les taux de segmentation et de reconnaissance des symboles. Ce dernier est le critère que nous avons choisi pour arrêter l’apprentissage. En pratique, le nombre d’itérations est assez large pour assurer la convergence du classifieur. Le classifieur qui correspond à l’itération avec le taux de reconnaissance maximal de la base d’apprentissage est celui conservé pour les tests. Les taux obtenus lors de cet apprentissage ne correspondent pas à la performance finale. En effet le système final utilise une grammaire permettant de n’obtenir que des expressions valides, ce qui n’est pas le cas pendant l’apprentissage. En conséquence, l’évaluation complète d’un tel classifieur se fera en utilisant le classifieur obtenu associé à la grammaire du domaine désiré.

Quant à l’apprentissage contraint (avec grammaire), la grammaire est utilisée au cours de l’apprentissage et les résultats sont des expressions valides conformes au domaine désiré. Dans ce cas, le classifieur conservé en fin d’apprentissage est celui donnant la meilleure performance au niveau du taux d’expressions.

Dans tous les cas, les classifieurs obtenus lors de l’apprentissage sont ensuite utilisés dans le reconnaisseur d’expressions pour être testés sur les bases de test. Il est à noter que les résultats obtenus sur une base de test peuvent se différencier d’une expérimentation à une autre. Cela vient du fait que les expérimentations ont été réalisées tout au long des travaux de thèse, et donc les conditions expérimentales sont différentes selon l’évolution du système. Par exemple, les paramètres t et s (décalage et ratio de taille) vus précédemment dans le chapitre 4 ont changé au fur et à mesure sans vouloir les optimiser explicitement.

5.1.4. Classifieurs utilisés

Nous avons testé dans ces expérimentations trois classifieurs différents. Pour le premier, nous avons choisi un perceptron multicouches (PMC, voir description section 4.3.2.1), avec une seule couche cachée utilisant 100 neurones. Le second classifieur est un réseau de neurones à convolution (TDNN, voir description section 4.3.2.5), avec une couche cachée à sept neurones. Chacun de ces neurones voit une fenêtre de vingt points du signal d’entrée avec un décalage de 5 points d’un neurone à un autre. La partie PMC comporte aussi une couche cachée à 100 neurones. Le dernier classifieur utilisé est un séparateur à vaste marge (SVM, voir description section 2.2.4) utilisant un noyau Gaussien (C=100 et SDT=10).

Pour les classifieurs isolés, le nombre de sorties est égale au nombre de classes des symboles. Une sortie additionnelle est ajoutée s’il s’agit d’un classifieur global avec rejet.

150

En ce qui concerne le classifieur de rejet de l’architecture hybride (voir section 4.3.3.2), nous utilisons soit un PMC avec seulement 50 neurones dans la couche cachée, soit un TDNN pour le cas où le classifieur cible est aussi un TDNN. D’autres types de classifieurs de symboles peuvent être utilisés puisque celui-ci est appris indépendamment du reste du système dans le cadre de cette architecture hybride. Le Tableau 17 compare les résultats obtenus avec ces trois classifieurs.