Apprentissage global

5.5.1. Effet du choix du modèle de grammaire pendant

l’apprentissage (modèle libre Vs modèle contraint)

Dans un apprentissage avec un modèle de grammaire, celle-ci est utilisée pour contraindre les résultats de reconnaissance. Par contre, un apprentissage avec un modèle libre n’imposera aucune contrainte aux résultats obtenus. Dans les deux cas, les résultats obtenus sont ensuite comparés de la même façon avec la vérité terrain pour entraîner le classifieur (cf. chapitre 4). Les résultats dans le Tableau 20 sont obtenus en utilisant la modélisation géométrique avec un TDNN comme classifieur ; le modèle contraint utilise la grammaire RamanReduced (cf. Annexe D-2).

Expérimentations et résultats

159

Tableau 20 - Performance du reconnaisseur en fonction de modèle de langage utilisé pendant l’apprentissage

RamanReduced_CIEL

Modèle de langage en

apprentissage segRate recoRate expRate

Libre 86,9 84,6 61,8

Contraint 82,2 81,4 47,3

RamanReduced_Réelle

Modèle de langage en

apprentissage segRate recoRate expRate

Libre 78,7 72,5 27,1

Contraint 70,1 63,9 22,9

Le Tableau 20 montre qu’un apprentissage libre est beaucoup plus bénéfique par rapport à un contraint. Ce résultat peut sembler a priori inattendu. L’explication se situe sûrement dans la diversité des situations rencontrées lors de l’apprentissage non contraint par la grammaire, ce qui permet de bien apprendre la classe de rejets. A l’inverse, lorsque le résultat doit respecter la grammaire, il supporte moins de liberté de segmentation, et la classe rejet sera moins bien apprise.

5.5.2. Influence de l’utilisation de scripteurs virtuels

Le choix de la base d’apprentissage est essentiel pour pouvoir bien entraîner le classifieur de symboles. Elle doit être bien représentative du domaine du corpus, mais aussi comporter une bonne variabilité de styles d’écriture. Pour le moment l’apprentissage global s’appuie sur une base d’expressions synthétiques dans le but d’avoir une grande quantité d’expressions. Comme nous l’avons vu dans le chapitre 3, une des limites du générateur d’expression réside dans la répétition du même échantillon pour toutes les occurrences d’un symbole.

Les résultats présentés Tableau 21 sont obtenus en utilisant deux bases d’expressions pour l’apprentissage. La première, RamanReduced_CIEL, avec

la contrainte des échantillons répétés. La deuxième,

RamanReduced_IROCIEL, est générée avec des scripteurs virtuels depuis les bases isolées IROCIEL. Dans ces expériences, un reconnaisseur avec une modélisation gaussienne pour le modèle structurel est utilisé. Dans les deux cas, les paramètres du reconnaisseur ont été optimisés sur la base de test RamanReduced_CIEL.

160

Tableau 21 - Performance du reconnaisseur en fonction de la base d’apprentissage utilisée

RamanReduced_CIEL (test)

Base d’apprentissage segRate recoRate expRate

RamanReduced_CIEL 91,4 88,7 64,9

RamanReduced_IROCIEL 94,3 92,1 71

RamanReduced_réelle

Base d’apprentissage segRate recoRate expRate

RamanReduced_CIEL 83,9 76,2 27,1

RamanReduced_IROCIEL 86 81,4 38,6

RamanReduced_Wiki_CIEL

Base d’apprentissage segRate recoRate expRate

RamanReduced_CIEL 82,5 78 45,5

RamanReduced_IROCIEL 89,5 86,5 52,6

En comparant les taux de reconnaissance individuels des lettres et chiffres entre les deux bases d’apprentissage, nous constatons que l’introduction des scripteurs virtuels améliore la reconnaissance de ces classes. Par exemple, le taux de reconnaissance du ‘1’ augmente de 88.6% à 94%, et celui du ‘n’ de 84% à 97%. Puisque les lettres et les chiffres sont les symboles les plus fréquents dans les expressions, cette amélioration est accompagnée d’une amélioration de performance globale du système. Nous constatons une amélioration de 7% sur la base RamanReduced_CIEL, de 7% RamanReduced_Wiki_CIEL et de 11% sur la base RamanReduced_réelle.

5.5.3. Choix de la stratégie d’apprentissage

Tous les systèmes présentés précédemment sont entraînés avec la stratégie d’apprentissage global pur. Pour profiter encore plus de la base de symboles isolés, nous avons cherché à étendre l’apprentissage du classifieur de symboles, soit en poursuivant celui-ci après la phase globale avec un apprentissage isolé (globo-isolé), soit en l’initialisant par la base isolée (iso- global), ou même en considérant les symboles de la base isolée en tant qu’expressions (iso en global) (cf. section 4.4).

5.5.3.1. Apprentissage globo-isolé

Dans cette stratégie, le classifieur appris globalement est renforcé par un apprentissage isolé. L’objectif est d’améliorer la reconnaissance des classes qui sont peu présentes dans la base d’expressions. Nous avons considéré un classifieur global appris sur la base d’apprentissage RamanReduced_CIEL. Pour optimiser la reconnaissance des symboles isolés, le classifieur a été ensuite entraîné sur la base isolée IROCIEL. Comme variante à cette stratégie, nous avons aussi considéré l’ajout à cette base isolée, d’exemples de rejets choisis aléatoirement au cours de l’apprentissage global.

Expérimentations et résultats

161

Le Tableau 22 montre la performance du classifieur étendu appris après une seule itération d’apprentissage isolé, et aussi après un apprentissage isolé complet (jusqu'à la convergence du classifieur).

Tableau 22 - Performance du reconnaisseur en utilisant un classifieur globo-isolé comparé à un classifieur global pur

RamanReduced_réelle

RamanReduced_isolé RamanReduced_réelle Base d’apprentissage Performance isolé segRate recoRate expRate

Global (pur) 93,5 87,7 80,2 28,6 Globo-Isolé (1 itération) [IROCIEL] 94,3 82,5 75,3 22,9 Globo-Isolé [IROCIEL] 95,1 59,1 53,7 11 Globo-Isolé (1 itération) [IROCIEL]+rejet 94 79,5 71,4 20 Globo-Isolé [IROCIEL]+rejet 94,7 64 58,2 20

Nous constatons à la lecture du Tableau 22 que la performance du classifieur s’améliore en isolé. Par contre, quand il est testé sur la base d’expressions RamanReduced_réelle la performance chute rapidement. Le taux de reconnaissance des symboles décroît de 80.2% à 75.3% après une itération et à 53.7% à la fin de l’apprentissage. Cette chute de performance s’explique par le fait que le classifieur oublie la classe rejet puisque il ne rencontre plus d’exemples de cette classe dans la base additionnelle. En effet, les paramètres du classifieur vont être mis à jour de sorte à améliorer la reconnaissance des autres classes sans considérer le rejet. L’ajout de quelques exemples de rejet dans la base isolée permet de limiter cet effet, néanmoins, on note même dans ce cas une baisse des performances, car ces exemples ne sont pas suffisants pour généraliser cette classe.

5.5.3.2. Apprentissage iso-global / iso en global

L’idée de ces deux stratégies est de profiter de la base isolée pour renforcer l’apprentissage global du classifieur. Un apprentissage iso-global consiste à initialiser le classifieur avec un apprentissage en isolé puis à continuer son apprentissage en global. La seconde stratégie utilise la base isolée directement dans l’apprentissage global en tant qu’expressions à un seul symbole. Dans ces expériences, un reconnaisseur avec une modélisation gaussienne pour le modèle structurel est utilisé.

La première ligne du Tableau 23 est la performance du reconnaisseur d’expressions avec un classifieur appris en global (global pur) sur la base d’apprentissage RamanReduced_CIEL. La deuxième est celle d’un classifieur appris en isolé sur la base CIEL et puis en global sur RamanReduced_CIEL. La dernière ligne est le cas où on considère les deux bases (symboles isolés, expressions) dans l’apprentissage global.

162

Tableau 23 - Performance du reconnaisseur en fonction de la stratégie d’apprentissage

RamanReduced_CIEL

Stratégie d’apprentissage segRate recoRate expRate Global Pur 91,4 88,7 64,9

Iso-global 94,2 92,5 70,6 Iso en global 93 90,8 69,6

RamanReduced_réelle

Stratégie d’apprentissage segRate recoRate expRate Global Pur 83,9 76,2 27,1

Iso-global 87,8 81,1 31,4 Iso en global 78,4 74,2 32,9

RamanReduced_Wiki_CIEL

Stratégie d’apprentissage segRate recoRate expRate

Global Pur 82,5 78 45,5

Iso-global 87,5 82,5 44,5 Iso en global 85,7 83 49,8

Les résultats du Tableau 23 montrent l’intérêt de renforcer l’apprentissage global avec la base isolée. En particulier, l’apprentissage iso-global améliore nettement la performance du reconnaisseur sur les trois bases de test.