Inertie du système

Cette section s’attache à évaluer l’intérêt de l’oubli pour maintenir le gain de l’ap-prentissage et limiter l’inertie du système. Nous allons commencer par mettre en évidence l’augmentation de l’inertie du modèle de connaissance du système. Ensuite, nous allons comparer l’inertie d’Evolve ∞ à celle d’Evolve et montrer qu’elle reste faible et constante, même à long terme. Cette capacité d’apprentissage infini est permise par l’intégration d’oubli dans le processus d’apprentissage, comme présenté en section 5.4 notamment.

Chapitre 7. Évaluation du classifieur évolutif en-ligne Evolve ∞ 133 0 50 100 150 0 20 40 60 80 100 Nombre de données T aux de reconnaissance (%) Evolve Evolve infinity Nearest Neigbhor Naive Bayes

Figure 7.4 – Base de données ILGDB – Comparaison de la vitesse d’apprentissage d’Evolve ∞ à celle d’Evolve, d’un classifieur du plus proche voisin et d’un classifieur Bayésien naïf.

7.4.1 Mise en évidence du problème

Pour évaluer l’inertie du modèle de connaissance du système, nous mesurons le nombre d’exemples nécessaires pour apprendre de nouvelles classes. Nous avons entrainé le clas-sifieur Evolve sur 7 classes de la base de données Ironoff-digits, pendant plus ou moins longtemps, puis nous avons introduit les 3 dernières classes. Les résultats sont moyennés sur 30 ordres de présentation des données différents en faisant varier les classes introduites en cours d’apprentissage.

La figure 7.5 montre l’évolution du taux de reconnaissance lors de l’ajout de ces nou-velles classes. En regardant les résultats d’Evolve, dont l’apprentissage n’intègre pas d’oubli, il est clair que sa réactivité décroit avec le temps. Il est flagrant que plus les nouvelles classes sont introduites tard, plus le temps nécessaire à leur apprentissage est important. Après l’apprentissage de 2 100 données, il faut 400 exemples supplémentaires pour faire remonter le taux de reconnaissance au-dessus de 90% après l’ajout des 3 nouvelles classes. L’inertie de son modèle de connaissance augmente et sa capacité d’apprentissage diminue au fur et à mesure. Au bout d’un certain temps, Evolve n’apprend plus, le classifieur n’est pas réellement évolutif.

Dans Evolve, le poids donné à chaque donnée lors de l’apprentissage est inversement proportionnel au nombre de données apprises jusque-là. Le gain de l’apprentissage diminue donc avec le temps, et le modèle de connaissance d’Evolve tend à se figer. Par conséquent, l’inertie du classifieur Evolve augmente avec le temps, et il perd rapidement ses capacités

0 500 1000 1500 2000 2500 3000 75 80 85 90 95 100 Nombre de données T aux de reconnaissance (%) 240 330 540 730

Figure 7.5 – Base de données Ironoff-digits – Évolution de l’inertie du système Evolve avec le temps. Les différentes courbes correspondent à différentes durée d’apprentissage avant l’introduction des nouvelles classes. Courbe noire : introduction de toutes les classes dès le début ; courbe bleue : introduction après 10% des exemples ; courbe orange : introduction après 30% des exemples ; courbe rouge : introduction après 50% des exemples.

d’évolution. Ce scenario de test montre clairement la nécessité d’introduire de l’oubli dans l’apprentissage d’un système pour qu’il reste évolutif indéfiniment.

7.4.2 Insuffisance des techniques existantes

La manière la plus simple d’intégrer de l’oubli dans l’algorithme des moindres carrés récursifs est l’utilisation d’un facteur d’oubli exponentiel (comme présentée en section 4.5 page 76). Le problème du facteur d’oubli exponentiel est qu’il fait diverger certains éléments de la matrice de covariance de l’algorithme des moindres carrés récursifs, ce qui entraine un oubli catastrophique. La figure 7.6 met en évidence le phénomène d’oubli catastrophique, qui cause l’effondrement du système. Cet effondrement se produit à plus ou moins long terme suivant le facteur d’oubli utilisé, mais se produit inéluctablement. Il est dû à la divergence de certains éléments de la matrice de covariance utilisée par l’algorithme des moindres carrés récursifs. Ce phénomène est la conséquence de l’utilisation du facteur d’oubli exponentiel.

Il est nécessaire d’intégrer de l’oubli dans le processus d’apprentissage afin de maintenir les capacités d’évolution du système, mais sans pour autant provoquer son effondrement. La méthode d’oubli doit à la fois garantir la non-convergence de la matrice de covariance pour

Chapitre 7. Évaluation du classifieur évolutif en-ligne Evolve ∞ 135 0 500 1000 1500 2000 2500 3000 75 80 85 90 95 100 Nombre de données T aux de reconnaissance (%) f = 1 f = 0.995 f = 0.99 f = 0.98 f = 0.95

Figure 7.6 – Base de données Ironoff-digits – Phénomène d’oubli catastrophique lors de l’utilisation d’un facteur d’oubli exponentiel dans l’algorithme des moindres carrés recursifs. Les performances du système Evolve s’effondrent, à plus ou moins long terme suivant le facteur d’oubli utilisé. Plus l’oubli est important, plus l’effondrement des conclusions se produit rapidement.

maintenir le caractère évolutif du classifieur, mais également garantir sa non-divergence pour éviter le phénomène d’oubli catastrophique. L’utilisation d’un facteur d’oubli ne per-met pas de garantir ces propriétés de non-convergence ni de non-divergence, et n’est donc pas adaptée. Il est nécessaire d’oublier la connaissance qui a été apprise au bout d’un certain temps. Nous allons montrer l’efficacité du nouvel algorithme d’oubli qui est utilisé dans Evolve ∞ (voir section 5.4 page 92).

7.4.3 Validation d’Evolve ∞

Nous avons testé l’évolutivité et la réactivité d’Evolve ∞, et nous les avons comparées avec celles d’Evolve. Pour cela, nous avons utilisé le même protocole en entrainant le système avec 7 classes, pendant des périodes de temps plus ou moins longues (400, 1 200 et 2 000 exemples d’apprentissage), puis nous avons introduit 3 nouvelles classes. Nous avons alors mesuré le temps nécessaire pour mettre à jour le modèle de connaissance et apprendre les nouvelles classes. La figure 7.7 présente les résultats qui sont moyennés sur 30 expériences, avec différentes classes et des ordres des données aléatoires.

Au contraire d’Evolve, l’intégration d’oubli dans l’algorithme d’apprentissage permet à Evolve ∞ de limiter l’inertie de son modèle de connaissance. Le classifieur a besoin du même nombre d’exemples d’apprentissage pour intégrer de la nouveauté, peu importe

0 500 1000 1500 2000 2500 3000 75 80 85 90 95 100 Nombre de données T aux de reconnaissance (%) 240 240 240 240

Figure 7.7 – Base de données Ironoff-digits – Évolution de l’inertie du système Evolve ∞ avec le temps. L’apprentissage de nouvelles classes après différentes durées d’apprentissage nécessite toujours le même nombre d’exemples.

quand elle est introduite. La réactivité d’Evolve ∞ est indépendante de son âge, le système conserve ses capacités d’évolution indéfiniment.

La figure 7.8 présente les résultats obtenus avec différentes techniques d’oubli, lors de l’ajout de 3 nouvelles classes après 1200 exemples d’apprentissage. Les trois techniques d’oubli sont l’utilisation d’un facteur d’oubli (Evolve Forgetting Factor), le désapprentissage des anciennes données (Evolve Unlearning) et l’oubli directionnel différé (DDF) utilisé dans Evolve ∞ (Evolve Infinity). Toutes ces techniques permettent d’obtenir un système réactif. L’utilisation du facteur d’oubli exponentiel n’est cependant pas envisageable car elle compromet la stabilité du système à long terme. Si le désapprentissage (Evolve Unlearning) et l’oubli directionnel différé (Evolve ∞) donnent des performances similaires au moment de l’ajout des nouvelles classes, le désapprentissage limite les performances du système lorsque l’environnement est stationnaire. Le désapprentissage des anciennes données, à la place de leur oubli, provoque une augmentation relative du taux d’erreur plus de de 60% (de 3% à 5%).

L’algorithme d’oubli directionnel différé, qui est utilisé par Evolve ∞, permet au sys-tème d’être réactif lorsque l’environnement est dynamique, tout en conservant de bonnes performances lorsque l’environnement est stationnaire. Evolve ∞ obtient ainsi d’aussi bonnes performances qu’Evolve dans les périodes où l’utilisation d’oubli n’est pas néces-saire. Par contre, Evolve ∞ conserve une très bonne réactivité lorsque l’environnement change, même après une utilisation prolongée : il est évolutif indéfiniment.

Chapitre 7. Évaluation du classifieur évolutif en-ligne Evolve ∞ 137 0 500 1000 1500 2000 2500 3000 75 80 85 90 95 100 Nombre de données T aux de reconnaissance (%) Evolve Evolve infinity (DDF) Evolve Unlearning Evolve Forgetting Factor

Figure 7.8 – Base de données Ironoff-digits – Comparaison de l’inertie du système, avec différents méca-nismes d’oubli, lors de l’apprentissage de nouvelles classes en cours d’utilisation. Les trois techniques, le désapprentissage (Unlearning), l’utilisation d’un facteur d’oubli (Forgetting Factor) et l’oubli directionnel différé d’Evolve ∞, permettent de réduire efficacement l’inertie par rapport à Evolve. Le désapprentissage (Unlearning) dégrade les performances lorsque l’environnement est stationnaire.

La figure 7.9 met en évidence la différence de réactivité entre Evolve et Evolve ∞ sur les bases de données LaViola, NicIcon, Japanese-Vowels et Pen-Digits. Dans cet environnement dynamique, l’utilisation d’oubli permet de limiter l’inertie du modèle de connaissance et de maintenir le gain de l’apprentissage. Evolve ∞ est ainsi capable d’apprendre les nouvelles classes rapidement, contrairement à Evolve. La capacité d’oubli permet à Evolve ∞ de converger plus rapidement et d’atteindre ses performances finales plus tôt. Il faut seulement 500 à 800 exemples pour que Evolve ∞ intègre la nouveauté liée aux nouvelles classes. Au contraire, il faut de 2 400 à plus de 4 000 exemples à Evolve pour réussir à modéliser les nouvelles classes correctement.

0 5000 10000 15000 60