Toutes les méthodes d’apprentissage semi-supervisé sont des méthodes d’apprentissage par trans-fert transductif ou dites aussi méthodes de transtrans-fert d’apprentissage transductif lorsqu’elles ne se basent pas sur l’hypothèse que les données d’apprentissage et les données futures (données de test)
sont dans le même espace de caractéristiques et ont la même distribution. Cette dernière est une hy-pothèse admise par les algorithmes d’apprentissage traditionnels, mais elle ne peut pas être retenue dans les applications du monde réel [Pan et Yang, 2010].
L’apprentissage par transfert est une catégorie d’apprentissage qui vise à exploiter et à appliquer des connaissances déjà acquises dans des activités antérieures pour améliorer le système d’apprentissage d’une nouvelle activité, ou de la même activité mais dans un nouveau domaine même si l’hypothèse faite par les algorithmes d’apprentissage traditionnel n’est pas valide [Pan et Yang, 2010].
Enfin, il faut noter que les algorithmes d’apprentissage traditionnel ou par transfert peuvent être également classés en deux classes :
— Apprentissage en ligne : Un algorithme d’apprentissage en ligne prend en considération les échantillons un par un (ou partie par partie) tout au long du processus de classification et met à jour le classifieur de manière séquentielle. Cette classe d’algorithme ne peut pas créer un bon classifieur parce que l’algorithme traite à chaque fois uniquement une partie de problème. Néanmoins dans certaines applications, cette classe est couramment utilisée parce qu’elle est capable de traiter une grande quantité de données et de s’adapter à des nouvelles conditions [Rattani, 2010,Chesnais, 2013].
— Apprentissage hors ligne : Pour un algorithme d’apprentissage hors ligne, toutes les données sont collectées avant la phase d’apprentissage ce qui permet d’avoir une vision globale du problème à traiter sous réserve d’avoir l’espace mémoire nécessaire pour stocker toutes les données. Néanmoins, la mise à jour de classifieur pour s’adapter au changement des données n’est possible que par une nouvelle exécution de toute la procédure [Rattani, 2010,Chesnais, 2013].
Nous nous sommes principalement intéressés dans ces travaux de thèse aux méthodes de transfert d’apprentissage transductif (connu en anglais : Transductive Transfer Learning) hors ligne. La suite de ce chapitre donne une description détaillée sur le transfert d’apprentissage, son utilité et ses différents types.
3 Le transfert d’apprentissage naturel
L’enfant commence à apprendre petit à petit à marcher et parler, puis à lire et écrire. Cet ap-prentissage au départ est supervisé par les parents et les professeurs qui récompensent le petit enfant en fonction du résultat fourni ou de l’action prise. Une récompense est positive si le résultat est correct et une récompense est négative dans le cas contraire. Avec le temps, l’être humain devient capable de transférer ses connaissances acquises antérieurement afin de résoudre une nouvelle tâche dans les nouvelles conditions qu’il rencontre. Par exemple, apprendre à reconnaître des pommes peut aider à reconnaitre des poires ; ainsi apprendre à jouer avec des jeux électroniques permet de faciliter l’apprentissage du piano : c’est le transfert d’apprentissage naturel.
Selon Perkins et al.[Perkins et al., 1992], le transfert d’apprentissage se produit lorsqu’un ap-prentissage dans un contexte peut améliorer (transfert d’apap-prentissage positif) ou affaiblir (transfert d’apprentissage négatif) des performances reliées dans un autre contexte. Le transfert inclut le transfert proche (contextes et performances étroitement liées) et le transfert différent (contextes et performances assez différent). Le transfert des connaissances repose sur une évaluation du degré de similarité entre les contextes source et cible et leurs données associées. La similarité a une définition subjective tout en dépendant à la fois des capacités de l’apprenant et des autres notions telles que l’abstraction et la généralisation. L’identification des liens de similarité entre les deux domaines (source et cible) est une étape essentielle dans le processus de transfert.
4 Le transfert d’apprentissage artificiel
Plusieurs méthodes d’apprentissage automatique traditionnel fonctionnent sous une hypothèse commune : les données d’apprentissage et de test sont issues du même espace de caractéristiques et partagent la même distribution de répartition d’échantillons. Si la distribution est différente, il faudra reprendre l’apprentissage à partir de zéro tout en collectant des nouvelles données du domaine cible et en traitant les tâches de manière isolée. Cependant, dans de nombreuses applications du monde réel, la collecte des nouvelles données est côuteuse et parfois elle est difficile voire impossible [Pan et Yang, 2010].
Le transfert d’apprentissage tente de changer cette situation en développant des méthodes pour transférer des connaissances et compétences apprises dans une ou plusieurs tâches sources afin de l’utiliser pour améliorer une tâche cible avec prise en considération des liens de similarité entre ces tâches.
Figure 13 – Différences entre l’apprentissage traditionnel et l’apprentissage par transfert [Pan et
Yang, 2010]
La Figure13montre la différence entre l’apprentissage traditionnel et le transfert d’apprentissage. L’apprentissage traditionnel commence à partir de zéro le processus d’apprentissage à toute nouvelle tâche indépendamment des autres tâches alors que les techniques de transfert d’apprentissage utilisent les connaissances acquises dans des tâches précédentes lors de l’apprentissage d’une nouvelle tâche.
En particulier, donner la capacité de reconnaissance visuelle par transfert d’apprentissage à des machines peut améliorer infiniment le domaine de la vision par ordinateur puisque le besoin d’une détection robuste de nombreuses catégories d’objet devient de plus en plus indispensable avec la génération des voitures et des robots automatiques destinés à être une partie de notre vie quotidienne.
Le processus de transfert commence par un besoin d’apprendre une tâche cible dans un contexte ou domaine cible tout en sachant qu’un ensemble de tâches sources dans un domaine source est disponible et que l’on a un ensemble de relations qui sont crées à base de similarité ou ressemblance entre les problèmes source et cible. Généralement les relations de similarité sont établies entre les données sources et les données cibles ou solutions [Aytar, 2014]. Définir la tâche cible, les tâches sources disponibles qui peuvent être bénéfiques à l’amélioration de l’apprentissage de la tâche cible et les relations existantes entre les tâches sources et la tâche cible est la réponse à la question "D’où transférer ?"
Une fois que les problèmes sources, le problème cible et les liens de similarité sont bien précisés, l’étape suivante est de décider quoi transférer ? comment ? et quand ? La question "Quoi transfé-rer ?" détermine le type de connaissances à transfétransfé-rer du domaine source vers le domaine cible. Ces connaissances peuvent être la solution (ou le modèle d’apprentissage et ses paramètres) ou les don-nées (les échantillons d’apprentissages). La question "Comment transférer ?" détermine la nature de transfert c’est à dire si les connaissances transférées seront utilisées telles quelles sont ou bien si elles doivent subir des transformations pour s’adapter aux nouvelles conditions. Elle définit également la manière d’utilisation de ces connaissances lors de la phase d’apprentissage de la nouvelle tâche. La question "Quand transférer ?" doit évaluer dans quelle situation le transfert peut être avantageux et dans quel cas il est préférable de ne pas transférer. Cette question cherche à éviter tout cas de transfert négatif en déterminant la quantité de transfert à partir des sources définies. Si les tâches sources ne sont pas similaires à la cible et/ou s’il y a une quantité de données suffisante pour l’appren-tissage de tâche cible, le transfert peut engendrer des effets négatifs au lieu d’améliorer le processus d’apprentissage [Aytar, 2014].