Un des champs d’´etude de l’apprentissage par transfert

La probl´ematique port´ee par l’adaptation de domaine fait partie d’une th´ematique bien plus vaste appel´ee l’apprentissage par transfert3. L’apprentissage par transfert peut ˆetre vu comme la capacit´e d’un syst`eme `a reconnaˆıtre et appliquer des connaissances et des comp´etences, apprises `a partir de tˆaches ant´erieures, sur de nouvelles tˆaches ou domaines partageant des similitudes. La question qui se pose est : comment identifier les similitudes entre la ou les tˆache(s) cible(s) et la ou les tˆache(s) source(s), puis com-ment transf´erer la connaissance de la ou des tˆache(s) source(s) vers la tˆache(s) cible(s) ? En fonction des hypoth`eses suppos´ees sur les tˆaches et les domaines, on distingue diff´erents types d’apprentissage par transfert r´esum´es sur la figure 2.1 et ´enonc´es ci-dessous.

• Lorsque les domaines sont identiques mais que les tˆaches sont diff´erentes, c’est-`a-dire lorsque les ensembles d’´etiquetages sont diff´erents, on parle d’apprentissage par transfert inductif.

• Lorsque les domaines et les tˆaches sont diff´erents, on parle d’apprentissage par transfert non supervis´e.

2. Le lecteur peut se r´ef´erer `a diff´erents tutoriaux propos´es dans diff´erents domaines, tels que par exemple : http://adaptationtutorial.blitzer.com/ (ICML 2010), http:// vc.sce.ntu.edu.sg/transferlearning.html (CVPR 2012), http://interspeech2012.org/ DomainAdaptation.html(InterSpeech 2012).

3. Transfer learning en anglais. Le lecteur peut se r´ef´erer `a [Pan et Yang, 2010] pour un ´etat de l’art sur l’apprentissage par transfert.

Apprentissage par transfert inductif Apprentissage

"classique"

Domaines source et cible

identiques ?

NON

OUI

Tâches source et cible

identiques ?

Tâches source et cible

identiques ? OUI NON NON NON OUI Apprentissage par

transfert transductif transfert non-supervisé^{Apprentissage par} Apprentissage par transfert

Adaptation de domaine

Figure 2.1 – Distinction entre l’apprentissage classique et l’apprentissage par transfert, et

positionne-ment de l’adaptation de domaine.

• Lorsque les domaines sont diff´erents mais que les tˆaches sont identiques, on parle d’apprentissage par transfert transductif. C’est ici que se place l’adaptation de domaine.

Dans ce manuscrit, nous nous focalisons sur l’adaptation de domaine o `u l’objectif est d’effectuer une tˆache d’adaptation d’un domaine source vers un domaine cible. Notons que lorsque plusieurs domaines sources sont disponibles, on parle d’adaptation de domaine multi-source [Crammer et al., 2008].

Dans ce qui suit, nous pr´esentons plus en d´etail l’adaptation de domaine.

2.1.2 Un peu de formalisme

Nous allons distinguer deux contextes de l’adaptation de domaine qui diff`erent par l’information dont on dispose sur le domaine cible.

• Adaptation de domaine non supervis´ee : l’ensemble d’apprentissage est constitu´e d’un ensemble de donn´ees ´etiquet´ees sources, d’un ensemble de donn´ees sources non ´etiquet´ees et d’un ensemble de donn´ees cibles non ´etiquet´ees. Signalons, en pratique, que l’ensemble de donn´ees non ´etiquet´ees sources peut simplement correspondre `a l’ensemble ´etiquet´e priv´e de ses ´etiquettes.

• Adaptation de domaine semi-supervis´ee : en compl´ement des informations ac-cessibles en adaptation de domaine non supervis´ee, on dispose d’un ensemble — de petite taille — de donn´ees ´etiquet´ees cibles4. Permettre l’utilisation d’un

4. Signalons que certains auteurs, comme [Daum´e III, 2007], parlent ´egalement d’adaptation de do-maine supervis´ee lorsque toutes les donn´ees cibles disponibles sont ´etiquet´ees, mais ce contexte relative-ment peu fr´equent, est assez peu ´etudi´e dans la litt´erature.

Apprentissage supervisé Échantillon d'appr. S tiré selon P Apprentissage Domaine

P

S S Modèle Étiquetage Nouveaux exemples tirés selon P_S Échantillon d'appr. T tiré selon P Adaptation de domaine Échantillon d'appr. S tiré selon P Apprentissage Domaine

P

S S T Domaine

P =P

T S Modèle Étiquetage Nouveaux exemples tirés selon P_T

Figure 2.2 – Distinction entre l’apprentissage supervis´e et l’adaptation de domaine.

tel ensemble va faciliter l’adaptation, puisque l’on prend en compte une connais-sance informative sur le domaine cible. Cette tˆache n’a ´evidemment de sens que si l’ensemble ´etiquet´e cible est trop peu informatif pour pouvoir inf´erer, `a lui seul, une hypoth`ese performante.

Plus formellement, la principale diff´erence entre l’apprentissage supervis´e classique et l’adaptation de domaine, illustr´ee par la figure 2.2, r´eside dans l’´etude de deux domaines PS et PT diff´erents (fixes et inconnus) sur X×Y. DS et DT sont les distri-butions marginales sur X respectives. La tˆache d’adaptation consiste alors `a transf´erer nos connaissances du domaine source PSvers le domaine cible PT.

• Pour ce faire, en adaptation de domaine non supervis´ee, nous consid´erons un ´echantillon d’apprentissage source S = {(x^s_i, y^s_i)}ms

i=1 de m^s exemples tir´es

i.i.d. selon PS. En outre, nous disposons d’un ´echantillon source non-´etiquet´e

Su = {xs i}^msu

i=1 de ms

u exemples tir´es i.i.d. selon DS, et d’un ´echantillon cible non ´etiquet´e Tu = {xt

i}^mtu

i=1 de mt

u exemples tir´es i.i.d. selon DT. En pratique, Su

peut correspondre `a S priv´e de ses ´etiquettes : Su = 

x^s_i|(x^s_i, y^s_i)∈ S

; et les ´echantillons peuvent ˆetre de taille ´egale : m^t_u =m^s_u=mu.

• En adaptation de domaine semi supervis´ee, nous permettons l’utilisation d’un ´echantillon ´etiquet´e cible T = {(x^t_i, y^t_i)}mt

i=1 consistu´e de m^t exemples cibles tir´es

i.i.d. selon PT et tel que : m^t ≪ms.

´Etant donn´e un ensemble d’hypoth`eses <sub>H</sub> de X vers Y, l’objectif de l’adaptation de domaine est de trouver l’hypoth`ese issue de H qui minimise le risque r´eel sur le do-maine cible RP_T(·), ou au moins d’en trouver une bonne approximation. La question majeure soulev´ee par ce probl`eme est la suivante : si un mod`ele a ´et´e appris sur un domaine source, quelle sera sa capacit´e en g´en´eralisation sur le domaine cible ? Avant

de pr´esenter les garanties classiques en adaptation de domaine en section 2.2, nous ´enonc¸ons les trois grands principes algorithmiques qui se distinguent, puis quelques situations d’adaptation particuli`eres.

2.1.3 Les grands types d’algorithmes

Dans le document Apprentissage de vote de majorité pour la classification supervisée et l'adaptation de domaine : approches PAC-Bayésiennes et combinaison de similarités (Page 57-60)