Deuxième étape de la méthode AEL : Allocation au sein des bins

L’étape de discrimination réalisée à l’étape précédente permet de prédire les choix de chaque individu et ainsi de les assigner dans des groupes d’individus ayant des probabilités de choix identiques.

Or dans certains cas, la méthode de classification fournit directement la probabilité a posteriori, comme dans le cas de la régression logistique (logit). Mais dans d’autres cas, comme pour les SVMs, les valeurs de sortie, à savoir les valeurs des distances des points représentant les individus à la surface de classification, ne sont pas directement interprétables en termes de probabilités.

Comme nous l’avons déjà précédemment indiqué ce cas est rarement problématique car il y a souvent plusieurs manières d’ajuster des probabilités a posteriori sur les sorties de la fonction de classification.

Pour les SVMs, la méthode la plus utilisée (Cui and Curry, 2005) est celle proposée par Platt (2000) qui consiste à redimensionner les sorties entre 0 et 1 grâce à une sigmoïde dont les paramètres sont calculés par maximum de vraisemblance. Dans l’idée, il s’agit d’une

approche similaire à celle consistant à passer du linear probability model au logit comme exposé par Maddala (2001, p.320).

Décrivons les étapes proposées par Platt (2000). Pour cela notons dist la fonction indiquant la distance euclidienne entre un point et la surface de classification. Le principe de la méthode de Platt est d’exprimer la probabilité de faire le choix 1 en fonction de la valeur de dist sous la forme d’une sigmoïde à savoir sous la forme suivante pour tout individu i :

f(xi) = f(dist(xi)) = 1 / {1+ exp (u dist(xi) + v)} _[6]

Les valeurs prises par f seront ainsi comprises entre 0 et 1. Reste à déterminer la valeur des deux paramètres u et v. Les valeurs de ces paramètres sont ajustées en utilisant le maximum de vraisemblance sur l’ensemble des couples (yi , dist(xi)). Pour cela il définit au préalable un autre ensemble de couples (ti , dist(xi)) où les ti sont définis comme suit :

ti= (yi +1)/2 _[7]

et prennent les valeurs 0 (si yi = -1) ou 1 (si yi= 1).

Les paramètres u et v sont alors fixés en minimisant l’inverse de la log vraisemblance :

Min - Σi [ ti log(f(xi)) + (1-ti) log(1- f(xi)) ] [8] avec f(xi) = 1 / [ 1+ exp (u dist(xi) + v) ]

Cette minimisation se fait sur l’ensemble des couples (ti , dist(xi)). Pour les calculs, un algorithme purement technique de minimisation est proposé en annexe de l’article de Platt (1999), dans les pages 9 et 1012.

A partir de cette fonction de probabilité, chaque individu est attribué à un bin spécifique. Chaque bin contient des individus d’une tranche donnée de probabilités. Si l’on fixe cette tranche à 20% de probabilité : le premier bin contient les individus ayant entre 0 et 20% de chances de faire le choix A, la seconde contient les individus ayant 20 à 40% de chances de faire le choix A, la dernière contient les individus ayant 80 à 100% de chances de faire le

12 Document téléchargeable en libre accès depuis la page suivante: http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.41.1639

choix A. Plus la tranche choisie est étroite, plus les effets étudiés seront locaux, mais moins les estimations de ces effets seront précises. Nous reviendrons sur ce point plus tard.

Ainsi on peut s’intéresser localement aux individus en fonction de leur distance à la frontière. Rappelons que la frontière est le seuil de probabilité définie dans la sous-section C.2.ii. La plupart du temps, on étudie des données où les groupes sont équilibrés et la frontière est autour de 50%. Dans cette situation, les cas marginaux pour lesquels nous avons un intérêt particulier se situeront dans les bins du milieu, et les cas extrêmes se situeront dans les premiers et les derniers bins. Mais dans le cas, moins fréquent mais possible, dans lequel la frontière de décision est fixée à un seuil de probabilité supérieur à 50% (cas où plus d’individus font le choix 1 que le choix -1) ou inférieur à 50% (cas où moins d’individus font le choix 1 que le choix -1) alors les cas marginaux seront ceux situés dans les bins contenant ce seuil (ou autour de ce seuil). Par exemple, si très peu d’individus font le choix -1, et que dans la première étape le seuil de discrimination a été fixé à 90%, alors les cas marginaux seront situés dans les derniers bins, et les cas extrêmes dans les premiers bins.

L’avantage de l’allocation des individus dans des groupes définis par tranches de probabilités égales est que cette allocation est indépendante du seuil de probabilité choisi comme frontière, et qu’il suffit de connaître la valeur de ce seuil pour savoir dans quels bins se situent les cas marginaux (ou extrêmes).

Un mode d’allocation alternatif aurait été d’allouer les individus par quantiles de probabilités. Ce mode d’allocation est moins directement interprétable car ses bornes ne peuvent pas être fixées a priori. En effet si l’on souhaite par exemple décomposer la population en 5 sous-populations, alors le premier bin contiendra les 20% de la population dont les probabilités sont les plus faibles, et les bornes de ce premier bin seront donc par exemple entre 0% et 16,23% de chances de faire le choix 1. Pour le second bin contenant les individus ayant le moins de chances de faire le choix 1 dans la population restante (population initiale sans les individus du premier bin), alors les bornes seront par exemple de 16,23% à 34,56%, et ainsi de suite.

Les bornes des bins dépendant de la répartition de la population, elles ne peuvent pas être fixées a priori et les interprétations des effets locaux risquent d’être moins aisées. Ceci sera d’autant plus vrai lors de la représentation des effets que nous proposerons plus loin au sein

du spectre des effets locaux. Ce type d’allocation sera réservé donc aux cas où les individus seraient très mal répartis dans les bins définis par des tranches de probabilité fixes. Dans le cas contraire, il sera préférable d’allouer les individus par tranches de probabilité fixes.

E.5. Troisième étape de la méthode AEL : Mesure des effets locaux