Une validation croisée est réalisée aussi bien au cours de l’encodage que de la mo- délisation. Le jeu de données est divisé en trois sous ensembles (cf. figureB.6) pour l’apprentissage, la validation (choix du modèle) et le test pour mesurer les perfor- mances du modèle final.
C
Évaluation des modèles dans KXEN
Cette annexe présente la méthodologie mise en place pour évaluer les modèles de scoringau sein de l’outil KXEN [223].C.1 Scoring d’appétence client
Pour prédire la cible binaire de participation à une campagne marketing, nous choi- sissons de calculer un score à l’aide de la technique de la régression ridge.
Régression ridge
La régression ridge [189] présente comme avantages de pénaliser les paramètres lorsque la variable est fortement bruitée et d’être peu sensible aux corrélations. Lorsque les variables prédictives sont corrélées, la régression utilise cette corrélation pour compenser les effets de chaque variable. La régression ridge peut fournir la contribu- tion des variables, i.e. des poids polynomiaux Wx, soulignant la contribution relative
Cxde chaque variable x dans le modèle [274] :
Cx=Wx/
∑
xWx (C.1)
Dans nos travaux, nous considérons que la variable cible binaire désigne la participa- tion à une opération commerciale, c’est-à-dire à l’achat d’un produit (1 pour acheter, 0 sinon). L’objectif est de prévoir les acheteurs d’une opération commerciale dans une population de clients [27]. Étant donné un seuil s, on prédit qu’un client i est un acheteur si le score sicalculé par le modèle est supérieur à s (cf. figureC.1). On note
u(s), la proportion de clients dont le score calculé par le modèle est supérieur à s :
u(s) =P(si ≥s) (C.2)
On note v(s)la proportion d’acheteurs réels détectés par le modèle :
v(s) =P(si ≥s|i=acheteur) (C.3)
Réel
Acheteur Non Acheteur
Acheteur Vrai Faux
(score≥s) Positif Positif
Non Acheteur Faux Vrai
Prédit
(score<s) Négatif Négatif
TABLEAUC.1 : Matrice de confusion
Le modèle permet d’obtenir une fonction side scores décroissants pour chaque client
ireflétant la probabilité pi(obtenue par normalisation de si) d’acheter durant la cam-
pagne marketing.
Précision et robustesse
Afin que les experts métier puissent visualiser la précision et la robustesse de nos modèles, nous utilisons des courbes lift (courbes C3et C4sur la figureC.1).
Une courbe lift (variante de la courbe ROC) est une courbe paramétrique qui repré- sente la proportion d’acheteurs détectés v(s)en fonction de la proportion de clients sélectionnés u(s)[108]. Elle est construite en triant les clients par ordre de score dé- croissant. Par ailleurs, il peut être profitable à l’expert métier de visualiser la « repré- sentation du lift » présentant cette fois-ci le taux d’augmentation du lift en ordonnée, la courbe étant par conséquent décroissante.
La précision et la robustesse d’un modèle peuvent être mesurées en comparant la courbe lift à une courbe aléatoire et une courbe idéale (courbes C2 et C1 sur la fi-
gure C.1). La courbe aléatoire est la courbe y = x (on détecte α % des acheteurs en sélectionnant α % des clients). La courbe idéale est celle dans laquelle tous les acheteurs sont sélectionnés en premier.
À partir de la courbe lift, deux indicateurs peuvent être calculés. Le premier indica- teur est équivalent à l’indice de GINI [85], nommé KI dans KXEN. Il correspond
à l’aire entre la courbe de validation et la courbe aléatoire. Le KI de validation est égal au rapport des aires C/(A+B+C) et le KI d’apprentissage est égale à
(B+C)/(A+B+C). Il mesure la précision du modèle, c’est-à-dire la capacité des variables d’entrée à expliquer la cible. L’indicateur compris entre 0 (modèle pure- ment aléatoire) et 1 (modèle parfait) permet de classer les modèles en fonction de leur pouvoir explicatif face à la variable à expliquer. En effet, l’aire totale sous la courbe lift (AUL) est corrélée à l’aire totale sous la courbe ROC (AUC) par la formule suivante : AUL = f /2+ (1− f)(AUC)où f est la fréquence a priori de l’événement dans l’ensemble de la population. Cela signifie que :
KI= AUL− 1 2 1−f 2 = f +2(1− f)AUC−1 1− f =2AUC−1 (C.4)
Le deuxième indicateur, nommé KR dans l’outil KXEN, correspond à la différence d’aire entre les deux courbes de lift d’apprentissage et de validation, soit(1−B)/(A+
B+C). Il mesure la robustesse du modèle, c’est-à-dire sa capacité à fournir le même
niveau de qualité sur un nouveau jeu de données, typiquement le jeu de données de validation. Il est également compris entre 0 et 1 et il est préférable qu’il soit supérieur à 0,95 pour que le modèle soit robuste.
Par exemple, sur la figureC.1, le point M montre que sur l’ensemble d’apprentis- sage, en ciblant 50 % des clients (les meilleurs selon le modèle), on détecte 80 % des acheteurs. 0 20 40 60 80 100 0 20 40 60 80 100 b M u(s) v(s)
% de la population ordonnées par ordre de score décroissant
% d e la ci bl e d ét ec té C1 C2 C3 C4 A B C C1: Courbe idéale C2: Courbe aléatoire C3: Courbe d’apprentissage C4: Courbe de validation
FIGUREC.1 : Courbe lift
Cette partie de la méthodologie permet d’obtenir deux indicateurs KI et KR synthé- tiques représentant la courbe lift. Dans la section suivante, la courbe de profit naïve permet d’introduire une contrainte économique dans le ciblage client.
Courbe de profit naïve
De manière à ce que les experts métier puissent estimer le retour sur investissement engendré par un modèle sur une opération commerciale, nous utilisons des courbes de profit naïves sur l’ensemble d’apprentissage ou de validation. Une courbe de profit est la transformation d’une courbe de lift à l’aide d’une matrice des coûts (cf. figureC.2) définie par les experts métier.
Le profit naïf pour une campagne marketing peut être défini de la manière suivante : il s’agit de la marge nette réalisée en contactant une proportion u(s)% de clients. Soit Nle nombre de clients dans l’échantillon étudié, G la marge nette moyenne générée
Réel
Acheteur Non Acheteur
Acheteur G −H 0−H (score≥s) Non Acheteur 0 0 Prédit (score<s)
TABLEAUC.2 : Matrice des coûts
par client et H la dépense moyenne de communication par client (cf. tableauC.2) :
Pro f itNai f(s) =N∗ [P(i= acheteur|s(i) ≥s) ∗ (G−H) −P(i=non acheteur|s(i) ≥s) ∗H] (C.5) 0 20 40 60 80 100 0 20 40 60 80 100 u(s) b N
% de la population ordonnées par ordre de score décroissant
ta u x d e p ro fit (% ) C1 C2 C4 C1: Courbe idéale C2: Courbe aléatoire C4: Courbe de validation
FIGUREC.2 : Courbe de profit naïve
Le profit maximal théorique, pro f itMAX, est le modèle où tous les acheteurs sont sélectionnés en premier. Ainsi, une courbe de profit naïve (cf. figure C.2) est une courbe paramétrique qui représente le taux de profit (Pro f itNai f(s)/pro f itMAX) en fonction de la proportion de clients sélectionnés u(s). Cette courbe présente une ordonnée différente de la courbe de lift avec non plus le pourcentage d’acheteurs dé- tectés mais le pourcentage de ROI maximal de manière à mesurer graphiquement le retour financier de l’opération commerciale. Par exemple, le point N sur la figureC.2 signifie que sur l’ensemble de validation, il faut contacter 48 % de la population pour obtenir un ROI maximal égal à 82 % du profit maximal théorique. Cette partie de
notre méthodologie permet ainsi d’obtenir le point optimal (ordonnée maximale) sur la courbe indiquant la proportion de la population qui doit être contactée.