en assurance non vie
2.9. Adaptation des métriques d’évaluation en présence de données censurées
–S–P™G,
pour = 1, … , .
Puis on ajuste l’arbre de régression optimal élagué } au couple L , •}
S ,…, avec l’algorithme Tree-base censored.
Ensuite on calcul Š} en résolvant
min• ∑ ˆ (Œ , {S }8 L − Š } L ). Enfin on met à jour {|} L = {|}8 L − Š} } L .
Ainsi, un estimateur du paramètre d’intérêt ou du risque serait la valeur finale {|‚.
2.9. Adaptation des métriques d’évaluation en présence de données censurées
2.9.1. La métrique MSEW
La métrique MSE est souvent utilisées dans le cas de la régression lorsque les observations sont com-plètes. La prise en compte d’observations censurées dans les données conduit à une adaptation de la MSE par l’introduction du poids de Kaplan-Meier. Il s’agit de la version pondérée de l’erreur quadra-tique moyenne MSEW (Weighted Mean Square Error) par les poids de Kaplan-Meier en présence de données censurées.
Formellement, on écrit
o%› = ∑ T × ( − {S )š,
avec les individus (( = 1, … , ), le vecteur des covariables, la variable à prédire (target) et { . la fonction d’estimation du modèle, T le poids de Kaplan-Meier de l’individu.
2.9.2. Amélioration du MSEW par ajustement à l’unité de la valeur cible
Pour se ramener à l'unité, on peut prendre la racine de la MWSE et l’on obtient la RMSEW (Weighted
Root Mean Squared Error),
o%› = ž ∑ T × ( − {S )š.
La RMSEW ne se comporte pas très bien quand les étiquettes peuvent prendre des valeurs qui s'étalent sur plusieurs ordres de grandeur. Pour prendre cela en compte, nous proposons une transformation logarithmique des valeurs prédites et des vraies valeurs avant de calculer la RMSEW. Nous obtenons ainsi la RMSLEW (Weighted Root Mean Squared Log Error)
o1%› = ž ∑ T × log + 1 − log { + 1 š
68
2.9.3. Coefficient de détermination pondérée
Même si les valeurs à prédire ont toutes le même ordre de grandeur, la RMSEW peut être difficile à interpréter. Nous proposons pour ce faire de compléter notre analyse par une amélioration de l’erreur carrée relative ou RSE (Relative Squared Error), notée l'erreur carrée relative pondérée, ou RSEW (Weighted Relative Squared Error) plus facilement interprétable.
Cet indicateur est le résultat de la normalisation de la somme pondérée des carrés des résidus non pas par le nombre de points dans le jeu de données, mais par une mesure de ce qu'il serait raisonnable de faire comme erreur. Il s’agit de la somme pondérée des distances entre chacune des valeurs à pré-dire et leur moyenne.
o%› = ∑E@FGg@×(6@8– 7@)¡ ∑E g@× 6@86¢ ¡
@FG ,
avec ¢ = ∑S .
Le coefficient de détermination pondéré, encore plus facile à interprèter, correspond au complémen-taire du RSEW est
£š = 1 − o%›.
Ce coefficient de détermination nous indique donc à quel point les valeurs prédites sont corrélées aux vraies valeurs.
2.9.4. Taux de vrais positifs, taux de faux positifs et l’indice de concordance
(C-in-dex)
En apprentissage automatique, pour mesurer la performance des modèles, notamment pour les mé-thodes de classification, il est d’usage d’utiliser des indicateurs comme la courbe ROC (Receiver
Ope-rating Characteristic) et l’AUC (Area Under Curve).
Une courbe ROC est un graphique représentant les performances d'un modèle de classification pour tous les seuils de classification. Cette courbe trace le taux de vrais positifs en fonction du taux de faux positifs. Soient ®. le nombre de vrais positifs, K le nombre de faux négatifs, alors le taux de vrais positifs ®. est défini comme suit
®. =Á‰ ì5Á‰ .
De même, soient K. le nombre de faux positifs, ® le nombre de vrais négatifs, alors le taux de faux positifs K. est défini comme suit
K. =ì‰ Á5ì‰ .
Une courbe ROC trace les valeurs ®. et K. pour différents seuils de classification. Diminuer la va-leur du seuil de classification permet de classer plus d'éléments comme positifs, ce qui augmente le nombre de faux positifs et de vrais positifs.
Pour calculer les points d'une courbe ROC, nous pourrions par exemple effectuer plusieurs évaluations d'un modèle de régression logistique en variant les seuils de classification, mais ce serait inefficace. Nous pouvons en revanche calculer efficacement l'aire sous cette courbe, ou AUC, grâce à un algo-rithme de tri. AUC signifie « aire sous la courbe ROC ». Cette valeur mesure l'intégralité de l'aire à deux dimensions située sous l'ensemble de la courbe ROC (par calculs d'intégrales) de (0,0) à (1,1). L'AUC fournit une mesure agrégée des performances pour tous les seuils de classification possibles.
On peut interpréter l'AUC comme une mesure de la probabilité pour que le modèle classe un exemple positif aléatoire au-dessus d'un exemple négatif aléatoire. Les valeurs d'AUC sont comprises dans une
69 plage de 0 à 1. Un modèle dont 100 % des prédictions sont erronées à un AUC de 0,0. Si toutes ses prédictions sont correctes, son AUC est de 1,0.
L'AUC présente les avantages suivants :
L'AUC est invariante d'échelle. Elle mesure la qualité du classement des prédictions, plutôt que leurs valeurs absolues.
L'AUC est indépendante des seuils de classification. Elle mesure la qualité des précisions du modèle quel que soit le seuil de classification sélectionné.
Toutefois, ces deux avantages comportent des limites qui peuvent réduire la pertinence de l'AUC dans certains cas d'utilisation.
L'invariance d'échelle n'est pas toujours souhaitable. Par exemple, nous avons parfois besoin d'obtenir des probabilités précisément calibrées, ce que l'AUC ne permet pas de déterminer. L'indépendance vis-à-vis des seuils de classification n'est pas toujours souhaitable. Lorsque des disparités importantes de coût existent entre les faux négatifs et les faux positifs, il peut être essentiel de minimiser l'un des types d'erreur de classification. Par exemple, dans un contexte de détection de spam il sera probablement préférable de minimiser en priorité les faux positifs (même si cela entraîne une augmentation significative des faux négatifs). L'AUC n'est pas un critère à retenir pour ce type d'optimisation.
L’indice de concordance (C-index) est un indicateur qui permet de valider et de confirmer le choix du meilleur modèle sur la base des métriques de performance présentées dans les paragraphes précé-dents. Lorsque la variable à expliquer est complètement observée sur tous les individus, l'indice de concordance (C-index) est l’équivalent de la métrique AUC. Il correspond à la probabilité de classer correctement les résultats pour une paire d’individus choisis au hasard et dont les valeurs prédites sont différentes.
Le C-index peut être adapté pour les cas de données censurées en considérant la concordance des résultats de survie versus la probabilité de survie prédite entre des paires d’individus dont les résultats de survie peuvent être ordonnés.
Dans notre cas, cela revient à dire parmi les paires d’individus non censurés car tous les deux rétablis (observations complètes), ou l’un est rétabli et l’autre est censuré après le rétablissement du premier avant la fin d’observation.
La formule de l’indice C-index adapté au cas de données censurées est la suivante
¤¥ _ , =∑@-C3@¦∑§¨@©¨Cª3@¦¦§«¬ Q@ ©«¬ QC ª §¨@©¨Cª
@-C ,
où ]l.n est une fonction indicatrice.
3. Données et hyper paramètres
Les données proviennent des bases de gestion d’un assureur de personnes pour les contrats d’assu-rance de prêts et de prévoyance collective. Nous disposons d’informations individuelles quantitatives et qualitatives sur les assurés et les sinistrés. Pour constituer un historique d’observation suffisante, nous avons regroupé les données de plusieurs dates d’arrêté (de 2012 à 2016). Il s’agit des bases utili-sées lors des travaux de calculs des provisions lors des travaux d’inventaires.
Enfin, nous considérons les sinistres non clôturés (sinistres ouverts) aux différentes dates d’arrêtés comme des censures à droite.
70