Evaluation des modèles de prédiction de risque sur des données censurées

a) Métriques de sélection : MSE et MSEW

Afin de choisir le meilleur modèle parmi tous les modèles calibrés à la phase d’apprentissage et de validation, nous utiliserons deux métriques de comparaison des modèles. Il s’agit de la version pondé-rée de l’erreur quadratique moyenne (Weighted Mean Square Error, MSEW) par les poids de Kaplan-Meier.

La formule non pondérée MSE est souvent utilisées dans le cas de la régression lorsque les observa-tions sont complètes. La prise en compte d’observaobserva-tions censurées dans les données conduit à une adaptation de la MSE par l’introduction du poids de Kaplan-Meier. Formellement, ces métriques sont définies par

o% = ∑ ( − {S )^š, o%› = ∑ T × ( − {S )^š,

avec les individus (( = 1, … , ), le vecteur des co-variables, la variable à prédire (target) et { . la fonction d’estimation du modèle, T le poids de Kaplan-Meier de l’individu.

b) Amélioration du MSEW par ajustement à l’unité de la valeur cible

Pour se ramener à l'unité de , on peut prendre la racine de la MSEW. On obtient ainsi la RMSEW, (Weighted Root Mean Squared Error). La formule de la RMSEW est

o%› = ž ∑ T × ( − {_S )^š.

Mais la RMSEW ne se comporte pas très bien quand les étiquettes peuvent prendre des valeurs qui s'étalent sur plusieurs ordres de grandeur. Pour prendre cela en compte, nous proposons d’appliquer la fonction logarithme aux valeurs prédites et aux vraies valeurs avant de calculer la RMSEW.

La formule de la RMSLEW (Weighted Root Mean Squared Log Error) est donnée par l’égalité o1%› = ž ∑ T × log + 1 − log { + 1 š

S ^.

c) Coefficient de détermination pondérée

Même si les valeurs à prédire ont toutes le même ordre de grandeur, la RMSEW peut être difficile à interpréter. Nous proposons pour ce faire de compléter notre analyse par une amélioration de l’erreur carrée relative ou RSE (Relative Squared Error), notée l'erreur carrée relative pondérée, ou RSEW (Weighted Relative Squared Error) plus facilement interprétable.

Cet indicateur est le résultat de la normalisation de la somme pondérée des carrés des résidus non pas par le nombre de points n dans le jeu de données, mais par une mesure de ce qu'il serait raisonnable de faire comme erreur : la somme pondérée des distances entre chacune des valeurs à prédire et leur moyenne. La formule de la RSEW est donnée par

o%› = ^∑E_@FG^g@×(6@8– 7_@)^¡ ∑E g_@× 6_@86¢ ¡

33 Le coefficient de détermination pondéré correspond au complémentaire du RSEW dans ce cas est

£^š = 1 − o%›.

Ce coefficient de détermination nous indique donc à quel point les valeurs prédites sont corrélées aux vraies valeurs.

d) Métrique de validation

Après avoir sélectionné les modèles candidats pour la prédiction suivant la métrique MSEW, nous va-lidons notre choix avec l’indice de concordance (concordance index).

En effet, l'aire sous la courbe ROC (AUC) est un indicateur synthétique largement utilisée pour mesurer la performance des modèles prédictifs. Lorsque la variable à expliquer (résultat) est complètement observée sur tous les individus, l’AUC est équivalent à l'indice de concordance (C-index), correspon-dant à la probabilité de classer correctement les résultats pour une paire d’individus choisis au hasard et dont les valeurs des prédites sont différentes.

Comme décrit dans Harrell, le C-index peut être adapté pour les cas de données censurées en consi-dérant la concordance des résultats de survie versus la probabilité de survie prédite entre des paires d’individus dont les résultats de survie peuvent être ordonnés. Dans notre cas, cela revient à dire parmi les paires d’individus non censurés car tous les deux rétablis, ou l’un est rétabli et l’autre est censuré après le rétablissement du premier avant la fin d’observation.

La formule de l’indice C-index adapté au cas de données censurées est donnée par l’égalité suivante

¤¥ _ , =^∑@-C3@¦_∑^§¨@©¨Cª₃ ^{¦§«¬ Q@ ©«¬ QC ª} @¦

§¨@©¨Cª

@-C ,

où ]l.n ^{est une fonction indicatrice.}

6. Evaluation de composantes entrant dans le calcul de la meilleure

esti-mation des provisions pour sinistre en assurance non-vie

Au niveau du Bilan prudentiel défini par Solvabilité II, l’approche économique a été retenue pour l’éva-luation des passifs, visant à assurer une communication financière homogène et transparente au ni-veau européen. Les passifs sont valorisés au montant pour lequel ils pourraient être transférés ou ré-glés dans le cadre d’une transaction conclue dans des conditions d’assurance et de réassurance nor-males, entre des parties informées et consentantes. La valeur des provisions techniques devrait être égale à la somme de la meilleure estimation (la provision dite Best Estimate) et d’une Marge de risque. L’article 77 de la Directive 2009/138/CE définit le cadre général de calcul des provisions techniques à inscrire au Bilan prudentiel.

L’alinéa 4 précise que le Best Estimate et la Marge de risque doivent être évalués séparément : « Les

entreprises d’assurance et de réassurance procèdent à une évaluation séparée de la meilleure estima-tion et de la Marge de risque. ». Il existe cependant des excepestima-tions (engagements réplicables au moyen

d’instruments financiers), mais a priori elles ne concernent pas les entreprises d’assurance Non-Vie. L’alinéa 2 est particulièrement important, il définit le cadre général de calcul des Best Estimates : « La

meilleure estimation correspond à la moyenne pondérée par leur probabilité des flux de trésorerie fu-turs, compte tenu de la valeur temporelle de l’argent (valeur actuelle attendue des flux de trésorerie

34

futurs), estimée sur la base de la courbe des taux sans risque pertinente. Le calcul de la meilleure esti-mation est fondé sur des inforesti-mations actualisées et crédibles ainsi que sur des hypothèses réalistes. Ce calcul fait appel à des méthodes actuarielles et statistiques adéquates, applicables et pertinentes. La projection en matière de flux de trésorerie utilisée dans le calcul de la meilleure estimation tient compte de toutes les entrées et sorties de trésorerie nécessaires pour faire face aux engagements d’as-surance et de réasd’as-surance pendant toute la durée de ceux-ci.

La meilleure estimation est calculée brute, sans déduction des créances découlant des contrats de ré-assurance et des véhicules de titrisation. Ces montants sont calculés séparément, conformément à l’ar-ticle 81. ».

Ainsi, pour valoriser les Best Estimates, l’entreprise d’assurance ou de réassurance doit identifier tous les encaissements et décaissements relatifs à ses engagements. Les flux correspondants doivent être probabilisés de manière à calculer une espérance mathématique (ce qui exclut d’intégrer toute marge de prudence) et doivent ensuite être actualisés sur la base de la courbe de taux sans risque (ce qui nécessite d’identifier les dates de tombée de flux) puis sommés pour obtenir le montant de Best

Esti-mate.

Les Best Estimates sont évalués bruts de réassurance et inscrits au passif du Bilan. Des provisions sont constituées en représentation à l’actif pour prendre en compte les cessions aux réassureurs et aux véhicules de titrisation. Ces dernières provisions sont ajustées « afin de tenir compte des pertes

pro-bables pour défaut de la contrepartie ».

L’alinéa 3 définit le cadre général de calcul de la Marge de risque : « La Marge de risque est calculée

de manière à garantir une valeur des provisions techniques équivalente au montant que les entreprises d’assurance et de réassurance demanderaient pour reprendre et honorer les engagements d’assurance et de réassurance. ». En effet, une société en situation de run-off (c’est-à-dire qui ne souscrit plus de

nouveaux contrats) doit conserver un capital minimum pour être certaine de couvrir ses engagements (avec une probabilité de 99,5% selon les normes Solvabilité II), car ceux-ci sont aléatoires.

Le coût de ce capital est représenté par la Marge de risque. Le calcul de la Marge de risque est encadré par des règles strictes, il ne s’agit donc pas d’une marge de prudence. Les provisions techniques du Bilan prudentiel correspondent à la somme du Best Estimate et de la Marge de risque.

Pour pouvoir valoriser des provisions techniques, il est nécessaire de déterminer avec précision les engagements de l’entreprise envers les assurés et tous autres tiers, et réciproquement de déterminer les engagements des assurés et tiers envers l’entreprise d’assurance ou de réassurance. La notion de frontière des contrats permet d’identifier les engagements à considérer pour constituer le Bilan et ceux à ne pas inclure. Il existe de nombreux paragraphes dans les spécifications techniques pour définir cette notion. La frontière des contrats constitue une différence importante entre la norme comptable française actuelle et la norme Solvabilité II. La norme Solvabilité II requiert de prendre en compte plus de contrats (puisque les engagements doivent être comptabilisés dès lors que l’entreprise n’a plus la possibilité d’agir unilatéralement sur les termes du contrat).

En normes actuelles, les provisions de sinistres sont destinées à couvrir l’ensemble des règlements de sinistres y compris les frais de gestion restant à honorer pour l’ensemble des sinistres déjà survenus, qu’ils soient connus ou non de l’assureur. Il s’agit de la somme des provisions dossier/dossier et des provisions pour tardifs, calculées par les actuaires. L’article 36 du Règlement Délégué dans son point 3 précise que le périmètre de calcul du Best Estimate des provisions pour sinistres est strictement iden-tique, il s’agit bien de provisionner l’ensemble des sinistres survenus, connus ou non de l’assureur.

35