Estimation de la variance

5.3 Adaptation et élargissement de la méthode

⁽^λ^{op t}⁾

10−1 100 101 λ R isque risque réel div etσ2connues div estimée σ2estimée div etσ2estimées

Conclusion

Un cas d’étude de recommandation

contextuelle

5.3 Adaptation et élargissement de la méthode

5.3.3 Estimation de la variance

Dans un problème idéal, la variance de la statistique du modèle est connue et il est simple de

calculer l’estimateur du risque (qui dépend de cette variance). Malheureusement, cette variance n’est

que très rarement connue et il faudra donc l’estimer.

Ce qui est traditionnellement fait est, dans un premier temps, de supposer que l’on connaît la

variance du bruit et l’on minimise le risque avec cette variance. Une fois leλop tqui minimise ce risque

trouvé, on calcule empiriquement la variance pour le modèle ˆM(λ

). Cette variance empirique est

ˆ

σ2=kY−Mˆnp

k

si l’on ne souhaite pas nécessairement avoir un estimateur sans biais de la variance.

Si l’on souhaite un estimateur sans biais, on choisira plutôt ˆσ2

=kY−npMˆ

k

−d fc , oùd fc désigne le degré

de liberté (discuté dans [Ye 1998]), ce qui dans nous cas correspond à la divergenced i vY(f).

Le problème d’un tel modèle est que la variance initialement choisie n’est pas nécessairement

celle qui est la bonne, puisqu’on ne fait que supposer la connaître.

Heuristique 5.1. Soitσe2 une valeur de variance fixée. Si la valeur de la variance calculée en sortie

du modèle est égale (à unδprès) àσe2, on dira que cette variance est une bonne approximation de la

variance du bruit du modèle.

À partir de cette heuristique nous formalisons le problème suivant :

min

e

σ |σe2

−σˆ2

| (5.24)

Nous cherchons la varianceσe2fixée en entrée du système qui soit la plus proche possible de la

variance ˆσ2estimée en sortie du système.

Nous ne prétendons pas que ceci donnera une bonne approximation de la valeur de la variance,

nous voulons simplement vérifier si cette heuristique peut être validée expérimentalement.

5.3.3.1 Protocole expérimental

Nous allons essayer d’évaluer expérimentalement la validité de l’heuristique5.1. Nous nous

pla-çons à nouveau dans un cadre restreint en fixant les dimensions de la matriceMàn=500 etp=200.

Nous fixons égalementr ang(M)=20.

L’idée est de tester si l’on trouve une variance ˜σ2, minimisant le problème 5.24, suffisamment

proche de la vraie varianceσ2, pour un ensemble de matricesY données ayant des marges de bruit

différentes (SN R∈{101;15;12; 1; 2}). Nous allons donc comparer la variance obtenue à la variance réelle

et également vérifier si le modèle sélectionné avec cette estimation de la variance est proche du vrai

SNR σ2 min|σe2

−σb2

| σˆ2 r ang(Mc)

0, 1 1.10−3 2, 60.10−6±1.50.10−6 1, 02.10−3±6, 63.10−06 17, 49±1, 69

0, 2 2, 5.10−4 7, 52.10−7±4, 17.10−7 2, 56.10−4±1, 73.10−06 18, 83±1, 50

0, 5 4.10−5 1, 13.10−7

±6, 49.10−8 4, 04.10−05

±2, 56.10−07 22, 37±1, 55

1, 0 1.10−5 2, 63.10−8

±1, 62.10−8 1, 00.10−05

±6, 77.10−08 21, 96±2, 26

2, 0 2, 5.10−6 7, 25.10−9±4, 53.10−9 2, 50.10−06±1, 67.10−08 20±0

TABLE5.2 – Résultats sur l’estimation de la variance (avec des intervalles de confiance à 95%).

modèle. Nous utilisons une fonction de seuillage MC P qui nous donne la meilleure estimation du

nombre de paramètre à sélectionner.

5.3.3.2 Quelques résultats

La table5.2présente les résultats obtenus. On peut noter que la variance obtenue grâce à

l’heu-ristique proposée est une bonne estimation de la variance. De plus, le modèle sélectionné avec cette

estimation de la variance est très similaire à ce qu’on pouvait obtenir lorsque la variance était connue

(cf. table5.1).

Cependant, nous souhaiterions pointer du doigt un inconvénient de cette méthode, ou du moins

montrer qu’il faut être vigilant quant à son utilisation. La figure5.9illustre ce point que nous

vou-lons souligner. Cette figure représente les courbes desσe2,σb2et de l’erreur|eσ2

−σb2

|en fonction de la

variance en entréeσe2. Nous pouvons constater graphiquement que les courbes se croisent deux fois

et qu’il y a donc 2 minima locaux. De plus les courbes convergent en 0. Nous avons donc (dans ce

cas) trois minima. Le minimum proche de 10−3(qui est la vraie valeur de la variance) est celui qu’il

nous faudrait sélectionner, mais nous n’avons pas de moyen pour le moment pour déterminer quel

minimum est le bon (même si l’on choisit d’écarter d’office le minimum en 0). Nous avons

néan-moins remarqué (graphiquement) que le minimum le plus grand semble être à chaque fois celui le

plus proche de la variance réelle. Ceci ne représente en rien une règle pour le choix du minimum,

mais elle semble convenir dans le problème expérimental que nous nous sommes fixés.

Afin de vérifier si l’ensemble des voies d’amélioration proposées peuvent fonctionner les unes

avec les autres, nous avons estimer le risque pour les différents cas de figure possibles :

– estimation de risque avec divergence et variance connue,

– estimation de risque avec estimation de la divergence et variance connue,

– estimation de risque avec estimation de la variance et divergence connue,

trouvé, on calcule empiriquement la variance pour le modèle ˆM⁽^λ

σ2=^k^Y⁻^M^ˆ_np

^k

=^k^Y⁻_np^M^ˆ

^k

Heuristique 5.1. Soitσ_e2 une valeur de variance fixée. Si la valeur de la variance calculée en sortie

du modèle est égale (à unδprès) àσ_e2, on dira que cette variance est une bonne approximation de la

Nous cherchons la varianceσ_e2fixée en entrée du système qui soit la plus proche possible de la

différentes (SN R∈{₁₀¹;¹₅;¹₂; 1; 2}). Nous allons donc comparer la variance obtenue à la variance réelle

0, 1 1.10⁻³ 2, 60.10⁻⁶±1.50.10⁻⁶ 1, 02.10⁻³±6, 63.10⁻⁰⁶ 17, 49±1, 69

0, 2 2, 5.10⁻⁴ 7, 52.10⁻⁷±4, 17.10⁻⁷ 2, 56.10⁻⁴±1, 73.10⁻⁰⁶ 18, 83±1, 50

2, 0 2, 5.10⁻⁶ 7, 25.10⁻⁹±4, 53.10⁻⁹ 2, 50.10⁻⁰⁶±1, 67.10⁻⁰⁸ 20±0

vou-lons souligner. Cette figure représente les courbes desσ_e2,σ_b2et de l’erreur|eσ2

variance en entréeσ_e2. Nous pouvons constater graphiquement que les courbes se croisent deux fois

cas) trois minima. Le minimum proche de 10⁻³(qui est la vraie valeur de la variance) est celui qu’il