Planification optimale des expér iences Introduction et cas du modèle linéaire Frédér ic Ber trand1 1IRMA,UniversitédeStrasbourg Strasbourg,France ENSAI 3eAnnée 2015-2016

(1)

Planification,modèlelinéaireetsymétriesThéorèmesdecaractérisation

Planification optimale des expér iences Introduction et cas du modèle linéaire Frédér ic Ber trand

1 1IRMA,UniversitédeStrasbourg Strasbourg,France

ENSAI 3

e

Année 2015-2016

IntroductionPlanification,modèlelinéaireetsymétriesThéorèmesdecaractérisation

Référence Ce cours s’appuie essentiellement sur 1. le livre de Hardeo Sahai et Mohammed I. Ageel, The Anal ysis of Variance :Fix ed, Random and Mix ed Models ,aux éditions Bir khäuser ,2000. 2. le livre de Hardeo Sahai et Miguel Ojeda, Anal ysis of Variance for Random Models , Volume I: Balanced data , aux éditions Bir khäuser ,2004. 3. le livre de Hardeo Sahai et Miguel Ojeda, Anal ysis of Variance for Random Models , Volume II: Unbalanced data ,aux éditions Bir khäuser ,2005. 4. le livre de Douglas C .Montgomer y, Design and Anal ysis of Experiments ,7

th

Edition, aux éditions Wile y, 2009. 5. le livre de Sam uel D .Silv ey , Optimal Design ,aux éditions Chapman and Hall, 1980.

Sommaire Introduction Plans pour pesée Définition génér ale du prob lème Ex emples Planification, modèle linéaire et symétr ies Définitions ,admissibilité, optimalité Car actér isation différentielle de l’optimalité Théorèmes de car actér isation Matr ices d’inf or mation in versib les Matr ices d’inf or mation singulières

(2)

Introduction La planification d’e xpér ience traite ,comme son nom l’indique , de l’organisation réfléchie des expér iences de manière à pouv oir 1. analyser celles-ci av ec des modèles per mettant de reproduire fidèlement la, plus ou moins gr ande ,comple xité des processus expér imentaux à décr ire ; 2. maximiser la quantité d’inf or mation (au sens de Fisher par ex emple) que nous appor te les essais que nous choisirons de réaliser .

Sommaire Introduction Plans pour pesée Définition génér ale du prob lème Ex emples Planification, modèle linéaire et symétr ies Définitions ,admissibilité, optimalité Car actér isation différentielle de l’optimalité Théorèmes de car actér isation Matr ices d’inf or mation in versib les Matr ices d’inf or mation singulières

Plans pour pesée Conte xte Un ex emple simple pour comprendre pourquoi il est impor tant de réfléchir à la planification les expér iences . Supposons que nous de vions peser quatre objets av ec une balance ay ant deux plateaux en réalisant au maxim um quatre pesées . À chacune des pesées ,nous pouv ons répar tir tous ou une par tie des objets sur l’un ou l’autre des deux plateaux de la balance .

Plans pour pesée Définition La répar tition des objets lors des quatre pesées est appelée un plan pour pesée . Mise en équation Soient β

1

, β

2

,. .., et β

n

les poids ,inconn us ,des objets . Nous posons u

ij

= 1 si le j − ème objet est dans le plateau de droite au cours de la i − ème pesée , u

ij

= − 1 si le j − ème objet est dans le plateau de gauche au cours de la i − ème pesée et u

ij

= 0 si le j − ème objet n’est pas utilisé lors de la i − ème pesée .

(3)

Plans pour pesée Mise en équation (suite) Afin d’équilibrer les deux plateaux de la balance lors de la i − ème pesée il est possib le de rajouter une masse à l’un des deux plateaux de la balance . Le signe de cette masse dépend du plateau sur lequel elle a été posée :positif si elle se trouv e sur le plateau de gauche et négatif si elle se trouv e sur le plateau de droite . Nous désignons par y

i

cette masse signée utilisée lors de la i − ème pesée .

Plans pour pesée Mise en équation (suite) Supposons que les erreurs de mesure ne sont pas corrélées , de dispersion stab le et sans biais systématique ,ce qui re vient à supposer que les y

i

sont des var iab les aléatoires non corrélées ,de même variance ,notée σ

2 e

,et d’ espérance égale à la valeur de la masse qu’il faut ajouter lors de la i − ème pesée afin d’équilibrer les deux plateaux de la balance .

Plans pour pesée Compar aisons de deux plans Le premier plan pour pesée . 1. Pesée 1 :objet 1 à droite ; 2. Pesée 2 :objet 2 à droite ; 3. Pesée 3 :objet 3 à droite ; 4. Pesée 4 :objet 4 à droite . La matr ice X associée est     1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1     .

Plans pour pesée Compar aisons de deux plans Le second plan pour pesée . 1. Pesée 1

0

:objets 1, 2, 3 et 4 à droite ; 2. Pesée 2

0

:objets 3 et 4 à gauche ,1 et 2 à droite ; 3. Pesée 3

0

:objets 2 et 4 à gauche ,1 et 3 à droite ; 4. Pesée 4

0

:objets 2 et 3 à gauche ,1 et 4 à droite . La matr ice X associée est     1 1 1 1 1 1 − 1 − 1 1 − 1 1 − 1 1 − 1 − 1 1     .

(4)

Plans pour pesée Compar aisons de deux plans Ainsi pour le premier plan, nous obtenons av ec le théorème de Gauss-Mar ko v et la for m ule b β = ( X

0

X )

−1

X

0

y = y ,les BLUE 1. c β

1

= y

1

, V ar [ c β

1

] = σ

2 e

; 2. c β

2

= y

2

, V ar [ c β

2

] = σ

2 e

; 3. c β

3

= y

3

, V ar [ c β

3

] = σ

2 e

; 4. c β

4

= y

4

, V ar [ c β

4

] = σ

2 e

.

Plans pour pesée Compar aisons de deux plans Ainsi pour le second plan, nous obtenons av ec le théorème de Gauss-Mar ko v et la for m ule b β = ( X

0

X )

−1

X

0

y = X

0

y ,les BLUE 1. Pesée 1 : c β

1

=

2σ1 4e

c ( y + y + y + y ) , V ar [ β ] = ;

123414

c 2. Pesée 2 : β =

2

2σ1 4e

c ( y + y − y − y ) , V ar [ β ] = ;

123424

c 3. Pesée 3 : β =

3

2σ1 4e

c ( y − y − y + y ) , V ar [ β ] = ;

123434

c 4. Pesée 4 : β =

4

2σ1 4e

c ( y − y + y − y ) , V ar [ β ] = ·

123444 Planification,modèlelinéaireetsymétriesThéorèmesdecaractérisation

En conclusion Le second plan pour pesée est le plus intéressant puisque la var iance des estimateurs des masses des objets est quatre fois plus petite . Il vaut mieux combiner astucieusement les objets sur la balance pour les peser tous quatre fois ,plutôt que de les peser chacun directement. En eff et, dans le premier cas ,l’estimateur est une mo yenne de quatre ter mes non corrélés ,ce qui réduit sa var iance .

Sommaire Introduction Plans pour pesée Définition génér ale du prob lème Ex emples Planification, modèle linéaire et symétr ies Définitions ,admissibilité, optimalité Car actér isation différentielle de l’optimalité Théorèmes de car actér isation Matr ices d’inf or mation in versib les Matr ices d’inf or mation singulières

(5)

Définition génér ale du prob lème Modélisation de la réponse ˜ y Nous supposons que la loi de probabilité de la var iab le aléatoire ˜ y dépend d’ : 1. un vecteur colonne u = ( u

1

, u

2

,. .. , u

r

)

0

de var iab les réelles appelées var iab les contrôlées parce qu’elles ont été choisies par l’e xpér imentateur et puisque les valeurs qu’elles prennent sont parf aitement conn ues et peuv ent être fixées par lui ;

Définition génér ale du prob lème Modélisation de la réponse

˜y

2. un vecteur colonne θ = ( θ

1

,θ

2

,. .. ,θ

k

)

0

de par amètres qui sont fix es mais dont les valeurs sont inconn ues de l’e xpér imentateur ;ce sont les valeurs de ces par amètres , ou de fonctions de ces par amètres ,que l’e xpér imentateur essa ye de connaître ; 3. un vecteur colonne τ = ( τ

1

,τ

2

,. .. ,τ

r

)

0

de par amètres de nuisance ;ceux-ci sont ég alement fix es et inconn us mais l’e xpér imentateur n’est pas par ticulièrement intéressé par le fait de connaître leur valeur .

Définition génér ale du prob lème P ar amètres d’intérêts et de nuisance La distinction entre les par amètres d’intérêt et les par amètres de nuisance peut être difficile à faire ,en par ticulier lorsque notre attention por te sur l’estimation d’un nombre de fonctions de θ str ictement à infér ieur au nombre k de par amètres . Néanmoins ,typiquement les vecteurs u et θ appar aîtront dans E [˜ y ] et τ dans la « var iance des erreurs ».

Définition génér ale du prob lème Domaines d’appar tenance des vecteurs 1. Les vecteurs u peuv ent être choisis dans la par tie U ⊂ R

r

; 2. Nous sa vons que le vr ai vecteur de par amètres θ appar tient à la par tie Θ ⊂ R

k

; 3. Nous sa vons que le vr ai vecteur de par amètres τ appar tient à la par tie T ⊂ R

l

.

(6)

Définition génér ale du prob lème Loi de ˜ y Nous supposons que ,pour des valeurs données de u , θ et τ ,la loi de ˜ y est donnée par une densité de probabilité par rappor tà une mesure σ − finie . Si la var iab le ˜ y est • discrète cette mesure est la mesure de comptage ; • contin ue cette mesure est la mesure de Lebesgue .

Définition génér ale du prob lème Pr incipe de la planification L’e xpér imentateur est autor isé à réaliser N obser vations indépendantes de la réponse ˜ y aux points u

(1)

, u

(2)

,. .., u

(N)

qui auront été choisis par lui dans l’ensemb le U . Ce choix des N vecteurs ,s’appelle le choix du plan expér imental en N essais ou d’un N -plan. La question classique est alors de sa voir comment constr uire un N -plan « intéressant ».

Définition génér ale du prob lème Pr incipe de la planification Pour év aluer la qualité d’un N − plan plusieurs approches ont été proposées : 1. Théor ie de la décision, voir Brooks (1972), Bandemer (1979) pour les premières utilisations ,en définissant une fonction d’utilité et une distr ib ution a pr ior isur θ et τ et en calculant la richesse ,au sens de Ba yes ,appor tée par chaque N − plan. Il « suffit » alors de choisir l’un des plans qui maximise cette richesse . 2. Utilisation de l’inf or mation au sens de Fisher . La seconde approche est la plus souv ent utilisée car la première ,bien que simple en apparence ,pose de réels prob lèmes aussi bien pr atiques que théor iques .

Définition génér ale du prob lème Inf or mation de Fisher Supposons que nous souhaitions estimer θ . Nous supposons que la famille { p ( y | u ,θ ,τ ) ; u ∈ U , θ ∈ Θ , τ ∈ T } est suffisamment régulière pour que la matr ice d’inf or mation de Fisher existe et qu’il soit possib le d’utiliser la seconde car actér isation de l’inf or mation.

(7)

Définition génér ale du prob lème Inf or mation de Fisher Pour une obser vation de

˜y au vecteur u ,la matr ice par titionnée d’inf or mation de Fisher adaptée à l’estimation de ( θ, τ ) est J ( u ) J ( u )

θθθτ

J ( u ; θ, τ ) = .

0

J ( u ) J ( u )

ττθτ

où J ( u ) est la matr ice carrée d’ordre k dont la coordonnée

θθ

( i , j ) est

2

∂ log p ( y | u ,θ ,τ ) E − ∂ θ ∂ θ

ij

et J

θτ

( u ) et J

ττ

( u ) sont définies de manière similaire .

Définition génér ale du prob lème Inf or mation de Fisher P ar conséquent la matr ice d’inf or mation pour N obser vations indépendantes de ˜ y réalisées aux points u

(1)

, u

(2)

,. .., u

(N)

est L ( u ; θ, τ ) =

N

X

i=1

J ( u

(i)

; θ, τ ) = L

θθ

( u ) L

θτ

( u ) L

θτ

( u ) L

ττ

( u ) . où u = ( u

(1)

,. .. , u

(N)

) , L

θθ

( u ) = P

N i

J ( u ) et L ( u ) et

θθθτ(i)

L ( u ) sont définies de manière similaire .

ττ Planification,modèlelinéaireetsymétriesThéorèmesdecaractérisation

Définition génér ale du prob lème Inf or mation de Fisher Supposons maintenant que u est tel que la matr ice L ( u ; θ, τ )

1

est in versib le . L’ inégalité de Fréc het-Darmois-Cramer -Rao four nit alors une bor ne infér ieure :

−1

1. L ( u ; θ, τ ) ,pour la var iance d’un estimateur sans biais de ( θ, τ ) ;

−10−1

2. V ( u ; θ, τ ) = ( L ( u ) − L ( u ) L ( u ) L ( u )) ,pour la

θθθτττθτ

var iance d’un estimateur sans biais de θ . V ( u ; θ, τ ) est en fait la première matr ice pr incipale carré d’ordre

−1

k extr aite de L ( u ; θ, τ ) .

1.Nousverronsdanslasuitequenousnepourronspastoujoursfairecette hypothèseetcommentl’affaiblir.

Définition génér ale du prob lème Inf or mation de Fisher Il est impor tant de noter que 1. les bor nes infér ieures précédentes dépendent du plan u qui a été choisi pa rl’e xpér imentateur .Comme nous l’a vons vu, un choix judicieux peut donc améliorer la précision de l’estimation ; 2. dans le cadre du modèle linéaire gaussien, V ( u ; θ, τ ) est exactement la var iance de l’estimateur de Gauss-Mar ko v de θ ; 3. si N est gr and, et sous des hypothèses de régular ité suffisante ,la matr ice de var iance-co var iance de l’estimateur par maxim um de vr aisemb lance de θ est appro ximativ ement V ( u ; θ, τ ) puisque ces estimateurs sont asymptotiquement efficaces .

(8)

Définition génér ale du prob lème Estimation d’une fonction du par amètre Supposons que nous souhaitions estimer les fonctions à valeurs réelles g

1

( θ ) ,. .. , g

s

( θ ) à la place de θ . Posons g la fonction ( g

1

,. .. , g

s

)

0

à valeurs dans R

s

et notons Dg ( θ ) = ∂ g

j

( θ ) ∂ θ

i

16i6k,16j6s

sa différentielle au point θ lorsqu’elle existe .

Définition génér ale du prob lème Estimation d’une fonction du par amètre Sous des hypothèses de régular ité suffisante et pour un plan u donné, une bor ne infér ieure pour la matr ice de var iance-co var iance d’un estimateur sans biais de g ( θ ) est V

g

( u ; θ, τ ) = { Dg ( θ ) }

0

V ( u ; θ, τ ) { Dg ( θ ) } . (1) À nouv eau, pour N suffisamment gr and, la var iance-co var iance de l’estimateur par maxim um de vr aisemb lance de g ( θ ) ser a proche de cette bor ne infér ieure .

Définition génér ale du prob lème Estimation d’une fonction du par amètre Le cas de l’estimation du par amètre θ correspond au cas où g

i

( θ ) = θ pour tout i = 1 ,. .. , k et ainsi Dg ( θ ) = I

k

,la matr ice identité d’ordre k . P ar conséquent, nous nous intéresserons uniquement au cas de l’estimation d’une fonction du par amètre θ .

Définition génér ale du prob lème Objectif de la planification L’idée simple ,que nous poursuivrons dans la plus gr ande par tie de l’e xposé qui va suivre ,est de s’eff orcer de choisir le plan u de telle sor te que la quantité qui appar aît dans l’équation (1) soit la plus petite possib le ,ou, ce qui est similaire ,de rendre son in verse le plus gr and possib le . En procédant de la sor te ,nous utilisons un plan u qui nous appor te le plus d’inf or mation possib le ,au sens de Fisher ,sur la fonction g ( θ ) .

(9)

Définition génér ale du prob lème Objectif de la planification Nous pourrons utiliser eff ectiv ement toute cette inf or mation soit • dans le cadre de l’estimation de Gauss-Mar ko v du modèle linéaire gaussien ; • soit av ec des estimateurs du maxim um de vr aisemb lance et un eff ectif N suffisamment gr and.

Définition génér ale du prob lème Objectif de la planification Le prob lème ainsi posé semb le considér ab le et deux questions se posent immédiatement à nous : 1. au sens de quel cr itère souhaitons-nous rendre la matr ice V

g

( u ; θ, τ ) « petite » ? 2. est-il possib le de trouv er un plan u ,noté u

?

,indépendant de θ et τ ,qui rende V

g

( u ; θ, τ ) « petite », au sens où nous le souhaitons ,pour toutes les valeurs de θ et τ ?

Définition génér ale du prob lème Objectif de la planification Pour toute une classe de prob lèmes ,le modèle linéaire par ex emple ,l’e xpression de V

g

( u ; θ, τ ) est si simple qu’il est possib le de répondre affir mativ ement à la seconde question, ce qui motiv er a l’étude de plans classiques comme les plans factor iels ,fr actionnaires ,en blocs ,. .. Pour les autres situations ,pour lesquelles un tel plan u

?

n’e xiste pas ,nous de vrons réfléchir à comment tenir compte de cette situation. Nous commençons par étudier la première classe de prob lèmes qui pourr a nous four nir des pistes pour aborder la seconde ,plus comple xe .

Sommaire Introduction Plans pour pesée Définition génér ale du prob lème Ex emples Planification, modèle linéaire et symétr ies Définitions ,admissibilité, optimalité Car actér isation différentielle de l’optimalité Théorèmes de car actér isation Matr ices d’inf or mation in versib les Matr ices d’inf or mation singulières

(10)

Ex emple 1 Rég ression linéaire simple ,gaussienne et contrôlée Dans cet ex emple : • u est un nombre réel ; • θ = ( θ

0

,θ

1

)

0

; • τ est un nombre réel str ictement positif . Pour des valeurs de u , θ et τ données , ˜ y suit une N ( θ

0

+ θ

1

u ,τ ) . Supposons que U = [ − 1 , 1 ] et considérons un plan u = ( u

(1)

,. .. , u

(N)

) av ec donc − 1 6 u

(i)

6 1.

Ex emple 1 Rég ression linéaire simple ,gaussienne et contrôlée Un calcul direct per met de montrer que V

−1

( u ; θ, τ ) = 1 τ N P

N i

u

(i)=1

P

N i

u

(i)=1 N i2

u

=1(i)

! . Voici un cas où V ( u ; θ, τ ) se simplifie comme indiqué ci-dessus .Il ser a alors possib le de trouv er un plan u

?

qui ser a le « meilleur » pour toutes les valeurs de θ et τ possib les .

Ex emple 1 Rég ression linéaire simple ,gaussienne et contrôlée Si nous sommes intéressés par l’estimation de θ ,le prob lème se transf or me ainsi en celui de rendre la matr ice M ( u ) = 1 τ N P

N i

u

(i)=1

P

N i

u

(i)=1 N i2

u

=1(i)

! . « aussi gr ande que possib le ». 1. Il est possib le de montrer qu’il n’e xiste pas ,même dans ce cas simple ,de plan u

?

qui soit le « meilleur » au sens matr iciel for t, ordre de Loe wner ,suiv ant : M ( u

?

) − M ( u ) est semi-définie positiv e pour tout plan u . P ar conséquent, et pour remédier à cette difficulté, nous essa yerons de rendre maximale une fonction de V

−1

.

Ex emple 1 Rég ression linéaire simple ,gaussienne et contrôlée 2. Dans le cas de ce modèle ,même si nous avions tra vaillé en l’absence de l’h ypothèse de nor malité mais en conser vant les E [˜ y | u ,θ ,τ ] = θ

0

+ θ

1

u V ar [˜ y | u ,θ ,τ ] = τ V ( u ; θ, τ ) rester ait la matr ice de var iance-co var iance de l’estimateur de Gauss-Mar ko v de θ ,ce qui rejoint la remarque que nous avions faite précédemment sur la recherche de plans dans le conte xte du modèle linéaire homoscédastique .

(11)

Ex emple 2 Plans factor iel complet 2

2

Une par tie de la planification d’e xpér iences traite de la manière de répar tir les traitements de plusieurs facteurs à des unités expér imentales .La différence apparente av ec notre approche est qu’il s’agit de planifier des expér iences av ec des var iab les qualitativ es et non quantitativ es . Montrons ,à l’aide de l’e xemple simple suiv ant, comment inclure également ce domaine dans notre cadre génér al.

Ex emple 2 Plans factor iel complet 2

2

Supposons que nous so yons intéressés par l’estimation des eff ets séparés (pr incipaux) et combinés (inter actions) de deux traitements T

1

et T

2

sur une réponse expér imentale y . Nous supposons ,comme génér alement pour ce type de modèle ,qu’une combinaison quelconque des modalités des traitements ne peut modifier que la valeur mo yenne de ˜ y . Notons : • θ

1

l’eff et de T

1

seul ; • θ

2

l’eff et de T

2

seul ; • θ

1

+ θ

2

+ θ

3

l’eff et de T

1

et T

2

lorsqu’ils sont combinés .

Ex emple 2 Plans factor iel complet 2

2

Il est possib le de mettre chacune des unités expér imentales dans l’ une des quatre conditions suiv antes : 1. aucun traitement ; 2. seulement T

1

; 3. seulement T

2

; 4. T

1

et T

2

.

Ex emple 2 Plans factor iel complet 2

2

Codons ces situations ,a vec u = ( u

1

, u

2

) de la manière suiv ante : 1. ( 0 , 0 ) ; 2. ( 1 , 0 ) ; 3. ( 0 , 1 ) ; 4. ( 1 , 1 ) . Le rôle du planificateur est de choisir ,pour chaque unité expér imentale ,les valeurs de u

1

et u

2

dans { 0 ; 1 } .

(12)

Ex emple 2 Plans factor iel complet 2

2

P ar conséquent, l’ensemb le U est réduit à quatre points . En for m ulant les hypothèses usuelles pour nos modèles ,nous obtenons : E [˜ y | u ,θ ,τ ] = θ

0

+ θ

1

u

1

+ θ

2

u

2

+ θ

3

u

1

u

2

V ar [˜ y | u ,θ ,τ ] = τ, ce qui correspond exactement à un modèle de rég ression linéaire tel que nous l’a vons vu dans l’e xemple 1.

Ex emple 3 Rég ression quadr atique av ec une var iab le contrôlée , fonction non-linéaire du par amètre Dans cet ex emple : • u est un nombre réel ; • θ = ( θ

0

,θ

1

,θ

2

)

0

,a vec θ

2

< 0 ; • τ est un nombre réel str ictement positif . Pour des valeurs de u , θ et τ données , ˜ y suit une loi N ( θ

0

+ θ

1

u + θ

2

u

2

,τ ) . Supposons que nous souhaitions trouv er la valeur de u pour laquelle E [˜ y | u ,θ ,τ ] est maximale ,c’est-à-dire estimer g ( θ ) = − θ

1

2 θ

2

·

Ex emple 3 Rég ression quadr atique av ec une var iab le contrôlée , fonction non-linéaire du par amètre Un calcul direct per met de montrer que ,pour un N − plan, V

−1

( u ; θ, τ ) = 1 τ   

N P

P

N i

u

(i)=1 N i2

u

=1(i)

P

N i

u

(i)=1

P

N i2

u

=1(i) N i3

u

=1(i)

P

N i2

u

=1(i)

P

N i3

u

=1(i) N i4

u

=1(i)

   . V ( u ; θ, τ ) se simplifie de la même manière que pour l’e xemple 1. Néanmoins ,il y a une différence fondamentale liée à la présence de la fonction non-linéaire g .

Ex emple 3 Rég ression quadr atique av ec une var iab le contrôlée , fonction non-linéaire du par amètre Rappelons que dans le cas d’un ESB de g ( θ ) ,la bor ne infér ieure de l’inégalité de Fréchet-Dar mois-Cr amer-Rao est : { Dg ( θ ) }

0

V ( u ; θ, τ ) { Dg ( θ ) } , av ec ici { Dg ( θ ) }

0

= 1 2 θ

^{2 2}

0 − θ

2

θ

1

. La quantité précédente dépend de θ et rien ne per met d’assurer qu’il existe un plan u

?

qui la rende minimale pour toutes les valeurs de θ possib le . À ce titre ,cette situation se distingue des deux précédentes .

(13)

Ex emple 4 Analyse probit :un modèle non-gaussien et non linéaire Des sujets peuv ent être soumis à un stim ulus av ec différents niv eaux d’intensité u pouv ant appar tenir à un inter valle U . Un sujet peut ou non réagir à un stim ulus de niv eau u ,et la probabilité pour qu’il réagisse est donnée av ec une bonne appro ximation par : Φ u − θ

1

θ

2

où Φ est la fonction de répar tition de la loi nor male centrée et réduite .

Ex emple 4 Analyse probit :un modèle non-gaussien et non linéaire Supposons que nous disposions de N sujets pour réaliser l’e xpér ience . À quels niv eaux du stim ulus u de vons-nous les soumettre pour estimer θ

1

et θ

2

le plus précisément possib le ?

Ex emple 4 Analyse probit :un modèle non-gaussien et non linéaire Introduisons la var iab le aléatoire binaire ˜ y qui prend : • la valeur 1 si le sujet réagit ; • la valeur 0 si le sujet n’a pas de réaction. La densité de ˜ y est alors donnée par l’e xpression p ( y | u ,θ ) = Φ u − θ

1

θ

2

y

1 − Φ u − θ

1

θ

2

1−y

.

Ex emple 4 Analyse probit :un modèle non-gaussien et non linéaire Un calcul direct per met de montrer que pour un plan u ,la matr ice d’inf or mation au sens de Fisher pour les par amètres θ

1

et θ

2

est      

N

X

i=1

1 Φ

i

( 1 − Φ

i

)

∂ Φ

i

∂ θ

1

2N

X

i=1

1 Φ

i

( 1 − Φ

i

) ∂ Φ

i

∂ θ

1

∂ Φ

i

∂ θ

2 N

X

i=1

1 Φ

i

( 1 − Φ

i

) ∂ Φ

i

∂ θ

1

∂ Φ

i

∂ θ

2

N

X

i=1

1 Φ

i

( 1 − Φ

i

)

∂ Φ

i

∂ θ

2

     

où Φ

i

désigne Φ

u(i)−θ1 θ2

.

(14)

Ex emple 4 Analyse probit :un modèle non-gaussien et non linéaire En ver tu du pr incipe que nous av ons énoncé plus haut, nous souhaitons choisir un u qui rende cette matr ice la plus gr ande possib le en un sens que nous préciserons dans la suite . À nouv eau cette matr ice dépend de θ ,ce qui empêche a pr ior i l’e xistence d’un plan u

?

qui rende l’inf or mation maximale pour tout θ .

Ex emple 4 Analyse probit :un modèle non-gaussien et non linéaire Cet ex emple per met d’a voir une idée concrète du type prob lème rencontré dans le cas non-linéaire . Nous ne voulons pas en eff et réaliser d’e xpér iences pour des valeurs de u pour lesquelles Φ

u−θ1 θ2

est soit proche de 0, soit proche de 1, parce que l’obser vation de telles valeurs ser a peu inf or matif sur θ

1

et θ

2

. Or les valeur s de u pour lesquelles ceci se pr oduit dépendent de θ

1

et θ

2

!

Ex emple 4 Analyse probit :un modèle non-gaussien et non linéaire Puisque nous ignorons les valeurs réelles des par amètres θ

1

et θ

2

,comment pouv ons-nous sa voir si nous sommes en train de réaliser des expér iences pour des valeurs non-inf or mativ es de u ? La seule solution en visageab le à ce prob lème est de mettre en place une expérimentation séquentielle où nous choisirons les niv eaux à utiliser pour les nouv eaux sujets à par tir des réponses obten ues pour les niv eaux que nous av ons déjà utilisés pour les sujets pour lesquels nous av ons déjà fait les expér iences .

Ex emple 4 Analyse probit :un modèle non-gaussien et non linéaire Une telle appr oc he séquentielle ser a génér alement nécessaire pour tous les prob lèmes de planification non-linéaire pour lesquels nous ne disposons pas de connaissance préalab le sur les valeurs plausib les des paramètres inconn us .

(15)

Sommaire Introduction Plans pour pesée Définition génér ale du prob lème Ex emples Planification, modèle linéaire et symétr ies Définitions ,admissibilité, optimalité Car actér isation différentielle de l’optimalité Théorèmes de car actér isation Matr ices d’inf or mation in versib les Matr ices d’inf or mation singulières

Modèles de rég ression linéaire soumis aux hypothèses statistiques usuelles : • une réponse Y à valeurs réelles • U une par tie d’un espace vector iel de dimension finie R

v

m uni de sa str ucture euclidienne canonique ; • une var iab le indépendante u ∈ U ; • f = ( f

1

,. .. , f

k

)

0

est une fonction conn ue définie sur U et à valeurs dans R

k

,posons X = f ( U ) ; • θ = ( θ

1

,. .. ,θ

k

)

0

∈ R

k

est un vecteur de par amètres inconn us . y ( u ) =

k

X

j=1

θ

j

f

j

( u ) = θ

0

f ( u ) , (2)

Valeurs de la réponse y aux points u

1

,. .. , u

n

∈ U représentées par des var iab les aléatoires à valeurs réelles ˜ y

1

,. .. , ˜ y

n

décorrélées telles que E [˜ y

i

| u ,θ ,τ ] = y ( u

i

) i = 1 ,. .. , n , (3) V ar [˜ y

i

| u ,θ ,τ ] = τ i = 1 ,. .. , n . (4) τ ∈ ] 0 , + ∞ [ est inconn ue .

(16)

Il est possib le de se placer dans un cadre légèrement plus génér al si nous supposons que V ar [˜ y

i

| u ,θ ,τ ] = τ v ( u ) , i = 1 ,. .. , n , où v est une fonction de u conn ue . En eff et, il suffit alors de se ramener au cas précédent en considér ant : • y

0

= y v ( u )

1/2

à la place de y ; • f

i

( u )

0

= f

i

( u ) v ( u )

1/2

à la place de f

i

.

Les valeurs u

1

,. .. , u

n

pour lesquelles les obser vations sont eff ectuées sont : 1. conn ues exactement 2. contrôlées par l’e xpér imentateur . Définition Un plan approché ξ est un couple ( U , w ) où : 1. U est un ensemb le fini de points { u

1

,. .. , u

r

} ∈ U ,le suppor tdu plan , 2. w = ( w

1

,. .. , w

r

) sont les poids des points suppor tdu plan. r est le nombre de points distincts utilisés pour constr uire le plan.

Remarquons que ,sous les hypothèses (3) et (4), le choix d’un élément u ∈ U est équiv alent au choix d’un vecteur à k composantes dans l’espace induit par le plan X = f ( U ) . Choisir un N -plan re vient donc à choisir N vecteurs dans l’espace induit par le plan X . P ar conséquent, nous pouv ons ,sans per te de génér alité, adopter la notation suiv ante ,en remplaçant (3) par (3’), E [˜ y | x ,θ ,τ ] = θ

0

x et représenter un plan ξ par un couple ( X , w ) ,où X est un ensemb le fini de points { x

1

,. .. , x

r

} ∈ X ,l’espace induit par le plan.

Plan approché = mesure de probabilité de suppor tfini sur X . Plan exact de taille n = plan av ec des poids ξ

n

( x

i

) =

ni n

, n

i

entiers de somme n . Dans la réalité, il n’est possib le de n’organiser des expér iences que selon ces plans d’où leur qualificatif . La qualité d’un plan expér imental est traduite par sa matrice des moments M ( ξ ) .

(17)

Définition La matrice des moments d’un plan est la matr ice M ( ξ ) définie ainsi : M ( ξ ) =

r

X

i=1

ξ ( u

i

) f ( u

i

) f ( u

i

)

0

=

r

X

i=1

w

i

x

i

x

i0

. Pour un plan exact, nous av ons : M ( ξ

n

) = 1 n

n

X

i=1

f ( u

i

) f ( u

i

)

0

= 1 n

n

X

i=1

x

i

x

i0

.

Proposition 1. M ( ξ ) matr ice carrée d’ordre k, matr ice polaire d’une for me quadr atique positiv e. 2. Si ξ

n

plan exact et M ( ξ

n

) in versib le alors

τ n

M ( ξ

n

)

−1

matr ice de var iance-co var iance de l’estimateur des moindres carrés ordinaires de θ . 3. Si modèle linéaire gaussien, alors

n τ

M ( ξ

n

) matrice d’inf ormation de Fisher . ⇒ Naturel de comparer les plans au tra vers des propr iétés de leur matr ice des moments .

Notions abordées dans la suite pour comparer les plans . 1. admissibilité 2. optimalité alphabétique 3. div erses notions d’in var iance associées à un plan comme : l’ équiv ariance ,l’ in variance et l’ in variance faib le .

Admissibilité Il existe un ordre par tiel sur les for mes quadr atiques positiv es : l’ordre de Loe wner . Définition A 6 B ⇐ ⇒ B − A ∈ S

+ k

∀ ( A , B ) ∈ S

2 k

(5) où S

+ k

est le cône con ve xe des matr ices symétr iques réelles positiv es et S

k

l’espace vector iel réel des matr ices symétr iques réelles .

(18)

Cet ordre peut ser vir pour comparer les plans même si la matr ice des moments n’est pas in versib le . Définition Un plan ξ

0

est dit admissib le s’il n’e xiste pas de plan ξ tel que : M ( ξ

0

) 6 M ( ξ ) et M ( ξ

0

) 6 = M ( ξ ) , (6) où M ( ξ

0

) et M ( ξ ) sont les matr ices des moments respectiv ement du plan ξ

0

et du plan ξ . Propr iété d’admissibilité indépendante des poids du plan.

Ordre par tiel de Loe wner : défaut majeur . Ne per met pas de sélectionner un optim um unique :si k 6 = 1. Chacune des matr ices des moments qui ne sont pas compar ab les associées à plusieurs plans . De nombreux dispositifs expér imentaux non comparab les . Il est d’usage de spécifier un critère d’optimalité réel :une fonction de la matr ice des moments à valeur s réelles .

Optimalité Définition (Cr itère d’optimalité) Une fonction Φ : A → R est un cr itère d’optimalité si : 1. A est un cône con ve xe inclus dans S

k

tel que S

++ k

⊂ A ⊂ S

+ k

,où S

++ k

est le cône con ve xe étoilé en 0 des matr ices réelles symétr iques définies positiv es d’ordre k. 2. Φ est décroissante pour l’ordre par tiel de Loe wner : A 6 B ⇐ ⇒ Φ( A ) > Φ( B ) , ∀ ( A , B ) ∈ A

2

compar ab les pour l’ordre par tiel de Loe wner . (7) 3. Φ est con ve xe .

Recherche d’un plan Φ − optimal ξ . Chercher une solution au prob lème de minimisation suiv ant : min

ξ|M(ξ)∈A

Φ( M ( ξ )) . (8) Posons M l’ensemb le des matr ices des moments M ( ξ ) lorsque ξ parcour tl’ensemb le de tous les plans . Le prob lème de minimisation donné par l’équation 8 de vient alors : min

M∈M∩A

Φ( M ) . (9)

(19)

Optimalité Définition alter nativ e d’un cr itère d’optimalité Chez cer tains auteurs la fonction Φ est 1. Condition inchangée . 2. Φ est cr oissante pour l’ordre par tiel de Loe wner : A 6 B ⇐ ⇒ Φ( A ) 6 Φ( B ) , ∀ ( A , B ) ∈ A

2

. (10) 3. Φ est conca ve . La recherche d’un plan optimal est alors un prob lème de maximisation défini sur les mêmes ensemb les . Pour passer de l’une à l’autre des con ventions ,remplacer φ par − φ .

Définition (Conca vité et conca vité str icte) Une application Φ à valeur dans R ∪ {−∞} est conca ve sur A si φ ( λ M

1

+ ( 1 − λ ) M

2

) > λ Φ( M

1

) + ( 1 − λ )Φ( M

2

) , pour tout λ ∈ [ 0 ; 1 ] ,pour tout ( M

1

, M

2

) ∈ A

2

. Si l’inégalité précédente est str icte pour 0 < λ < 1 sur A

+

, l’ensemb le des points A de A pour lesquels Φ( A ) est fini, alors φ est str ictement conca ve . Proposition Un cr itère str ictement conca ve admet sur A un unique maxim um A

?

.

Pour résoudre le prob lème d’optimalité, il suffit alors de : 1. Déter miner une matr ice des moments optimale M

?

. Prob lème de minimisation con ve xe . 2. Constr uire un plan ξ de matr ice des moments M ( ξ ) = M

?

. Plusieurs difficultés : 1. Dimension du prob lème rapidement très éle vée . 2. Résolution numér ique du prob lème ⇒ connaissance approchée de la matr ice des moments optimales . 3. Exhiber un plan ay ant la bonne matr ice des moments . Coordonnées des points suppor tdu plan conn ues de manière appro ximativ e.

Remarquons que solution du prob lème d’optimalité tel que nous l’a vons posé n’a aucune raison pour être un plan exact. C’est même volontairement que nous av ons décidé de recherché les plans optimaux dans un ensemb le ,les plans approchés ,qui contient strictement les plans exacts . En eff et, l’ensemb le des N − plans ,ou plans exacts à N essais , est un ensemb le discret et minimiser le cr itère φ sur celui-ci re vient à chercher le minim um d’une fonction à valeurs réelles définie uniquement sur les nombres entiers !

(20)

Dans le cas d’une fonction à valeurs réelles définie uniquement sur les nombres entiers mais naturellement prolongeab le à R

+

, nous chercher ions ses var iations et son minim um t

?

sur R

+

à l’aide des outils du calcul différentiel, puis nous chercher ions à montrer que le minim um sur les entiers est en fait atteint pour un entier proche de t

?

. C’est cette idée qui a amené Kief er à introduire les plans approchés .

Classe impor tante de cr itères d’optimalité :cr itères or thogonalement in var iants sur S

++ k

. Définition Un cr itère d’optimalité sur S

++ k

est or thogonalement in var iant s’il est in var iant pour l’action du groupe or thogonal de R

k

par cong ruence sur S

++ k

. Objectif :Utiliser les symétr ies du prob lème de minimisation pour : 1. Réduire la dimension. 2. Obtenir une résolution exacte .

Ex emples Pour −∞ 6 p 6 1 ,les fonctions Φ

p

suiv antes ,définies sur S

++ k

, sont des cr itères d’optimalité or thogonalement in var iants .Ce sont les cr itères d’optimalité Φ

p

de Kief er (1974).

          

Φ

p

( A ) =

1 k

P

−1

pk jp

λ ( A ) , si p 6∈ {−∞ , 0 } ,

j=1 −1

Q

−1k^{k j}k

Φ ( A ) = λ ( A ) = ( det ( A )) ,

0j=1

Φ ( A ) = min

−∞

−1 k j

λ ( A ) .

j=1,...,k

(11) Les cr itères obten us pour p = 0 ,p = − 1 et p = −∞ sont appelés respectiv ement cr itères de D − optimalité, A − optimalité et E − optimalité.

Remarque La D − optimalité trouv e son inter prétation naturelle dans le conte xte du modèle linéaire gaussien. Un ellipsoïde de confiance pour θ ,pour un niv eau de confiance fixé et une somme des carrés résiduelles donnée ,pro venant de l’utilisation du plan ξ est de la for me E = n θ ∈ R

k

: ( θ − b θ )

0

M ( ξ )( θ − b θ ) 6 constante o où b θ est l’estimateur de Gauss-Mar ko v de θ .

(21)

Remarque Le volume de cet ellipsoïde E , vol ( E ) ,est propor tionnel à ( det ( M ( ξ )))

−^{1 2}

. Le cr itère de D − optimalité vise donc à rendre cet ellipsoïde le plus petit possib le en minimisant le déter minant de M ( ξ )

−1

ou, en d’autre ter mes ,en maximisant celui de M ( ξ ) .

Remarque Supposons que nous nous intéressions pr ior itairement à cer taines combinaisons linéaires fixées des par amètres θ

1

,. .. , θ

n

,ces s combinaisons linéaires sont les éléments du vecteur A

0

θ où A

0

une matr ice s × k de rang s < k .

Remarque Si x est un N -plan pour lequel M ( x ) est in versib le ,la var iance de l’estimateur des moindres carrées de A

0

θ est propor tionnelle à A

0

M ( x )

−1

A et pour les mêmes raisons qu’au par ag raphe précédent, un cr itère naturel d’optimalité est de minimiser Φ

DA

( M ( x )) = det ( A

0

M ( x )

−1

A ) Il s’agit du cr itère de D

A

-optimalité (Sibson 1974).

Remarque La situation canonique d’utilisation de ce cr itère se présente dans les conditions suiv antes : A

0

= I

s

0 , c’est-à-dire lorsque nous sommes intéressés dans les estimations des s premiers par amètres θ

1

,. .., θ

s

av ec s < k . Nous par titionnons alors M ( x ) en conséquence M ( x ) = M

11

( x ) M

12

( x ) M

0 12

( x ) M

22

( x ) .

(22)

Remarque Un calcul rapide d’algèbre linéaire (complément de Schur) per met de montrer que A

0

M ( x )

−1

A = M

11

( x ) − M

12

( x ) M

22

( x )

−1

M

0 12

( x ) . Notre cr itère re vient donc à trouv er un N -plan x qui minimise le déter minant de cette matr ice . Φ

DA

( M ( x )) = det ( M

11

( x ) − M

12

( x ) M

22

( x )

−1

M

0 12

( x )) = Φ

Ds

( M ( x )) Ce cr itère Φ

Ds

est appelé D

s

-optimalité (Kar lin & Studden 1976).

Remarque Il existe une difficulté cachée qui amène à des complications théor iques impor tantes . Si nous souhaitons estimer A

0

θ ,il est possib le qu’un plan x per mette d’estimer A

0

θ de manière optimale sans qu’il ne soit possib le d’estimer θ !

Ex emple Considérons : • deux var iab les contrôlées x

1

et x

2

; • E [˜ y | x

1

, x

2

,θ ] = θ

1

x

1

+ θ

2

x

2

; • X le tr iangle de sommets ( 0 ; 0 ) , ( 1 ; 0 ) et ( 0 ; 1 ) . Si nous nous intéressions à l’estimation de θ

1

,alors il est intuitif que le N -plan qui place N obser vations en ( 1 , 0 ) ser a au minim um un bon candidat pou rfinir le meilleur estimateur de θ

1

.

Ex emple Pour ce plan, nous av ons M ( x ) = N 0 0 0 , qui, bien entendu, n’est pas in versib le . Remarque P ar conséquent, dans le dév eloppement de la théor ie de D

A

-optimalité, nous de vons tenir compte des plans x tels que A

0

θ est estimab le alors que M ( x ) n’est pas in versib le .

(23)

Définition (Optimalité minimax) Pour toute par tie C ⊂ R

v

telle que f soit prolongeab le naturellement à C ,un cr itère d’optimalité est défini par la for m ule : Φ

C

( A ) = max

u∈C

f ( u )

0

A

−1

f ( u ) . (12) En utilisant ce cr itère ,pour choisir un plan nous cherchons à rendre minimale la valeur maximale de la var iance de l’estimateur de θ

0

f ( u ) lorsque u décr it C .

Définition ( G − optimalité) Le cr itère de G − optimalité, qui est or thogonalement in var iant, est défini en prenant C = U : Φ

G

( A ) = max

u∈U

f ( u )

0

A

−1

f ( u ) . (13) En utilisant ce cr itère ,pour choisir un plan nous cherchons à rendre minimale la valeur maximale de la var iance de l’estimateur de θ

0

f ( u ) lorsque u décr it U .

Définition ( E − optimalité) Le cr itère de E − optimalité est défini en prenant C égal à la sphère unité : Φ

E

( A ) = max

x∈Rk|x0x=1

x

0

A

−1

x . (14) En utilisant ce cr itère ,pour choisir un plan nous cherchons à rendre minimale la valeur maximale de la var iance de l’estimateur de θ

0

x lorsque x décr it la sphère unité, ce qui re vient bien à chercher à rendre maximale la plus petite valeur propre de M ( ξ ) .

Définition ( I − optimalité) Le cr itère de I − optimalité, qui n’est pas or thogonalement in var iant, est défini pour tout domaine compact U d’intér ieur non vide par la for m ule : Φ

I

( A ) = 1 vol ( U ) Z

U

f ( u )

0

A

−1

f ( u ) d u , (15) où vol ( U ) désigne le volume du domaine expér imental compact U .

(24)

Remarque ( I − optimalité génér alisée) Considérons la mo yenne par rappor tà une mesure de probabilité µ définie sur une région C .L ’analogue du cr itère de I -optimalité est alors donné par la for m ule : Φ

Iµ

( A ) = Z

C

c

0

A

−1

c µ ( d c ) = tr ( A

−1

B ) , (16) où tr désigne la trace et B = R

C

cc

0

µ ( d c ) qui est encore une matr ice semi-définie positiv e.

Remarque ( I − optimalité génér alisée) Si B est de rang s ,alors B = RR

0

où R est une matr ice k × s de rang s .Ce cr itère se met alors sous la for me : Φ

Iµ

( A ) = tr ( R

0

A

−1

R ) , ce qui met en évidence son lien av ec la D

A

-optimalité. À nouv eau si s < k ,nous de vons faire face à la même difficulté qu’a vec la D

A

− optimalité et de vons considérer la possibilité que des plans av ec une matr ice M non-in versib le soient optimaux.

Définition ( c − optimalité) C’est un cas par ticulier du cr itère précédent de I-optimalité génér alisée lorsque µ attr ib ue une probabilité de 1 à une valeur c donnée . Φ

c

( A ) = c

0

A

−1

c . (17)

Sommaire Introduction Plans pour pesée Définition génér ale du prob lème Ex emples Planification, modèle linéaire et symétr ies Définitions ,admissibilité, optimalité Car actér isation différentielle de l’optimalité Théorèmes de car actér isation Matr ices d’inf or mation in versib les Matr ices d’inf or mation singulières

(25)

Rappel du prob lème Espace induit Considérons une par tie X compacte d’un espace euclidien de dimension k . Nous verrons cette par tie X comme l’ espace induit par le plan . Il est naturel de supposer que la par tie X est compacte car cela ser a presque systématiquement le cas lors des applications réelles .

Rappel du prob lème Mesure de planification, matr ice d’inf or mation Posons H la classe des mesures de probabilité sur les boréliens de X . Chaque élément η ∈ H est appelé mesure (de planification). Pour chaque η ∈ H ,la matr ice d’inf or mation, ou matr ice des moments ,de la mesure η est : M ( η ) = E ˜x ˜ x

0

où

˜x est un vecteur aléatoire distr ib ué suiv ant la loi η . L’e xistence de M ( η ) ,pour tout η ∈ H ,est assurée le fait que X est compact.

Rappel du prob lème Cr itère d’optimalité Nous av ons introduit précédemment l’ensemb le M des matr ices des moments M ( η ) lorsque η parcour tl’ensemb le de tous les plans : M = { M ( η ) : η ∈ H } . Supposons qu’un cr itère d’optimalité φ soit défini sur S ,majoré

k

sur M sans être nécessairement minoré. P ar ex emple ,si φ = log det et si M ( η ) n’est pas in versib le ,nous poser ions φ ( M ( η )) = −∞ .

Kief er 1974 Comme nous l’a vons déjà indiqué dans la section précédente , la plupar tdes cr itères d’optimalité Φ sont des fonctions conca ves ou peuv ent être remplacés par des fonctions qui sont conca ves et qui sont associés à des cr itères équiv alents .