Méthodes itératives à un pas

méthode d’Henrici. Néanmoins, les méthodes RRE et MPE ont quelques inconvénients :

(1) nous ne connaissons pas le degré du polynôme minimal puisque nous ne connaissons pas

J(x

^∗

)et (2) le degré dépend du vecteurx

_n

−x

^∗

et de ce fait, il peut varier à chaque cycle.

Précisons qu’une solution basée sur l’évolution de la norme du résidu||x−F(x)||pour un

certain x∈R

^p

, a été proposée pour ce problème dans [118]. De plus, même si des valeurs

pour le paramètre k sont choisies correctement, en particulier k ≤k

^∗

, ces méthodes sont

assujetties à des problèmes numériques tels que la stagnation, dans le cas de la méthode

RRE, et la division par zéro dans le cas de la méthode MPE. Une discussion sur ces

problèmes est présentée dans la section 5.4.2. Les méthodes RRE et MPE peuvent aussi

être utilisées avec des valeurs k plus petites que k

^∗

. Même une valeur comme k = 1peut

donner des résultats satisfaisants. Dans ce chapitre, nous nous intéressons aux méthodes

RRE et MPE avec un ordre k = 1pour deux raisons : (1) leur simplicité et (2) leur coût

de calcul relativement faible. Une nouvelle technique, appelée squaring appliquée à ces

méthodes d’ordre 1, est donnée afin d’obtenir une nouvelle classe de méthodes appelées

squarem. Nous démontrerons que les méthodes squarem de premier ordre (k = 1) peuvent

être considérées comme une amélioration importante des méthodes RRE et MPE d’ordre

1, puisqu’elles nécessitent des efforts supplémentaires négligeables de calcul et convergent

plus rapidement. Bien que nous n’espérons pas la convergence quadratique de ce type

de méthodes, il sera démontré, pour divers problèmes, que la convergence des méthodes

squarem est plus rapide que les méthodes RRE et MPE d’ordre 1 et que l’algorithme EM.

Par contre, les méthodes squarem d’ordre plus élevé impliquent des efforts de calcul plus

importants et pourraient s’avérer moins efficaces. L’évaluation numérique de la performance

de ces méthodes d’ordre supérieur pour accélérer l’algorithme EM fera l’objet d’études

futures.

5.3 Méthodes itératives à un pas

Pour résoudre le problème de point fixe

f(x) =x−F(x) = 0,

considérons les schémas de la forme suivante

x

n+1

=x

n

−A

n

(F(x

n

)−x

n

) (5.22)

où A

_n

est une matrice de dimension p×p. A partir de cette représentation très générale,

nous pouvons à la fois retrouver des schémas numériques existants mais aussi en obtenir

de nouveaux, par le biais du choix de la matrice A

_n

. Remarquons que les schémas

d’extra-polation donnés par l’équation (5.13), via la stratégie de cyclage, sont de la forme (5.22)

avec le choix

A

n

= ∆X

_k,n

(Y

_k,n^T

∆

²

X

_k,n

)

⁻¹

Y

_k,n^T

.

Brezinski [37] a donné une classification des différentes méthodes de Quasi-Newton basée

sur différentes stratégies pour le choix de A

_n

. Les trois stratégies principales sont (1)

5.3 Méthodes itératives à un pas 73

scalaire. Le cas où A

_n

est considérée comme une matrice pleine approchant M(x

∗

) =

I−F

⁰

(x

^∗

), la jacobienne de f(x) au point fixe x

^∗

, mène aux méthodes de Quasi-Newton

pour l’accélération de l’algorithme EM. Par exemple, le schéma donné par Louis [86] est

retrouvé quand

A

n

=I

_obs

(x

n

;y)

⁻¹

I

comp

(x

n

;y)

où I

_obs

et I

_comp

sont données respectivement par l’équation (4.8) et (4.9) du chapitre 4.

Le cas où A

n

est une matrice diagonale correspond à utiliser un paramètre différent, α

^jn

,

j= 1, . . . , p, pour chaque composante du vecteurf(x

_n

). Voir par exemple [32] où Brezinski

et Chehab ont développé des schémas itératifs multiparamètres pour trouver les solutions

de systèmes linéaires et non linéaires.

Quand A

_n

est une matrice scalaire de la forme α

_n

I

_p

, où I

_p

est la matrice identité de

taillep, nous retrouvons les algorithmes classiques dits de gradient, qui incluent la méthode

de la plus profonde descente

x

n+1

=x

n

−α

n

(F(x

n

)−x

n

). (5.23)

Quandα

_n

=−1, pour toutn, nous obtenons l’algorithme EM, et plus généralement, quand

α

_n

=α, nous obtenons les méthodes de relaxation, où le vecteur F(x

_n

)−x

_n

est relaxé par

le facteur −α. Ces méthodes peuvent être aussi considérées comme des schémas obtenus

en cyclant une méthode d’extrapolation, avec une transformation de suite définie par

t

_n

= (1−α)x

_n

+αx

_n+1

.

Cependant, ces méthodes avec α

_n

constant sont différentes des méthodes obtenues en

cyclant des méthodes d’extrapolation données par l’équation (5.13) (avec k = 1), puisque

ces dernières sont non linéaires. En effet, le coefficient α

_n

dépend non linéairement de

plusieurs paramètres. Ainsi, les schémas avec un pas de relaxation constant (par conséquent

linéaire) sont invariants par une transformation de paramètres, tandis que ce n’est pas le cas

pour les schémas d’extrapolation. Ceci est un point important puisque dans de nombreux

problèmes où nous devons déterminer des estimateurs du maximum de vraisemblance, il est

possible d’accélérer les schémas itératifs non linéaires par une transformation appropriée

de paramètres. Nous démontrerons ceci dans les exemples numériques.

Dans l’équation (5.23), la quantité F(x

_n

)−x

_n

est la direction de recherche ou la

direction du gradient et le scalaireα

n

est le pas de descente. Dans le contexte de l’algorithme

EM, F(x

_n

)−x

_n

peut être interprété comme un gradient généralisé, puisqu’il peut-être

montré que

F(x

n

)−x

n

≈ − ∂

²

Q(x;x

n

)/∂x∂x

^T

₋1

x=xn

(∂Q(x;x

n

)/∂x)

_x=xn

où la quantité Q(x;x

_n

) est définie par l’équation (4.3) du chapitre 4. En effet, ce résultat

constitue la base de l’algorithme du gradient EM discuté par Lange [83, Eq. 6]

x

_n+1

= F(x

_n

)

= x

_n

+ (F(x

_n

)−x

_n

)

≈ x

_n

− ∂

²

Q(x;x

_n

)/∂x∂x

^T

₋1

5.3 Méthodes itératives à un pas 74

Cet algorithme du gradient est potentiellement utile dans les situations où le maximum

de la fonction Q a été calculé itérativement, puisqu’il évite l’étape M de l’algorithme

EM (Eq. (4.4)) simplement en calculant une itération de Newton. De plus, il préserve les

propriétés de stabilité et de convergence de l’algorithme EM. Toutefois, à la différence de

l’algorithme EM, la propriété de croissance de la fonction de densité de probabilité à chaque

itération n n’est pas toujours vérifiée, puisque la matrice ∂

²

Q(x;x

_n

)/∂x∂x

^T

x=xn

n’est

pas nécessairement définie négative, excepté dans les problèmes où les données complètes

proviennent d’une distribution appartenant à une famille exponentielle linéaire.

Les méthodes d’extrapolation les plus simples sont obtenues à partir de l’équation

(5.13) en posantk=1. Dans ce cas, les matrices∆

ⁱ

X

_n,k

(i= 1,2) ont seulement une colonne

∆

i

x

_n

. En appliquant la stratégie de cyclage à ces méthodes d’extrapolation d’ordre 1, nous

obtenons des méthodes itératives de la forme (5.22) où A

_n

est une matrice scalaire. En

particulier pour les méthodes d’extrapolation RRE et MPE d’ordre 1, nous obtenons les

procédures itératives suivantes, que nous appelons MPE1 et RRE1 :

MPE1 :

x

_n+1

= x

_n

− ^||r

ⁿ

^||

2

(r

_n

, v

_n

)^r

ⁿ

:= x

_n

−α

^{M P E}_n ¹

r

_n

(5.24)

RRE1 :

x

_n+1

= x

_n

−^(r

ⁿ

^{, v}

ⁿ

⁾

||v

_n

||

2

r

_n

:= x

_n

−α

^RRE_n ¹

r

_n

(5.25)

où r

_n

=F(x

_n

)−x

_n

et v

_n

=F(F(x

_n

))−2F(x

_n

) +x

_n

.

Le schéma RRE1 (Eq. (5.25)) est aussi connu sous le nom de la méthode de Lemaréchal

[85]. Dans [37], elle est présentée de la manière suivante :

Soit une méthode itérative de la forme (5.23). Posonsu

₀

=x

_n

etu

_i+1

=F(u

_i

),i= 0,1, . . ..

Définissons z0 =x

n+1

et z

i

=u

i

−α

n

(u

i+1

−u

i

). Nous considérons les vecteurs

∆z

_i

= ∆u

_i

−α

_n

∆

²

u

_i

,

où∆

^k

est l’opérateur différence défini par∆

^k

u

_i

= ∆

^k−1

u

_i+1

−∆

^k−1

u

_i

avec∆

⁰

u

_i

=u

_i

. Pour

un vecteur arbitraire y∈IR

^p

, nous choisissons α

_n

tel que (y,∆z

₀

) = 0et nous obtenons

α

_n

= ^(y,∆u

⁰

⁾

(y,∆

2

u

₀

)^.

Il peut être montré que le choix y = ∆u0 minimise ||∆z0||

²

et mène à la méthode de

Lemaréchal ou la RRE1. Similairement, le choixy= ∆u

₀

, qui mène au pas de descente du

Dans le document Méthodes d'Accélération de Convergence en Analyse Numérique et en Statistique (Page 87-90)