Comment cycler des Méthodes d’Extrapolation ?

Discutons maintenant de la stratégie dîte de cyclage qui utilise les avantages des

mé-thodes d’extrapolation données par l’équation (5.13) et que nous utiliserons pour résoudre

le problème de l’accélération de convergence de l’algorithme EM. Précisons que les

mé-thodes itératives proposées ici, basées sur cette stratégie peuvent être utilisées plus

généra-lement pour accélérer les itérations de Picard pour déterminer le ou les points fixes d’une

fonction F. Pour la suite du chapitre, il est important de distinguer les termes cycles et

itérations. Une itération de base signifie une simple itération du schéma de base à accélérer,

par exemple la méthode de Picard ou l’algorithme EM, tandis qu’un cycle désigne

l’ap-plication d’une méthode d’extrapolation utilisant plusieurs itérations de base et repartant

du vecteur donné par l’extrapolation. La stratégie de cyclage consiste au début de chaque

cycle, à partir d’un vecteur initial, à calculer quelques itérations de base et ensuite à

appli-quer un schéma d’extrapolation de la forme (5.13) à ces itérations pour obtenir un vecteur

qui sera le vecteur initial au prochain cycle, et ainsi de suite. Précisons que la méthode

d’extrapolation utilisée est la même pour tous les cycles. Nous obtenons alors le schéma

itératif suivant en cyclant une méthode d’extrapolation de la forme (5.13)

1. Soitx

n

le vecteur initial au début du (n+ 1)

ième

cycle, et soit u0 =x

n

.

2. Appliquons le schéma de basekfois pour obtenir les itérations de base u

₁

, . . . , u

_k

, où

u

i+1

=F(u

i

) i= 0, . . . , k−1.

3. Appliquons le schéma d’extrapolation donné par l’équation (5.13) à la suiteu

₀

, . . . , u

_k

pour obtenirt

⁽n^k)

.

4. Posons x

_n+1

=t

⁽n^k)

, et vérifions le critère de convergence.

5. Si le critère est satisfait, nous nous arrêtons, sinon nous revenons à l’étape1pour un

autre cycle.

L’idée de cycler est la voie la plus naturelle et efficace qui utilise les méthodes

d’extra-polation. Donnons quelques raisons de cycler des méthodes d’extrapolation [117, section 6]

1. Cycler une méthode d’extrapolation d’ordrek tel que la MPE ou RRE avecmcycles

est comparable, mais pas équivalent, à l’utilisation d’une méthode d’extrapolation

sans cycle qui calcule un itéré t

⁽₀^mk)

, obtenu à partir de x0, x1, . . . , x

_mk

.

2. Cycler requiert mfois moins de stockage qu’une pure extrapolation, puisqu’il utilise

seulement k+ 1 vecteurs à chaque cycle tandis qu’une pure extrapolation nécessite

le stockage des m(k+ 1)vecteurs.

3. En cyclant nous pouvons contrôler l’erreur d’extrapolation à chaque cycle et modifier

le nombre k d’itérations de base tandis que dans une extrapolation pure, le nombre

de termes est fixé à priori.

Un inconvénient mineur avec les cycles est que les itérations de base que nous calculons

ne peuvent être utilisées qu’une seule fois, en particulier pour calculer l’itéré x

n+1

du

(n+ 1)

ième

cycle. Par contre, dans une extrapolation pure (sans cycle), les itérations de

base sont calculées une fois puis stockées et enfin elles peuvent être utilisées avec n’importe

5.2 Quelques Rappels 70

quel schéma d’extrapolation. Bien entendu, le stockage des vecteurs est prohibitif si la

dimension des vecteurs est élévée. Rappelons quelques définitions utiles pour la suite [81].

Définition 1.

Le polynôme caractéristique d’une matrice carrée T est det(T −λI). Son degré est p, la

dimension de T. Nous avons P(T) = 0 (Théorème d’Hamilton-Cayley). Le polynôme

mi-nimal d’une matrice T est le polynôme P de plus petit degré tel que P(T) = 0. Il divise le

polynôme caractéristique de T. Le polynôme minimal d’une matrice T pour un vecteur u

est le polynôme Qde plus petit degré tel que Q(T)u= 0. Q divise le polynôme minimal.

Sous les conditions suivantes

1. La dérivée au sens de Fréchet dans Ωde la fonction F est continue

2. La matrice jacobienne J(x

^∗

) évaluée au point fixe x

^∗

n’admet pas l’unité comme

valeur propre

3. Le paramètre kest choisi pour le(n+ 1)

ième

cycle comme étant le degré du polynôme

minimal de J(x

∗

)pour le vecteur x

_n

−x

∗

4. x

₀

est suffisamment proche du point fixe x

∗

,

Smith et al [118] ont montré que la méthode itérative décrite à la page 69 et obtenue en

cyclant une méthode d’extrapolation, est quadratiquement convergente dans le sens où

||x

_n+1

−x

^∗

||=O(||x

_n

−x

^∗

||

²

).

Voir aussi [84] pour un résultat sur la convergence quadratique du Topological Epsilon

algo-rithm (TEA). Un exemple classique qui illustre cette stratégie de cyclage est la connection

entre la méthode∆

²

d’Aitken et le schéma itératif de Steffensen pour la résolution de

pro-blème de point fixe dans le cas scalaire. Rappelons que la méthode ∆

²

d’Aitken, étudiée

dans la section 5.2.1, est définie par

t

_n

= x

_n

− ^(x

ⁿ⁺¹

^−x

ⁿ

⁾

2

x

_n+2

−2x

_n+1

+x

_n

^.

D’autre part, la méthode de Steffensen est un schéma itératif qui peut être explicitement

défini par

x

_n+1

=x

_n

− ^(F(x

ⁿ

^)−x

ⁿ

⁾

2

F(F(x

_n

))−2F(x

_n

) +x

_n

^. (5.20)

Ce schéma peut être obtenu à partir du processus∆

2

d’Aitken, en utilisant la stratégie de

cyclage, de la façon suivante

1. Soitx

_n

le vecteur initial au début du (n+ 1)

ième

. Posons u

₀

=x

_n

.

2. Appliquons le schéma de Picard deux fois pour obtenir

u

₁

=F(u

₀

) et u

₂

=F(u

₁

).

3. Appliquons le ∆

²

d’Aitken, Equation (5.5), à u

₀

, u

₁

et u

₂

pour obtenirx

_n+1

.

4. Incrémenter le nombre de cycles de 1, et répéter les étapes (1)-(3) jusqu’à convergence.

5.2 Quelques Rappels 71

Bien que les itérations de base, précisement les itérations de Picard (Eq. (5.1)), soient

linéairement convergentes, la méthode de Steffensen produit une suite qui converge

qua-dratiquement vers le point fixe x

^∗

de la fonction F, à condition que F

⁰

(x) 6= 1 et que le

vecteur initialx

₀

est suffisamment proche du point fixex

∗

. Ce résultat ne devrait pas être

surprenant puisque la méthode de Steffensen est très proche de la méthode de

Newton-Raphson pour résoudre l’équation non linéaire,f(x) =F(x)−x= 0. En effet, la méthode

de Newton-Raphson utilise la dérivée de f(x), f

0

(x) = F

0

(x)−1 tandis que la méthode

de Steffensen utilise une approximation de la dérivée de F par la méthode de la sécante,

c’est-à-dire

F

⁰

(x

_n

) = (F(x

_n+1

)−F(x

_n

))/(x

_n+1

−x

_n

)

= (F(x

n+1)

−F(x

n

))/(F(x

n

)−x

n

).

Nous remarquons que la fonction F doit être contractive afin que les itérations de base

convergent, mais cette condition n’est pas nécessaire pour avoir la convergence de la

mé-thode de Steffensen. Ce fut aussi observé par Henrici [69] pour un schéma qu’il a proposé

comme une extension de la méthode de Steffensen au cas vectoriel. En effet, Henrici a donné

un exemple (dansIR

²

) où cette extension de la méthode de Steffensen converge tandis que

la fonction F est telle que non seulement ||J(x

^∗

)|| > 1, mais aussi |λ

_min

(J(x

^∗

))| > 1.

Précisons qu’il fut prouvé plus tard par Nievergelt [95] que des conditions sur les dérivées

partielles secondes deF et la coïncidence du polynôme caractéristique et du polynôme

mi-nimal de la jacobienne de F au point x

^∗

(ce qui est trivialement vrai dans le cas scalaire)

sont suffisantes pour garantir la stabilité et la convergence du schéma proposé par Henrici

et appelé lamultivariate Steffensen’s method.

La méthode d’Henrici peut être aussi retrouvée, via le cyclage, à partir des méthodes

d’extrapolation, Eq. (5.13), en posantk=pety

_i

=e

_i

, où les vecteurse

_i

sont les vecteurs de

la base canonique deIR

^p

. Cette méthode a aussi été considérée par Louis [86] sous le nom de

the multivariate Aitken’s methodet elle fut implémentée dans [80]. Un algorithme récursif

pour la mettre en oeuvre, le H-algorithme, a été donné par Sadok [107], voir aussi [26, p.

238]. Comme Smith et al [118] l’ont démontré, une extension plus naturelle de la méthode

∆

²

d’Aitken pour le cas vectoriel, est obtenue en cyclant la méthode d’extrapolation RRE

(p. 66) avec le paramètrek =k

^∗

≤p, oùk

^∗

est le degré du polynôme minimal deJ(x

^∗

)pour

le vecteur x

_n

−x

∗

, où J(x

∗

) désigne la matrice jacobienne de F évaluée au point fixe x

∗

.

Rappelons que la méthode d’extrapolation RRE (Eq. (5.13)) avec le choix y

_i⁽ⁿ⁾

= ∆

²

x

n+i

,

est définie par

t

⁽_n^k)

=x

n

−∆X

_n,k

(∆

²

X

_k,n

)

^†

∆x

_k,n

(5.21)

où A

^†

= (A

^T

A)

⁻¹

A

^T

est l’inverse généralisé de Moore-Penrose ou le pseudo-inverse de la

matrice A. QuandA est une matrice carrée non singulière, alorsA

†

=A

−1

, dans quel cas

la méthode RRE avec k=p coïncide avec la méthode d’Henrici.

Le degré du polynôme minimal est plus petit que p la dimension des vecteurs. De ce

fait, compte tenu du résultat de convergence de Smith et al [118] énoncé précédemment,

la méthode d’Henrici pourrait s’avérer moins efficace que la méthode RRE. De plus, pour

des problèmes avec un très grand nombre d’inconnues, il peut être prohibitif d’utiliser la

Dans le document Méthodes d'Accélération de Convergence en Analyse Numérique et en Statistique (Page 84-87)