La m´ ethode des moindres carr´ es ordinaires (OLS )

Etant donn´ee une variable al´eatoire r´eelle X d’esp´erance µ et d’´ecart type σ, on d´efinit son coefficient d’asym´etrie comme le moment d’ordre trois de la variable centr´ee r´eduite : γ₁ = E X − µ σ 3 (2.20) Lorsque cette esp´erance existe. On a donc :

γ₁ = ^µ3

µ^3/2₂ ⁼ k₃

k^3/2₂ ^(2.21)

Avec µ_i les moments centr´es d’ordre i et k_i les cumulants d’ordre i.

2.2.6 Kurtosis

• Kurtosis non normalis´e (coefficient d’aplatissement) : ´etant donn´ee une variable al´eatoire r´eelle X d’esp´erance µ et d’´ecart type σ, on d´efinit son kurtosis non normalis´e comme le moment d’ordre quatre de la variable centr´ee r´eduite :

β₂ = E

X − µ

σ

4

(2.22) Lorsque cette esp´erance existe. On a donc :

β2 = ^µ4

µ2 2

(2.23) Avec µi les moments centr´es d’ordre i.

• Kurtosis normalis´e (exc`es d’aplatissement) : le kurtosis non normalis´e ´etant d´efini en termes de moments centr´es, il est malais´e `a manipuler lorsqu’il s’agit de calculer celui de la somme de variables ind´ependantes.

On d´efinit ainsi le kurtosis normalis´e en termes de cumulant :

γ₂ = ^k4

k2 2

(2.24) Sachant que µ₂ = k₂ et µ₄ = k₄+ 3k₂, on a alors :

γ₂ = ^µ4− 3µ2 2 µ2

2

= β₂− 3 (2.25)

Nous utiliserons les deux notions asym´etrie et kurtosis dans l’´etude statistique qui nous r´ealisera `a chaque m´ethode des moindres carr´es dans le chapitre quatre.

2.3 M´ethode des moindres carr´es

2.3.1 La m´ethode des moindres carr´es ordinaires (OLS )

La m´ethode des moindres carr´es est une technique utilis´ee permettant l’estimation des param`etres ainsi que l’ajustement des donn´ees. C’est l’une des techniques les plus anciennes comme elle a ´et´e publi´ee en 1805 par le math´ematicien fran¸cais Legendre

CHAPITRE 2. LES M ´ETHODES MATH ´EMATIQUES POUR CALCULER LA POSITION D’UN R ´ECEPTEUR GPS

[66]. Mais cette m´ethode est encore plus ancienne, car apr`es la publication du m´emoire de Legendre, Gauss le c´el`ebre math´ematicien allemand a publi´e une autre m´emoire en 1809, dans laquelle il a mentionn´e qu’il avait d´ej`a d´ecouvert cette m´ethode et il l’a utilis´ee d`es 1795 [67].

OLS est la forme la plus simple de la m´ethode des moindres carr´es. Souvent,

l’ob-jectif de OLS est d’adapter un polynˆome de degr´e bas pour une s´erie de points de donn´ees bruyants, y(t_i) i = 1 à m.

Si seulement deux points sont disponibles, la solution est facile : pr´evoir une ligne droite passant par les deux points `a l’aide d’un point comme une contrainte, et calculer la pente de la diff´erence entre les points [68]. Ensuite, la solution est essentiellement interpolation lin´eaire de la forme

y(t) = y(t₁) + ^{y(t2) − y(t1)}

t2− t1

(t − t₁) (2.26)

Si plusieurs points de donn´ees sont disponibles que le nombre de coefficients dans le mod`ele polynomial, alors il n’est pas g´en´eralement possible d’ajuster une courbe exacte par tous les points de donn´ees. Ainsi, la question devient : ”quel crit`ere devrait ˆetre utilis´e pour d´eterminer le meilleur ajustement aux donn´ees pour le mod`ele ? ”

Deux possibilit´es sont ´evidentes (1) de la somme des valeurs absolues des diff´erences (r´esidus) entre les donn´ees et la courbe polynomiale. Ou (2) les r´esidus de somme au carr´e. Gauss et Legendre ont choisi la somme des carr´es comme une fonction d’objective `

a minimiser, depuis leur choix il a ´et´e la meilleure approche.

Le probl`eme des moindres carr´es se r´epartit en deux cat´egories : les moindres carr´es lin´eaires et les moindres carr´es non lin´eaires, en fonction de si les r´esidus sont lin´eaires ou pas dans toutes les inconnues.

Le probl`eme des moindres carr´es lin´eaires se produit dans l’analyse statistique de r´egression ; elle a une solution de forme ferm´ee. Une solution de forme ferm´ee est une formule qui peut ˆetre ´evalu´ee dans un nombre fini d’op´erations standards. Le probl`eme non lin´eaire n’a pas une solution de forme ferm´ee et est habituellement r´esolu par affinement it´eratif, `a chaque it´eration le syst`eme est ´evalu´e par un syst`eme lin´eaire, et donc le calcul de base est similaire dans les deux cas.

Lorsque les observations viennent d’une famille exponentielle et des conditions mo-d´er´ees sont remplies, les estimations des moindres carr´es et les estimations de proba-bilit´e maximale sont identiques.

L’application la plus importante est l’ajustement de donn´ees. Le meilleur ajuste-ment au sens des moindres carr´es minimise la somme des carr´es des r´esidus, un r´esiduel ´etant la diff´erence entre la valeur observ´ee et la valeur fournie par un mod`ele. Lorsque le probl`eme a des incertitudes consid´erables dans la variable ind´ependante (la variable

X), une simple r´egression et la m´ethode des moindres carr´es ont des probl`emes. Dans

ce cas, la m´ethodologie pour les mod`eles EIN (erreurs-in-variables) ou T LS (Total Least Squares) peut ˆetre consid´er´e `a la place de celle de la m´ethode OLS.

2.3.1.1 La m´ethode des moindres carr´es lin´eaires (LLSQ )

Un probl`eme des moindres carr´es est donn´e comme un syst`eme Ax ≈ b et il n’y a pas une solution exacte de ce syst`eme [63]. A est une matrice m lignes et n colonnes, avec m > n. Ainsi, il y a plus d’observations b<sub>1</sub>, ..., b<sub>m</sub> que param`etres libres x₁, ..., x_n.

CHAPITRE 2. LES M ´ETHODES MATH ´EMATIQUES POUR CALCULER LA POSITION D’UN R ´ECEPTEUR GPS

J = ¹ 2 m X i=1 (b_i− a_ix)² = ¹ 2^{(b − Ax)} T(b − Ax) (2.27)

Le facteur de 1/2 n’est pas n´ecessaire de d´efinir `a la fonction d’objective, mais il ´

elimine un facteur de deux dans les ´equations `a suivre. Le gradient de J par rapport `a

x doit ˆetre nul. C’est-`a-dire

∂J ∂x ^{= −} m X i=1 (b_i− a_ix)a_i = −(b − Ax)^TA = 0 (2.28) O`u ∂J ∂x ^{= [} ∂J ∂x1 , ^∂J ∂x2 , ..., ^∂J ∂xn ]^T (2.29)

Et le gradient J donne AT(b − Aˆx) = 0

A^TAˆx = A^Tb (2.30)

L’´equation (2.30) est appel´ee ” l’´equation normale ” pour le probl`eme des moindres carr´es. Si (ATA) a rang n, il peut ˆetre r´esolu en inversant explicitement (ATA) pour

obtenir :

ˆ

x = (A^TA)⁻¹A^Tb = A⁺b (2.31)

Dans notre probl´ematique positionn´ee d’un r´ecepteur GP S la matrice A est :

A=            −X¹−X0 ρ1 0 −Y¹−Y0 ρ1 0 −Z¹−Z0 ρ1 0 1 −X2−X₀ ρ2 0 −Y2−Y₀ ρ2 0 −Z2−Z₀ ρ2 0 1 −X3−X0 ρ3 0 −Y3−Y0 ρ3 0 −Z3−Z0 ρ3 0 1 .. . .._. .._. .._. −Xm−X₀ ρm 0 −Ym−Y₀ ρm 0 −Zm−Z₀ ρm 0 1            et le vecteur b est : b = P^k− ρk

0 + cdt^k− Tk− Ik. Pour plus de d´etail voir l’´equation (1.28).

2.3.1.2 La m´ethode des moindres carr´es non lin´eaires (NLLSQ )

Il n’y a aucune solution de forme ferm´ee `a un probl`eme des moindres carr´es non lin´eaires. A la place, les algorithmes num´eriques sont utilis´es pour trouver la valeur des param`etres ˆx qui minimisent l’objectif [63]. La plupart des algorithmes impliquent le choix des valeurs initiales pour les param`etres, qui sont dans notre probl´ematique les coordonn´ees g´eographiques du centre de la terre (0,0,0).

Ensuite, les param`etres sont raffin´es de fa¸con it´erative, `a savoir que les valeurs sont obtenues par approximation successive.

X₁ = X₀+ ∆X

Y1 = Y₀+ ∆Y

Z₁ = Z₀+ ∆Z

(2.32)

Dans la premi`ere it´eration la valeur de (X<sub>0</sub>, Y<sub>0</sub>, Z<sub>0</sub>) est (0,0,0). Puis cette it´eration continue jusqu’`a la norme k ˆx k=√

ˆ

xTx est inf´ˆ erieure `a 10⁻².

CHAPITRE 2. LES M ´ETHODES MATH ´EMATIQUES POUR CALCULER LA POSITION D’UN R ´ECEPTEUR GPS

2.3.1.3 Les diff´erences entre la m´ethode lin´eaire et non lin´eaire

1. La fonction b dans la m´ethode des moindres carr´es lin´eaires (LLSQ) est une combinaison lin´eaire des param`etres de la forme bi = a<sub>1</sub>x1 + a<sub>2</sub>x2 + · · · + a<sub>i</sub>xi, le mod`ele peut repr´esenter une ligne droite, une parabole ou toute autre combi-naison lin´eaire de fonctions. Dans la m´ethode des moindres carr´es non lin´eaires (N LLSQ) les param`etres apparaissent comme des fonctions, telles que X², e^AX

et ainsi de suite. Si les d´eriv´es _∂x^∂f

i sont constant, ou ne d´ependent que des valeurs de la variable ind´ependante, le mod`ele est lin´eaire dans les param`etres. Sinon, le mod`ele est non lin´eaire.

2. Des algorithmes pour trouver la solution `a un probl`eme N LLSQ exigent des valeurs initiales pour les param`etres [69], LLSQ ne fait pas.

3. Comme LLSQ, les algorithmes de solution pour N LLSQ exigent souvent que la jacobienne soit calcul´ee. Des expressions analytiques pour les d´eriv´ees par-tielles peuvent ˆetre compliqu´ees `a calculer. Si ces expressions analytiques sont impossibles `a calculer, soit les d´eriv´ees partielles doivent ˆetre calcul´ees par ap-proximation num´erique ou une estimation de la jacobienne doit ˆetre effectu´ee [70].

4. Dans N LLSQ, la non-convergence (´echec de l’algorithme pour trouver un mi-nimum) est un ph´enom`ene commun [71], tandis que le LLSQ est globalement convexe, donc la non-convergence n’est pas un probl`eme.

5. N LLSQ est g´en´eralement un processus it´eratif. Ce processus doit ˆetre termin´e quand un crit`ere de convergence est satisfait. Des solutions de LLSQ peuvent ˆetre calcul´ees en utilisant des proc´ed´es directs, bien que des probl`emes avec un grand nombre de param`etres soient habituellement r´esolus par des m´ethodes it´eratives, telles que la m´ethode de Gauss-Seidel [72].

6. Dans LLSQ la solution est unique, mais dans N LLSQ il peut y avoir plusieurs minimums dans la somme des carr´es [73].

7. Sous la condition que les erreurs ne sont pas corr´el´ees avec les variables pr´ edic-tives, LLSQ donne des estimations sans biais, mais sous la mˆeme condition les estimations de N LLSQ sont g´en´eralement biais´ees [74].

Ces diff´erences doivent ˆetre consid´er´ees `a chaque fois qu’on recherche une solution d’un probl`eme des moindres carr´es non lin´eaires.