Nous présentons dans cette section les algorithmes classiques utilisant les rangs pour tester l’homogénéité de deux ou plusieurs groupes de données unidimen- sionnelles. Le test de Mann-Whitney/Wilcoxon est d’abord présenté, une version modifiée pour prendre en compte la présence de censure a déjà été utilisée pour élaborer le test utilisé pour la détection d’anomalies réseau, au chapitre 3. Ensuite on s’intéresse au test de Kruskal et Wallis qui examine la distribution de plusieurs échantillons ; enfin le test de Wei et Lachin est utilisé pour tester l’homogénéité en présence de censure dans le cas multivarié.
4.4.1 Test de rang de Mann-Whitney/Wilcoxon
Le test de Mann-Whitney/Wilcoxon est un test statistique non-paramétrique per- mettant de tester si deux échantillons de valeurs scalaires ou ordinales ont la
même loi. Soit ainsi X1, . . . , Xn un échantillon de variables aléatoires réelles que
l’on subdivise en deux sous-échantillons X1, . . . , Xn1 et Xn1+1, . . . , Xn de tailles
respectives n1 et n−n1. Pour tout i, 1 ≤ i ≤ n, on note Ri le rang de Xi dans
l’échantillon groupé, à savoir Ri =∑nj=11(Xj ≤Xi). La statistique W de Wilcoxon
(1945) s’écrit (Lehmann (1975) ou van der Vaart (1998, chapitre 13)) : Wn1 =
n1
∑
j=1
Rj. (4.4)
La statistique WnMW1 de Mann et Whitney (1947) qui s’écrit WnMW1 = n1
∑
i=1 n∑
j=n1+1 1 Xi ≤ Xj (4.5) est une statistique équivalente à la statistique de Wilcoxon ; en effet,WnMW1 =Wn1 −
1
2n1(n1+1).
L’hypothèse nulle d’homogénéité des deux échantillons est rejetée pour d’« as- sez grandes » valeurs de W. Le seuil de décision peut être calculé exactement2 ou en utilisant une approximation de la distribution asymptotique de W. En effet, on peut montrer (van der Vaart, 1998, corollaire 13.8) que
Wn1 −E[Wn1] pVar Wn1 d −→ N (0, 1) où E[Wn1] = 1 2n1(n+1) et Var Wn1 = 1 12n1(n−n1)(n+1).
Le test de Mann-Whitney/Wilcoxon est consistant pour les alternatives pour lesquellesP(X ≤ Y) 6=1/2, où X et Y sont des variables aléatoires i.i.d. dont on veut tester l’homogénéité. Par exemple pour un changement dans la moyenne, le test est consistant. En effet, soit µ 6= 0 ; P(X ≤ X+µ) = P(0 ≤ µ) 6= 1/2. De même pour un changement d’échelle (sans changement de moyenne µ) lorsque la variable aléatoire X est positive : soit σ>1,P(µ+X≤ µ+σX) =P((σ−1)X≥ 0) =P(X≥0) =16=1/2 (le cas σ<1 se traite de la même manière).
Le test de Wilcoxon est une alternative au test de Student qui permet de tes- ter l’égalité des moyennes de variables aléatoires gaussiennes unidimensionnelles, mais impose moins d’hypothèses que ce dernier. En effet, le test de Student sup- pose la normalité des variables aléatoires testées ainsi que l’égalité de leur va- riance. Lorsque ces conditions sont réunies, étant dérivé à partir du rapport de
2Cela peut être fait en énumérant l’ensemble des valeurs de la statistique W pour les configura-
tions possibles de 1, . . . , n dans deux groupes de n1et n−n1éléments. C’est une opération possible
pour de petites valeurs de n et n1mais le cardinal de l’ensemble de ces permutations étant(nn1), cela devient impossible lorsque ces quantités augmentent.
vraisemblance, le test est uniformément plus puissant. Le test de Wilcoxon et le calcul de niveau de significativité associé ont l’avantage de ne pas dépendre de la distribution des données sous-jacentes. Le test est par ailleurs plus robuste que le test de Student aux valeurs aberrantes (une comparaison expérimentale de mé- thodes de rangs à celles utilisant sur le maximum de vraisemblance sous l’hypo- thèse gaussienne est réalisé en section 6.3.2). Il a aussi été montré (Lehmann, 1975, section 2.4) que sous l’hypothèse gaussienne, le test de Wilcoxon a une bonne efficacité relative par rapport test de Student (que l’on définit comme le rapport entre la taille de l’échantillon nécessaire pour que le test de Wilcoxon obtienne la même puissance que le test de Student sous la même alternative) de 0,955 alors qu’elle devient supérieure à 1 sous d’autres distributions, notamment pour celles à queues lourdes. Ainsi lorsque les données peuvent possiblement dévier de leur distribution présupposée, il devient alors avantageux d’utiliser le test de Wilcoxon plutôt que le test paramétrique, la perte de puissance étant assez minime dans le cas gaussien.
4.4.2 Test de Kruskal-Wallis
Le test de Mann-Whitney/Wilcoxon permet de tester si les distributions de deux échantillons univariés diffèrent. Le test suivant est une variante qui s’intéresse à la distribution d’un nombre plus grand d’échantillons. Supposons que l’on ait L groupes de données à valeurs réelles X1, . . . , Xn1; Xn1+1, . . . , Xn2; . . . ; XnL−1+1, . . . , XnL.
On convient que n0 = 0 et nL = n. On veut déterminer si ces L groupes de don-
nées proviennent de la même distribution. Le test de Kruskal et Wallis (1952) permet de répondre à cette question, à l’aide d’une procédure basée sur les rangs. Une méthode en rapport avec le test de Kruskal-Wallis est l’analyse de la variance (ANOVA) qui s’applique lorsque les observations sont distribuées selon une loi gaussienne.
Soit Ri le rang de Xi parmi l’ensemble des observations et notons
¯ R` = 1 n`+1−n` n`+1
∑
i=n`+1 Rile rang moyen du`eéchantillon.
La statistique de Kruskal-Wallis s’écrit H= 12 n(n+1) L−1
∑
`=0 (n`+1−n`) ¯ R`− n+1 2 2 . (4.6)Une valeur « assez grande » de H indique que l’on rejette l’hypothèse nulle selon laquelle les L groupes d’observations proviennent d’une même distribution. Rap- pelons que les rangs Ri (i=1, . . . , n) prennent pour valeurs l’ensemble des entiers
H prend donc de grandes valeurs lorsqu’au moins un des termes de la somme est grand, c’est-à-dire lorsque le rang moyen ¯R` au sein d’un groupe s’éloigne
suffisamment du rang moyen total(n+1)/2.
On peut montrer (van der Vaart, 1998) que sous certaines hypothèses (conti- nuité de la fonction de répartition de X1 et convergence de (ni+1−ni)/n vers
ti ∈ (0, 1)lorsque n→ ∞), la distribution de la statistique H tend asymptotique-
ment vers une loi du χ2 à L−1 degrés de liberté sous l’hypothèse nulle, ce qui permet d’élaborer un test à un niveau de fausse alarme α donné.
4.4.3 Statistique de Wei et Lachin
Wei et Lachin (1984) ont proposé une méthode de rangs non-paramétrique pour tester l’égalité de deux distributions multivariées. Leur méthode s’applique aux observations censurées et généralise au cas multidimensionnel le test d’homogé- néité de Gehan (1965) qui s’appliquait aux données unidimensionnelles censurées. La statistique de Wei et Lachin est une combinaison de statistiques calculées dans chacune des dimensions. Soit (X1, . . . , Xn) une série de n observations de RK,
avec Xj = (Xj,1, . . . , Xj,K)0. On veut tester l’homogénéité des deux échantillons
X1, . . . , Xn1 et Xn1+1, . . . , Xn.
La variable Xj,k n’est pas forcément connue, on considère qu’on observe une
valeur censurée, à savoir le couple (X˜j,k, δX,j,k) où ˜Xj,k = min(Xj,k, cj,k), δX,j,k =
1(Xj,k = X˜j,k)et les cj,k sont des valeurs de censure indépendants des Xj,k corres- pondants.
Pour la dimension k, la statistique marginale s’écrit3 Tn,k= 1 n3/2 "n 1
∑
j=1 δX,j,k n∑
m=n1+1 1(X˜m,k ≥ X˜j,k)− n∑
j=n1+1 δX,j,k n1∑
m=1 1(X˜m,k ≥X˜j,k) # .Les auteurs montrent que sous certaines conditions, le vecteur(Tn,1, . . . , Tn,K)0
converge en distribution vers un vecteur aléatoire gaussien de moyenne nulle et de covarianceΣ, ce qui leur permet de proposer
(Tn,1, . . . , Tn,K)0Σˆ−1(Tn,1, . . . , Tn,K),
où ˆΣ est un estimateur de Σ, comme statistique pour le test d’homogénéité entre les deux échantillons X et Y.
On montre dans le chapitre 5 par le moyen de simulations que la statistique de Wei et Lachin (1984) est erronée, dans le sens où lorsque la taille des deux échan- tillons testés est déséquilibrée, la distribution de la statistique ne correspond pas
3Cette écriture est un cas particulier donné par les auteurs d’une forme plus générale qui com-
prend une certaine pondération dans chacun des termes des sommes apparaissant dans l’expression de Tn,k. Suivant les valeurs de ces poids on obtient des statistiques qui étendent celles de Gehan (présentée ici) ou du log-rank
à la loi attendue. Nous avons donc cherché à corriger ce défaut en proposant une matrice de renormalisation différente et nous avons étendu le test d’homogénéité à un test de détection de ruptures.