Estimation de l’erreur de type II avec l’approximation normale

On vérifie empiriquement cette fois-ci l’erreur de type II pour le test du score.

Simulation 2.4: Estimation de la proportion de rejet sous H1

-Test à 2 proportions

Sous H1: p2= p1+0, 3, on choisit de faire varier p2 dans [0, 1; 0, 7] avec un pas de 0, 01.

Les proportions p1et p2correspondent aux vraies probabilités de succès des deux populations

à comparer. On simule sous H1, des échantillons aléatoires indépendants tels que S1, S2 avec

n=19 et n=35. On calcule B fois l’erreur de type II sous H1pour z5< zα. On détermine B

-Test à 5 proportions

Sous H1: ¯p= p1+0, 3, ¯p variant dans[0, 1; 0, 7]avec un pas de 0, 01 pour un échantillon de

taille n=19. et n=35. On calcule B fois l’erreur de type II avec l’intervalle de confiance associé.

Commentaires sur les simulations

On fait varier p1 ∈[0, 1; 0, 7] car nous avons pris un effet de taille de 0,3 de telle que sorte que

p₂∈[0, 4; 1] et ¯p ∈[0, 4; 1]. On rappelle les conditions d’application du test. L’approximation est moins bonne pour np0≤ et n(1 − p0)≤ 5. Pour n=19 les conditions ne sont pas respectées lorsque

p0< 0, 3 et quand p0> 0, 7. Pour n=35, les conditions ne sont pas respectées lorsque p0< 0, 15 et

pour p0> 0, 85.

Commentaires sur les résultats

L’erreur de type II semble globalement décroître en fonction de p1. On pouvait s’attendre à ce ré-

sultat puisqu’on avait observé une croissance de l’erreur de type I et il est connu que α et β varient en sens inverse. Dans le cas à 2 proportions, l’erreur de type II s’éloigne du seuil β pour atteindre respectivement 20% et 10% lorsque n=19 et n=35.

Pour 5 proportions, l’erreur de type II atteint 15% lorsque p1≤ 0, 5 pour n=19 et près de 10% quand

n=35. Il semble que l’erreur de type II est plus élevée pour des proportions p1entre 0,2 et 0,5. Si

l’erreur de type I est globalement faible avec une légère hausse, l’erreur de type II est en revanche un peu plus élevée. Autrement dit, la probabilité de réduire les ressources nécessaires à des bénéficiaires est plus importante. Une conclusion similaire est faite dans l’article deRhoda et al.[2010] mais avec d’autres arguments.

(a) J=2,n=19,α=10%, β=10% (b) J=2,n=35, α, β=5%

FIGURE 2.10 – Estimation de l’erreur de type II pour une approximation par la loi normale quand n=19, f iga,n=35, f igb, B=1000, α, β =5%; 10% et p2∈[0, 1; 0, 7]pour 2 proportions

(a) J=5,n=19,α, β =10% (b) J=5,n=35, α, β=5%

FIGURE2.11 – Estimation de l’erreur de type II par approximation d’une binomiale par une loi nor- male quand n=19, f iga,n=35, f igb, B=1000, α, β =5%; 10% et ¯p ∈[0, 1; 0, 7]pour 5 proportions

2.5

Discussion

Au sortie de ce chapitre, on note que le choix de la proportion p0estimée à partir des données obser-

vées, dans le cas de 5 proportions, ne donne pas des erreurs de type I et II beaucoup plus élevées que les seuils α et β . On doit cependant faire plus attention lorsqu’on compare 2 proportions, les erreurs de type I et II étant quasiment le double des seuils α et β choisis. En particulier, l’erreur de type I est plus élevée que l’erreur de type II. Autrement dit, le risque du gestionnaire est plus élevé que le risque des bénéficiaires. La probabilité d’allouer plus de ressources à une population non prioritaire est plus élevée.

Le choix d’une proportion p0 estimée à partir des données observées ne peut pas se défendre sur le

plan théorique même si cette solution semble fonctionner. En effet, dans le test usuel à une proportion p₀doit être fixe. On ne recommande pas d’estimer p0à partir des données observées comme suggéré

dans le manuel des participants Valadez et al. [2002]. On recommande plutôt de choisir a priori la valeur de p0 qui correspond à l’objectif de performance de l’organisme. Pour réaliser de manière

appropriée, la comparaison de la la jème proportion à la moyenne des(J− 1)proportions, nous allons proposer d’autres méthodes, ce qui fera l’objet du prochain chapitre.

Chapitre 3

Méthodes alternatives pour la

comparaison d’une proportion avec la

moyenne de

(k

− 1)

proportions

Au chapitre 2, nous avons montré l’impact sur les erreurs de type I et II du choix d’une proportion p0

estimée à partir des données observées. À présent, nous allons proposer des méthodes adaptées pour réaliser le test de comparaison d’une proportion avec la moyenne d’autres proportions. De manière similaire aux méthodes présentées dans le chapitre 1, nous allons proposer des tests exacts et des tests approximatifs. Nous allons pour chacune de ces méthodes présenter comment calculer la taille n pour α , β et des proportions choisies.

Nous allons d’abord présenter le test exact de Fisher ensuite le test exact de Barnard avant de passer au test basé sur une approximation normale sans et avec la transformation arcsin(√x). Nous allons voir que cette transformation est intéressante dans la mesure où elle permet de stabiliser la variance et donc de mieux contrôler les erreurs de type I et II. On reprend la notation du chapitre 2, section 2.1. Pour éviter la confusion avec le chapitre 2, on parlera de K populations à comparer au lieu de J.

3.1

Comparaison selon le test exact de Fisher

Le test exact de Fisher est une méthode intéressante à considérer pour comparer deux proportions. D’autant plus que l’un des objectifs du LQAS est d’utiliser dans les enquêtes une petite taille n afin de réaliser en peu de temps avec peu de ressources le suivi des activités menées par les organismes (voir Valadez [1991]. Aussi, le test exact de Fisher est plus puissant que le test d’indépendance du chi-deux ou le test d’indépendance avec la statistique de test G2 lorsque les tailles n sont petites (McDonald[2014]). Nous allons dans cette section présenter le test exact de Fisher et la détermination de la taille n tout en contrôlant les erreurs α et β . Nous allons par la suite faire des simulations pour illustrer les valeurs des erreurs de type I et II.