Ann. Sci. forest., 1967, 24 (4), 327-343
UNE M É T H O D E STATISTIQUE : L'ANALYSE PROGRESSIVE
C . M I L L I E R
Station de Biométrie, Centre national de Recherches forestières, 54 - Nancy Institut national de lu Recherche agronomique
S O M M A I R E
O n p r é s e n t e les principes d'une m é t h o d e statistique, l'analyse progressive : taille d ' é c h a n t i l l o n n o n fixée à l'avance, nécessité d ' é v a l u a t i o n précise de risques.
Des applications forestières permettent de d é g a g e r l ' i n t é r ê t , les limites et le c h a m p d ' a p p l i c a - t i o n d'une telle technique : m a l g r é ses imperfections, elle constitue un outil non n é g l i g e a b l e et une f a ç o n différente de raisonner statistiquement, utile dans l ' é v a l u a t i o n des projets d ' e x p é r i e n c e .
I N T R O D U C T I O N
E t a n t d o n n é e une p o p u l a t i o n P sur laquelle on mesure un c a r a c t è r e et q u i p o s s è d e vis-à-vis de ce c a r a c t è r e une f o n c t i o n de r é p a r t i t i o n F, é t a n t d o n n é e s des h y p o t h è s e s que l ' o n veut vérifier sur l a l o i F, les tests statistiques classiques p r o c u r e n t un m o y e n de vérifier ces h y p o t h è s e s , en tirant de P suivant des m o d a l i t é s à observer, o u plan d'échantillonnage, u n échantillon E de taille d o n n é e et en se d o n n a n t un risque de se t r o m p e r dans le refus o u l ' a c c e p t a t i o n d ' u n e h y p o t h è s e .
L ' a n a l y s e progressive (en anglais « sequential a n a l y s i s » ) part d ' u n autre p o i n t de vue : soit à c h o i s i r entre deux h y p o t h è s e s H0 et H\, peut-on construire un p l a n d ' é c h a n t i l l o n n a g e consistant à tirer un à un des i n d i v i d u s de P et à s ' a r r ê t e r q u a n d o n a l ' i n f o r m a t i o n n é c e s s a i r e p o u r c h o i s i r entre les deux h y p o t h è s e s H0 et Hi ? L a r é p o n s e est o u i , l a m é t h o d e que nous a l l o n s é t u d i e r est en g é n é r a l m o i n s c o û t e u s e en tirages que le p l a n d ' é c h a n t i l l o n n a g e classique ; elle p o s s è d e n é a n m o i n s des p a r t i c u l a r i t é s q u i en restreignent sensiblement l'usage.
D é c o u v e r t e pendant l a guerre, cette technique fut, p a r a î t - i l , à cause de ce gain de temps d o n c d'argent ( q u ' o n avait p e u t - ê t r e s u r e s t i m é au d é p a r t ) d é c r é t é e secret
Article disponible sur le site http://www.afs-journal.org ou http://dx.doi.org/10.1051/forest/19670403
3 2 8 C . M I L L I E R
militaire. E l l e a fait l'objet d ' u n e s o m m e de t r a v a u x t h é o r i q u e s t r è s i m p o r t a n t e depuis 1 9 4 5 et elle est a p p l i q u é e t r è s souvent dans le c o n t r ô l e des fabrications indus- trielles a u x E t a t s - U n i s .
Depuis quelques a n n é e s , elle a fait son a p p a r i t i o n dans les sciences b i o l o g i q u e s , tout naturellement ; en m é d e c i n e , i l p a r a î t en effet i n t é r e s s a n t d ' a r r ê t e r une e x p é r i - m e n t a t i o n de m é d i c a m e n t ( o u autre) d è s que l ' o n « v o i t » statistiquement que l ' o n s'est t r o m p é .
N o u s d o n n e r o n s plus l o i n quelques exemples d ' a p p l i c a t i o n a u x sciences agro- nomiques et f o r e s t i è r e s .
A p r è s une i n t r o d u c t i o n à l a n o t i o n de puissance, q u i est é g a l e m e n t essentielle dans l ' o p t i m i s a t i o n des plans d ' e x p é r i e n c e , nous é t u d i e r o n s les principales carac- t é r i s t i q u e s des tests progressifs et l ' a p p l i c a t i o n à des p r o b l è m e s classiques.
Cet article, q u i se veut uniquement vulgarisateur d ' u n e technique peu connue
est b a s é sur les t r a v a u x de W A L D ( 1 9 4 7 ) , l ' i n v e n t e u r , de J O H N S O N ( 1 9 6 1 ) et de A N D E R S O N ( 1 9 6 0 ) .
1. _ P R I N C I P E D E S T E S T S S T A T I S T I Q U E S
1.1. — But des tests statistiques
U n e p o p u l a t i o n p o s s è d e vis-à-vis d ' u n c a r a c t è r e d é t e r m i n é une f o n c t i o n de r é p a r t i t i o n F. L e but d u test statistique en g é n é r a l est de tirer des c o n c l u s i o n s sur l a v a l i d i t é d ' u n e h y p o t h è s e H f o r m u l é e sur l a f o n c t i o n de r é p a r t i t i o n F, et ce a u v u d ' u n e partie seulement de l a p o p u l a t i o n , l'échantillon.
U n test peut ê t r e défini c o m m e é t a n t l'ensemble des points suivants : a) une f o r m u l a t i o n de l ' h y p o t h è s e H à accepter o u à refuser (ou des h y p o t h è s e s entre lesquelles i l nous faut c h o i s i r ) ;
b) u n e règle d ' é c h a n t i l l o n n a g e p o u r le tirage des i n d i v i d u s ;
c) une règle de d é c i s i o n : a u v u de l ' é c h a n t i l l o n , d é c i d e r si l ' h y p o t h è s e à tester doit ê t r e a c c e p t é e o u refusée ; c ' e s t - à - d i r e a v o i r c o u p é l'ensemble des é c h a n t i l l o n s observables en deux, le sous-ensemble de ceux p o u r lesquels H d o i t ê t r e a c c e p t é e et s o n c o m p l é m e n t a i r e .
Il nous faut maintenant p r é c i s e r les points a) et c).
1.2. — Types d'hypothèses
a) O n peut facilement s'apercevoir que tester une h y p o t h è s e d é t e r m i n é e revient à c h o i s i r entre deux h y p o t h è s e s : p a r exemple, si nous v o u l o n s tester {H : p = n0} p o u r une p o p u l a t i o n n o r m a l e de m o y e n n e p i n c o n n u e et d ' é c a r t - t y p e c o n n u a, nous testons en r é a l i t é {H : p = p0} contre l ' h y p o t h è s e alternative {//' : fi > p0 o u \.i < po}- L e p r o b l è m e se r a m è n e d o n c toujours a u c h o i x entre deux h y p o t h è s e s . b) U n e h y p o t h è s e peut ê t r e simple o u c o m p o s é e . L a f o n c t i o n F est définie par plusieurs (p) p a r a m è t r e s ( 2 p o u r l a l o i n o r m a l e , 1 p o u r l a l o i b i n o m i a l e ) . U n e h y p o - t h è s e sera simple si elle d é t e r m i n e uniquement l a valeur des p p a r a m è t r e s , composée
UNE MÉTHODE STATISTIQUE : L'ANALYSE PROGRESSIVE 329 dans le cas c o n t r a i r e . A i n s i , {H : p = p0} p o u r une p o p u l a t i o n n o r m a l e de moyenne p i n c o n n u e et d ' é c a r t - t y p e c o n n u a est une h y p o t h è s e simple alors que c'est une h y p o t h è s e c o m p o s é e si a est i n c o n n u {H : p = p0 ; a = C\ ou rj2 ou n ' i m p o r t e quelle valeur}.
1.3. — Détermination de la coupure - Notion de risque et de puissance P o u r exposer cette section, nous nous p l a ç o n s dans le cas o ù H et H' sont des h y p o t h è s e s simples.
E n acceptant H aux d é p e n s de H' au vu de l ' é c h a n t i l l o n , nous prenons le risque (fi) q u ' e n r é a l i t é c'est l ' h y p o t h è s e H' q u i p r é v a u t au niveau de la p o p u l a t i o n . D e m ê m e on p r e n d un autre risque (a) en acceptant H' si c'est H q u i est v r a i .
L a c o u p u r e en deux de l'espace des é c h a n t i l l o n s est parfaitement définie si o n c o n n a î t a, fi ; de plus, il existe une r e l a t i o n fonctionnelle entre n, a, fi.
D a n s les m é t h o d e s d ' é c h a n t i l l o n n a g e classiques, on se d o n n e a et n ; dans les m é t h o d e s d ' é c h a n t i l l o n n a g e progressif, a et fi.
T r è s souvent, les h y p o t h è s e s à tester sont en quelque sorte h i é r a r c h i s é e s ; p a r exemple, le but de l'analyse de variance est de tester en p r i o r i t é l ' h y p o t h è s e n u l l e {H : pi = p2 = ••• = pic = p) c ' e s t - à - d i r e l ' é g a l i t é des moyennes de k p o p u l a t i o n s normales : cette h y p o t h è s e j o u e un r ô l e p a r t i c u l i e r et p r i o r i t a i r e puisque toute la t h é o r i e de l'analyse de variance en d é c o u l e .
a sera le risque de p r e m i è r e e s p è c e p o u r l ' h y p o t h è s e nulle (en anglais « s i z e » ) Pr {rejeter H si H est vrai} = a
fi sera a p p e l é risque de d e u x i è m e e s p è c e , et 1— fi puissance d u test (en anglais (( p o w e r » )
Pr (accepter H si H est faux} = fi ( 1 ) a et fi sont g é n é r a l e m e n t e x p r i m é s en % (cf. page suivante).
1.4. — Digression sur la notion de puissance
L ' e x p é r i m e n t a t e u r d é s i r e en g é n é r a l obtenir aux m o i n d r e s frais des rensei- gnements de son p l a n d ' e x p é r i e n c e . U n e question q u ' i l se pose souvent est de s a v o i r a priori c o m b i e n de r é p é t i t i o n s mettre en place q u a n d il a une i d é e sur la valeur des différences q u ' i l d é s i r e mettre en é v i d e n c e sur l'effet des traitements c o n t r ô l é s .
C o n s i d é r o n s par exemple un simple test t à effectuer sur une p o p u l a t i o n : {H : p = /<o (a i n c o n n u ) }
o n définit H' l ' h y p o t h è s e alternative
{H' : p ^ p0-ô o u p > po + ô}
o ù ô est l a différence que l ' o n veut mettre en é v i d e n c e . Si o n se d o n n e a. et fi
Pr {accepter H si H' est vrai} = fi ( 1 ) (1) Si on ne considère (pour simplifier) que des lois continues et deux hypothèses [Hc : f(x) = /()(JC)
pour y*] et : /(xl = /t(x) pour v*l (°ù f(x) est la densité de probabilité), NEVMANN et PEARSON ont montré que la coupure « la meilleure » dans l'espace des échantillons xv xr,. xH est telle que :
f (X ) f {X" ) f (X )
11— 1— " 1—Il ^ k (k tel que la région soit de « size » pour l'hypothèse HJ.
fa(xi) fa(X2) ... fo (x„)
330 C . M I L L I E R
d é t e r m i n e r a l a valeur de n ; nous p o u r r o n s alors affirmer que notre plan e x p é r i - mental mettra en é v i d e n c e des différences de l ' o r d r e v o u l u dans 100(1—/?) cas ( T A N G , 1 9 3 8 ; S C H E F F E , 1952).
U n e m é t h o d e fausse dans l a t h é o r i e est de n é g l i g e r l a n o t i o n de puissance : dans ce cas, o n se d o n n e l a v a r i a n c e s et o n fait :
> la, N - 1 (2)
( o ù ta, B -i r e p r é s e n t e l a valeur d u / de Student a u risque oc et à n—\ d e g r é s de l i b e r t é ) .
Cette m é t h o d e sous-estime le n o m b r e «, ce q u i est u n d é f a u t t r è s grave (2).
2. — L E T E S T P R O G R E S S I F — P R I N C I P E E T P R O P R I É T É S
2.1. — Principe du test progressif S u p p o s o n s que deux h y p o t h è s e s H0 et Hi soient à tester.
a) le n o m b r e d ' o b s e r v a t i o n s n'est pas fixe,
b) o n a p r é a l a b l e m e n t d é t e r m i n é dans l'espace des é c h a n t i l l o n s , trois sous- ensembles m u t u e l l e m e n t exclusifs p o u r chaque valeur d u n o m b r e de tirages m,
R° : accepter H0, R?n : accepter Hu
Rm : c o n t i n u e r , c ' e s t - à - d i r e p r o c é d e r à u n tirage s u p p l é m e n t a i r e .
O n observe E : {xl, x2, ••• xn] ; suivant que E appartient à Rm, R® ou R J , o n a p p l i q u e les d é c i s i o n s q u i en d é c o u l e n t .
2.2. — Caractéristiques d'un test progressif 2.21. La fonction OC (de l ' a n g l a i s « o p e r a t i n g characteristic »)
Soit H0 une h y p o t h è s e p r é d é t e r m i n é e , et 0 l a valeur d u ( o u des) p a r a m è t r e (s) de l a l o i de p r o b a b i l i t é ; l a p r o b a b i l i t é d'accepter H0 est é v i d e m m e n t une f o n c t i o n de 0, VOC :
Pr {accepter H0 si 9} = L(6) Pr {refuser Ho si 6} = 1 -L{6).
(2) Les résultats sont différents pour la raison suivante : dans le cas du test t, l'équation (1) s'exprime grâce à la densité de probabilité du t de Student non centré (paramètre de décentrage S ) alors que (2) s'exprime grâce à la densité de / centré.
Les deux densités de probabilité ne sont pas déductibles l'une de l'autre par translation S ; donc si on choisit a = 3, on ne trouvera pas la même taille d'échantillon.
UNE MÉTHODE STATISTIQUE : L'ANALYSE PROGRESSIVE 331 2.22. La fonction ASN (de l ' a n g l a i s « average sample n u m b e r »)
D a n s le test progressif, le n o m b r e de tirages n'est pas fixe, c'est une v a r i a b l e a l é a t o i r e q u i admet des moments et en p a r t i c u l i e r une m o y e n n e .
Cette moyenne d é p e n d de l a valeur 0 d u (ou des) p a r a m è t r e (s) ; c'est l ' A S N ( n o m b r e m o y e n d ' o b s e r v a t i o n s à prendre en compte).
2.23. Influence du test sur ïOC et l'ASN
a) Soit à tester {H0 : 9 = 00} contre {H{ : 9 = 0,} o n a :
L ( 0 , ) = Pr {accepter H0 si 9 = <?,} = p (3)
1
A
_ ~x— B A
e F I G . 1. — Courbe OC
de m ê m e L(90) = Pr {accepter H0 si 9 = 90} = 1 -ce. (4)
L{9) est d o n c a s y m p t o t i q u e à L{9) = 1 et L{9) = 0 et passe p a r A si l ' é c h a n - t i l l o n n a g e est classique, par A et par B si l ' é c h a n t i l l o n n a g e est progressif.
— si l ' é c h a n t i l l o n n a g e est classique, le c h o i x d u test et le c h o i x d u n o m b r e de tirages c o n d i t i o n n e n t l a forme de l a c o u r b e et le p o i n t B;
— si l ' é c h a n t i l l o n n a g e est progressif, le c h o i x d u test d é t e r m i n e r a l a forme de l a c o u r b e et le n o m b r e m o y e n de tirages.
Q u a n d nous c o m p a r i o n s deux tests classiques, p o u r u n n o m b r e de tirages d o n n é , nous p r é f é r i o n s le test le plus puissant (l—fi m a x i m u m ) , celui q u i m i n i m i s a i t le risque de d e u x i è m e e s p è c e .
I c i , nous c h o i s i r o n s le test q u i demande un n o m b r e m o y e n de tirages m i n i m u m ( c o m p a r a i s o n des courbes O C ) .
L e test c h o i s i est d é r i v é des é t u d e s de N e y m a n n et P e a r s o n et est d é c r i t c i - a p r è s .
2.3. — Le test progressif utilisé : le SPRT
E n se p l a ç a n t dans le cas de variables continues (ce q u i ne restreint pas l a g é n é r a l i t é mais facilite l ' é c r i t u r e ) , o n c o n s i d è r e les deux h y p o t h è s e s suivantes :
{Ho : /(*) = f(x, 0o)} et {Hl : f(x) = f(x, 0 0 }
3 3 2 C . M I L L I E R
( o ù f(x) est l a d e n s i t é de p r o b a b i l i t é ) ; l a p r o b a b i l i t é d ' o b t e n i r a u w-ième stade l ' é c h a n t i l l o n E : {x\, Xz, ... xn} est, s ' i l y a i n d é p e n d a n c e des XÏ :
a) si l ' h y p o t h è s e H0 est vraie, Pom = f(xu 90) f(x2, 60) ... f(xm, 90), b) si l ' h y p o t h è s e Hi est vraie, Plm = f(x,, 8,) f(x2, 9,) ... f(xm, Oi)-
L e « sequential p r o b a b i l i t y ratio test » ( S P R T ) consiste à adopter les c r i t è r e s de d é c i s i o n s suivants :
p
a) s i B < — ^ < A, prendre une n o u v e l l e o b s e r v a t i o n
"om p.
b) si > A accepter Hl P Om
c ) s i - L ï ^ B accepter H0 Pom
A et B sont tels que les risques encourus soient a et (S : les q u a n t i t é s A, B, a, P sont liées p a r les relations suivantes :
1 -a
A et B é t a n t difficiles à calculer, o n p r e n d p o u r simplifier t r è s souvent A - l d i , B= P
a l — o et les risques réels encourus a' et ft' sont tels que
a'+ 13' < a + p.
2 . 4 . — Propriétés du SPRT 2 . 4 1 . Efficacité
P a r r a p p o r t a u test classique, le test progressif apporte une r é d u c t i o n dans le n o m b r e d ' o b s e r v a t i o n s à prendre en c o m p t e de 4 0 % à p e u p r è s dans le cas d u test de l a moyenne d ' u n e variable n o r m a l e ( W A L D , 1 9 4 7 ) .
2 . 4 2 . Troncature
B i e n que l a p r o b a b i l i t é de prendre à l a fin une des deux d é c i s i o n s H0 o u H\
soit u n , p a r exemple, si l a valeur réelle d u p a r a m è t r e se trouve entre les deux valeurs à tester, le n o m b r e de tirages peut parfois ê t r e g r a n d (voir 5 . 1 . 2 ) .
Sans « b e a u c o u p » changer les risques a, fi ( 1 ) o n peut d é c i d e r q u ' a u stade nQ (1) WALD indique pour a = 0,05, 3 = 0.05 que si
n0 = 1 000, a réel < 0.095, S réel < 0.095 n0 = 2 000, a réel < 0.058, 3 réel < 0.058
donc il faut prendre «r grand, très grand même si on considère ce qu'on prend généralement en expérimen- tation forestière
U N E M É T H O D E S T A T I S T I Q U E : L ' A N A L Y S E P R O G R E S S I V E 3 3 3
o n p r e n d r a l a d é c i s i o n suivante p o u r a r r ê t e r d é f i n i t i v e m e n t l ' e x p é r i e n c e : a) si Pim > Pom accepter Hu
b) si Pim < Pom accepter H0.
2 . 4 3 . Caractère approché du test
L a t h é o r i e d u S P R T n'est q u ' a p p r o c h é e en certains points et son a p p l i c a t i o n justifie d'autres s i m p l i f i c a t i o n s , cela est parfois grave : si par exemple a et P sont t r è s d i f f é r e n t s (ils correspondent à des h y p o t h è s e s aux c o n s é q u e n c e s t r è s d i f f é r e n t e s ) , a l o r s l ' i n é g a l i t é a' + p" ^ & + § n'est plus satisfaisante é t a n t d o n n é q u ' e l l e ne garantit pas | ^ , ^ ^ et o n risque des é c h e c s graves.
2 . 4 4 . Test valable dans le cas d'hypothèses simples seulement
L e p o i n t le plus i m p o r t a n t d u S P R T est que, d u fait de sa nature, i l ne peut servir que p o u r des h y p o t h è s e s simples.
O n a en effet é c r i t l ' e x p r e s s i o n de p r o b a b i l i t é s de l ' é c h a n t i l l o n o b s e r v é sous des h y p o t h è s e s simples et l a d é r i v a t i o n des bornes A et B à p a r t i r de a et P ne peut ê t r e faite que dans le cas d ' h y p o t h è s e s simples.
W A L D ( 1 9 4 7 ) e s p é r a i t que ce test é t a i t une p r o c é d u r e progressive o p t i m a l e mais i l n ' a j a m a i s r é u s s i à l a d é m o n t r e r . O n verra a u paragraphe 5 . 1 2 des m o d i - fications. Il a é t é a p p l i q u é surtout à des d i s t r i b u t i o n s d i s c r è t e s ( b i n o m i a l e , P o i s s o n ) et à quelques cas de d i s t r i b u t i o n s continues (normale, exponentielle — car elles conduisent à des r é s u l t a t s simples) (voir l a b i b l i o g r a p h i e dans J O H N S O N , 1 9 6 1 ) .
3. — A P P L I C A T I O N S A L A L O I B I N O M I A L E
3 . 1 . — Définition du problème
S o i t une v a r i a b l e b i n o m i a l e x prenant les valeurs 1 avec l a p r o b a b i l i t é p et 0 avec l a p r o b a b i l i t é 1 —p.
O n veut en g é n é r a l savoir si l a m o y e n n e p (ou p r o p o r t i o n de x = 1 dans l a p o p u l a t i o n ) est s u p é r i e u r e o u n o n à une valeur fixée a u d é p a r t p'.
p' r e p r é s e n t e r a par exemple dans les c o n t r ô l e s de f a b r i c a t i o n l a p r o p o r t i o n de rebuts t o l é r a b l e à l a vente (par exemple p r o p o r t i o n d é t e r m i n é e par des analyses de c o m p o r t e m e n t d u client).
N o u s avons v u l ' i m p u i s s a n c e de l'analyse s é q u e n t i e l l e à traiter des h y p o t h è s e s c o m p o s é e s telles que {//' : p > p'} o u {H : p ^ p'}.
I l est possible de tourner cette difficulté :
a) o n r e m a r q u e d ' a b o r d que l a p r o b a b i l i t é de rejeter l ' h y p o t h è s e H q u a n d p > p' est une f o n c t i o n qui c r o î t avec p, de m ê m e l a p r o b a b i l i t é d'accepter H si
c r o î t q u a n d p d é c r o î t ;
334 C. MILLIER
b) ensuite o n choisit p0 < /»' (et pi > p') de telle f a ç o n que, q u a n d p ^ p0 (et p ^ pi) le rejet de H (et l ' a c c e p t a t i o n de H) r e v ê t une i m p o r t a n c e pratique ( é c o n o m i q u e par exemple).
c) c o n s i d é r o n s les deux h y p o t h è s e s :
{H0 : p = p0} —> Pr {accepter Hx si p = p0} = a { H , : p = pi} —»- Pr {accepter H0 si p = Pi} = P S i nous prenons p'0 < p0 on a, d ' a p r è s ce q u i a é t é dit en a) :
Pr {accepter Ht s i p = p'0} < Pr {accepter H j si p = p0}
Tester les deux h y p o t h è s e s H0 et H{ é q u i v a u t d o n c à tester les deux h y p o - t h è s e s H'0 et H\
{H'0 : p < p0} et {H[ : p > p , } q u i sont les deux h y p o t h è s e s e x p o s é e s en b), d o n c à tester {H : p < p'}.
3.2. — Application du SPRT : exemple théorique
N o u s m o n t r o n s sur cet exemple les p o s s i b i l i t é s de calcul d u S P R T . Soit le w - i è m e stade d ' u n é c h a n t i l l o n n a g e progressif et l ' é c h a n t i l l o n E : {.v,, ,v2 ... xm}, l a p r o b a b i l i t é d ' o b t e n i r cet é c h a n t i l l o n est simplement d ' a p r è s les p r o p r i é t é s de l a l o i b i n o m i a l e
Tl = pdm (1 -p)n dm s ' i l y a d » tirages o ù on a obtenu x — 1.
Si H0 est v r a i , a l o r s cette p r o b a b i l i t é est P0m = P om( l - p0) ' " ~d' " - S i H{ est v r a i , alors cette p r o b a b i l i t é est P , „ , = P f (1 -p j * ~à m. O n a p p l i q u e à ce m o m e n t le S P R T en passant aux logarithmes :
Pn„
= dr, lg — + (m - d » ) lg — -
Po 1 - P o et l a r è g l e de d é c i s i o n est i avec ^4 = P
B
I 1-/5
l g A < lg ^ < lg B Pom
—>• c o n t i n u e r
l g — ^ ^ lg B
•Pom
—*• accepter
l g ^ i s < l g x —^ accepter / /0
U N E M É T H O D E S T A T I S T I Q U E : L ' A N A L Y S E P R O G R E S S I V E 335 3.3. — Applications de la technique
C ' e s t à l a l o i b i n o m i a l e que l ' a n a l y s e progressive a é t é l a plus a p p l i q u é e dans les c o n t r ô l e s de f a b r i c a t i o n ; dans le cas de p r o d u i t s p r é s e n t a n t de multiples carac- t é r i s t i q u e s , des grilles d é t e r m i n e n t si un i n d i v i d u d o i t ê t r e r e b u t é o u ê t r e b o n et dans l ' i m p o s s i b i l i t é de c o n t r ô l e r chaque i n d i v i d u , o n c o n t r ô l e des u n i t é s de f a b r i c a t i o n sur leur p r o p o r t i o n de rebuts.
C e p r o b l è m e s'adapte fort bien aux livraisons de plants forestiers.
Nombrs de plants US + A
0 10 20 Nombre de plants
F I G . 2. — Echantillonnage progressif : application à la loi binomiale
E n é t u d i a n t une provenance p a r t i c u l i è r e ( L A - F A ) de sapin pectine ( A M E L I O 67-039), o n s'est d o n n é les risques : % = fi = 0,05 et les h y p o t h è s e s afférentes.
[ Ha :p =g 0,65
o ù p est la p r o p o r t i o n des plants ( U S + A ) ( Hr- p > 0,80
on a o b s e r v é a p r è s tirage au hasard dans l ' o r d r e
7 ( U S + A ) , 1 B , 12 ( U S + A ) , 1 B, ...
A u 19e stade (fig. 1), on a c o n c l u à / / , , alors que la p r o p o r t i o n de ( U S + A ) o b s e r v é e é t a i t 18/19 = 0,947.
L a table de B i o m e t r i k a r é v è l e que, dans le cas d ' u n é c h a n t i l l o n de taille 19, p = 0,947 n'est pas significativement différent de pi = 0,80, d o n c confirme les avantages de l ' é c h a n t i l l o n n a g e progressif : i l aurait f a l l u 30 observations p o u r arriver à s é p a r e r p de pt au seuil de 5 % dans un test classique.
L ' a p p l i c a t i o n de cette technique dans le cas de c o n t r ô l e de l ' é t a t p a t h o l o g i q u e
336 C . MILLIER
d ' u n e f o r ê t , de c o n t r ô l e d ' a m é n a g e m e n t s o u d ' é t u d e des p o s s i b i l i t é s de trouver dans une f o r ê t des bois particuliers (bois de tranchage, etc.) reste à faire, ( J E F F E R S (1954)).
4. _ A P P L I C A T I O N S A L A L O I N O R M A L E 4.1. — Définition du problème
U n e d i s t r i b u t i o n n o r m a l e est u n i q u e m e n t c a r a c t é r i s é e p a r deux p a r a m è t r e s , l a moyenne fi, l a variance a2.
U n test statistique classique (taille n d é t e r m i n é e ) fournit à l a fois une e s t i m a t i o n de l a m o y e n n e H et de l a variance a2, et des moyens de vérifier des h y p o t h è s e s telles que j i = / i0 o u d2 = r j0 2.
L ' a n a l y s e progressive permet seulement de tester des h y p o t h è s e s simples : si o n c o n n a î t d o n c l a variance a2, deux p r o b l è m e s peuvent se poser :
a) {H : H = no} : on se donne è tel q u ' u n é c a r t de ô p a r r a p p o r t à fi soit d ' u n e i m p o r t a n c e pratique et le p r o b l è m e revient à tester :
{Hi : ii = no} contre {H2 : p. = Ho±o}.
b) {H : p, = HO} contre {//' : / i = /&}
dans l a pratique industrielle, le p r o b l è m e a) est f r é q u e n t et consiste à vérifier le calibrage d ' u n e f a b r i c a t i o n . I l semble que dans les sciences a g r o n o m i q u e s , le p r o - b l è m e b) soit le plus f r é q u e n t .
4.2. — Application du SPRT au deuxième cas
O n peut d é m o n t r e r aussi facilement que dans le paragraphe 3.2 que les fron- t i è r e s entre les zones d ' a c c e p t a t i o n d ' u n e h y p o t h è s e et celle d ' i n d é c i s i o n sont des droites dans le cas b).
D i s p o s a n t d o n c d ' u n e é v a l u a t i o n a priori de a2 ( e x p é r i e n c e s p r é a l a b l e s , etc.) de no, Hu a> P>o n Peut d é m o n t r e r que les droites ont p o u r é q u a t i o n :
y 2 = 1g L + m ^—^
Hi-Po « 2
m : taille de l ' é c h a n t i l l o n , et o n porte en o r d o n n é e s la s o m m e des valeurs o b s e r v é e s
"Lx ; o n adopte l a r è g l e de d é c i s i o n suivante : { 1.x > yx : accepter H : H =
, j i > 2.x > j 2 : c o n t i n u e r l ' é c h a n t i l l o n n a g e ' Zx < y2 : accepter H' : H ~ M
U N E M É T H O D E S T A T I S T I Q U E : L ' A N A L Y S E P R O G R E S S I V E 337 4.3. —- Exemples pratiques
J E F F E R S (1954), d o n n e un exemple d ' a p p l i c a t i o n à l ' e n t o m o l o g i e f o r e s t i è r e et des p o s s i b i l i t é s d ' a p p l i c a t i o n à la sylviculture. O n peut, en a p p l i q u a n t cette technique, juger si une f o r ê t p o s s è d e u n n o m b r e de r é s e r v e s suffisant p o u r p o u v o i r justifier u n traitement feuillu o u s i n o n e n t r a î n e r l ' e n r é s i n e m e n t .
I V E S (1954), et S T A R K (1952), en p a r t i c u l i e r , (voir 6.2), ont t r a i t é des a p p l i c a t i o n s à l ' e n t o m o l o g i e : en é t u d i a n t l a d i s t r i b u t i o n des œ u f s d'insectes sur les feuilles, a p r è s a v o i r vérifié q u ' e l l e est n o r m a l e de variance c o n n u e ( é t u d e s p r é a l a b l e s ) , a p r è s a v o i r d é t e r m i n é trois niveaux :
a) p < p0 : la forêt est saine
b) p\ < p < p2 : l a f o r ê t est j u s t i c i a b l e d ' u n e i n t e r v e n t i o n c) p > pi : la forêt de toute f a ç o n m o u r r a
o n voit dans quelle c a t é g o r i e ranger la forêt é t u d i é e .
Exemple : l a hauteur des plants de sapin pectine a u sortir de l a p é p i n i è r e ( A M E L I O . 67-039) est s u p p o s é e n o r m a l e , d ' é c a r t - t y p e 3,16 c m .
O n tire a u hasard dans l a provenance L A - F A p o u r savoir si :
{H2
{H3
4 { H4
h > 20 } h > 21 } h > 20,5}
ou h < 18,5}
ou {H'2 h < 18 } ou h < 19 } o u h < 19,5}
Ces quatre couples ont é t é choisis alors que l a vraie m o y e n n e est 20,08 ( c a l c u l é e sur 180 i n d i v i d u s ) (tableau 1).
T A B L E A U 1
Hauteurs des plants avec leur numéro de tirage
N u m é r o d u tirage 1 2 3 4 5 6 7 8 9 10 11 12 13
H a u t e u r 16 24 22 20 22 20 26 22 16 16 20 18 24
N u m é r o d u tirage 14 15 16 17 18 19 20 21 22 23 24 25 26
H a u t e u r 22 16 24 26 18 20 22 18 20 20 18 24 24
Les f r o n t i è r e s entre les zones d ' i n d é c i s i o n et d ' a c c e p t a t i o n d ' h y p o t h è s e s sont (F(I, Hi) est l ' é q u a t i o n de l a droite f r o n t i è r e entre / l ' i n d i f f é r e n c e de Hi l ' h y p o t h è s e c o n s i d é r é e ) :
338 C . MILLIER
1 y — 2 9 , 4 4 + 1 9 m ( F ( J , H i ) ) , z = 2 9 , 4 4 + 1 9 m ( F ( / , / / , ) ) 2 y = - 1 4 , 7 2 + 1 9 m (F(I, H'2)), z = 1 4 , 7 2 + 1 9 m (FQ, H2)) 3 y = - 1 4 , 7 2 + 20 m ( F ( / , H'3)), z= 14,72 + 20 m (F(I, H3)) 4 y = - 29,44 + 20 m ( F (7, H4) ), z = 29,44 + 20 m ( F (/, HA) ) Sur cet exemple simple, on a l ' i l l u s t r a t i o n des p r o p r i é t é s suivantes (fig. 3 et 4) :
c 0 /
n
F I G . 3. — Echantillonnage progressif : applications à la loi normale ( Hypothèses 1 et 2)
— plus l ' é c a r t est g r a n d entre les deux h y p o t h è s e s à tester, m o i n s i l faut tirer d ' i n d i v i d u s ;
— si l a valeur réelle d u p a r a m è t r e est entre les deux valeurs à tester, le n o m b r e de tirages est g r a n d . E n testant H4 contre H'4, H4 est a c c e p t é au 5 5e tirage (para- graphe 5.12) ;
— si r j2 est s o u s - e s t i m é , on c r é e de gros risques n o n c o n t r ô l a b l e s ; si a2 = 12, H2 n'est a c c e p t é p a r exemple q u ' a u 1 5e tirage (voir paragraphe 5.11, les possibi- lités d u « test t progressif ») : o n a d o n c i n t é r ê t à surestimer l é g è r e m e n t les p a r a - m è t r e s q u ' o n ne teste pas.
U N E M É T H O D E S T A T I S T I Q U E : L ' A N A L Y S E P R O G R E S S I V E 339 S x
5 0 0
4 0 0
3 0 0
2 0 0
0 10 2 0 n
F i o . 4. — Echantillonnage progressif : application à la loi normale hypothèses 3 (les points sont les mêmes que sur la figure 3)
5. — C O N C L U S I O N
5.1. — Les défauts de l'analyse progressive 5.11. Nature des hypothèses
L o r s q u ' i l n ' y a q u ' u n p a r a m è t r e à d é t e r m i n e r , i l est relativement facile de r é s o u d r e le p r o b l è m e des h y p o t h è s e s c o m p o s é e s ; au prix d ' h y p o t h è s e s simples mais clarificatrices, o n peut tourner l a difficulté. M a i s q u a n d deux p a r a m è t r e s varient, cela devient t r è s difficile. A i n s i W A L D a-t-il q u a n d m ê m e r é u s s i à d é v e l o p p e r u n test t progressif ( o ù l a moyenne et l a variance d ' u n e p o p u l a t i o n n o r m a l e sont inconnues) (1). M a i s , d ' a p r è s J O H N S O N , cette m é t h o d e est l o i n d ' ê t r e satisfaisante.
5.12. Rapidité d'obtention du résultat
Q u a n d l a valeur réelle d u p a r a m è t r e dans l a p o p u l a t i o n p. t o m b e entre les deux valeurs fi0 et m q u ' o n veut tester, i l est é v i d e n t que l a p r o c é d u r e progressive p e r d de son efficacité et o n a souvent recours à l a p o s s i b i l i t é de t r o n q u e r la p r o c é d u r e .
(1) WALD transforme son hypothèse composée en hypothèse simple de la façon suivante : en admettant a priori une distribution pour les paramètres qui varient dans l'hypothèse composée, il pondère de cette façon les différentes hypothèses élémentaires, et en faisant une sommation obtient une hypothèse simple.
3 4 0 C . M I L L I E R
Si vraiment le c h o i x entre les deux h y p o t h è s e s est l o u r d de c o n s é q u e n c e s , l a troncature i n d é p e n d a m m e n t d u fait qu'elle donne un n o m b r e n0 relativement i m p o r - tant de tirages, est une p r o c é d u r e discutable.
S i o n n ' a d o p t e pas l a troncature, le gain p r o c u r é par le S P R T c o m p a r é aux tests de taille fixe est ridiculement faible : avec a = 0 , 0 1 et n = (i*0+Hi)/2, le g a i n est de 5 2 8 contre 5 4 1 tirages. L ' a v a n t a g e de l ' é c h a n t i l l o n progressif est n u l .
A N D E R S O N ( 1 9 6 0 ) a a m é l i o r é le S P R T dans ce cas l à . L e gain est c o n s i d é r a b l e (dans le m ê m e cas 4 0 2 contre 5 4 1 tirages) mais le m o d e o p é r a t o i r e est sensiblement c o m p l i q u é .
5 . 1 3 . Dangers de F échantillonnage
L ' é c h a n t i l l o n n a g e simple au hasard classique p ê c h e p a r un aspect particulier :
— i l ne tient pas compte de l ' h é t é r o g é n é i t é de la p o p u l a t i o n : d o n c la variance de l ' e s t i m a t i o n des p a r a m è t r e s sera g r a n d e ;
— si nous prenons u n petit é c h a n t i l l o n , il n'est pas s û r q u ' i l r e p r é s e n t e r a les h é t é r o g é n é i t é s de la p o p u l a t i o n .
Le premier r e m è d e é t a i t l ' é c h a n t i l l o n n a g e stratifié b a s é sur l'analyse de variance et q u i , en s é p a r a n t des s o u s - p o p u l a t i o n s h o m o g è n e s en leur i n t é r i e u r mais h é t é - r o g è n e s entre elles, d i m i n u a i t la variance d'erreur, cela dans le cas o ù les sous- p o p u l a t i o n s é t a i e n t facilement r e p é r a b l e s .
L e second r e m è d e é t a i t l ' é c h a n t i l l o n n a g e s y s t é m a t i q u e ; dans le cas o ù on ne p o u v a i t pas r e p é r e r les sous-populations, o n essayait a u m o i n s d ' o b t e n i r une r e p r é - sentation valable de l'ensemble de notre p o p u l a t i o n par l a s y s t é m a t i s a t i o n d u son- dage : cela é t a i t p a r t i c u l i è r e m e n t vrai dans l ' é c h a n t i l l o n n a g e de superficies (fores- t i è r e s par exemple).
O n ne savait pas t r è s bien calculer l a variance mais o n connaissait en g é n é r a l une borne s u p é r i e u r e de cette variance et o n é t a i t s û r de ne pas a v o i r c o m m i s de fautes (1).
Il est é v i d e n t que l ' é c h a n t i l l o n n a g e progressif actuel é t a n t issu de l ' é c h a n t i l - lonnage simple au hasard, i l n'est pas possible d ' u t i l i s e r les p o s s i b i l i t é s de la strati- fication, et que p r o c é d e r à u n tirage s y s t é m a t i q u e progressif consiste à nier au d é p a r t les raisons p o u r lesquelles o n adopte l ' é c h a n t i l l o n n a g e s y s t é m a t i q u e .
5 . 1 4 . Difficulté des calculs
Les calculs, m ê m e dans les cas simples, sont c o m p l i q u é s , et i l i m p o r t e que les b i o m é t r i c i e n s puissent f o u r n i r des abaques d ' e m p l o i simple p o u r faciliter la t â c h e des e x p é r i m e n t a t e u r s .
C ' e s t d ' a i l l e u r s à ce prix que l ' é c h a n t i l l o n n a g e progressif p o u r r a ê t r e payant.
(1) Voir dans « Sampling Techniques » (COCHRAN et Cox, Wiley) les rapports entre échantillonnage stratifié et échantillonnage systématique. De plus, l'échantillonnage systématique est plus facile à planifier et à réaliser.
U N E M É T H O D E S T A T I S T I Q U E : L ' A N A L Y S E P R O G R E S S I V E 341 5.15. Analyse multivariable
L a s o m m e de t r a v a i l t h é o r i q u e , d é v o l u e à l ' é c h a n t i l l o n n a g e progressif sur des i n d i v i d u s sur lesquels o n mesure plusieurs c a r a c t è r e s , est quasiment nulle.
5.16. Estimation des paramètres
L ' a n a l y s e progressive é t a n t surtout u n o u t i l de d é c i s i o n , l ' e s t i m a t i o n d ' u n p a r a m è t r e en vue d ' é t u d e s futures et de c o m p a r a i s o n est une question accessoire.
5.21. Le gain
M a l g r é certaines limites e x p o s é e s en 5.12, l'analyse progressive permet d ' é p a r - gner u n n o m b r e c o n s i d é r a b l e de tirages (voir partie 2.3). D a n s le cas o ù les c a r a c t è r e s sont de mesure difficile, le g a i n peut ê t r e é n o r m e (en c o û t ) .
5.22. Une autre façon de raisonner statistiquement
U n autre avantage de cette technique est qu'elle n é c e s s i t e une é t u d e t r è s s e r r é e de ce que l ' o n veut attendre d'une e x p é r i e n c e .
U n e e x p é r i e n c e classique permet à u n p r a t i c i e n prudent de se réfugier dans u n « w a i t a n d see » souvent i n f é c o n d , parfois d é s a b u s é .
L ' a n a l y s e progressive exige une d é f i n i t i o n stricte des h y p o t h è s e s de d é p a r t , une é v a l u a t i o n « é c o n o m i q u e » des risques à prendre : par exemple, dans l ' e x p é - r i m e n t a t i o n d ' u n m é d i c a m e n t , o n ne d o n n e r a pas de risques é q u i v a l e n t s à l ' h y p o - t h è s e {H : b o n m é d i c a m e n t } et à {H' : mauvais m é d i c a m e n t } . E l l e oblige en quel- que sorte à a b a n d o n n e r l a n e u t r a l i t é et à adopter une p o s i t i o n d y n a m i q u e (ce q u i ne veut pas dire n o n objective).
5.23. Répétition d'expérience
D u fait que l ' o n a fixé a u d é p a r t les deux risques a et p, o n peut ê t r e a s s u r é que dans une l o n g u e série d ' e x p é r i e n c e s similaires, l ' a c c e p t a t i o n d ' u n e h y p o t h è s e aux d é p e n s d ' u n e autre sera une mauvaise d é c i s i o n dans 100 /? cas sur 100 et q u ' o n a u r a eu tort de refuser l ' h y p o t h è s e dans 100 a % des cas.
D a n s u n é c h a n t i l l o n n a g e classique, d u fait que P est d é t e r m i n é a posteriori, et d ' a i l l e u r s n'est à ce m o m e n t j a m a i s c a l c u l é , o n ne sait pas chiffrer cette p r o b a b i l i t é de faire u n m a u v a i s c h o i x en acceptant H.
L ' a n a l y s e progressive permet d ' ê t r e certain des risques q u ' o n encourt.
L a liste des p é c h é s est fort longue et m a l g r é l ' i m p o r t a n c e que nous a c c o r d o n s à l a section 5.2, o n p o u r r a i t penser que dans l ' é t a t actuel, l'analyse progressive
5.2. Les avantages
5.3. — L'avenir de la méthode
342 C. M I L L I E R
est seulement un puissant moyen de c o n t r ô l e o u un exercice d ' é c o l e statistique mais pas u n o u t i l f r é q u e m m e n t utilisé dans la recherche.
N é a n m o i n s , le b o u i l l o n n e m e n t t h é o r i q u e est tel q u ' o n peut e s p é r e r des d é v e - loppements rapides dans certaines directions.
5.31. Démonstration d'Anscombe
A N S C O M B E a m o n t r é que, p o u r v u que le n o m b r e de tirages n soit assez grand, les m é t h o d e s e m p l o y é e s p o u r l ' e s t i m a t i o n des p a r a m è t r e s dans le cas classique (n fixe) é t a i e n t é g a l e m e n t valables p o u r l ' é c h a n t i l l o n n a g e progressif.
L a restriction est bien é v i d e n t e : q u a n d n est petit, l a p r é c i s i o n des estimateurs laisse beaucoup à d é s i r e r (que l ' é c h a n t i l l o n n a g e soit fixe ou progressif).
5.32. Intervalles de confiance de longueur fixée
L ' é c h a n t i l l o n n a g e classique ne d o n n e pas la p o s s i b i l i t é de calculer des inter- valles de confiance de longueur fixée; un type spécial d ' é c h a n t i l l o n n a g e progressif r é s o l v a n t le p r o b l è m e est le suivant : un premier stade est l ' e s t i m a t i o n de la variance dans un é c h a n t i l l o n de taille n0 puis on d é t e r m i n e n0 + n tel que la longueur de l'inter- valle de confiance soit é g a l à la longueur fixée et o n tire les n i n d i v i d u s s u p p l é m e n - taires.
5.33. Développement de l'analyse progressive multivariable
O n p o u r r a traiter les p r o b l è m e s d'analyse d i s c r i m i n a n t e classique progressi- vement. L ' a p p l i c a t i o n de l a technique sera ici i m m é d i a t e ; un i n d i v i d u n ' é t a n t plus d é t e r m i n é par une mesure mais par un ensemble de p mesures, le c o û t de l ' é c h a n - tillonnage s'en trouve t r è s sensiblement a u g m e n t é .
5.34. Tests progressifs non paramétriques
U n test n o n p a r a m é t r i q u e est un test q u i ne fait pas d ' h y p o t h è s e s sur la forme des d i s t r i b u t i o n s ; leur efficacité ( s i m p l i c i t é des calculs, perte d ' i n f o r m a t i o n t r è s faible dans certains cas) en fait des outils t r è s p r é c i e u x p o u r tester une h y p o t h è s e . L e u r p r i n c i p e est de se ramener à l a l o i b i n o m i a l e (ou m u l t i n o m i a l e ) ; d u fait de l a facilité d u traitement de l a l o i b i n o m i a l e en analyse progressive, ces tests ont des versions s é q u e n t i e l l e s et K E N D A L L (1961) affirme que leur efficacité est remarquable.
L ' a n a l y s e progressive r e p r é s e n t e un é t a t particulier de la statistique, une m é t h o d e de raisonnement neuve, un point de d é p a r t p o u r la t h é o r i e de la d é c i s i o n et u n o u t i l t r è s efficace dans certaines c o n d i t i o n s . S o n a p p l i c a t i o n aux sciences f o r e s t i è r e s et a g r o n o m i q u e s est encore l i m i t é e mais dans la mesure o ù le but de travail peut ê t r e chiffré, elle permet d ' a r r i v e r à des plans d ' e x p é r i m e n t a t i o n efficaces.
I l est d o n c i m p o r t a n t d ' a v o i r cette technique à l'esprit dans l ' a v e n i r .
Reçu pour publication en décembre 1967.
U N E M É T H O D E S T A T I S T I Q U E : L ' A N A L Y S E P R O G R E S S I V E 343
S U M M A R Y
A STATISTICAL MF.THOD : SEQUENTIAL ANALYSIS
Principles o f sequential analysis are discussed i n c l u d i n g an introduction to the n o t i o n o f power.
T h e value o f the method is shown in applications to forest research ( b i n o m i a l and n o r m a l case) and discussed in the last chapter. A l t h o u g h it is imperfect, it remains a valtiable way o f t h i n k i n g (statistically) and b u i l d i n g new experiments.
Z U S A M M E N F A S S U N G
E I N E STATISTISCHE MÉTHODE : DIE SÉQUENTIELLE ANALYSIS
G r u n d l a g e n der sequentiellen A n a l y s i s sind mit einer Einleitung der V o r s t e l l u n g v o n « power » darstellt. D e r V o r t e i l der M é t h o d e erscheint in W a l d f o r s c h u n g A n w e n d u n g e n und ist dem letzten T e i l besprochen. T r o t z seiner U n v o l l k o m m e n h e i t e n ist die s é q u e n t i e l l e A n a l y s i s ein nettes statis- tisches M i t t e l um « gut » zu experimentieren.
R É F É R E N C E S B I B L I O G R A P H I Q U E S A S P E C T THÉORIQUE
A N D E R S O N T . W . , 1960. A modification o f the sequential p r o b a b i l i t y ratio test to reduce the sample size. Ann. Math. Stat.. 31, 165-197.
C H E R N O F F H . , 1959. Sequential design o f experiments. Ann. Math. Stat., 30, 775-780.
JEFFERS J . N . R . , 1954. The application of sequential sampling to forest problems. Statistic Section Paper n " 4, A l i c e H o l t .
JOHNSON N . L . , 1961. Sequential analysis : a survey. J. r. Stat. Soc. Série A, 372-411.
JOHNSON N . L . , L E O N E F . C . , 1964. Statistics and expérimental design, t. 2, 522 p., W i l e y and Sons, N e w Y o r k .
K E N D A L L M .G . , S T U A R T A . , 1961. 77;<? advanced theory of statistics t. 2, 676 p., G r i f f i n , L o n d o n . SCHEFFE H . , 1959. The analysis of variance, 476 p. W i l e y and Sons, N e w Y o r k .
T A N G P. C . , 1938. T h e power function o f the analysis o f variance tests with tables and illustration o f their use. Stat. Res. Men., 2, 126.
W A L D A . , 1947. Sequential analysis, 212 p., W i l e y and Sons, N e w Y o r k .
A S P E C T PRATIQUE
IVES W . G . H . , 1954. Sequential sampling o f insect populations. Forestry Chronicle, 3 0 (3), 287-291.
IVES W . G . H . , W A R R E N G . L . , 1965. Sequential sampling for white grubs, Canad. Entomol., 9 7 (6), 596-604.
O A K L A N D G. B . , 1951. Sequential sampling B i o m é t r i e s U n i t , Sci. Serv. Canad. Dept. Agric.
S T A R K R . W . , 1952. Sequential sampling o f the lodgepole needle miner. Forestry Chronicle, 28 (1), 57-60.
STEVENS R . E . , S T A R K R . W . , 1962. Sequential sampling for the lodgepole needle miner. / . econ.
Entomol., 5 5 (4), 491-494.
