Le biais est-il un problème d’estimation ou de signification ?

Pourtant, en regardant les différents textes de Fisher où il utilise le mot « biais » il apparait qu’il l’utilise en deux sens différents, que l’on peut catégoriser de la manière suivante :

- Un sens faible qui renvoie à la notion d’estimation, au sens statistique actuel où l’on dit d’un estimateur qu’il est biaisé ou sans biais. Plus précisément, la notion de biais est l’antonyme de celle de convergence (« consistency »), qui est un des trois critères en fonction desquels on peut évaluer un estimateur, les deux autres étant l’efficacité (« efficiency ») et l’exhaustivité (« sufficiency »). Fisher dit ainsi, en 1925, à propos de la convergence : « Une statistique est dite estimation convergente d’un paramètre si, lorsqu’elle est calculée sur un échantillon infiniment grand, elle tend à être égale au paramètre »61_{. En effet, Fisher dit, dans son article sur « La logique} de l’inférence inductive »62_{, que « la distribution normale n’a que deux} caractéristiques, sa moyenne et sa variance. La moyenne détermine le biais de notre estimateur, et la variance détermine sa précision » (Fisher, 1935b, p. 42). Or, de ces deux caractéristiques, seule la variance pose problème63_. En effet, dans la théorie de Fisher, ce type de biais ne joue « qu’un faible rôle » : « la considération du biais ne nous retiendra guère », car « avec des

61 _{Fisher, Ronald A., « Theory of Statistical Estimation », Mathematical Proceedings of the Cambridge}

Philosophical Society, vol. 22 / 05, 1925b, p. 700. Cité dans Armatte, Michel, « La construction des

notions d’estimation et de vraisemblance chez Ronald A. Fisher », Journal de la société française de

statistique, vol. 129 / 1‑2, 1988, p. 68‑95.

62 _{Fisher, Ronald A., « The Logic of Inductive Inference », Journal of the Royal Statistical Society,}

vol. 98 / 1, 1935b, p. 39-82

67

estimateurs convergents, celui-ci doit tendre vers zéro »64_{. Le biais est donc} ici « l’écart espéré entre la vraie valeur du paramètre et son estimateur »65_, il peut être mesuré ou quantifié et il n’est pas nécessaire de l’éliminer. Parfois, un estimateur biaisé peut aussi être plus exact (« accurate ») qu’un estimateur non-biaisé.

- Par contre, il existe un deuxième sens du mot « biais » chez Fisher, qu’on pourrait qualifier de sens fort, et qui renvoie non au problème de l’estimation, mais à celui du test statistique. Ce problème apparait très clairement dans le cadre d’une controverse entre Neyman et Fisher qui a lieu en 1935, lorsque Jerzy Neyman lit, devant la Section de la recherche agricole et industrielle de la Royal Statistical Society, un article intitulé « Statistical Problems in Agricultural Experimentation »66_{, séance à laquelle assistent,} entre autres, Ronald Fisher et Franck Yates, son ancien assistant à la station expérimentale de Rothamsted (il succède à Fisher quand celui-ci part enseigner à l’University College de Londres en 1933), mais aussi Egon S. Pearson, le fils de Karl Pearson67_{. Dans cet article, où le mot biais} apparait à cinquante-deux reprises (dix-sept dans l’article, et trente-cinq dans la discussion) Neyman critique en fait la méthode de la randomisation par blocs (« randomized blocks ») mais aussi celles du carré latin, méthodes introduites dans l’ouvrage de Fisher, sorti dix ans plus tôt : Statistical Methods for Research Workers. Selon Neyman, en effet, le test  apparait biaisé dans le cas d’un carré latin au sens où il montre « une tendance à découvrir une différenciation là où il n’y en a pas »( Neyman, Iwaszkiewicz, Kolodziejczyk, 1935, p. 114) , alors qu’il semble plus valide pour les blocs randomisés. Sans rentrer dans le détail de la controverse, il est intéressant de noter que Fisher lui-même distingue bien deux champs d’application ou

64 _{Fisher, 1935b, p. 42. La traduction est de Michel Armatte.} 65 _{Armatte,1988, p. 83}

66 _{Neyman, J., Iwaszkiewicz, K. et Kolodziejczyk, St., « Statistical Problems in Agricultural}

Experimentation », Supplement to the Journal of the Royal Statistical Society, vol. 2 / 2, 1935, p. 107.

67 _{On peut rappeler, en guise de contextualisation historique, qu’en 1933, le département de statistiques}

appliquées de l’University College de Londres est scindé en deux suite à la retraite de Karl Pearson : Fisher devient le titulaire de la Chaire Galton d’Eugénique et Egon Pearson, le fils de Karl, devient Professeur de Statistiques. La relation entre Karl Pearson est notoirement exécrable (les deux personnages semblent avoir une part égale à cette brouille), et celle de Fisher avec le fils de Karl n’est pas meilleure (ici, Fisher semble être plus responsable qu’Egon Pearson, qui tient ses travaux en haute estime).

68

deux problèmes liés au concept de biais : le problème de l’estimation (où ce problème est « complètement sans importance »68_{) et celui des tests de} signification, où un « biais, s’il était prouvé, serait fatal » (Neyman, Iwaszkiewicz, Kolodziejczyk, 1935, p. 157). Il accuse d’ailleurs Neyman d’avoir confondu ces deux problèmes. Mais pourquoi serait-il fatal dans le cas du test de signification ? La réponse à cette question est formulée par Neyman : le test de signification serait vicié au sens où il détecterait une différence (entre l’effet d’un traitement par exemple) là où il n’y en a pas, ou à l’inverse, de façon logique, au sens où il ne détecterait pas une différence alors qu’il y en a une. En somme c’est la validité du test qui est ici mise en cause : ici, Neyman considère que la distribution , et donc le test , ne peut pas être appliquée à un arrangement en termes de carré latin.

La dernière question qui subsiste alors est de savoir si et comment ces deux sens différents s’articulent entre eux. En effet, d’un côté, le biais renvoie à la notion d’estimation et de l’autre à la notion de test de signification. N’y a-t-il pas un cercle vicieux au sens où d’un côté, le test statistique, comme le 2 _{ou l’analyse de la variance} permet de savoir si l’estimateur est biaisé (comme dans l’exemple du lancer de dé), alors que de l’autre côté, le test statistique ne semble valable que si précisément le plan d’expérience élimine les biais par le moyen de la randomisation ? Autrement dit, l’absence de biais apparait à la fois comme la condition de possibilité du test statistique, ou en tout cas la condition de possibilité de sa validité, et le résultat du test statistique. Cette contradiction disparait si l’on prend soin de bien distinguer deux étapes dans le plan d’expérience : d’abord il y a l’estimation de l’erreur, qui se fait grâce à la variance qui n’est pas à proprement parler un test statistique mais une mesure statistique, c'est-à-dire un estimateur, estimateur qui a par définition pour fonction d’évaluer un paramètre inconnu d’une population à partir de données obtenues sur un échantillon, (en l’espèce il s’agit ici d’estimer les « causes de variabilité »69_{). Or pour que cette estimation soit valide, il faut que l’échantillon soit} choisi au hasard :

68 _{Neyman, Iwaszkiewicz, Kolodziejczyk, 1935, p. 157.}

69 _{Fisher, Sir Ronald A. . «The correlation between relatives on the supposition of Mendelian inheritance.}

» Trans. Roy. Soc. Edinb. 1918; 52:399–433. Cité dans cité dans Bodmer, W., « RA Fisher, statistician and geneticist extraordinary: a personal view », International Journal of Epidemiology, vol. 32 / 6, décembre 2003, p. 938-942. La citation est à la page 939.

69

« Une façon d’être certain qu’une estimation valide de l’erreur sera obtenue est d’arranger délibérément au hasard les parcelles, de sorte qu’aucune distinction ne pourra s’immiscer entre les paires de parcelles traitées de façon similaire et les paires traitées de façon différente ». 70

Ainsi, c’est la structure logique du plan d’expérience, via la randomisation, qui permet d’éliminer théoriquement toutes les causes de perturbation, chacune de ces causes affectant ou étant supposée affecter de la même manière les différents échantillons ou membres des échantillons du fait même de leur répartition au hasard, et par là de parvenir à une estimation valide de l’erreur. Et c’est seulement si cette première condition est remplie qu’il est possible de faire un test de signification pour savoir, et tout en quantifiant le risque de se tromper (à 5%), si ces variations sont dues ou non au hasard : la randomisation permet en effet aussi d’éliminer « les causes de perturbation » susceptibles de « corrompre »71 _{le test de signification. Dès lors, comme} le dit Walter Bodmer, qui fut, selon ses propres termes, « parmi l’un des derniers disciples et étudiants de RA Fisher » (Bodmer, 2003, p. 938), il ne s’agit que d’une seule et même chose, sous deux aspects différents :

« Ainsi, en effet, son point de vue [celui de Fisher] semble être que le fait que la randomisation fournit d’un côté une estimation valide de l’erreur et, de l’autre, élimine les biais, ne sont en fait que les deux faces d’une même pièce. » (Bodmer, 2003, p. 940).

1.3.4. Continuités et ruptures de la prénotion72 _{de biais}

Pour conclure sur ce premier chapitre qui vise à faire la préhistoire du concept de biais, il semble que ce concept soit progressivement apparu d’abord dans le cadre d’une discussion sur la théorie de l’évolution par sélection naturelle, et plus particulièrement dans le cadre de la sélection sexuelle chez Galton, discussion où le

70 _{Fisher, Sir Ronald Aylmer, « The Arrangement of Field Experiments », Journal of the Ministry of}

Agriculture of Great Britain, 1926, p. 503‑513, cité dans Bodmer, 2003, p. 940.

71 _{« … for the full procedure of randomisation, by which the validity of the test of significance may be}

guaranteed against corruption by the causes of disturbance which have been eliminated » in Fisher,

1935, cité dans Bodmer, 2003, p. 940.

72 _{Nous entendons ici le mot « prénotion » non au sens antique d’une connaissance générale spontanée,}

mais au sens moderne et durkheimien d’un concept formé spontanément par la pratique et qui n'a pas encore subi l'épreuve de la critique scientifique. Sur ce sens, voir Durkheim, Emile, Les Règles de la

70

sens trivial et commun du mot semble effectuer une légère inflexion en direction d’un sens spécifique, bien que non défini par Galton (et sans doute inaperçu), qui renvoie au phénomène d’évolution d’une espèce, ou en termes galtoniens, de modification du « type racial » entendu comme modification du « centre » (c'est-à-dire d’espérance) d’une courbe normale. Puis le concept se déploie au sein de la statistique mathématique qui se développe autour de l’année 1900 avec Weldon et Pearson, là aussi autour d’une problématique liée à l’apparition d’une nouvelle espèce, bien que de façon indirecte à travers l’expérience de Weldon du lancer de dés. Enfin, il prend tout son sens statistique, sans pour autant être défini, avec Fisher et la notion d’estimation et de plan d’expérience, où l’absence de biais apparait comme la condition de possibilité de la validité de l’estimation de l’erreur mais aussi de la validité du test de signification.

Il est donc possible d’apercevoir des ruptures et des continuités dans l’élaboration de cette notion de biais, qui n’est pas, en 1935, tout à fait un concept : l’élément de continuité est à chercher du côté de la notion de variation et donc à celle d’erreur (les deux notions étant étroitement liées dans le calcul des probabilités),au sens où, dès le départ, le biais renvoie à une variation d’un autre genre que la variation classique au sens où en quelque sorte il s’agit non de variations au sein d’une population, mais d’une variation de la population elle-même, qui devient donc une autre population (avec une autre moyenne, une autre variance, etc.) ; non donc une variation mais une spéciation. En un sens il est logique que le mot biais soit utilisé pour désigner une erreur ou une variation plus grande ou d’un autre genre : puisque le calcul des probabilités et la statistique mathématique ont précisément pour tâche essentielle de diminuer, d’étudier ou de quantifier les erreurs (ou les variations ou les déviations), un autre mot est nécessaire pour désigner ce que l’on pourrait appeler une « super-variation » ou une « super-erreur ». Ce n’est d’ailleurs sans doute pas un hasard si Karl Pearson, quand il a voulu étudier les distributions de fréquence anormales ou hétérotypiques, a dû de la même manière recourir à un autre concept, celui de « skewness », dont nous avons vu qu’il pouvait être considéré comme un synonyme acceptable du mot « biais », et qui visait précisément à prendre en compte les déviations trop grandes pour être prises en compte par la loi normale et qui, avant Pearson, étaient en général éliminées de l’analyse.

71

Néanmoins, ce problème apparait comme plus ancien que les analyses de Galton ou Pearson, et semble s’être posé aux fondateurs du calcul des probabilités, et spécifiquement de la théorie des erreurs. Si le mot « biais » n’apparait pas explicitement à cette époque, c'est-à-dire au milieu du XVIIe siècle, l’idée nous semble quant à elle bien présente. L’exemple le plus frappant se situe sans doute dans l’ouvrage de Thomas Simpson et dans sa critique par Thomas Bayes. Pour résumer le propos de Thomas Simpson, celui-ci, s’inscrivant dans le sillage des analyses d’Abraham de Moivre, propose dans une lettre73 _{adressée en 1755 au président de la}

Royal Society, Earl Macclesfield, de prendre « la moyenne de nombreuses observations », plutôt que de se fonder sur une seule observation bien faite (« taken with due care » in Simpson, 1755, p. 82-83, cité dans Stigler,1986,p. 90) afin d’estimer correctement par exemple la position d’un corps astronomique et de « diminuer les erreurs qui naissent de l’imperfection des instruments, et des organes des sens » (Simpson, 1755, p. 82-83, cité dans Stigler, 1986, p. 90) 74_{. Or, Thomas Bayes, dont} chacun connait l’influence que ses travaux, et notamment son théorème, ont eu et continuent d’avoir sur la théorie des probabilités, va critiquer la proposition de Simpson dans une lettre adressée au physicien John Canton. Il pose clairement le problème des erreurs, et, selon notre interprétation, du biais :

« Selon lui [Simpson], en multipliant nos observations et en prenant la moyenne, nous diminuons toujours la probabilité de n’importe quelle erreur donnée, et ce de façon très rapide… Néanmoins, que les erreurs qui naissent de l’imperfection des instruments et des organes des sens soient ainsi réduites à néant ou presque seulement en multipliant le nombre d’observations me semble complètement incroyable. Au contraire, plus vous faites d’observations avec un instrument imparfait, plus il semble certain que l’erreur dans votre conclusion sera proportionnelle à l’imperfection de l’instrument que vous utilisez. (…) Et je pense que c’est manifestement ce qu’il se passe quand nous observons avec

73 _{Simpson, Thomas, “A letter to the Right Honorable George Earl of Macclesfield, President of the Royal}

Societyn on the advantage of taking the mean of a number of observations, in practical astronomy.”,

Philosophical Transactions of the Royal Society of London, 49, p. 82-93. Cité dans Stigler, Stephen M., The History of Statistics: the Measurement of Uncertainty before 1900, Cambridge, Mass, Belknap

Press of Harvard University Press, 1986, p. 88-98.

74 _{Il peut être utile de rappeler ici que la loi des erreurs de Gauss, ou loi normale, centrale dans l’histoire}

du calcul des probabilités et des statistiques, n’apparaitra qu’en 1809. Stigler montre comment la théorie de Simpson constitue un jalon important dans le développement de la courbe de Gauss-Laplace.

72

des organes ou des instruments imparfaits ». (Cité dans Stigler, 1986, p. 94- 95).

Le problème de Simpson est en effet qu’il suppose que « les chances d’erreurs de même magnitude, en excès ou en défaut, sont en moyenne à peu près égales » (Simpson, 1755, p. 83, cité dans Stigler, 1986, p. 95). Or, cette hypothèse est loin d’être certaine. Mis apparemment au courant de la critique de Bayes, Simpson va proposer une version révisée de sa lettre à Earl Macclesfield et transformer une affirmation en deux suppositions :

« 1. Qu’il n’y ait rien dans la construction, ou dans la position de l’instrument, qui fasse que les erreurs aient toujours tendance à aller dans la même direction, mais que les chances respectives qu’elles aient lieu par défaut ou par excès soient précisément ou presque identiques.

2. Qu’il existe certaines limites assignables entre lesquelles ces erreurs sont supposées tomber ; limites qui dépendent de la qualité de l’instrument et de l’habileté de l’observateur. »75

Cette description des conditions d’application de la théorie des erreurs par l’un de ses premiers théoriciens nous semble particulièrement pertinente pour définir ce que les statisticiens plus contemporains comme Pearson ou Fisher semblent entendre à travers le concept de biais : le biais est une erreur systématique, et non aléatoire, au sens où elle a tendance à aller toujours dans la même direction, c'est-à-dire soit toujours en excès (au sens où l’estimation est trop haute) , soit toujours en défaut (au sens où elle est trop basse) ; mais aussi au sens où elle excède certaines limites assignables, liées à l’instrument ou l’observateur, auxquels on pourrait ajouter la variation biologique. Un biais est donc une erreur ou une quantité d’erreurs (ou de variations) qui s’accumulent, au lieu de s’annuler mutuellement, ce qui conduit à une estimation faussée, ou bien, dans un contexte galtonien, à une variation telle qu’elle est n’est plus une variation mais une spéciation.

Quant à l’élément de rupture dans la formation progressive de ce concept, elle intervient essentiellement avec Fisher : si ce dernier s’inscrit dans la continuité de cette conception du biais comme « supervariation » (que l’analyse de la variance permet

75 _{Simpson, Thomas, Miscellaneous Tracts on some Curious, and Very Interesting Subjects in Mechanics,}

Physical-Astronomy and Speculative Mathematics, Londres: J. Nourse, 1757. Cité dans Stigler, 1986,

73

précisément de faire encore mieux ressortir), il lui assigne une place spécifique dans l’économie conceptuelle qu’il fonde à travers la notion de plan d’expérience. Le biais devient en effet un synonyme de sélection ou d’arrangement systématique, et un antonyme de randomisation, au sens où la randomisation permet d’éviter les biais : en effet, il s’agit via ce procédé de faire que les chances de variation, dans un sens ou dans l’autre, soient à peu près égales. En d’autres termes, il s’agit de rendre les évènements équiprobables, ou comme dirait Laplace les « cas également possibles »: c’est ce que l’on a appelé le « principe de raison insuffisante », renommé par John Maynard Keynes en « principe d’indifférence »76_{. A l’inverse l’arrangement} systématique fait que la variation va toujours dans le même sens, et va rendre certains cas plus possibles que d’autres.

La question du biais va alors devenir, au milieu des années 1930, étroitement liée au problème d’échantillonnage, toujours dans le cadre global du plan d’expérience, comme l’attestent la parution de l’article de Neyman en 1934 sur le problème de la méthode représentative77 _{ou encore celui de Yates sur différents} exemples d’ « échantillonnages biaisés »78_{. La portée du plan d’expérience est} néanmoins élargie puisqu’il ne s’agit plus ici seulement d’agriculture mais aussi de populations humaines. Trois ans plus tard, un problème similaire de sélection de l’échantillon se posera pour Austin Bradford Hill, le fondateur de l’épidémiologie moderne. C’est vers son œuvre qu’il convient dorénavant de se tourner afin de voir comment la notion de biais va progressivement être introduite dans l’épidémiologie.

76 _{Keynes, John Maynard, A Treatise on Probability. Londres, Macmillan and Co., 1921. Voir le chapitre}

IV: « The principle of indifference”, p. 41–64.

77 _{Neyman, Jerzy, « On the Two Different Aspects of the Representative Method: The Method of Stratified}

Sampling and the Method of Purposive Selection », Journal of the Royal Statistical Society, vol. 97 / 4, 1934, p. 558-625.

74