Une nouvelle catégorisation : la cause, le hasard, le biais

Ce genre de procédures renvoie simplement à la randomisation, notion que Mainland hérite directement de Ronald Fisher. En effet, il lui rend un hommage appuyé à ce propos, dans un article qui oscille entre l’autobiographie et la description, relativement pessimiste, de la situation institutionnelle des statistiques médicales de son époque (l’article est publié en 1954)47 _:

« He [Mainland] then saw that the methods prescribed by Fisher for avoiding bias and allowing for chance, experimental error, biological variation, and sample size, were applicable in all fields of medicine. (…)

The second book [The Design of Experiments] emphasized the fact that a significance test has no useful meaning unless an experiment has been properly designed. In terms of a simple experiment, the comparison of two treatments on animals or patients, "properly designed" means designed in such a way that, at

46 _{Mainland fait référence à la procédure des enveloppes scellées, qui permet dans l’exemple qu’il donne}

de maintenir une allocation au hasard des traitements

47 _{Mainland, Donald, « The rise of experimental statistics and the problems of a medical statistician », The}

141

the end of the experiment, one can say: "Chance would so rarely cause such a large difference in outcome that I shall attribute the observed difference to the treatments." There must be only two possibilities: chance and the treatments; and this situation can be reached only by allocating the treatments to the subjects by what Fisher' called "a physical experimental process of randomization," which is now most easily performed by a table of random numbers. This demonstration of the logical necessity of randomization is one important contribution of Fisher's second book on statistics. Another is his demonstration of how to study multiple factors in the same experiment. (…) He further called attention to the way in which different factors interact with each other, and demonstrated designs that could most economically reveal not only the main effects but the interactions. In brief, the principles are: (i) balance, i.e., the subjection of equal numbers of subjects to each factor under test, and (ii) randomization of all the factors, known and unknown, that are not under test.» (Mainland, 1954, p. 1-3).

Cet extrait est à mettre directement en relation avec un passage extrait d’un article de 1950, qui vise à présenter les principes généraux de l’usage des statistiques dans les recherches cliniques 48_{. Il dit ainsi, dans la partie consacrée aux conditions} requises pour disposer d’un échantillon adéquat (« The Requirements for an Adequate Sample »), dans la première sous-partie où il divise les différents facteurs à étudier en trois catégories (facteurs majeurs connaissables, facteurs majeurs inconnus, et facteurs mineurs) :

« Let us consider a very simple type of investigation. We wish to take two samples of patients with the same disease and apply one treatment to one sample and another treatment to the other sample. We avoid some misleading differences by standardizing our methods of observation and our other techniques, but there are many factors still left, apart from the two treatments, that will produce differences in the outcome (…)

Also, we must be sure that, in our present ignorance, we do not vitiate our results by a preponderance of one type of the disease in one of our samples. Likewise,

48 _{Mainland, Donald, « Statistics in clinical research: some general principles », Annals of the New York}

142

there may be hidden environmental factors, and we must avoid the risk of all such hidden bias. » (Mainland, 1950, p.924).

Mainland va ensuite distinguer quatre exigences requises pour disposer d’un échantillon adéquat :

- d’abord, l’échantillonnage doit être raisonné ou dirigé (« purposive ») : il s’agit de réduire la variation en catégorisant les individus ou les groupes d’individus selon différents facteurs ou critères (âge, sexe, etc.) afin d’égaliser les facteurs, de sorte que le facteur étudié soit la seule différence entre les groupes

- ensuite, il faut procéder à une randomisation : les traitements doivent être donnés au hasard, notamment à travers l’utilisation d’une table de nombres au hasard (« Table of random numbers »)

- enfin vient l’analyse ou l’évaluation (« assessment ») des résultats, qui fait intervenir la notion de « signification statistique » qu’il va développer par la suite. C’est là qu’intervient à nouveau la notion de biais :

« Having made chance operate in the selection of samples, we can, after the experiment, use our knowledge of chance to assess the results, because we know how often various differences in the results would occur by chance, i.e., if there were no difference between the treatments. (…)

In contrast, let us consider our verdict if we had not randomized. We could then say: “The difference is due either to chance or to something else. Such differences rarely being due to chance, we believe that it is probably due to something else.” But this “something else” may be either the difference between the treatments or some bias due to unknown factors, or perhaps treatment plus bias. Because we did not randomize, we have no way of telling. » (Mainland, 1950, p.925-926).

Ces propositions seront reprises quasiment à l’identique dans l’article de 1958, où il distingue les enquêtes épidémiologiques (au sens d’enquêtes observationnelles), des expérimentations :

« In a survey we have no protection against hidden bias. Therefore, our interpretation of results cannot take the simple “either-or” form. We have to consider three possible causes of the observed differences: (1) chance, (2) the factors under test, and (3) hidden bias, not controlled by chance. A statistical test can tell us only that chance was an unlikely cause, perhaps extremely

143

unlikely, with probability (P) infinitesimally small. » (Mainland, 1958b, p. 826- 827).

Il ajoute que ceci est tout aussi valable pour les expérimentations qui seraient conduites sans randomisation préalable :

« Experiments that are conducted without randomization are equivalent to surveys with respect to uncertainty of inference. When an investigator asks for a “statistical analysis” (i.e., a significance test) after such an experiment, he apparently believes that he has left nothing in his experiment except chance and the factors under test – that he has eliminated biases, or has made them so small that they are trivial in comparison with the difference that he is measuring. He may be perfectly right, but a statistical test does nothing to prove him right. As E. B. Wilson, a Harvard professor of chemistry, has written, “fifty pages of higher mathematics will not salvage an experiment with a hidden bias.” Elimination of chance as a likely cause of an observed difference is of no importance if we cannot answer the question: “What has really happened to the biases that are always present in any experiment?” » (Mainland, 1958b, p. 827). Ainsi, un biais n’est pas simplement un problème d’étiquetage des membres de l’échantillon mais une des trois explications possibles d’une différence observée entre deux groupes : soit la différence est due au hasard, soit elle est due au facteur testé (une exposition ou un traitement), soit elle est due à un biais caché. Le test statistique permet d’éliminer la première hypothèse, et laisse donc penser que la différence observée est bien liée au facteur soumis au test. Le problème est que le test statistique n’a aucune valeur si l’étude ou l’expérimentation est entachée de biais, c'est-à-dire si le plan de l’étude a été mal conçu : il est absolument inutile.

Il apparait ainsi clairement que la conception qu’a Mainland de la notion de biais est beaucoup plus proche de celle de Fisher que de celle de Hill, et explicitement posée comme tel dans son article autobiographique de 1954 qui est cité au début de cette partie. Comme le souligne Harry Marks :

« Dans les années 1950 et 1960, les chercheurs en médecine et en statistique ont de la même façon beaucoup insisté sur la capacité de la randomisation à réguler et à contrôler les biais (…). Seuls ceux qui avaient étudié avec Fisher

144

ou qui l’avaient lu soigneusement ont discuté du rôle crucial de la randomisation pour garantir des estimations valides de l’erreur expérimentale.54-56 _» 49

Et, pour Marks, Mainland fait clairement partie des disciples de Fisher, comme l’attestent les notes 54 et 56 de l’article, qui renvoient à deux articles de Mainland, celui de 1950 que nous avons étudié et un autre en date de 1960 sur l’usage et le mésusage des statistiques dans les publications médicales50_{. Dès lors, il semble que le même} mot ne soit pas le même concept chez Mainland et chez Hill, qu’il s’agisse d’ailleurs du concept de randomisation ou du concept de biais. En effet, là où chez Hill la randomisation a essentiellement pour fonction de dissimuler la procédure, et vise, comme d’ailleurs la procédure de l’aveugle et du double-aveugle, à produire intentionnellement de l’ignorance (ignorance de qui est malade ou non au moment du diagnostic ou de l’interview, ignorance de qui va dans le groupe traité et de qui va dans le groupe non traité au moment de l’allocation des patients) et par là à éviter les biais, ici explicitement entendus en un sens subjectif et psychologique ; chez Mainland, au contraire, la randomisation ne se résume pas à cette fonction de dissimulation mais permet d’obtenir une estimation valide de l’erreur ( d’où la notion faible de biais comme propriété de l’échantillon) mais aussi par là de garantir la validité du test statistique (d’où la notion forte de biais comme propriété de l’étude et d’où la tripartition : cause, hasard, biais). Dès lors il est parfaitement logique que Mainland critique la notion psychologique de biais pour lui préférer la notion statistique de biais héritée de Fisher et conçue comme une erreur systématique. Toute la question est de savoir si et comment il est possible de concilier ces deux notions.

49 _{« In the 1950s and 1960s, medical and statistical researchers alike placed great emphasis on}

randomization’s capacity to regulate and control bias (ref. 17, p. 144–47). Only those who had studied with Fisher or read him carefully discussed randomization’s crucial role in ensuring valid estimates of experimental error54-56 _{» in Marks, 2003, p. 935.}

50 _{Mainland, Donald, « The use and misuse of statistics in medical publications », Clinical Pharmacology}

and Therapeutics, vol. 1, août 1960, p. 411‑422. La note 55 fait reference à l’article suivant: Greenberg, B. G., « Why Randomize? », Biometrics, vol. 7 / 4, décembre 1951, p. 309.

145

3.3 Les premières études prospectives sur le lien entre tabagisme et