La critique logique de Berkson : le biais comme sophisme

La critique de Berkson parait un an plus tard, en juillet 1955, et va porter simultanément sur l’article de Hammond et Horn et sur celui de Doll et Hill. Berkson commence son article par une référence à l’étude de Pearl, publiée en 1929, qui établissait que la tuberculose constituait un facteur protecteur contre le cancer du poumon :

« When I encountered the first of the series of statistical studies on the association between smoking and lung cancer which have recently appeared, it immediately recalled to me a prior investigation on the association between tuberculosis and cancer » (Berkson, 1955, p. 319).

Sans rentrer dans les détails de cette étude cas-témoins, qui montrait que la tuberculose était trouvée dans seulement 6.6% des cas des 816 personnes autopsiées qui avaient une tumeur maligne, alors qu’elle était trouvée chez 16.3% des 816 personnes autopsiées qui n’avaient pas de tumeur maligne, et concluait donc que la tuberculose protégeait contre le cancer du poumon, il est important de noter que pour Berkson, cette étude, menée qui plus est par un statisticien reconnu, était parfaite d’une point de vue méthodologique, quand bien même la conclusion était fausse (et due au fait que les personnes qui avaient un cancer n’avaient pas le temps de développer la tuberculose, car ils mouraient avant). Il dit ainsi :

« Although retrospectively I agree that the conclusion reached by Pearl in his first investigation is not correct (…), still, on the basis of very generally accepted principles of statistical procedure it seems to me that he was invulnerably right. If in two “cohorts” of a population, differentiated in respect of only one relevant characteristic x, the finding of a unquestionable difference between the two, in the relative frequencies of a character y, establishes association between x and y, irrespective of the character of the population itself, then Pearl’s investigation did establish negative association between cancer and tuberculosis and in fact it was an impeccable example of such a demonstration » (Berkson, 1955, p. 322).

Le problème selon Berkson est que les études sur le tabac et le cancer du poumon reposent sur la même méthodologie, et leurs conclusions sur la « validité de ce principe général » (Berkson, 1955, p. 322). Dès lors, il semble possible de penser que ces études sont victimes de la même erreur ou du même sophisme dans leurs

150

conclusions, du fait que l’échantillon a été sélectionné, comme cela était le cas pour l’enquête de Pearl. En effet, pour Berkson, l’étude de Pearl était, du point de vue de sa construction logique (« the logical development on which it was planned ») convaincante (« cogent ») mais fausse, du fait que la population étudiée était une population de morts (« a population of the dead »58_{). Berkson conclut ainsi :}

« I resolved never to study association of diseases in a dead population » (Berkson, 1955, p. 324)

C’est suite à cette expérience que Berkson se rend compte, après qu’on lui a demandé de travailler comme consultant sur une étude qui voulait montrer si l’ulcère duodénal protégeait du cancer de l’estomac, que le même genre de « conclusion fallacieuse » (« fallacious character of the conclusion »59_{) pouvait être tirée si l’on} prenait pour base la population, morte ou vivante, d’un hôpital. Mais Berkson va aller encore plus loin, sur la suggestion, d’ailleurs, de Mainland60 _{: ce genre de sophisme} peut non seulement s’appliquer aux études rétrospectives, comme la littérature de l’époque l’a, d’après lui, bien compris, mais aussi aux études prospectives, et donc à celles de Doll et Hill, ou de Hammond et Horn. Il dit ainsi :

« A simple mechanism may be operating which will produce spurious association in the selection population similar to that referred to in the study of association of diseases in a hospital population » (Berkson, 1955, p. 325). Et en effet, dans l’étude de Doll et Hill:

« The population actually composing the material of comparison is only a certain portion of the physicians registered at the time of inception of the study and these are only a portion of the general population. » (Berkson, 1955, p. 325). Il y a donc bien selon Berkson un risque de sélection, entendue ici comme un problème de représentativité de l’échantillon, équivalent à celui qu’on retrouve dans une étude rétrospective. Pour lui c’est ce phénomène de sélection qui explique les résultats aussi bien des études rétrospectives que prospectives, phénomène qui est lié à la procédure statistique elle-même. Berkson, comme dans son article de 1946, utilise un exemple fictif61 _{pour illustrer son argument et distingue deux groupes pour la} comparaison : le premier groupe est constitué de personnes qui sont sérieusement

58 _{Berkson, 1955, p. 324.} 59 _{Berkson, 1955, p. 324.}

60 _{« It was Pr Donald Mainland who suggested me rather pointedly what I had thought of only vaguely», in}

Berkson, 1955, p. 325.

151

malades, et représente 3% de la population de référence (une cohorte de 100 000 personnes), avec un taux de mortalité de 99% , et dont 50% est recruté pour l’enquête. Le second groupe est constitué de personnes qui ne sont pas malades, avec un taux de mortalité de 0.03%, et dans ce groupe, 99% de la population de non-fumeurs répond à l’enquête et est inclus dans l’investigation tandis que 65% des fumeurs répondent et sont inclus dans l’enquête. Pour résumer, le critère d’inclusion dans l’enquête pour le groupe 1 dépend de l’état de santé, tandis que le critère d’inclusion pour le groupe 2 dépend du fait de fumer ou non. Quant à la population de référence, on considère que 80% de cette population fume, et que le taux de mortalité annuelle est de 3%. Berkson montre que, alors qu’il n’y a pas d’association entre le tabagisme et les taux de mortalité dans la population de référence, une association positive notable apparait dans la population sélectionnée, puisque le taux de mortalité pour les fumeurs est de 2.6% alors qu’il n’est que de 1.6% pour les non-fumeurs. Berkson précise que cette différence n’est pas liée au fait que des personnes s’éliminent de l’enquête parce qu’ils sont malades avec une plus grande probabilité s’ils sont fumeurs que s’ils ne le sont pas, mais qu’il s’agit ici de « l’opération simultanée selon des intensités différentes de la sélection à la fois sur le tabagisme et sur les morts » (Berkson, 1955, p. 328). S’il ne s’agit selon lui que d’un « modèle statistique » (Berkson, 1955, p. 328) qui ne prétend pas déterminer exactement comment le mécanisme de sélection opère, il reste que cette possibilité de ce qui s’apparente à un biais (même s’il refuse d’employer ce terme, et lui préfère celui de « fallacy ») permet de mettre en doute la méthode prospective, dont on pense qu’elle n’est pas sujette, comme l’étude rétrospective, à ce genre de sophisme62_{. Cela renvoie en fait au} problème plus général, étudié d’après Berkson, par Neyman et Fix, des « risques compétitifs » (« competitive risks »). C’est d’ailleurs ce qui explique selon lui pourquoi toutes les études portant sur le rôle du tabac dans le cancer du poumon produisent les mêmes résultats, cette convergence des résultats étant selon lui non la preuve d’une association, mais le « signe d’une corrélation statistique fallacieuse » (« the hallmark of spurious statistical correlation »63_{). Le défaut se situe en effet dans la procédure} statistique elle-même :

62 _{« It is only a “statistical model”, and has been presented because wide acceptance of the prospective}

studies as probative appears to be based on the idea that with this method of investigation no fallacy is possible. », in Berkson, 1955, p. 328.

152

« If correlation is produced by some elements of the statistical procedure itself, it is almost inevitable that the correlation will appear whenever the statistical procedure is used » (Berkson, 1955, p. 332).

Il dira même un peu plus loin dans son article, dans la partie intitulée « Considérations biologiques » que le problème principal est précisément que la corrélation entre tabagisme et cancer du poumon est « si exclusivement statistique » (« so exclusively statistical »64_{). Berkson va même plus loin car il considère que les} études qu’on appelle prospectives sont en réalité elles aussi des études rétrospectives :

« In a crucially important sense, however, both of these types of study [rétrospective et prospective] are retrospective. If in the prospective type of study – exemplified in those of Doll and Hill and of Hammond and Horn – the designation of the cases with and without cancer is “prospective”, the designation of each individual as to whether he is a smoker or a non-smoker is not prospective, for this is already accomplished at the initiation of the study. It is just this which opens the way to “selection”. » (Berkson, 1955, p. 341). On retrouve ici le problème que Berkson avait soulevé dans son article de 1946 : les deux échantillons comparés sont différents avants que commence l’étude, contrairement à ce qu’il se passe dans une expérimentation. Il dit ainsi :

«The type of study which is genuinely prospective is the experimental study, for here one begins with neither variable predetermined, but instead with the entire group of individuals undifferentiated in respect of either of the two variables, the association of which is under investigation. Separation of individuals is then made in respect of one variable – the putatively “causal” variable – at the will of the experimenter, and according to well-defined statistical principles of randomization. » (Berkson, 1955, p. 341)65

Le problème est donc que dans une étude observationnelle, rétrospective ou prospective, il est impossible, pour des raisons pratiques, d’effectuer une randomisation véritable, contrairement par exemple aux essais cliniques, dont Berkson loue d’ailleurs la méthodologie élaborée par Hill. Or, sans randomisation, il est impossible d’effectuer « une inférence statistique valide » (« a valid statistical

64 _{Berkson, 1955, p. 339.} 65 _{C’est Berkson qui souligne.}

153

inference »66_{). Dès lors le seul moyen d’établir une relation causale entre le tabagisme}

et le cancer du poumon est de faire une expérimentation, car « dans la science, il n’y pas de substitut aux expérimentations » (Berkson, 1955, p. 342). C’est d’ailleurs le titre de la dernière partie de son article : « Wanted - An adequate program of experimental verification. » (Berkson, 1955, p. 341). Selon lui :

« si une association biologique importante doit être établie comme une conclusion scientifique définitive, c'est-à-dire si elle doit être considérée comme « prouvée », la population ne doit pas être autre chose qu’une population expérimentale » (Berkson, 1955, p. 323).

Ainsi seule l’expérimentation peut permettre de prouver une association démontrée sur une base purement statistique. La critique de Berkson peut donc être qualifiée de « logique » ou de « logiciste » au sens où elle ne porte pas sur les données ou sur les résultats de l’étude, mais sur l’étude elle-même, c'est-à-dire sur son plan ou sa structure logique : étant donné qu’il n’y pas eu et qu’il n’est pas possible d’avoir, ni dans les études cas-témoins ni dans les études de cohorte, de randomisation, alors il n’est pas possible de tirer la moindre conclusion ou de faire une inférence qui soit valide, c'est-à-dire qui soit formellement vraie, et a fortiori matériellement vraie.

3.3.3 La réponse empirique de Doll et Hill : le biais comme explication