Syndrome du réverbère ou les pièges de la statistique et la manipulation des données

1332

–

–

actualité, info

Syndrome du réverbère ou les pièges

de la statistique et la manipulation des données

La statistique est aux études cliniques ce que le réverbère est à l’ivrogne. Il le soutient plus qu’il ne l’éclaire. Le syndrome du réverbère est le crédit exagéré accordé aux statistiques par les médecins souvent abusés par l’utilisa- tion tendancieuse des statistiques, qui peu- vent grossir artificiellement des résultats ou manipuler des données pour les rendre plus attrayantes. Il résulte aussi des biais dans les études cliniques qui vont fausser les résultats et induire les médecins en erreur.^1,2 Voici quelques exemples :

1. Donner les résultats en valeur relative plutôt qu’absolue

• Pour les médicaments, on a montré en pré- vention primaire que l’aspirine (500 mg/j) dimi- nuait de 32% le risque de maladie cardiovas- culaire (CV) ; en fait, le risque absolu ne diminue que de 0,2%. Il faut donc traiter 500 patients (1 : 0,2%) pour en sauver un seul, le NNT (number needed to be treated) étant l’inverse du risque absolu. Si un événement est très rare, la diminution du risque par un médicament, même s’il paraît important en valeur relative, n’aura que peu de chances d’avoir un effet béné fique pour un patient donné.³

• En épidémiologie, le risque relatif de cancer du sein est augmenté de 25% pour une femme qui prend un traitement œstro-progestatif entre 50 et 60 ans par rapport aux femmes qui ne prennent pas de traitement hormonal. En fait, en valeur absolue, le risque de cancer du sein passe de 4 à 5% ce qui paraît moins alarmant qu’une augmentation de 25% (1 : 4 = 25%).⁴ 2. L’erreur statistique de type 1 ou la multiplication des analyses ou des sous-groupes⁵

Plus il y a d’analyses (ou de sous-groupes) dans une étude, plus il y a de chances d’avoir des résultats significatifs par le pur jeu du ha- sard. En effet, le p l 0,05 indique qu’il y a 5%

de chances qu’au moins un résultat soit anor- mal (significatif) du seul fait du hasard. Si on a dix analyses, dans une étude, cette probabilité (fruit du pur hasard) est de 40%, avec vingt ana- lyses elle est de 64% (selon la formule 1-(0,95) puissance n où n est le nombre de tests effec- tués). On comprend dès lors que les études ayant de nombreux sous-groupes, qu’il s’agisse de différentes catégories de patients, de la mesure de différents «end points», ou de leur évaluation à différents moments (3 mois, 6 mois, etc.) montrent des effets significatifs (d’un médi- cament par exemple), en l’absence d’effet réel du traitement appliqué.³ Le seuil significatif de- vra être l 5% si on est en présence de plusieurs sous-groupes. On peut utiliser la correction de Bonferroni en divisant le seuil significatif par le

nombre d’analyses (groupes). Par exemple, si on a dix sous-groupes le seuil significatif serait de l 0,05 : 10 = l 0,005.

3. La régression à la moyenne ou la cor- rection spontanée des valeurs élevées Plus une variable est élevée (qu’il s’agisse du taux de glucose, de cholestérol, de la TAH), plus il y a de chances que lors d’une mesure ultérieure on trouve une valeur se rapprochant de la norme (qui sera significativement plus basse que la première valeur), ce qu’on appelle la régression à la moyenne. On peut atténuer cette erreur en faisant plusieurs mesures de la variable étudiée avant d’évaluer l’effet sur cette variable d’un médicament et mieux encore, en le comparant à l’effet d’un placebo.

4. Les biais statistiques

• Les biais dans la sélection des patients peuvent également nous induire en erreur par exemple dans les études de cohorte. Elles permettent d’évaluer l’effet d’un traitement ou d’une habitude (alcool, tabac, etc.) en compa- rant deux populations. En comparant des femmes ménopausées qui ont choisi de prendre un traitement œstro-progestatif à des femmes qui avaient choisi de ne pas en prendre, on a conclu que les œstrogènes permettaient de diminuer de 50% le risque CV. Or ces deux groupes de femmes sont différents : celles qui choisissent de prendre des hormones ont un mode de vie plus sain que les autres, ce qui explique leur meilleur pronostic CV, indépen- damment de la prise d’œstrogènes.⁶ Les études randomisées, qui évitent ce biais des

«utilisatrices saines», ont montré au contraire l’effet CV délétère des œstrogènes du moins chez des sexagénaires ;⁷ l’effet négatif était moins marqué, voire protecteur chez les femmes plus jeunes.⁸

• Le biais d’adhérence au traitement. L’ob- servance thérapeutique en soi est un facteur pronostique de bonne santé et les patients qui prennent régulièrement leur médicament (même s’il s’agit d’un placebo !) se portent mieux que les patients peu compliants, du fait d’un mode de vie également plus sain ; de plus, ils recourent davantage à la médecine préventive.^9,10 Il n’est pas exclu que les études ayant montré l’effet bénéfique au plan CV de l’alcool, en particulier du vin, soient biaisées par le fait que les buveurs modérés de vin ont un mode de vie plus sain que les abstinents ou les buveurs de bières ou de spiritueux, ama- teurs de tabac, de frites et de charcuterie.^11,12

• Le biais de prescription : c’est la déduction (par des épidémiologistes) qu’un médicament est responsable d’un effet secondaire alors que les médecins l’ont choisi pour des patients

à risque de présenter cet effet secondaire (par exemple le paracétamol chez des ulcéreux).

• Le biais de publication : comme de nom- breuses études trouvant des résultats négatifs ne sont pas publiées, on a une vision erronée dans certains cas de l’efficacité d’un médica- ment. Par exemple, si six chercheurs compa- rent un placebo A à un placebo B, il y a 27%

de chances qu’un des six chercheurs trouve une différence significative entre ces deux pla- cebos par le jeu des probabilités. Plus les groupes sont petits et hétérogènes, plus il y a de risques d’erreurs. Le biais de publication est lié au fait que seuls les résultats significa- tifs seront publiés. Un exemple notable est celui des antidépresseurs dont l’efficacité aurait été nettement surévaluée du fait de ce biais.¹³

Rémy C. Martin-Du-Pan 1 Skrabanek P, McCormick J. Idées folles, idées faus-

ses en médecine. Paris : Ed Odile Jacob, 1992.

2 Martin-Du Pan RC. Les pièges de la statistique ou comment interpréter les chiffres lors de l’évaluation d’un nouveau traitement. Rev Med Suisse Romande 1998;118:547-52.

3 Committee of the Physicians Health study research group. Final report on the component of the ongoing Physician’s health study. N Engl J Med 1989;321:129- 35.

abécédaire

; vingt ans après (2)

D.R.

42_45.indd 3 10.06.11 10:46

Revue Médicale Suisse

–

–

1333

4 Santen RJ, Petroni GR. Relative versus attributable risk of breast cancer from estrogen replacement the- rapy. J Clin Endocrinol Metab 1999;84:1875-81.

5 Kleist P. Attention à l’analyse des sous-groupes ! Fo- rum Med Suisse 2007;7:794-9.

6 Rödström K, Bengtsson C, Lissner L. Pre-existing risk factor profiles in users and non users of hormone re- placement therapy : Prospective cohort study in Go- thenburg, Sweden. BMJ 1999;319:890-3.

7 Grady D, Herrington D, Bittmer V, et al. Cardiovascular disease outcomes during 6.8 years of hormone the- rapy (HERS II). JAMA 2002;288:39-57.

8 Rossow JE, Prentice RL, Manson JE, et al. Postmeno- pausal hormone therapy and risk of cardiovascular di- sease by age and years since menopause. JAMA 2007;297:1465-77.

9 Simpson SH, Ezurich DT, Majumdar ST, et al. A meta- analysis of the association between adherence to drug therapy and mortality. BMJ 2006;333:15-8.

10 Brookhart MA, Patrick AR, Dormuth C, et al. Adhe- rence to lipid-lowering therapy and the use of preven- tive health services : An investigation of the healthy user effect. Am J Epidemiol 2007;166;348-54.

11 Rossel M, De Faire U, Hellenium ML. Low prevalence of the metabolic syndrome in wine drinkers – is it the al- cohol beverage or the lifestyle ? Eur J Clin Nutr 2003;

75:227-34.

12 Johansen D, Friis K, Skovenborg E, et al. Food buying habits of people who buy wine or beer : Cross sectio- nal study. BMJ 2006;332:519-22.

13 Turner EH, Matthews AM, et al. Selective publication of antidepressant trials and its influence on apparent efficacity. N Engl J Med 2008;358:252-60.

42_45.indd 4 10.06.11 10:46