Protocole statistique pour mener une méta- méta-analyse
1. Approche fréquentiste
1.1. Méthode de mesure de la taille de l’effet du traitement: « effect-size » Cette méthode qui a été initialement développée dans le cadre des études thérapeutiques
1.1.5. Identification et quantification du biais de publication
Par principe, la méta-analyse doit regrouper la totalité des essais qui ont été réalisés dans le domaine étudié. Cette exhaustivité est cependant difficile à atteindre, en particulier du fait de l’existence de travaux non publiés. Un manquement à ce principe fait courir le risque de l’introduction d’un biais, appelé biais de publication.
Les techniques présentées dans ce paragraphe permettent de rechercher l’existence d’un biais de publication à partir des données d’une méta-analyse. Bien sûr, les diagnostics de ces méthodes ne sont jamais certains et restent purement indicatifs. Ils représentent cependant des éléments de choix pour la discussion.
Dans un premier temps, une technique purement descriptive, à but d’analyse, est présentée, suivie par la description de deux méthodes destinées à estimer la taille du biais.
1.1.5.1. Le Funnel plot
La représentation dite « funnel plot » (dont une traduction possible est « graphe en entonnoir ») consiste à représenter, pour chaque étude, la valeur estimée de l’effet traitement en fonction de la taille des échantillons considérés (ou de leur écart type) (Light et Pillemer, 1984 ; Vandenbroucke, 1988).
En l’absence de biais de publication, les différentes estimations réalisées par les essais vont être réparties de façon homogène autour de la vraie valeur de l’effet traitement θi. Les estimations dont l’écart type est important (qui correspondent aux études de plus faible effectif), varient autour de θiavec une plus grande amplitude que celles dont l’écart type est petit (c’est à dire comportant les plus grands effectifs). De plus, les points se répartissent de façon symétrique de part et d’autre de la ligne verticale correspondant à la vraie valeur θi. La Figure 2.5 représente une illustration théorique indiquant une situation d’absence de biais de publication.
126 Figure 2.5 – Illustration théorique d’une situation d’absence de biais de publication (cas
de la régression des effets traitement sur les effectifs par étude) (Whitehead, 2002).
En cas de biais de publication, la répartition des points n’est plus homogène, un déséquilibre apparaît avec moins de points dans la zone centrale, correspondant aux résultats non significatifs. Il s’agit principalement des estimations inférieures à la vraie valeur (en générale voisines de l’effet nul voire inférieures à lui) et obtenues sur des essais de faible effectif. Celà conduit à une forme « d’entonnoir » sur le graphique d’où le nom de ce type de représentation graphique. La Figure 2.6 correspond à l’illustration théorique d’une situation de présence du biais de publication dans une méta-analyse.
1.1.5.2. Méthodes statistiques de détection et de correction du biais de publication
Il est possible de formaliser l’approche du « funnel plot » par des tests statistiques permettant de quantifier la probabilité d’existence d’un biais de publication dans un jeu de données. Deux tests destinés à identifier et modéliser les biais de publication sont décrits ci-dessous.
127 Figure 2.6 – Illustration théorique d’une situation de présence de biais de publication
(cas d’une régression des effets traitement sur l’erreur standard de chaque étude) (Shachar, 2008).
Tests des rangs
Cette méthode est effectuée avec un test non-paramétrique dérivé du test
de Kendall (Begg et Mazumdar, 1994). Une telle approche n’implique aucune hypothèse de modélisation statistique, mais souffre d’un certain manque de puissance.Le principe de ce test consiste à dire qu’en l’absence de biais de publication, les deux variables représentées dans le graphe en entonnoir, θi et υi sont indépendantes. θi représente l’estimation de la taille de l’effet et υi sa variance. La réalisation de ce test nécessite de stabiliser la variance des θi car l’hypothèse d’égalité des variances est nécessaire. La transformation suivante vérifie cette hypothèse:
*
* i i
i
128 où représente l’estimation de l’effet commun issue de la méta-analyse, et qui est estimé selon la formule (4.4), et où i* i est la variance de i . (
i1)1 représente la variancede qui est exprimée par la formule (4.5). Le test proposé consiste à rechercher la corrélation des rangs entre les {i*} et les {υi}. Le test de Kendall est décrit dans de nombreux ouvrages de basede statistiques (Armitage et Berry, 1994). Son principe consiste à déterminer le rang de chaque valeuri*et υidans sa série, puis de créer tous les regroupements possibles par paire desessais (leur nombre est (n (n - 1)). Ensuite, le nombre P de paires dans lesquellesle second élément est supérieur au premier est déterminé, ainsi que Q, le nombre de paires dans lesquelles l’ordre est inverse. Ensuite, une statistique de test qui suit une loi normale est obtenue par :L’utilisation d’estimation standardisée de la taille de l’effet traitement pour ce test suggère que le graphe « en entonnoir » (« funnel plot ») doit utiliser la même transformation.
Par simulation, il a été montré que la puissance de ce test devient correcte dans le cas de grandes méta-analyses incluant plus de 75 essais (Begg et Mazumdar, 1994). Avec moins de 25 essais, la puissance est médiocre et le non rejet, par le test de l’hypothèse d’absence de biais de publication, ne permet pas de l’exclure de façon fiable.
Test d’asymétrie du « funnel plot »
Egger et al. (1997) présentent un test de détection de biais de publication basée sur une analyse de régression linéaire des "estimations standardisés» de l’effet traitement sur la
«précision». Ce test consiste à ajuster cette ligne de régression qui devrait passer par l’origine en cas d’absence de biais de publication. Ainsi, le modèle de régression approprié est représenté par la fonction suivante:
i i i
y x
avec i=1,…,r qui représente le nombre des études incluses dans la méta-analyse ; yi : représente les «estimations standardisés » de l’effet traitement ( ˆi wi ) ; xi :représente la «précision» ( wi ) ;
129 εi : terme représentant l’erreur qui suit une distribution normale de moyenne nulle et de variance égale à 1.
Selon Egger et al. (1997), le test de détection du biais de publication revient à tester l’hypothèse nulle que α soit égale à zéro. L’intercept, α, fournit une mesure de l'asymétrie du funnel plot : plus son écart de zéro est élevé, plus l’asymétrie du « funnel plot » est importante.
Les estimations par la méthode des moindres carrés de α et β sont calculées selon les formules suivantes :
Sous l’hypothèse d’un modèle méta-analytique fixe décrit par la formule (4.3), la variance de
ˆ
peut être calculée selon la formule suivante :1
Le test de l’hypothèse nulle selon laquelle l’intercept α soit égale à zéro peut être réalisé en comparant la statistique
ˆ / ( ) se ˆ
à celle d’une distribution normale standard.Les estimations des paramètres
ˆ
et ˆ
peuvent être obtenue par la régression par la méthode des moindres carrés desˆ
ii
w
sur wi en utilisant, par exemple, PROC GLM du logiciel SAS.En conclusion, les méthodes proposées ici ne sont pas très puissantes avec les nombres d’essais usuels dans les méta-analyses. Il est donc difficile d’affirmer le biais de publication, et encore plus difficile de le récuser.
130 1.2. Méthode d’addition des effectifs: « pooling »
Pour résoudre le problème posé par la synthèse des résultats de plusieurs essais, St-Pierre (2001) et Sauvant et al. (2005) ont proposé de combiner directement les effectifs et les nombres d’événements de tous les essais, par sommation (parfois appelé en anglais
« pooling »). Les effectifs des groupes sont additionnés, ainsi que les nombres d’événements.
La comparaison globale et l’estimation de l’effet combiné du facteur étudié se base sur ces totaux.
La variable réponse peut être continue ou discrète. Cependant nous nous intéresserons uniquement au cas de variables réponses continues qui sont la grande majorité des cas en productions animales.
Il y a globalement deux situations, selon que la variable réponse est dépendante d’un facteur qualitatif ou quantitatif.