Performances en termes de classement des signaux

Les figures 2.1 et 2.2 représentent respectivement le nombre de vrais et de faux positifs détectés en fonction du nombre de signaux générés par les approches basées sur le PS en fonction de la méthode utilisée pour estimer le score. Les signaux dont le statut est inconnu d’après DILIrank sont pris en compte dans le nombre de signaux générés. Pour les approches adjustPS et mwPS, la manière dont les scores ont été estimés a peu influencé les résultats en termes de classement de signaux. Néanmoins, les scores estimés par GTB ont conduit à de moins bonnes performances pour le classement des vrais positifs pour ces deux familles d’approches : adjustPS-GTB a montré un classement moins pertinent à partir de 50 signaux générés environ (figure 2.1 (a)), et mwPS-GTB à partir de 80 signaux générés environ (figure 2.1 (b)). En ce qui concerne le classement des faux positifs, mwPS-GTB est l’approche qui a eu les moins bonnes performances (figure 2.2 (b)) en détectant des faux positifs pour un nombre inférieur de signaux générés par rapport à hdPS, mwPS-BIC et mwPS-CISL. AdjustPS-GTB a montré un classement des faux positifs assez proche de celui d’adjustPS-CISL. Les classement fournis par ces méthodes ont été tous deux moins pertinents que ceux fournis par adjustPS-hdps et adjustPS-BIC (pour moins de 280 signaux générés, figure 2.2 (a)). Pour la pondération IPTW sur le PS, on observe une plus grande variabilité des performances entre iptwPS-BIC, iptwPS-CISL, iptwPS-GTB et iptwPS-hdPS. Contrairement à l’ajustement et à la pondération MW, c’est l’approche qui repose sur les scores estimés par GTB qui a classé le mieux les vrais positifs (figure 2.1 (c)). Les scores estimés par lasso-bic et hdPS montrent des performances assez proches. En revanche les scores estimés par CISL ordonnent le moins bien les vrais positifs. Concernant les faux positifs, iptwPS-CISL a montré le classement le moins pertinent en détectant un faux positif pour un nombre faible de signaux générés (figure 2.2 (c)). IptwPS-BIC, iptwPS-GTB et iptwPS-hdPS ont montré de meilleures performances. Ces trois approches ont fourni des classement semblables en détectant leur premier faux positif pour environ 30 signaux générés.

La figure 2.3 représente le nombre de vrais et de faux positifs détectés en fonction du nombre de signaux générés par les approches basées sur le PS, où les scores sont estimés avec lasso-bic. Sauf pour l’approche par pondération IPTW, dont les performances ont été décevantes tant en termes de classement de vrais positifs que de faux positifs, estimer

0 50 100 150 200 250 300 0 20 40 60 80 Nombre de signaux générés Nombre de Vr ais P ositifs détectés adjustPS−hdPS adjustPS−BIC adjustPS−CISL adjustPS−GTB (a) 0 50 100 150 0 10 20 30 40 50 Nombre de signaux générés Nombre de Vr ais P ositifs détectés mwPS−hdPS mwPS−BIC mwPS−CISL mwPS−GTB 0 10 20 30 40 50 60 70 0 5 10 15 20 25 Nombre de signaux générés Nombre de Vr ais P ositifs détectés iptwPS−hdPS iptwPS−BIC iptwPS−CISL iptwPS−GTB (b) (c)

Figure 2.1 – Nombre de vrais positifs détectés en fonction du nombre de signaux générés par les approches basées sur le score de propension en grande dimension via (a) ajustement (adjustPS-hdPS, adjustPS-BIC, adjustPS-CISL, adjustPS-GTB) ; (b) pondération avec les poids

matching weights (mwPS-hdPS, mwPS-BIC, mwPS-CISL, mwPS-GTB) ; (c) pondération avec les poids inverse probability of treatment weighting (iptwPS-hdPS, iptwPS-BIC, iptwPS-CISL, iptwPS-GTB) et pour différentes méthodes d’estimation des scores. Pour toutes ces approches, les signaux sont ordonnés selon les p-valeurs corrigées pour la multiplicité des tests.

0 50 100 150 200 250 300 0 5 10 15 Nombre de signaux générés Nombre de F aux P ositifs détectés adjustPS−hdPS adjustPS−BIC adjustPS−CISL adjustPS−GTB (a) 0 50 100 150 0.0 0.5 1.0 1.5 2.0 2.5 3.0 Nombre de signaux générés Nombre de F aux P ositifs détectés mwPS−hdPS mwPS−BIC mwPS−CISL mwPS−GTB 0 10 20 30 40 50 60 70 0.0 0.5 1.0 1.5 2.0 2.5 3.0 Nombre de signaux générés Nombre de F aux P ositifs détectés iptwPS−hdPS iptwPS−BIC iptwPS−CISL iptwPS−GTB (b) (c)

Figure 2.2 – Nombre de faux positifs détectés en fonction du nombre de signaux générés par les approches basées sur le score de propension en grande dimension via (a) ajustement (adjustPS-hdPS, adjustPS-BIC, adjustPS-CISL, adjustPS-GTB) ; (b) pondération avec les poids matching

weights (mwPS-hdPS, mwPS-BIC, mwPS-CISL, mwPS-GTB) ; (c) pondération avec les poids

inverse probability of treatment weighting (hdPS, BIC, CISL, iptwPS-GTB) et pour différentes méthodes d’estimation des scores. Pour toutes ces approches, les si-gnaux sont ordonnés selon les p-valeurs corrigées pour la multiplicité des tests.

0 50 100 150 200 250 300 0 20 40 60 80 Nombre de signaux générés Nombre de Vr ais P ositifs détectés adjustPS−BIC mwPS−BIC iptwPS−BIC 0 50 100 150 200 250 300 0 5 10 15 Nombre de signaux générés Nombre de F aux P ositifs détectés adjustPS−BIC mwPS−BIC iptwPS−BIC (a) (b)

Figure 2.3 – Nombre de (a) vrais positifs et (b) faux positifs détectés selon le nombre de signaux générés par les approches basées sur le score de propension : ajustement, pondération avec les poids matching weights, pondération inverse probability of treatment weighting où les scores sont estimés avec lasso-bic : adjustPS-BIC, mwPS-BIC, iptwPS-BIC.

Pour toutes ces approches, les signaux sont ordonnés selon les p-valeurs corrigées pour la mul-tiplicité des tests.

le score avec lasso-bic a conduit à des classements pertinents pour les autres approches basées sur le PS. En comparant les performances d’adjustPS-BIC et mwPS-BIC à nombres égaux de signaux générés, on constate que les classement fournis par ces approches sont assez proches. Néanmoins, à partir de 60 signaux générés, mwPS-BIC a détecté plus de vrais positifs qu’adjustPS-bic. MwPS-BIC a détecté son premier faux positif pour un nombre de signaux générés légèrement plus important qu’adjustPS-BIC.

Les figures B.1, B.2 et B.3 en annexe représentent le nombre de vrais et de faux positifs détectés en fonction du nombre de signaux générés par les approches basées sur le PS où les scores sont estimés avec hdPS, CISL et GTB respectivement. Quelle que soit la méthode utilisée pour estimer les PS, les approches basées sur l’ajustement et sur la pondération MW ont montré des classements pertinents des signaux générés. A nombres égaux de si-gnaux générés, les approches mwPS ont eu tendance a détecter quelques vrais positifs sup-plémentaires par rapport aux approches adjustPS. Les approches hdPS et mwPS-CISL ont fourni un classement des faux positifs légèrement plus pertinent qu’adjust-hdPS et qu’adjust-CISL respectivement. En revanche, cela n’a pas été le cas lorsque le PS a été

estimé avec GTB : mwPS-GTB a détecté son premier faux négatif pour un nombre de signaux générés plus faible qu’adjustPS-GTB. Pour toutes les stratégies d’estimation du score, l’approche basée sur la pondération IPTW a montré des performances bien moins bonnes que ses concurrentes.

La figure B.4 en annexe montre les mêmes représentations graphiques de classement des signaux pour les approches basées sur des régressions lasso. Ces trois approches ont montré des performances assez similaires avec des classements pertinents des signaux générés. Pour environ 50 signaux générés, lasso-bic a montré néanmoins des performances légèrement meilleures en détectant plus de vrais positifs. Contrairement à CISL-5% et CISL -10%, lasso-bic a détecté des faux positifs. On peut cependant remarquer que son premier faux positif est apparu pour plus de 80 signaux générés.

Au vu des résultats exposés et dans un souci de clarté, nous avons décidé de ne considérer dans la suite que l’approche qui repose sur les poids MW avec des scores estimés avec lasso-bic (mwPS-BIC), lasso-bic et Univ.