Tel que mentionné précédemment, le choix de l’échantillon à analyser est une tâche sensible. Puisque le mécanisme d’attribution est exogène, il est difficile d’établir avec certitude la pro- babilité pour chacune des sections d’être touchée ou non par l’une des tornades sélectionnées. Or, cette probabilité devrait être le principal critère d’inclusion des sections dans les échan- tillons. Tel que mentionné précédemment, selon Keele et Titiunik (2016), l’échantillon idéal ne retient que les unités adjacentes ou dans un rayon limité. Dans la section précédente, ne sachant pas le rayon maximal dont il est question dans ce cas-ci, seules les sections adjacentes ont été considérées dans les analyses. Les diagnostics présentés dans la section précédente ont d’ailleurs démontré que l’attribution du traitement dans la plupart de ces échantillons était aléatoire. Néanmoins, il est possible que des sections qui ne sont pas adjacentes, mais respectant tout de même le critère de sélection, aient été laissées de côté, biaisant ainsi les conclusions des analyses.
L’objectif des analyses présentées dans cette section sera double. Premièrement, elles per- mettront d’établir s’il est possible d’ajouter des sections non adjacentes à l’échantillon sans en diminuer la qualité. Deuxièmement, si l’ajout de sections est possible, ces analyses permettront de déterminer leur impact sur les résultats obtenus précédemment. Pour y arriver, les sections non-adjacentes seront graduellement ajoutées à l’échantillon de base en débutant par les plus rapprochées, et en terminant par les plus éloignées. Un rang a donc été attribué à toutes les sections selon leur distance avec les tornades5. Elles seront ajoutées cinq à la fois, en fonction du rang qui leur a été attribué, jusqu’à ce que toutes les sections de toutes les circonscriptions choisies soient présentes dans l’échantillon. À chacun des ajouts, le nouvel échantillon sera soumis aux trois diagnostics et aux deux analyses d’intérêt. Il sera donc possible d’observer l’évolution de l’équilibre des groupes dans les échantillons et les résultats des analyses d’intérêt. Ces résultats seront présentés graphiquement pour en faciliter l’interprétation6. Les figures
B1 à B4 présentent les diagnostics et les analyses d’intérêt pour les échantillons aveugle et rationnel provinciaux7.
5. Le rang 1 inclut seulement les sections des échantillons utilisés dans la section précédente et le dernier rang, la section la plus éloignée.
6. Les valeurs des moyennes sont présentées en valeur absolue sur les différents graphiques pour en faciliter l’interprétation.
Les figuresB1etB2présentent les trois diagnostics et les deux analyses d’intérêt pour l’échan- tillon aveugle provincial. La manière d’interpréter les diagnostics dans cette section est la même que pour ceux des sections précédentes. Pour qu’un échantillon soit équilibré, la diffé- rence prétraitement doit être la plus faible possible et le test placebo ne doit pas présenter de lien statistique. L’objectif dans ce cas-ci est donc d’identifier les rangs (échantillons) pour lesquels les trois test convergent vers zéro, qui est identifié par la ligne pointillée. Par ailleurs, les variations sur tous les graphiques de cette section s’expliquent par le fait que la composition des groupes contrôle et traitement change à mesure que des sections supplémentaires y sont ajoutées. Il est normal que ces changements se fassent de façon incrémentale dû au phénomène de corrélation spatiale. En d’autres termes, les changements brusques sont rares puisque les sections adjacentes qui sont ajoutées sont hautement corrélées à celles qui ont été ajoutées précédemment (Getis,2007).
Comme l’indique la figure B1, l’ajout des sections supplémentaires fait varier quelque peu la participation prétraitement, mais généralement dans des limites acceptables. Lors de l’ajout des dernières sections, la différence passe sous le seuil de crédibilité de 5% ce qui pourrait indiquer un problème dans l’attribution aléatoire du traitement. On observe le même phéno- mène pour le test placebo, qui reste concluant tout au long de l’ajout des circonscriptions. Néanmoins, la différence de votes prétraitement offre un tout autre portrait. Rapidement, la différence entre les deux groupes s’accentue pour atteindre presque 10 points de pourcentage avant de s’améliorer puis de se déteriorer de nouveau. Les trois diagnostics semblent converger vers l’équilibre seulement dans les échantillons entre les rangs 300 et 350. Or, selon les résultats présentés dans la figure B2, aucune des deux variables d’intérêt ne descend sous le seuil de crédibilité dans les échantillons entre ces deux rangs. Les résultats confirment donc qu’il n’y a pas de lien entre le traitement et les variables d’intérêt et que les électeurs n’ont pas puni aveuglément leurs élus provinciaux.
Les figures B3etB4 présentent des analyses similaires, mais avec l’échantillon rationnel. Les sections initiales présentaient un bon équilibre prétraitement de la participation, mais la dif- férence pour celle du vote était à la limite d’être problématique. De plus, le placebo était sous le seuil de crédibilité de 5%. Dans ce contexte il était difficile de conclure à une attribution aléatoire du traitement. Or, les analyses présentées à la figure B3 indiquent que l’ajout de sections permet d’obtenir des échantillons mieux équilibrés. En effet, l’ajout des premières sections améliore les deux diagnostics problématiques. La différence prétraitement de la par- ticipation augmente légèrement, mais sans jamais aller au-delà de 2,5 points de pourcentage de différence. En fait, les échantillons entre les rang 5 et 235 présentent un équilibre suffisant pour conclure à une attribution aléatoire du traitement. L’ajout de sections affecte aussi les
analyses d’intérêt, présentées dans la figureB4, plus particulièrement l’appui aux élus. En fait, les échantillons situés entre les rang 65 et 195 permettent d’établir un lien entre le traitement et l’appui aux élus. Dans un certain nombre d’analyses, ce lien se retrouve même sous le seuil de crédibilité de 2,5%. Entre les élections de 2007 et 2011, les appuis du Parti libéral ont diminué de plus de 5 points de pourcentage dans les sections épargnées. En contrepartie, dans les sections touchées, les appuis sont restés pratiquement stable. Le gouvernement provincial, dans cet échantillon, à donc mieux performé dans les sections du groupe traitement que dans celles du groupe contrôle.
Les figures B5à B8présentent des analyses similaires, mais pour les élections fédérales. Les deux premières permettent de tester l’échantillon aveugle. La figure B5 indique que mal- gré l’ajout de sections, la participation prétraitement et le test placebo restent relativement stables. Cependant, la différence du vote prétraitement augmente rapidement dès l’ajout des premières sections, pour se resserrer à nouveau par la suite jusqu’à revenir au niveau initial. L’ajout de sections n’améliore donc pas la qualité de l’attribution du traitement. D’ailleurs, les résultats obtenus dans la figure B6 confirment l’absence de liens entre le traitement et les variables d’intérêt puisque les seuls résultats sous le seuil de crédibilité sont observés sur des échantillons déséquilibrés.
Les analyses présentées dans les figures B7 et B8, servant à tester l’échantillon rationnel, donnent des résultats similaires à ceux de l’échantillon aveugle. Ainsi, l’ajout de sections affecte peu la participation prétraitement et le placebo, mais augmente la différence du vote prétraitement. À partir du rang 125 environ, les échantillons retrouvent un équilibre suffisant pour conclure à une attribution aléatoire. Toutefois, les analyses d’intérêt, présentées dans la figure B8, ne descendent jamais sous le seuil de crédibilité. Conséquemment, il est impossible de confirmer de liens entre le traitement et les deux variables à l’étude.