Cette section de l’article est divisée en trois parties. Les deux premières sections sont consa- crées à l’analyse des échantillons restreints provinciaux et fédéraux. Dans les deux cas, la présentation débutera par une description des sections sélectionnées. Ensuite, des diagnostics permettront d’établir la crédibilité de la nature aléatoire de l’attribution du traitement. Par la suite, les analyses d’intérêt seront conduites sur tous les échantillons, peu importe les résultats des diagnostics. Ces derniers seront toutefois pris en compte dans l’interprétation des résultats. La troisième partie de cette section sera consacrée à l’analyse des échantillons élargis, c’est-à- dire des échantillons avec l’ajout des sections laissées de côté lors des premières analyses. Les détails concernant cette troisième série d’analyses seront présentés ultérieurement.
1.5.1 Provincial
La figure1.4présente les sections de vote dans les trois circonscriptions. Puisque la carte élec- torale n’a pas été modifiée entre les élections de 1994 et 1998, la plupart des sections de vote sont identiques pour les deux élections. Celles qui ont été modifiées seront laissées de côté, puisqu’elles ne constituent pas une base de comparaison équivalente. À l’instar de la figure1.1, les sections en rouge ont reçu le traitement et les sections en vert forment le groupe contrôle. Finalement, les sections hachurées forment l’échantillon restreint pour les analyses de la pre- mière partie. Le tableau 1.1résume les informations présentées dans les figures précédentes2. 2. En plus des sections ayant été modifiées entre les deux élections, celles à haute densité de population ont aussi été laissées de côté puisque la figure1.1ne permet pas de bien évaluer leur appartenance à un groupe ou à un autre.
(a) Beauharnois-Huntingdon (b) Iberville
(c) Brome-Missisquoi
Figure 1.4 – Sections touchées et échantillons - Provincial : Représentation géographique des sections de vote affectées par le traitement (en rouge) et celles dans le groupes contrôle (en vert). Les sections hachurées sont incluses dans l’échantillon restreint.
Beauharnois-
Huntingdon Iberville
Brome- Missisquoi Toutes Adjacentes Toutes Adjacentes Toutes Adjacentes
1 47 10 51 15 89 13
0 89 21 76 26 47 17
Total 136 34 127 41 136 30
Tableau 1.1 – Sections de vote en panne selon l’échantillon - Provincial : Sections de vote en panne et épargnées par circonscription, ventilées selon leur appartenance ou non à l’échantillon restreint. Le total des colonnes « adjacentes » présente le nombre d’observations dans les échantillons restreints de chaque circonscription
Dans le tableau 1.1, le total des colonnes « adjacentes » pour chacune des circonscriptions présente le nombre de sections sélectionnées dans les échantillons. On parle donc de 34 sections dans Beauharnois-Huntingdon, 41 dans Iberville et 30 dans Brome-Missisquoi. Même s’il s’agit d’échantillons relativement limités, le nombre d’observations est suffisant pour des analyses statistiques simples comme des différences de moyennes.
La première étape consiste à soumettre les échantillons constitués à des diagnostics afin de s’assurer que l’attribution du traitement est bel et bien aléatoire. Pour ce faire, deux types de tests seront utilisés, des tests d’équilibre prétraitement et des tests de variables placebos. Le test d’équilibre prétraitement sert à s’assurer qu’avant le traitement, la moyenne de l’appui aux élus et de la participation ne diffèrent pas entre les deux groupes. Un déséquilibre pré- traitement peut remettre en doute la qualité de l’attribution et, par conséquent, la validité des inférences tirées de l’analyse de ces échantillons. Le tableau 1.2présente les résultats des tests de différences de moyennes bayésiennes sur l’appui aux élus du Parti québécois (PQ) et sur la participation électorale entre les deux groupes à l’élection de 1994. Comme dans deux des trois circoncriptions provinciales le député local est du Parti libéral, des diagnostics et des analyses seront aussi faits sur l’appui aux élus locaux. Comme le rappellent Imai et al.(2008), au-delà du test d’hypothèse, il est important d’obtenir la plus petite différence possible entre les deux groupes. L’évaluation de l’équilibre se fera donc aussi sur la base de la magnitude de la différence.
Les deux premières colonnes présentent la moyenne des sections dans chacun des deux groupes et la troisième, la différence entre les deux groupes. La quatrième colonne présente le pourcen- tage de la distribution postérieure du signe opposé à la différence calculée. En d’autres termes, si la différence est positive, ce chiffre représente le pourcentage de la distribution postérieure situé sous zéro. Cette donnée peut être interprétée comme la probabilité que l’effet trouvé soit faux dans un test unilatéral (one-tail test ). Il s’agit donc, en quelque sorte, d’une valeur p bayesienne. Il est à noter que pour atteindre un niveau de crédibilité de 90% ou 95% dans
Pannes Contrôle Différence Crédibilité Vote 94 (PQ) 47,6 48,8 -1,3 38,0 Vote 94 (PLQ) 44,6 44,4 0,2 48,7 Beauharnois- Huntingdon Participation 94 77,4 78,2 -0,8 63,3 Vote 94 44,8 45,8 -1,0 67,5 Iberville Participation 94 77,9 78,8 -0,9 28,4 Vote 94 (PQ) 20,5 27,9 -7,4 7,0 Vote 94 (PLQ) 72,8 62,2 10,6 3,6 Brome- Missisquoi Participation 94 80,3 80,5 -0,2 44,3
Tableau 1.2 – Test d’équilibre prétraitement - Provincial : Appui aux élus et participation, en pourcentage, à l’élection de 1994 dans les groupes traitements et contrôles.
l’équivalent d’un test bilatéral (two-tails test ), ce chiffre doit descendre au moins à 5% ou 2,5%. Dans le cas des diagnostics, une différence entre les deux groupes serait le signe d’un problème avec l’attribution aléatoire du traitement. La plupart des tests d’hypothèse présentés dans le tableau 1.2n’indiquent aucune différence entre les groupes traitements et les groupes contrôles. Les seuls résultats problématiques concernent la différence de 7,4 points de pourcen- tage d’appuis au PQ et la différence de 10,6 points d’appui aux PLQ entre les deux groupes dans Brome-Missisquoi. Un tel écart est problématique et conséquemment, l’interprétation des résultats de cette circonscription devra en tenir compte.
Le deuxième diagnostic est le test de variable placebo. Il s’agit ici de sélectionner des variables qui, théoriquement, ne devraient pas être affectées par le traitement (placebo) et de vérifier si ces variables présentent des différences entre les deux groupes. En d’autres termes, il s’agit de vérifier si les données présentent des relations statistiques qui ne devraient théoriquement pas être observables. La présence de tels liens pourrait soulever de sérieux doutes sur l’attribution du traitement et par le fait même, sur les résultats. Dans ce cas-ci, le choix du placebo s’est porté sur la différence du nombre vote rejetés dans chaque section de vote entre 1994 et 1998. Cette variable a été sélectionnée d’abord parce que, comme les variables d’intérêts, elle mesure une différence entre les deux élections à l’étude, mais principalement parce qu’il n’y a aucune raison théorique de croire qu’elle peut être affectée par le traitement. Pour confirmer la nature aléatoire du traitement, il est donc nécessaire de ne pas observer de lien entre le traitement et le placebo. Le tableau 1.3présente les résultats de ce deuxième diagnostic.
D’abord, aucun des tests statistiques présentés dans le tableau1.3n’est en mesure de confirmer de lien entre le traitement et la variable placebo sélectionnée. Dans Beauharnois-Huntingdon, les deux groupes présentent une différence moyenne d’à peine 0,3 vote rejeté. Dans les deux autres circonscriptions, l’écart du nombre de votes rejetés se chiffre à 0,9 dans Iberville et à 1,5 dans Brome-Missisquoi. Dans les trois cas, ces différences sont bien au dessus du niveau de
Pannes Contrôle Différence Crédibilité
Beauharnois-Huntingdon 2,8 2,5 0,3 42,8
Iberville 2,7 1,7 0,9 19,0
Brome-Missisquoi 0,5 1,5 -1,0 18,0
Tableau 1.3 – Test de variable placebo - Provincial : Nombre de votes rejetés, en moyenne, dans les groupes traitements et contrôles.
crédibilité nécéssaire pour confirmer une relation. Les échantillons peuvent donc être utilisés pour les analyses d’intérêt. Le tableau 1.4en présente les résultats.
Pannes Contrôle Différence Crédibilité
∆Vote (PQ) -0,4 -2,6 2,1 20,0 ∆Vote (PLQ) -3,5 -3,6 0,1 47,7 Beauharnois- Huntingdon ∆Participation -2,3 -0,0 -2,2 12,3 ∆Vote (PQ) 4,0 3,8 0,2 45,9 Iberville ∆Participation -1,3 -0,7 -0,6 35,8 ∆Vote (PQ) 2,6 1,8 0,7 34,0 ∆Vote (PLQ) -4,3 -4,1 -0,2 46,6 Brome- Missisquoi ∆Participation -6,7 -1,9 -4,8 1,3
Tableau 1.4 – Analyses d’intérêt - Provincial : Évolution de l’appui aux élus et de la parti- cipation, en pourcentage, entre 1994 et 1998 dans les groupes traitements et contrôles.
Les résultats présentés dans le tableau 1.4ont été produits à l’aide de tests de différences de moyennes bayésiennes. L’analyse de l’échantillon dans Beauharnois-Huntingdon indique que l’appui au Parti québécois dans les sections de vote en panne est resté relativement stable en ne diminuant que de 0,4 point alors qu’il s’est contracté de 2,1 points dans les autres sections. Cette différence est toutefois bien au dessus du niveau de crédibilité requis pour confirmer une relation statistique. Dans le cas des appuis du candidat libéral, les deux groupes ne sont séparés que par 0,1 point de pourcentage. La participation électorale, elle, a diminué de 2,3 points dans le groupe traitement, mais est demeurée stable dans le groupe contrôle. Cette différence n’atteint toutefois pas le niveau de crédibilité requis pour confirmer une relation.
Les résultats obtenus avec les données provenant de la circonscrition d’Iberville ne permettent pas non plus de confirmer de lien entre le traitement et les variables d’intérêts. D’abord, entre 1994 et 1998, l’appui au PQ a augmenté de 4 et de 3,8 points de pourcentages dans les deux groupes. En ce qui concerne la participation, la différence entre les deux groupes est de 0,6 point de pourcentage. Dans les deux cas, les différences sont trop minimes pour conclure à la présence d’effets statistiques.
Le troisième échantillon, Brome-Missisquoi, donne des résultats quelque peu différents. D’abord, les appuis du Parti québécois ont progressé de 2,6 points de pourcentage dans les sections en panne et de seulement 1,8 point dans les sections épargnées, une différence de 0,7 point. Les appuis du candidat local, quant à eux, ont diminué de 4,1 et de 4,3 points dans les deux groupes. Dans les deux cas, les différences sont trop minimes pour être statistiquement cré- dibles. En ce qui concerne la participation, cependant, les analyses indiquent une baisse de 6,7 points de pourcentage dans les sections en panne et de seulement 1,9 point dans les sections épargnées. Avec une différence de 4,8 points de pourcentage, le niveau de crédibilité est atteint pour pouvoir confirmer un lien 95% du temps dans un test bilatéral. Toutefois, puisque cet échantillon démontrait des signes de déséquilibre prétraitement, la crédibilité de ce résultat est plutôt faible.
Bref, les résultats présentés dans le tableau1.4indiquent que dans les deux premières circons- criptions provinciales à l’étude, il n’y a pas de relation entre le traitement et les deux variables d’intérêt. On peut donc confirmer l’hypothèse nulle, c’est-à-dire que d’avoir été victime d’une panne de courant de plus d’une semaine n’a pas eu d’effet ni sur l’appui aux élus nationaux et locaux, ni sur la participation électorale3. Le déséquilibre prétraitement du troisième échan- tillon fait en sorte qu’il est impossible de confirmer une hypothèse. La section suivante sera consacrée à l’analyse des résultats fédéraux.
1.5.2 Fédéral
Les analyses fédérales seront basées sur les résultats obtenus en 1997 et 2000 dans les cir- conscriptions de Saint-Hyacinthe-Bagot et de Brome-Missisquoi. Les échantillons restreints sélectionnées sont présentés dans la figure 1.5et le tableau1.5
3. Contrairement aux statistiques fréquentistes, les statistiques bayésiennes permettent de confirmer l’hy- pothèse nulle.
(a) Saint-Hyacinthe-Bagot (b) Brome-Missisquoi
Figure 1.5 – Sections touchées et échantillons - Fédéral : Représentation géographique des sections de vote dans les circonscriptions à l’étude. Les sections rouges et vertes représentent respectivement le groupe traitement et le groupe contrôle. Celles qui sont hachurées sont incluses dans l’échantillon restreint.
Source : Élections Canada, Google Maps etStatistique Canada(1998)
Saint-Hyacinthe- Bagot
Brome- Missisquoi Toutes Adjacentes Toutes Adjacentes
1 46 16 54 16
0 128 15 81 14
Total 174 31 135 30
Tableau 1.5 – Section de votes en panne selon l’échantillon - Fédéral : Sections de vote en panne et épargnées par circonscription, ventilés selon leur appartenance ou non à l’échantillon restreint. Le total des colonnes « adjacentes » présente le nombre d’observations dans les échantillons restreints de chaque circonscription.
Comme on peut le constater dans le tableau1.5, l’échantillon de section dans Saint-Hyacinthe- Bagot est de 31 et celui de Brome-Missisquoi est de 30. À l’instar des échantillons provinciaux, ils sont limités, mais suffisants pour l’utilisation de modèles statistiques simples. La première étape des analyses est de s’assurer de la qualité de l’échantillon avec le test d’équilibre pré- traitement et le test de variable placebo4. Brome-Missisquoi était représenté par un député du Parti libéral du Canada, mais dans Saint-Hyacinthe-Bagot, le député local est du Bloc
québécois (BQ). Des analyses pour le candidat local et national seront donc nécéssaires dans cette dernière circonscription. Comme pour les diagnostics provinciaux, il est nécéssaire d’ob- server la plus petite différence possible entre les groupes traitement et contrôle pour pouvoir confirmer l’attribution aléatoire du traitement. Les tableaux 1.6et1.7présentent les résultats des deux diagnostics sur les échantillons fédéraux.
Pannes Contrôle Différence Crédibilité
Vote 97 (PLC) 17,9 22,6 -4,7 0,8 Vote 97 (BQ) 44,4 44,0 0,5 43,2 Saint-Hyacinthe- Bagot Participation 97 72,7 72,2 0,5 36,9 Vote 97 (PLC) 54,2 45,7 8,4 11,1 Brome- Missisquoi Participation 97 72,9 73,7 -0,8 35,6
Tableau 1.6 – Test d’équilibre prétraitement - Fédéral : Appui aux élus et participation, en pourcentage, à l’élection de 1997 dans les groupes traitements et contrôles.
Pannes Contrôle Différence Crédibilité
Saint-Hyacinthe-Bagot -4,4 -2,3 -2,2 14,9
Brome-Missisquoi -2,6 -1,3 -1,3 17,2
Tableau 1.7 – Test de variable placebo - Fédéral : Nombre de votes rejetés, en moyenne, dans les groupes traitements et contrôles.
Les résultats des diagnostics peuvent être qualifiés de mitigés. Certain des tests sont convain- cants, comme l’équilibre prétraitement de la participation électorale ou le test placebo pour l’échantillon de Brome-Missisquoi. D’autres tests toutefois soulèvent de sérieux doutes sur la qualité des inférences qui pourraient être tirées de ces analyses. Par exemple, les deux échantillons présentent des déséquilibres de 4,7 et de 8,4 points de pourcentage de l’appui prétraitement au Parti libéral. Ces différences sont trop importantes pour ne pas être problé- matiques. Les résultats des analyses d’intérêt, qui apparaissent dans le tableau 1.8, devront donc être interprétés à la lumière de ces diagnostics.
Dans la circonscription de Saint-Hyacinthe-Bagot, l’appui au PLC a augmenté de 12,7 points de pourcentage dans les sections en panne et de 12,2 points dans les sections épargnées, une différence de 0,5 point. En ce qui concerne les appuis du Bloc Québécois, une différence de 2,8 points sépare les deux groupes. Dans les deux cas, la différence observée ne peut atteindre le niveau de crédibilité requis pour confirmer une relation statistique. La participation, elle, a reculé de 4,6 et de 5,4 points de pourcentage dans les deux groupes. Néanmoins, les pro- blèmes observés lors des diagnostics diminuent considérablement la crédibilité de ces résultats.
Pannes Contrôle Différence Crédibilité ∆Vote (PLC) 12,7 12,2 0,5 38,0 ∆Vote (BQ) 13,8 11,0 2,8 5,3 Saint-Hyacinthe- Bagot ∆Participation -4,6 -5,4 0,7 30,0 ∆Vote (PLC) 0,8 5,4 -4,6 3,3 Brome- Missisquoi ∆Participation -9,4 -9,3 -0,1 48,0
Tableau 1.8 – Analyses d’intérêt - Fédéral : Évolution de l’appui aux élus et de la participa- tion, en pourcentage, entre 1997 et 2000 dans les groupes traitements et contrôles.
Dans l’échantillon provenant de Brome-Missisquoi, l’appui au PLC a augmenté de 0,8 point de pourcentage dans les sections touchées, mais d’environ 5,4 points dans les sections épargnées. Cette différence, de 4,6 points de pourcentage est suffisante pour confirmer une relation 95% du temps. Il est à noter cependant que l’appui au PLC prétraitement était plus élevés dans le groupe traitement que dans le groupe contrôle, réduisant considérablement la fiabilité de ce résultat. Par ailleurs, la diminution de la participation est de 9,4 points dans le groupe traitement et de 9,3 points dans le groupe contrôle. Bref, aucun des résultats présentés dans le tableau 1.8ne permet de confirmer de relation statistique. La troisième et dernière section de la présentation empirique sera consacrée à l’analyse des échantillons élargis pour les cinq circonscriptions à l’étude.
1.5.3 Échantillons élargie
Les conclusions auxquelles nous sommes parvenus dans les deux sections précédentes sont miti- gées. L’attribution aléatoire dans deux des trois circonscriptions provinciales est convaincante, mais aucun lien statistique entre le traitement et les variables d’intérêt n’a pu être observé par la suite. Du côté fédéral, les échantillons n’ont pu passer l’étape des diagnostics puisqu’un im- portant déséquilibre a été détecté dans les tests prétraitements. Dans les deux cas, le nombre d’observations limité dans les échantillons pourrait être l’une des causes pouvant expliquer ces résultats. En effet, d’une part, plus l’échantillon est petit, plus l’estimation de l’écart-type de la distribution postérieure est inefficiente, rendant ainsi plus difficile l’établissement de liens statistiques (Lynch,2007). D’autre part, les chances qu’une attribution aléatoire produise des groupes équilibrés augmentent en même temps que le nombre d’observations (Strube,1991). Des échantillons limités comme ceux utilisés précédemment ont donc des chances d’être dés- équilibrés, et ce, même si le mécanisme d’attribution est bon.
Le raisonnement derrière le choix des échantillons dans la section précédente était de suivre le plus strictement possible la logique de sélection des sections adjacentes afin de ne faire aucun compromis sur l’attribution. La contrepartie de ce choix était de limiter le nombre
d’observations dans les échantillons puisque peu de sections de vote répondent au critère très strict de proximité géographique. Toutefois, Keele et Titiunik (2016) suggèrent que des uni- tés géographiques rapprochées, sans toutefois être adjacentes peuvent répondre à ce critère. Le problème est que, puisque la probabilité exacte de chaque section d’être touchée par le traitement est inconnue, il est impossible de savoir précisément jusqu’où l’échantillon peut être étendu. L’objectif des analyses de cette deuxième partie est d’établir si des observations peuvent être ajoutées dans les échantillons sans faire de compromis sur l’attribution aléatoire et ainsi d’améliorer l’équilibre entre les groupes et d’augmenter la puissance statistique des modèles.
Cette procédure a été élaborée par l’auteur de cet article, mais s’inspire fortement des travaux de Keele et Titiunik (2016). D’abord, un rang sera attribué à toutes les sections. Le rang 1 sera attribué à toutes les observations de l’échantillon resteint. Les rangs subséquents seront attribués aux autres sections selon leur distance. Ainsi, plus le chiffre est élevé, plus la section est éloignée de la frontière. Ensuite, toutes les sections seront ajoutées aux analyses, une à la fois, en fonction de leur rang. Après chaque ajout, de nouvelles analyses seront conduites sur le nouvel échantillon ainsi créé. Il y aura donc autant d’analyses que de rangs distincts dans chaque circonscription. Il sera ainsi possible de suivre l’évolution des diagnostics et des résultats à mesure que l’échantillon incluera des sections de plus en plus éloignées de la limite entre les deux groupes. On cherche à obtenir des échantillons dans lesquels les trois diagnostics convergent vers une différence nulle, donc des échantillons dans lesquels les groupes traitement et contrôle sont équilibrés. Les résultats seront présentés graphiquement afin de faciliter leur interprétation5.
Deux graphiques seront présentés pour chaque circonscription. Le premier inclut tous les diag- nostics et le second inclut les résultats d’intérêt. Il est à noter que pour faciliter la lecture des graphiques de diagnostics, les valeurs sont absolues puisque le sens de la différence n’a aucun intérêt pour leur interprétation. Dans toutes les figures, chaque point indique la différence entre les groupes traitement et contrôle. Une ligne pointillée a aussi été ajoutée à y = 0, où les deux groupes sont identiques. Les points vides et les étoiles indiquent l’atteinte d’un seuil de crédi- bilité de 5% et de 2,5%. La variation sur les figures s’explique par le fait que l’ajout graduel de sections change la composition des deux groupes et donc la valeur moyenne des différentes variables. Par ailleurs, la forme incrémentale que prennent ces changements est principalement due à l’autocorrélation spatiale. Ce type d’autocorrélation décrit un phénomène selon lequel deux zones géographiquement voisines ont généralement des profils hautement corrélés. Dans un contexte où les sections sont ajoutées en s’éloignant graduellement de la frontière, il est donc normal que les changements soient incrémentaux plutôt que brusques. Tel que mentionné
précédemment, on recherche des échantillons dans lesquelles les trois diagnostics convergent