COMMENT INTÉGRER LE MULTIMODE
TOUT EN CONSERVANT LA COMPARABILITÉ DANS UNE ENQUÊTE TRANSVERSALE
RÉPÉTÉE SUR LA SANTÉ
Jimmy Baulne et Robert Courtemanche
Institut de la statistique du Québec
9e Colloque francophone sur les sondages
• Description de l’enquête
• Stratégie pour obtenir des données comparables
• Évaluation de la comparabilité
• Indicateurs affectés
• Recommandations aux utilisateurs
• Conclusion
Plan de la présentation
Description de l’enquête
L’Enquête québécoise sur la santé de la population (EQSP)
• Enquête cyclique (6 ans) à la demande du ministère de la Santé et des Services sociaux du Québec
• Objectif : dresser un portrait actuel et détaillé de l’état de santé de la population québécoise
• Thèmes abordés (21) :
– Perception de l’état de santé, la détresse psychologique,
drogues, activités sexuelles, santé au travail, tabagisme, etc.
• Première édition : 2008
Deuxième édition : 2014-2015
Description de l’enquête
• Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec
• Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec
• Objectifs infraprovinciaux
17 régions sociosanitaires (RSS)
93 réseaux locaux de services (RLS)
• Échantillon : 77 410 personnes
• Durée du questionnaire téléphonique : environ 30 minutes
• Nombre de répondants : 45 760
• Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec
• Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec
• Objectifs infraprovinciaux
17 régions sociosanitaires (RSS)
93 réseaux locaux de services (RLS)
• Échantillon : 77 410 personnes
• Durée du questionnaire téléphonique : environ 30 minutes
• Nombre de répondants : 45 760
Description de l’enquête
En 2008 : logements privés seulement
• Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec
• Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec
• Objectifs infraprovinciaux
17 régions sociosanitaires (RSS)
93 réseaux locaux de services (RLS)
• Échantillon : 77 410 personnes
• Durée du questionnaire téléphonique : environ 30 minutes
• Nombre de répondants : 45 760
Description de l’enquête
En 2008 : Génération aléatoire de numéros de téléphone
(RDD)
• Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec
• Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec
• Objectifs infraprovinciaux
17 régions sociosanitaires (RSS)
93 réseaux locaux de services (RLS)
• Échantillon : 77 410 personnes
• Durée du questionnaire téléphonique : environ 30 minutes
• Nombre de répondants : 45 760
Description de l’enquête
En 2008 : 16 régions
aucun objectif par RLS
• Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec
• Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec
• Objectifs infraprovinciaux
17 régions sociosanitaires (RSS)
93 réseaux locaux de services (RLS)
• Échantillon : 77 410 personnes
• Durée du questionnaire téléphonique : environ 30 minutes
• Nombre de répondants : 45 760
Description de l’enquête
En 2008 : 38 154 répondants
Description de l’enquête
• Mode de collecte : multimode (Web et téléphonique)
– Envoi d’une lettre au répondant + relance
• Cette transition vers une collecte multimode n’est toutefois pas sans conséquences
• Stratégie d’échantillonnage permettant de conserver la comparabilité des données
En 2008 : téléphonique seulement
Stratégie : données comparables
Stratégie d’échantillonnage
• Mode Web ou mode téléphonique : le choix au répondant ?
– Libre choix entraîne la non-randomisation des modes et une impossibilité de comparer
• Stratégie adoptée :
– 50% de l’échantillon en mode téléphonique seulement [Volet A]
– 50% de l’échantillon en multimode (Web/téléphonique) [Volet B]
• Permet d’évaluer l’effet du mode sur les estimations
– En comparant les résultats d’un mode unique (téléphonique) avec ceux d’une collecte multimode (Web/téléphonique)
Stratégie : données comparables
• Pondération selon le volet
– Poids volet A (téléphonique seulement) – Poids volet B (multimode)
– Poids pour l’échantillon complet : volets A et B confondus
Poids d’autoamorçage (3 x 500) : variance et tests statistiques
• Exclusions de certaines unités
(non couvertes en 2008)– Personnes vivant dans un ménage collectif non institutionnel – Personnes vivant dans la région 18
• Autres efforts déployés pour uniformiser les questionnaires
– Libellés des questions
– Lecture des choix de réponse
– Information supplémentaire fournie au répondant
Traitements indépendants
Résultats de collecte 2014-2015
• Taux de réponse pondéré : 60,5%
• Proportion pondérée de réponses Web :
Taux de réponse Volet A (téléphonique seulement) 58,4 %
Volet B (multimode) 62,6 %
Écart + 4,2 %
Proportion Web
Volet B (multimode) 61,1 %
Échantillon complet 30,6 %
Évaluation de la comparabilité
Quel effet mesure-t-on réellement?
• Principe de base :
– Comparer les réponses fournies pour deux modes de collecte différents
• Effet global du mode de collecte
– Effet de sélection
• Contrôlé par l’attribution aléatoire du volet
– Effet de mesure (effet de mode)
• Choix du mode n’est pas contrôlé à l’intérieur du volet B
L’approche de l’ISQ ne permet pas de mesurer l’effet de mesure
« pur » du mode Web par rapport au mode téléphonique
Évaluation de la comparabilité
Quel effet mesure-t-on réellement?
(suite)• Permet de déterminer si l’implantation d’un mode de collecte multiple a eu un effet sur la mesure des indicateurs
• En testant
Résultats volet A (téléphonique seulement) contre
Résultats multimode volet B (multimode Web/téléphonique)
Indicateurs affectés
Indicateurs « affectés »
• Chaque indicateur de l’EQSP a été analysé (plus de 400)
– Compare les estimations obtenues pour chacun des volets – Test d’indépendance (khi-deux) entre l’indicateur et le volet
• Si le seuil observé est inférieur à 1 %, alors l’indicateur est considéré comme « affecté » par le mode de collecte
– Statut déterminé au niveau de l’ensemble du Québec
• Nous a permis de produire une liste de 176 indicateurs
affectés par le mode de collecte
Indicateurs affectés
Comparaisons avec l’édition 2008
Recommandations à nos utilisateurs
• Comparaisons provinciales
– Indicateurs affectés :
Utiliser uniquement les données du volet A
• Comparaison des résultats téléphoniques seulement
• Données comparables
– Indicateurs non affectés :
Utiliser les données de l’échantillon complet
• Statistiques officielles pour 2014-2015
Indicateurs affectés
Comparaisons avec l’édition 2008
Recommandations à nos utilisateurs
(suite)• Comparaisons régionales
– Évalué différentes options
• Peu de bénéfices
• Beaucoup plus lourd d’application
– Mêmes recommandations qu’au provincial
• Utiliser les données du volet A pour les indicateurs affectés
Comparaisons 2014-2015
Comparaisons 2014-2015
Proportion pondérée de réponses Web dans l’échantillon complet, Québec, 2014-2015
Variable sociodémographique Échantillon complet
(%) Groupe d’âge
15-24 ans 34,0
25-44 ans 33,9
45-64 ans 32,7
65-74 ans 24,1
75 ans et plus 12,5
Langue de correspondance
Français 30,0
Anglais 35,1
Scolarité
Niveau inférieur au DES 22,9
Diplôme d'études secondaires (DES) 29,6
Diplôme d'études collégiales 32,7
Diplôme d'études universitaires 35,5
Mesure de faible revenu
Ménages à faible revenu 24,7
Autres ménages 32,5
Comparaisons 2014-2015
À titre d’exemple… théorique
• Valeurs différentes selon Web ou téléphone, pour tous les groupes d’âge.
• Personnes de 64 ans et moins répondent davantage sur le Web
• Personnes de 65 ans et plus répondent davantage par téléphone
Reflète précisément ce que les travaux sur la comparabilité des données de l’EQSP tentent de prévenir.
… conclusions erronées
Comparaisons 2014-2015
Comparaisons selon une variable sociodémographique
• Une cinquantaine d’indicateur affectés analysés selon
• Groupe d’âge
• Scolarité
• Mesure de faible revenu
• Langue de correspondance
• Indice de défavorisation matérielle
• Nombre de personnes vivant à la même adresse
• Test sur l’interaction entre le volet et la variable
sociodémographique
Comparaisons 2014-2015
Comparaisons selon une variable sociodémographique
• Interaction significative : comparaison des modalités successives
– Par exemple, 15-24 ans c. 25-44 ans, 25-44 ans c. 45-64 ans, ...
• Décision d’intervenir basée sur
– Conclusions pour l’échantillon complet sont appuyées par les données recueillies selon un mode unique (volet A)
• Sens de la relation
• Ordre de grandeur des écarts
Comparaisons 2014-2015
Comparaisons régionales
• Tous les indicateurs affectés ont été analysés
– Évalue si la variation de la répartition du mode a un effet sur les conclusions
• Test sur l’interaction entre le volet et la région sociosanitaire
• Interaction significative
:– Comparaison région c. reste du Québec
• Décision d’intervenir basée sur
– Conclusions appuyées par le volet A
Comparaisons 2014-2015
Recommandations à nos utilisateurs
• Comparaisons selon une variable sociodémographique :
– Pour seulement 2 croisements (sur plus de 300 effectués) :
• Utiliser uniquement les données du volet A
– Les autres croisements
• Utiliser les données de l’échantillon complet
• Comparaisons régionales :
– Procéder aux analyses transversales selon la région sans se préoccuper du mode de collecte
• Seulement 7 interactions significatives
Conclusion
• L’implantation du multimode dans l’EQSP 2014-2015 est un succès
• L’objectif de donner des consignes simples aux utilisateurs est aussi atteint
• Sur plus de 400 indicateurs, 176 sont affectés
– En l’absence d’une étude de comparabilité, des conclusions erronées auraient été tirées
– Principalement sur l’évolution depuis 2008
Conclusion (suite)
• Pour les indicateurs affectés
– Même approche recommandée (national, régional, local)
– Très peu d’effet réel pour les analyses transversales 2014-2015
• La vigilance est tout de même de mise pour les indicateurs affectés
– Principalement pour les croisements selon l’âge
• Ordre de grandeur des écarts
Conclusion (suite)
• Recommandations intégrées
– Concept d’« estimations comparables » bien incorporé (rapport ISQ)
– Ne remplace pas les estimations officielles 2014-2015
• Outils disponibles pour l’exploitation des données
(Infocentre de santé publique)– Production automatisée de tableaux
• Estimations et comparaisons
– intégrant le concept d’« estimations comparables »
• Reste à voir ce qu’en pensent les utilisateurs …
Conclusion (suite)
• Aurait-on pu faire les choses différemment ?
– Tester autre chose que les modalités successives d’âge – Tester autre chose que la région c. reste du Québec
• D’autres éléments qui ont pu jouer un rôle sur la comparabilité des données
– Changement de base de sondage – Couverture de la population
• Depuis l’EQSP, plusieurs enquêtes ont fait le saut vers le
multimode et avec succès…
…Bonus…
Avec le multimode, parfois on gagne, parfois on perd…
Taux de réponse multimode (volet B) : + 4,2 %
Question sur le revenu (déclaration d’une valeur exacte) :
Volet A (tél.) : 68%
Volet B (Web/tél.) : 79%
Question sur le jumelage (permission de jumeler leurs données) :
Volet A (tél.) : 89%
Volet B (Web/tél.) : 81%
+ 11% (gain multimode)
- 8% (perte multimode)
Conclusion (finale)
• Prochaine édition : 2020 … 100% multimode !
– Autre étude à prévoir
Merci !
jimmy.baulne@stat.gouv.qc.ca robert.courtemanche@stat.gouv.qc.ca
Merci à Valérie Roy qui a contribué à ces travaux et à toute l’équipe du projet
