enquêteurs et enquêtés

(1)

1

Questionnaires,

enquêteurs et enquêtés

Oliviero Marchese, janvier 2011

(2)

2

Questionnaires,

enquêteurs et enquêtés

L’analyse du processus de mesure et ses implications sur la construction du questionnaire Le processus de mesure et ses composantes

Erreurs liées à la construction du questionnaire Le processus de réponse

Quelques règles à retenir

Erreurs dues aux enquêteurs et à la relation d’interview Le rôle de l’enquêteur

Standardized vs. Conversational Interviewing Variabilité liée aux enquêteurs

Composantes de l’effet enquêteur Quelques implications pratiques

Évaluation de la performance des enquêteurs

La non-réponse dans les enquêtes par sondage Différentes sources de non-réponse, différentes causes

Absence de contact

Refus de participer à l’enquête Inaptitude à répondre

Non-réponse complète et qualité des estimations Calcul des taux de non-réponse

Tendances historiques de la (non-) participation La non-réponse partielle

Outils de promotion de la participation Bibliographie

(3)

3

Questionnaires,

enquêteurs et enquêtés

L’analyse du processus de mesure et ses implications sur la construction du questionnaire Le processus de mesure et ses composantes

Erreurs liées à la construction du questionnaire Le processus de réponse

Quelques règles à retenir

Absence de contact

(4)

4

Le processus de mesure et ses composantes

Système d’information

(registres, autres personnes,

mémoire, …)

Questionnaire Mode de

recueil

Répondant Enquêteur

Contexte

(domicile,

entreprise, rue, …)

L’effet sur la réponse de l’une de ces composantes peut être assez difficile à prédire indépendamment de leurs interactions

Le processus de mesure >>> La relation d’interview >>> La non-réponse

Compréhension de la question, formation, formulation (compte tenu des alternatives proposées) et expression de la réponse constituent les moments forts d’un processus influencé par plusieurs composantes

(5)

5

Erreurs liées à la construction du questionnaire

Éléments caractérisant le questionnaire Longueur

Wording

Ouverture / fermeture des choix de réponse Ordonnancement

Intérêt des questions pour les personnes interrogées

Utilisation de matériel d’aide à l’administration (cartes réponse, visuels, …)

Finalité du questionnaire

Chaque question posée doit renvoyer à un concept bien défini (problématique, concepts, dimensions, indicateurs, …)

Chaque question doit viser à faciliter l’expression des réponses les plus précises de la part des personnes interrogées

Le questionnaire doit être réfléchi en fonction du budget de l’étude, et lorsque la problématique est riche et complexe cela demande des arbitrages parfois difficiles

(6)

6

Le processus cognitif de réponse en cinq étapes

1. Pour fournir une réponse valide, la personne interrogée doit avoir au préalable des

informations / connaissances / attitudes / croyances … à délivrer lors de l’interview 2. Les mots utilisés dans le questionnaire

doivent appartenir à un territoire sémantique commun au chargé d’études, à l’enquêteur et à la personne interrogée

3. La formation de la réponse fait souvent recours à la mémoire (et parfois même à la consultation de sources d’informations préexistantes)

4. La formation de la réponse fait toujours intervenir un jugement

5. L’expression de la réponse peut être fortement conditionnée par les choix de

réponse disponibles ainsi que par la relation établie entre enquêteur et enquêté

Information / intérêt Compréhension

de la question Formation de la réponse

Jugement

Expression de la réponse

(7)

7

Quelques règles à retenir

Il convient de distinguer très nettement l’information que l’on veut recueillir des questions que l’on doit poser

Le questionnaire doit être conçu de manière à faciliter la tâche de la personne interrogée plutôt que de simplifier celle du chargé d ’études Combinant au mieux certains stimuli, le questionnaire doit être le

support d’un message identiquement perçu par le plus grand nombre de personnes et doit amener la même réaction (réponse) de la part d’individus semblables

Dans la manière de rédiger le questionnaire et d’en concevoir la présentation, on doit tenir compte du mode de recueil utilisé:

avec enquêteur, en face à face ou par téléphone

ou auto-administré, dans le cas d’enquêtes postales, par serveur vocal, par l’Internet

Support d’une information à exploiter, le questionnaire doit être conçu pour être codifié sous la forme la plus apte à simplifier les travaux de dépouillement ultérieurs

(8)

8

Questionnaires,

enquêteurs et enquêtés

Erreurs dues aux enquêteurs et à la relation d’interview Le rôle de l’enquêteur

Standardized vs. Conversational Interviewing Variabilité liée aux enquêteurs

Composantes de l’effet enquêteur Quelques implications pratiques

Évaluation de la performance des enquêteurs

Absence de contact

(9)

9

Le rôle de l’enquêteur Éléments de cadrage

Un enquêteur fait beaucoup plus que poser des questions et consigner des réponses: il est part du processus d’échantillonnage et de celui de mesure

Avant l’interview, il contacte les personnes à interroger et les convainc à participer à l’enquête, vérifie le critère d’éligibilité, … Pendant l’interview, il clarifie le sens des questions, assure les relances, parfois collecte directement des informations relatives à l’environnement de la personne interrogée, …

Après l’interview, peut être amené à relater les conditions de réalisation, …

Le processus de mesure >>> La relation d’interview >>> La non-réponse

(10)

10

Standardized vs.

Conversational interviewing

Standardized Interviewing

Approche visant à standardiser l’interaction avec la personne interrogée, comme l’on standardise un traitement dans une expérimentation fondée sur des stimuli

Respect du « mot à mot » Attitude de « neutralité »

Interdiction d’expliquer les mots / concepts utilisés Dans le but de réduire la variabilité due à l’enquêteur

Conversational Interviewing

Approche visant à standardiser la compréhension réelle des questions, en cherchant à en valider la signification auprès de la personne

interrogée

Adaptation du wording à l’interlocuteur

Attitude proche de celle adoptée lors d’une conversation normale Latitude laissée à l’enquêteur d’expliquer les mots / concepts utilisés Dans le but de réduire la variabilité due à l’enquêté

(11)

11

La variabilité liée aux enquêteurs

Chaque enquêteur est porteur d’un biais systématique

Pour évaluer ce biais, les missions doivent être attribuées aléatoirement (pas de « grappes » d’interviews)

La variabilité liée aux enquêteurs a pour effet d’augmenter la variabilité des observations dans l’échantillon et donc la variance des

estimateurs

Elle peut être mesurée par le rapport entre la variance inter-enquêteurs et la variance totale

Afin de limiter ses effets, il convient de limiter la taille des missions et d’augmenter le nombre d’enquêteurs affectés à l’étude …

Néanmoins, les problèmes liés au recrutement, à la formation et à l’encadrement des équipes peuvent neutraliser les gains attendus

(12)

12

Composantes de l’effet enquêteur

Enquêteur

• Caractéristiques :âge, sexe, niveau d’instruction, race, …

• Apparence

• Assurance

• Croyances, attitudes

• Perceptions

• Attentes relatives aux réponses (ou aux non- réponses) de l’enquêté

• Comportements

• Adresse, talent

• Connaissances

Effet enquêteur

Condition de l’étude et contexte

• Mode de collecte

• Standardisation

• Formation enquêteur

• Supervision

• Monitoring / observation

Questionnaire

• Clarté des définitions

• Terminologie utilisée

• Mise en page

• Instructions

• Wording

• Thématique de l’étude

Répondant

• Caractéristiques :âge, sexe, niveau d’instruction, race, …

• Connaissances

• Intérêt / motivation

• Confiance à l’égard de l’enquêteur

• Force des convictions

• Attentes

(13)

13

Quelques implications pratiques

Les enquêteurs recrutés doivent avoir un bon « savoir-faire » relationnel et un bon sens de l’organisation

Leurs caractéristiques « visibles » doivent être en adéquation avec celles des personnes à interroger

Leur expérience et leur assurance en phase de contact constituent des éléments déterminants d’un faible taux de refus

La formation doit couvrir, autant que possible, les concepts et les objectifs sous-jacents aux questions posées dans l’étude

La capacité à relancer dans des situations variées est un point important de la formation des enquêteurs

La prestation des enquêteurs doit être suivie, surtout lors de leur intégration au réseau; les retours de ce suivi doivent porter aussi bien sur les points négatifs que positifs

(14)

14

Évaluation de la performance des enquêteurs

Le suivi des prestations des enquêteurs doit viser non seulement la qualité de l’interrogation mais également la remontée de tout

problème relatif à la réalisation de l’étude, qu’il s’agisse de difficultés de sélection / éligibilité des personnes à interroger, de problèmes de questionnaire ou d’instructions fournies en cous d’interview

L’évaluation porte essentiellement sur quatre points : Détection et prévention des falsifications

Conformité aux instructions fournies lors du briefing Accomplissement des tâches effectuées « autour » de l’interview: gestion des contacts, aspects administratifs, … Identification des problèmes inhérents l’interface enquêteur / questionnaire (scripting, hardware, …)

(15)

15

Méthodes d’évaluation de la performance des enquêteurs

POINTS D’EVALUATION

METHODE D’EVALUATION Falsification Conformité de l’interview

Tâches

périphériques

Ré-interrogation XX X

Vérification (re-contact) XX

Observation XX XX

Audio-recording XX XX

Monitoring XX XX

Revue questionnaires réalisés X X XX

Audit des cadences X XX XX

Traces clavier X

Interviews à blanc XX

(16)

16

Questionnaires,

enquêteurs et enquêtés

La non-réponse dans les enquêtes par sondage Différentes sources de non-réponse, différentes causes

Absence de contact

Refus de participer à l’enquête Inaptitude à répondre

Non-réponse complète et qualité des estimations Calcul des taux de non-réponse

Tendances historiques de la (non-) participation La non-réponse partielle

Outils de promotion de la participation Bibliographie

(17)

17

Trois types de non-réponse Absence de contact

Déterminants de la probabilité de contact

X

Attributs de environnement

social Attributs individuels (socio-démo, …)

Accessibilité Difficultés

d’accès

Timing des tentatives Nombre de

tentatives

Probabilité de contact

Le processus de mesure >>> La relation d’interview >>> La non-réponse

(18)

18

Trois types de non-réponse Refus de participer à l’enquête

Les leviers de la participation à l’enquête n’ont pas le même poids pour des individus différents; leur influence peut même jouer dans un sens différent

Sujet Sponsor Incentive

Charge

SujetSponsor

Incentive

Refus Participation

Charge

Différentes personnes ont des

raisons différentes d’accepter ou de refuser l’interview, et cela n’est pas connu à l’avance

Une même accroche peut donner lieu à des résultats bien différents, selon les personnes à interroger Lorsque cela est possible,

l’accroche doit être adaptée aux leviers positifs de la participation de chaque personne

(19)

19

Trois types de non-réponse Inaptitude à répondre

Quelques raisons courantes d’inaptitude à répondre Langue,

Incapacité physique ou mentale …

L’importance relative de cette catégorie de non-réponse est généralement marginale, mais elle peut être très importante

auprès de sous-populations spécifiques, telles que les immigrés récents, les personnes âgées, …

L’importance des biais induits par ce type de non-réponse est extrêmement liée au sujet de l’enquête

(20)

20

Non-réponse complète et qualité des estimations

L’impact de la non-réponse complète sur la qualité des estimations peut être plus ou moins fort, et dépend

de la proportion de non répondants

de la différence existante dans la population de référence entre les valeurs observées et les valeurs non observées pour la statistique d’intérêt

Le biais généré est d’autant plus fort que les raisons de la non- réponse sont liées à la valeur de la statistique d’intérêt

Cela vaut aussi bien pour les cas où la non-réponse est due à l’absence de contact, au refus de participer à l’enquête ou à l’inaptitude à répondre

En absence d’une bonne compréhension des raisons de la non- réponse, il n’y a pas moyen de déterminer quel est le taux de

participation optimal pour un budget donné: c’est pourquoi l’on tend à minimiser la non-réponse dans la limite des contraintes

budgétaires

(21)

21

Calcul des taux de non-réponse

1. Échantillon initial 2. Unités

déterminées

3. Unités indéterminées 3A.

Unités estimées dans le champ

3B.

Unités estimées hors champ 8. Unités

inexistantes 5. Unités hors champ 4. Unités

dans le champ

10.Unités perm.

hors champ 9. Unités temp.

hors champ 6.

Répondants

7.

Non-répondants 11. Refus

convertis 12. Autres répondants

13. Refus

14. Absence de contact 15. Autres non-répondants

Taux de participation

[6] / [4] + [3A]

Taux de coopération

[6] / [6] + [13]

Taux de refus

[13] / [4]

Taux de non-réponse

[7] + [3A] / [4] + [3A]

(22)

22

Tendances historiques de la (non-) participation

Dans les vingt dernières années, les taux de participation aux enquêtes se sont grandement dégradés

Les taux de non-réponse sont extrêmement variables selon les sujets, les acteurs et les dispositifs mis en œuvre dans la réalisation des études, mais de nos jours il n’est pas rare de constater des taux le l’ordre de 30 à 40 %, même dans des enquêtes menées par les statisticiens publics

Le label « enquête obligatoire » - délivré en France par le CNIS - constitue un bon catalyseur d’une participation convenable Les efforts réalisés par les enquêteurs sur le terrain restent

aujourd’hui plus que jamais l’alpha et l’oméga de la réduction des erreurs dues à la non-réponse

(23)

23

La non-réponse partielle

L’impact de la non-réponse partielle sur la qualité des estimations est tout à fait comparable à celui de la non-réponse complète, mais les dégâts sont limités aux questions touchées

Quant aux causes, elles sont bien diverses : là où le refus de répondre à l’enquêteur intervenait à l’issue d’une brève information sur la nature de l’étude, la non-réponse à une question a des raisons plus circonstanciées

Incompréhension du bien fondé de la question Impossibilité à fournir l’information

Réticence à révéler la réponse

Les stratégies visant à réduire les effets de la non-réponse partielle ont recours à des méthodes d’imputation basées sur les

informations fournies dans le reste du questionnaire, là où la limitation des méfaits de la non-réponse complète passe

essentiellement par des méthodes de redressement

(24)

24

Outils de promotion de la participation

Décision initiale

Décision finale Accessibilité Durée

du terrain

Charge enquêteur Nombre et timing

des tentatives

Observations enquêteur

Sponsorship Lettre

annonce Incentive

Charge enquêté (durée/complexité

perçues)

Adéquation enquêteur/enquêté Comportement

enquêteur

Changement d’enquêteur

Changement de mode

Lettre de relance

Redressement, imputation, … Échantillonnage

en deux temps(*)

Désignation du répondant

(*) Tirage d’un échantillon de non-répondants afin d’en appréhender le profil à partir d’un nouveau protocole d’enquête

(25)

25

Bibliographie

Groves, R.M., Fowler Jr., F.J., Couper, M.P., Lepkowski, J.M., Singer, E., Tourangeau, R.,(2004), Survey Methodology, Wiley

Chapitre 6. Nonresponse in Sample Surveys Chapitre 7. Questions and answers in survey Chapitre 8. Evaluating survey questions

Chapitre 9. Survey interviewing

Biemer, P.P., Lyberg, L.E. (2003), Introduction to Survey Quality, Wiley Chapitre 3. Coverage and Nonresponse Error

Chapitre 4. The Measurement Process and Its Implications for Questionnaire Design

Chapitre 5. Errors due to Interviewers and Interviewing

Groves, R.M., Couper, M.P., (1998), Nonresponse in Household Interview Surveys, Wiley

Groves, R.M., Dillman, D. A., Eltinge, J.L., Little, R.J.A. (2002), Survey Nonresponse, Wiley