Enquêtes Génération : relations entre insistance Enquêtes Génération : relations entre insistance

Enquêtes Génération : relations entre insistance Enquêtes Génération : relations entre insistance

téléphonique et taux de réponse téléphonique et taux de réponse

CENTRE D’ÉTUDES ET DE RECHERCHES SUR LES QUALIFICATIONS CENTRE D’ÉTUDES ET DE RECHERCHES SUR LES QUALIFICATIONS

Pascale ROUAUD, Céreq

7 ^e colloque francophone sur les sondages

I. Les enquêtes Génération II. La problématique

III. Des éléments explicatifs ?

IV. L’impact de l’insistance téléphonique

Plan de la présentation

IV. L’impact de l’insistance téléphonique

Conclusion

I. Les enquêtes Génération

I. Les enquêtes Génération

Le Centre d’études et de recherches sur les qualifications (Céreq)

­ établissement public national

­ étudie la relation entre la formation et l’emploi

Les enquêtes Génération

­ portent sur l’entrée dans la vie active des jeunes

­ portent sur l’entrée dans la vie active des jeunes

­ sortants de formation initiale

­ à tous les niveaux et spécialités de sortie

­ grâce à une enquête téléphonique de 10 000 à 65 000 questionnaires

­ réalisées pour une Génération sur trois

Génération

­ ensemble des jeunes sortants du système éducatif une année donnée

­ environ 740 000 jeunes sortants

I. Les enquêtes Génération

Une base de sondage de 1 200 000 individus

­ constituée à partir des listes d’inscrits fournies par l’ensemble des établissements de formation en France métropolitaine

­ contenant des individus hors du champ de l’enquête (poursuite d’études,…)

Enquêtes Génération Enquêtes Génération

­ Génération 2004, enquête 2007 : 371 000 individus échantillonnés, 59 400 questionnaires réalisés dans le champ

­ Génération 2007, enquête 2010 : 192 000 individus échantillonnés,

24 500 questionnaires réalisés dans le champ

II. La problématique

II. La problématique

Terminologie

A la fin du terrain d’enquête, différentes issues possibles pour un individu échantillonné

Succès

­ réponse dans le champ : questionnaire réalisé

­ réponse hors champ : individu recherché d’accord pour répondre mais hors du champ de l’enquête

hors du champ de l’enquête Echec

­ aucun numéro de téléphone disponible

­ refus de l’individu

­ mauvais interlocuteur, pas d’autre numéro disponible … Non classé

­ ne répond pas, répondeur, à rappeler,

­ numéro prioritaire invalidé, autres numéros de téléphone disponibles,…

II. La problématique

Classement des individus échantillonnés

49,1%

19,3%

44,5%

50%

60%

70%

80%

90%

100%

Source : Céreq, enquêtes Génération 2004 et Génération 2007 Champ : échantillons utilisés

16,0% 12,8%

15,6%

12,4%

30,0%

0%

10%

20%

30%

40%

50%

Génération 2004 Génération 2007

Enquête réalisée dans le champ Céreq Hors champ Céreq Echec Non classé Taux de

réponse : 31,6 %

Taux de

réponse :

25,2 %

III. Des éléments explicatifs ?

Structure de l’échantillon

III. Des éléments explicatifs ?

Taux de réponse très lié au type de formation suivie

Génération 2007 : nombreuses extensions d’échantillon sur des cibles spécifiques

Calcul du taux de réponse attendu

­ sur l’échantillon de Génération 2007

­ en appliquant les taux de réponse observés sur Génération

Source : Céreq, enquêtes Génération 2004 et Génération 2007 Champ : échantillons utilisés

­ ­ en appliquant les taux de réponse observés sur Génération

2004, en fonction du type de formation suivie

Numéros de téléphone disponibles

III. Des éléments explicatifs ?

En provenance de la base de sondage (établissements de formation)

Issus de recherches automatiques sur le fichier France Telecom

­ écho exact : EEx (Nom­Prénom­Adresse exacte)

­ échos élargis : EEl (Nom­Commune, Nom­Prénom­Département,…)

Nombre Nombre

Génération 2004 Génération 2007

Source : Céreq, enquêtes Génération 2004 et Génération 2007 Champ : échantillons utilisés

Nombre

d'individus % Nombre

d'individus %

Pas de numéro de téléphone 83 800 23% 24 700 13%

Recherche élargie nom département 26 500 7% 7 000 4%

Recherche élargie nom prénom département 6 100 2% 1 500 1%

Recherche élargie nom commune 45 200 12% 8 400 4%

Autre recherche élargie 0 0% 5 700 3%

Total individus coordonnées "peu fiables" 77 800 21% 22 600 12%

Base de sondage 75 400 20% 87 300 45%

Recherche téléphonique exacte 103 600 28% 30 400 16%

Base de sondage, confirmation recherche

téléphonique (écho exact) 30 900 8% 27 000 14%

Total individus coordonnées "fiables" 209 900 57% 144 700 75%

Total 371 500 100% 192 000 100%

Qualité des numéros de téléphone, comportement des individus

III. Des éléments explicatifs ?

Nombre de numéros utilisés sur le terrain d’enquête

­ Génération 2004 : 348 800

­ Génération 2007 : 204 700

Etude de la survie des numéros à chaque tentative d’appel

­ survie avant classement (1)

Modèles à risques concurrents (2 et 3)

­ échec traité comme une censure

­ survie avant classement (1)

­ survie avant succès (2)

­ survie avant réponse dans le champ (3)

Représentation des courbes de survie

­ selon l’origine du numéro de téléphone

­ avec la méthode de Kaplan­Meyer

III. Des éléments explicatifs ?

Qualité des numéros de téléphone, comportement des individus

Durée de survie avant classement en fonction de l'origine du numéro (numéros "fiables")

70%

80%

90%

100%

Géné 2004 : Tel BSEEx (n=30 658)

Source : Céreq, enquêtes Génération 2004 et Génération 2007

Champ : individus directement envoyés en enquête, numéros de téléphone « fiables » utilisés

0%

10%

20%

30%

40%

50%

60%

0 1 2 3 4 5 6 7 8 9 10

Nombre de tentatives d'appels Géné 2004 : Tel BSEEx (n=30 658)

Géné 2007 : Tel BSEEx (n=17 306)

III. Des éléments explicatifs ?

Qualité des numéros de téléphone, comportement des individus

Durée de survie avant classement en fonction de l'origine du numéro (numéros "fiables")

70%

80%

90%

100%

Géné 2004 : Tel BSEEx (n=30 658)

0%

10%

20%

30%

40%

50%

60%

0 1 2 3 4 5 6 7 8 9 10

Nombre de tentatives d'appels Géné 2007 : Tel BSEEx (n=17 306)

Géné 2004 : Tel portable BS (n=22 203)

Géné 2007 : Tel portable BS (n=67 248)

III. Des éléments explicatifs ?

Qualité des numéros de téléphone, comportement des individus

Durée de survie avant classement en fonction de l'origine du numéro (numéros "fiables")

70%

80%

90%

100%

Géné 2004 : Tel BSEEx (n=30 658)

Source : Céreq, enquêtes Génération 2004 et Génération 2007

Champ : individus directement envoyés en enquête, numéros de téléphone « fiables » utilisés

0%

10%

20%

30%

40%

50%

60%

0 1 2 3 4 5 6 7 8 9 10

Nombre de tentatives d'appels Géné 2007 : Tel BSEEx (n=17 306)

Géné 2004 : Tel EEx (n=86 851)

Géné 2007 : Tel EEx (n=18 924)

Géné 2004 : Tel portable BS (n=22 203)

Géné 2007 : Tel portable BS (n=67 248)

III. Des éléments explicatifs ?

Qualité des numéros de téléphone, comportement des individus

Durée de survie avant classement en fonction de l'origine du numéro (numéros "fiables")

70%

80%

90%

100%

Géné 2004 : Tel BSEEx (n=30 658) Géné 2007 : Tel BSEEx (n=17 306)

0%

10%

20%

30%

40%

50%

60%

0 1 2 3 4 5 6 7 8 9 10

Nombre de tentatives d'appels Géné 2004 : Tel EEx (n=86 851) Géné 2007 : Tel EEx (n=18 924) Géné 2004 : Tel portable BS (n=22 203) Géné 2007 : Tel portable BS (n=67 248) Géné 2004 : Tel fixe BS (n=31 734) Géné 2007 : Tel fixe BS (n=40 956)

III. Des éléments explicatifs ?

Qualité des numéros de téléphone, comportement des individus

Durée de survie avant classement en fonction de l'origine du numéro (numéros "peu fiables")

70%

80%

90%

100%

Géné 2004 : EEl NC (n=15 138) Géné 2007 : EEl NC (n=2 112) Géné 2004 : EEl NPD (n=4 231)

Source : Céreq, enquêtes Génération 2004 et Génération 2007

Champ : individus directement envoyés en enquête, numéros de téléphone « peu fiables » utilisés

0%

10%

20%

30%

40%

50%

60%

0 1 2 3 4 5 6 7 8 9 10

Nombre de tentatives d'appels Géné 2004 : EEl NPD (n=4 231) Géné 2007 : EEl rech NPD (n=402) Géné 2004 : EEl ND (n=9 723) Géné 2007 : EEl ND (n=2 011) Géné 2007 : EEl NPR (n=1 653) Géné 2007 : EEl NPIDF (n=522)

III. Des éléments explicatifs ?

Qualité des numéros de téléphone, comportement des individus

Durée de survie avant la réponse dans le champ en fonction de l'origine du numéro (numéros "fiables")

85%

90%

95%

100%

Géné 2004 : Tel BSEEx (n=30 658) Géné 2007 : Tel BSEEx (n=17 306) Géné 2004 : Tel EEx (n=86 851)

Source : Céreq, enquêtes Génération 2004 et Génération 2007

50%

55%

60%

65%

70%

75%

80%

0 1 2 3 4 5 6 7 8 9 10

Nombre de tentatives d'appels Géné 2004 : Tel EEx (n=86 851) Géné 2007 : Tel EEx (n=18 924) Géné 2004 : Tel portable BS (n=22 203) Géné 2007 : Tel portable BS (n=67 248) Géné 2004 : Tel fixe BS (n=31 734) Géné 2007 : Tel fixe BS (n=40 956)

III. Des éléments explicatifs ?

Qualité des numéros de téléphone, comportement des individus

Durée de survie avant la réponse dans le champ en fonction de l'origine du numéro (numéros "peu fiables")

85%

90%

95%

100%

Géné 2004 : EEl NC (n=15 138) Géné 2007 : EEl NC (n=2 112) Géné 2004 : EEl NPD (n=4 231)

Source : Céreq, enquêtes Génération 2004 et Génération 2007

Champ : individus directement envoyés en enquête, numéros de téléphone « peu fiables » utilisés

50%

55%

60%

65%

70%

75%

80%

0 1 2 3 4 5 6 7 8 9 10

Nombre de tentatives d'appels Géné 2004 : EEl NPD (n=4 231) Géné 2007 : EEl NPD (n=402) Géné 2004 : EEl ND (n=9 723) Géné 2007 : EEl ND (n=2 011) Géné 2007 : EEl NPR (n=1 653) Géné 2007 : EEl NPIDF (n=522)

III. Des éléments explicatifs ?

Nombre de numéros de téléphone utilisés et non classés à l’issue du terrain d’enquête

­ Génération 2004 : 59 500 (17% des numéros utilisés)

­ Génération 2007 : 90 300 (44% des numéros utilisés)

Nombre de tentatives d’appel effectuées sur les numéros

Taux d’insistance téléphonique, utilisation des numéros disponibles

Nombre de tentatives d’appel effectuées sur les numéros utilisés non classés

­ Génération 2004 : 17 (moyenne), 16 (médiane), 7 (10ème percentile)

­ Génération 2007 : 6,5 (moyenne), 6 (médiane), 1 (10ème percentile)

Nombre d’individus non classés pour lesquels au moins un numéro n’a pas été utilisé

­ Génération 2004 : 48 300 (13% de l’échantillon)

­ Génération 2007 : 46 600 (24% de l’échantillon)

III. Des éléments explicatifs ?

Génération 2007 vs Génération 2004

­ plus de numéros de téléphone

­ un taux de rendement par numéro disponible légèrement inférieur

­ une très forte détérioration du taux d’insistance téléphonique

­ des numéros de téléphone non utilisés pour des individus non classés

En résumé…

IV. L’impact de l’insistance téléphonique

téléphonique

Modélisation de la probabilité de répondre - 1

IV. L’impact de l’insistance téléphonique

Régression logistique sur Génération 2004, variables explicatives

­ type de formation suivie

­ origine du numéro de téléphone prioritaire

­ région de l’établissement de formation

Sauvegarde des coefficients estimés par le modèle et Sauvegarde des coefficients estimés par le modèle et application aux individus appartenant à l’échantillon de Génération 2007

Sous l’hypothèse d’une insistance téléphonique comparable à celle de Génération 2004

­ 68 200 succès attendus (35,5%)

­ 34 800 questionnaires attendus (18,1%)

Modélisation de la probabilité de répondre - 2

IV. L’impact de l’insistance téléphonique

Durée de survie avant classement estimée

­ pour chaque origine de numéro de téléphone

­ par un modèle de Cox (type de formation suivie en variable explicative)

Sachant que le numéro de téléphone est classé, estimation de la probabilité de succès (ou de réponse dans le champ)

la probabilité de succès (ou de réponse dans le champ)

Pour 10 tentatives d’appels réalisées sur le numéro de téléphone prioritaire

­ 52 500 succès attendus (27,3%)

­ 28 500 questionnaires attendus (14,8%)

Conclusion

Une baisse du taux de réponse largement expliquée par la sous utilisation du fichier sur le terrain d’enquête

Idée

­ fixer un taux d’insistance téléphonique

­ vérifier son respect en cours de terrain grâce à l’historique d’appels

­ ­ vérifier son respect en cours de terrain grâce à l’historique d’appels

Rester réaliste

­ insistance = contrainte économique forte pour le prestataire (rendement décroissant)

­ limiter le nombre de numéros de téléphone pour chaque individu

Merci de votre attention

www.cereq.fr

Merci de votre attention