La formulation des questions d'enquête : réponse médiane et "sans avis".

HAL Id: halshs-00987613

https://halshs.archives-ouvertes.fr/halshs-00987613

Submitted on 6 May 2014

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

La formulation des questions d’enquête : réponse médiane et ”sans avis”.

Jean-Paul Grémy

To cite this version:

Jean-Paul Grémy. La formulation des questions d’enquête : réponse médiane et ”sans avis”.. Raymond

Boudon. The European Tradition in Qualitative Research, vol. I., Sage, pp.217-235, 2003. �halshs-

00987613�

La formulation des questions d'enquête : réponse médiane et "sans avis".

Jean-Paul Grémy (CNRS / Centre Maurice Halbwachs)

Lors de l'élaboration d'un questionnaire, les professionnels de l'enquête extensive sont confrontés à des problèmes de rédaction particulièrement délicats. Depuis la fin du dix- neuvième siècle, grâce aux travaux empiriques sur la suggestibilité ou sur la psychologie du témoignage, on sait que la manière de poser une question peut avoir un effet sur le contenu des réponses recueillies, et donc sur leur signification. Au cours de la première moitié du vingtième siècle, deux courants de recherche ont exploré les palliatifs possibles à ces sources de "biais" : celui qui a donné naissance à l'entretien non directif de recherche (Rogers, 1945 ; Roethlisberger, 1949, chapitre XIII), et celui qui a cherché à comprendre les mécanismes de certains effets de la formulation des questions d'enquête (Payne, 1951 ; Sudman, 1974, chapitre 2). Ce deuxième courant a utilisé deux approches : l'une consiste à ré-interroger les personnes qui ont répondu à un questionnaire, afin de leur faire expliciter les mécanismes de leurs réponses (Cantril, 1944, chapitre I ; Belson, 1981) ; l'autre, à présenter simultanément, soit dans une expérience de laboratoire (Menefee, 1936), soit dans une enquête extensive en vraie grandeur, des formulations concurrentes, afin d'en comparer les effets sur les réponses.

Il est arrivé que l'on présente successivement ces formulations aux mêmes répondants ; mais cette méthode présente de multiples inconvénients, dont le principal est le risque d'une

"contamination" de la seconde question par la première (effet de contexte). C'est pourquoi la méthode de très loin la plus utilisée est celle de l'échantillon partagé (split ballot), dans laquelle on utilise deux sous-échantillons identiques (ou parfois plus, comme dans Blankenship, 1940), chacune des formulations à comparer étant proposée à un seul de ces sous-échantillons.

La recherche décrite ici appartient à cette dernière catégorie. Elle avait pour objectif d'aboutir à des conclusions pratiques sur la formulation des questions dans les enquêtes extensives, à partir d'hypothèses bien connues sur les effets de deux types d'options : la possibilité explicite ou non de ne pas avoir d'avis sur le sujet de la question posée, et la présence ou l'absence d'une modalité de réponse médiane.

Le dispositif de recherche.

Les moyens de réaliser cette recherche nous ont été offerts par l'Institut de Sondages Lavialle (ISL). Cet institut réalise chaque mois plusieurs vagues d'enquêtes par souscription (enquêtes omnibus), dans lesquelles tout client intéressé peut poser une ou plusieurs questions. Chaque vague s'adresse à un échantillon par quotas de deux mille personnes, représentatif de la population française adulte ; il est possible de scinder cet échantillon en deux sous-échantillons identiques de mille personnes chacun.

1

Ce texte a été publié initialement par Sage en 2003, pages 217-235 de : Raymond Boudon, Mohamed

Naturellement, les questions de recherche n'ont pu être posées que dans les vagues d'enquête pour lesquelles les questions des souscripteurs n'utilisaient pas la totalité du temps de questionnement prévu. Aussi cette recherche s'est-elle déroulée sur près de deux années (d'avril 1988 à février 1990), avec une périodicité variable. La question choisie concernait l'aide apportée par l'État aux écoles privées (généralement confessionnelles). À l'époque de la recherche, il s'agissait d'un thème conflictuel, qui divisait l'opinion française. La formulation s'inspirait de questions utilisées précédemment dans diverses enquêtes (Sutter, 1984, pages 1124-1147). La question de base était : "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuellement, autant d'argent qu'actuellement, ou moins d'argent qu'actuellement ?". Les modifications de la formulation portaient sur deux aspects de la question : la réponse médiane ("autant d'argent"), et la réponse "sans avis".

Pour la réponse médiane, deux modifications ont été proposées : la suppression de cette réponse de la liste des réponses possibles présentée aux répondants, et le déplacement de cette réponse à la fin de la liste. Pour la réponse "sans avis", cette modalité était omise dans la formulation de base, mais l'enquêteur avait la consigne de l'enregistrer si elle était donnée spontanément par la personne interrogée ; les modifications proposées consistaient à présenter explicitement cette réponse dans la formulation de la question. Ces modifications ont pris trois formes, selon que la réponse "sans avis" était proposée au début de la liste des réponses possibles, à la fin de celle-ci, ou bien faisait l'objet d'une question préalable (question filtre).

On aboutit ainsi à douze formulations à comparer entre elles. La méthode utilisée étant celle de l'échantillon partagé (split ballot), un plan d'expérience idéal aurait par conséquent comporté soixante-six comparaisons par paire. Comme cela n'était pas possible matériellement, on a adopté une solution moins rigoureuse mais plus réaliste, avec, dans chaque vague d'enquête, un échantillon expérimental et un échantillon témoin. La formulation de base ("formulation étalon") était posée à l'échantillon témoin, tandis que l'une des onze formes modifiées ("formulations expérimentales") était présentée à l'échantillon expérimental.

Cet artifice réduit à onze le nombre de comparaisons nécessaires, mais pose, comme nous le verrons, des problèmes d'interprétation.

Dans le tableau 1, la "formulation étalon" figure en caractères gras. On constate que le plan d'expérience adopté engendre deux types de comparaisons : cinq comparaisons (A à E) portant sur une modification unique de la formulation étalon (première ligne et première colonne du tableau 1), et six impliquant simultanément deux modifications (F à K).

L'interprétation de ces dernières étant plus délicate que celle des effets simples, en raison de possibles effets d'interaction, nous ne l'aborderons qu'en dernier lieu. D'autre part, dans l'interprétation des différences relevées, nous n'utiliserons pas de tests statistiques, les échantillons par quotas ne permettant pas, en principe, d'inférences fiables.

Au cours des deux années pendant lesquelles s'est déroulée cette recherche, l'opinion

des Français au sujet des subventions à l'école libre a sensiblement évolué, comme en

témoignent les réponses à la question étalon (graphique 1). Le taux de réponses "plus

d'argent" a varié entre 30,1 % et 37,6 % ; celui des réponses "autant", entre 24,0 % et

33,7 % ; celui des réponses "moins", entre 8,9 % et 14,3 % ; et celui des sans avis, entre

16,9 % et 31,7 %. Le fait de poser la question étalon lors de chaque vague visait en quelque

sorte à neutraliser les effets de ces variations sur les résultats des expérimentations ; nous

aurons l'occasion de constater que cet objectif n'a pas toujours été atteint.

autant au milieu autant à la fin autant omis

sans avis omis

"À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuel- lement, autant d'argent qu'actuellement, ou moins d'argent qu'actuellement ?"

A. "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuellement, moins d'argent qu'actuellement, ou autant d'argent

qu'actuellement ?"

B. "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuellement, ou moins d'argent qu'actuel- lement ?"

sans avis à la fin

C. "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuellement, autant d'argent qu'actuellement, ou moins d'argent

qu'actuellement, ou bien est-ce que vous n'avez pas d'avis sur la question ?"

F. "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuellement, moins d'argent qu'actuellement, ou autant d'argent

qu'actuellement, ou bien est-ce que vous n'avez pas d'avis sur la question ?"

I. "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuellement, ou moins d'argent qu'actuel- lement, ou bien est-ce que vous n'avez pas d'avis sur la question ?"

sans avis au début

D. "En ce qui concerne l'argent que l'État verse aux écoles libres, est-ce que vous n'avez pas d'avis sur la question, ou est-ce que, à votre avis, l'État devrait verser aux écoles libres plus d'argent qu'actuellement, autant d'argent qu'actuellement, ou moins d'argent

qu'actuellement ?"

G. "En ce qui concerne l'argent que l'État verse aux écoles libres, est-ce que vous n'avez pas d'avis sur la question, ou est-ce que, à votre avis, l'État devrait verser aux écoles libres plus d'argent qu'actuellement, moins d'argent qu'actuellement, ou autant d'argent

qu'actuellement ?"

J. "En ce qui concerne l'argent que l'État verse aux écoles libres, est-ce que vous n'avez pas d'avis sur la question, ou est-ce que, à votre avis, l'État devrait verser aux écoles libres plus d'argent qu'actuellement, ou moins d'argent qu'actuel- lement ?"

sans avis en filtre

E. "En ce qui concerne l'argent que l'État verse aux écoles libres, avez- vous un avis sur la question ?" Si oui : "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuel- lement, autant d'argent qu'actuellement, ou moins d'argent qu'actuel- lement ?"

H. "En ce qui concerne l'argent que l'État verse aux écoles libres, avez- vous un avis sur la question ?" Si oui : "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuel- lement, moins d'argent qu'actuellement, ou autant d'argent qu'actuel- lement ?"

K. "En ce qui concerne l'argent que l'État verse aux écoles libres, avez- vous un avis sur la question ?" Si oui : "À votre avis, l'État devrait-il verser aux écoles libres plus d'argent qu'actuel- lement, ou moins d'argent qu'actuellement ?"

Tableau 1. Le plan d'expérience.

0 5 10 15 20 25 30 35 40 45

plus autant moins sans avis

Graphique 1. Évolution, entre avril 1988 et février 1990, de l'opinion sur l'aide de l'État aux écoles libres (échantillon témoin).

Les effets directs.

Les expérimentations relatives aux formulations A à E ne diffèrent guère de celles qui ont réalisées dans les pays anglo-saxons depuis 1935 environ, et en France depuis 1945. Leur interprétation ne pose par conséquent aucun problème qui ne soit déjà connu, puisque chacune ne porte que sur une seule modification de la formulation étalon.

Le déplacement de la réponse médiane en fin de question n'a pas d'effet sensible.

En déplaçant la réponse médiane à la fin de la question (formulation A), on pouvait s'attendre à observer un effet de "réponse en écho" (recency effect), favorisant la réponse

"autant d'argent" au détriment de la réponse "moins d'argent". Il est vrai que cet effet s'observe surtout lorsque trois conditions sont remplies : 1) la liste des modalités de réponse proposées est relativement longue (et donc difficile à mémoriser) ; 2) ces modalités sont peu structurées (énumération simple, sans gradation explicite) ; 3) il s'agit d'un questionnement par enquêteur (par opposition à un questionnaire auto-administré, qui favorise plutôt les premières modalités proposées). Dans l'expérimentation A, seule la dernière condition était remplie. Il n'est donc pas étonnant que les différences observées dans les réponses aux deux formulations soient très faibles, et vraisemblablement non significatives (tableau 2).

A

I D F G

H K

B C

E J

Formulation A

(avril 1988) Échantillon

témoin Échantillon

expérimental Différence expérimental - témoin

- "plus d'argent" 37,6 % 34,9 % - 2,7 %

- "autant d'argent" 32,0 % 29,2 % - 2,8 %

- "moins d'argent" 13,6 % 16,6 % 3,0 %

- "sans avis" 16,9 % 19,3 % 2,4 %

Base : 100,0 % = 1 001 1 000 -

Tableau 2. Réponse médiane à la fin.

L'omission de la réponse médiane n'entraîne pas un report massif sur la réponse "sans avis".

L'omission, dans l'énoncé de la question, de la modalité "autant d'argent" (formulation B) se traduit par un effet massif sur les réponses recueillies. Dans l'échantillon témoin, un tiers des personnes interrogées répondaient "autant d'argent" ; dans l'échantillon expérimental, celles qui auraient été tentées de fournir cette réponse ont dû se répartir entre les deux seules réponses proposées, ou se déclarer sans avis.

Si l'on considère que la modalité "autant d'argent" est une réponse refuge pour ceux qui n'ont pas d'opinion bien établie sur la question, mais craignent de le montrer à l'enquêteur (social desirability bias), on doit s'attendre à ce que l'omission de la réponse médiane suscite un report de la majorité des réponses correspondantes sur la modalité "sans avis". Ce n'est pas ce que montrent les résultats de cette expérimentation (tableau 3).

Formulation B (juillet 1988)

Échantillon témoin

Échantillon expérimental

Différence expérimental - témoin

- "plus d'argent" 33,5 % 47,9 % 14,4 %

- "autant d'argent" 32,3 % - - 32,3 %

- "moins d'argent" 13,5 % 18,7 % 5,2 %

- "sans avis" 20,7 % 33,4 % 12,7 %

Base : 100,0 % = 1 000 1 000 -

Tableau 3. Omission de la réponse médiane.

En première approximation, on peut dire que cette répartition s'est faite au prorata des

réponses fournies par l'échantillon témoin : la réponse majoritaire ("plus d'argent") recueille

14,4 % de plus ; la réponse se classant en second (sans avis), 12,7 % ; et la moins fréquente

("moins d'argent"), seulement 5,2 %. Nous reviendrons ultérieurement sur cette hypothèse de

la répartition au prorata.

Le taux des réponses "sans avis" augmente lorsque l'on présente cette modalité en fin de liste.

Dans la formulation étalon, la réponse "sans avis" n'était pas proposée explicitement aux personnes interrogées. Lorsque cette modalité est proposée en fin de liste, elle recueille plus de réponses que lorsqu'elle reste implicite, l'augmentation de sans avis se faisant ici au détriment de la réponse "plus d'argent" (tableau 4).

Formulation C

(octobre 1988) Échantillon

témoin Échantillon

expérimental Différence expérimental - témoin

- "plus d'argent" 35,4 % 29,3 % - 6,1 %

- "autant d'argent" 25,5 % 23,0 % - 2,5 %

- "moins d'argent" 13,5 % 14,4 % 0,9 %

- "sans avis" 25,5 % 33,3 % 7,8 %

Base : 100,0 % = 999 1 000 -

Tableau 4. Sans avis à la fin.

Le taux des réponses "sans avis" augmente encore plus lorsque l'on présente cette modalité en début de liste.

L'hypothèse d'un effet de "réponse en écho", déjà non observée dans la formulation A, est également contredite par cette expérimentation : lorsque la modalité "sans avis" est présentée au début de la liste des réponses possibles, elle entraîne une augmentation plus forte du taux de réponses que lorsqu'elle est présentée en fin de liste (tableau 5, à comparer avec le tableau 4).

Formulation D (février 1989)

Échantillon témoin

Échantillon expérimental

Différence expérimental - témoin

- "plus d'argent" 33,0 % 29,3 % - 3,7 %

- "autant d'argent" 29,3 % 25,8 % - 3,5 %

- "moins d'argent" 14,1 % 8,9 % - 5,2 %

- "sans avis" 23,5 % 36,0 % 12,5 %

Base : 100,0 % = 999 1 000 -

Tableau 5. Sans avis au début.

C'est la présentation en question filtre qui entraîne l'augmentation maximale du taux des réponses "sans avis".

La formulation E n'est certainement pas un modèle de rédaction de questions d'enquête,

et elle serait certainement à déconseiller en dehors d'un contexte expérimental. Malgré son

caractère insolite, les personnes interrogées y ont cependant répondu volontiers. Comme l'on

pouvait s'y attendre, cette présentation a pour effet d'accroître considérablement la proportion

de personnes se déclarant sans avis sur la question (tableau 6). Cet accroissement se fait au

détriment des autres modalités de réponse, approximativement au prorata des taux relevés

dans la formulation étalon.

Formulation E

(mai 1989) Échantillon

témoin Échantillon

expérimental Différence expérimental - témoin

- "plus d'argent" 33,7 % 18,1 % - 15,6 %

- "autant d'argent" 31,5 % 20,6 % - 10,9 %

- "moins d'argent" 12,9 % 10,2 % - 2,7 %

- "sans avis" 21,9 % 51,1 % 29,2 %

Base : 100,0 % = 1 000 1 000 -

Tableau 6. Sans avis en filtre.

S'agissant d'un thème qui a mobilisé fortement l'attention des Français au cours des années précédentes, et qui reste alors un sujet de controverses, le fait que la réponse "sans avis" soit choisie par plus de la moitié des personnes interrogées (contre moins du quart dans l'échantillon témoin) est tout de même surprenant. On aurait pu penser que les "biais"

introduits dans les réponses par une modification de l'énoncé étaient moindres lorsque les personnes interrogées se sentaient concernées par le sujet.

Parmi les explications possibles, on peut supposer que les personnes pour qui ce thème est réellement impliquant, qui affichent publiquement leur opinion, et seraient prêtes à manifester dans la rue pour les défendre (comme cela s'était effectivement produit en 1984), ne constituent que des groupes relativement minoritaires (respectivement de l'ordre de 18 % et 10 % des personnes interrogées). Dans ces conditions, certains répondants pourraient craindre, en prenant trop nettement position, d'apparaître à l'enquêteur comme tenants de positions qu'ils jugent extrémistes ou sectaires ; ils préféreraient en conséquence se réfugier dans l'abstention (social desirability bias).

Les modifications dans la formulation entraînent souvent une modification des rapports entre les réponses "engagées".

Certaines expérimentations sur la mesure des attitudes avaient mis en évidence un résultat rassurant pour les professionnels de l'enquête extensive (Schuman, 1981, pp. 126-128, 163-164, 299-304) : bien que certaines différences de formulation entraînent une variation des taux bruts de réponses, la plupart du temps elles n'affectent pas les rapports entre les réponses

"engagées" ou "partisanes", c'est à dire franchement pour ou contre (substantive answers).

Dans le cas de la formulation B, si l'on ne prend en compte que les réponses "engagées" ("plus d'argent" et "moins d'argent"), on constate que le taux de partisans d'une augmentation est légèrement supérieur à 70 % dans les deux sous-échantillons (tableau 7).

Formulation B (juillet 1988)

Échantillon témoin

Échantillon expérimental

Différence expérimental - témoin

- "plus d'argent" 71,3 % 71,9 % 0,6 %

- "moins d'argent" 28,7 % 28,1 % - 0,6 %

Base : 100,0 % = 470 666 -

Tableau 7. Omission de la réponse médiane : réponses "engagées" seules.

Ce constat ne se vérifie pas sur les autres expérimentations de cette première série. Le tableau 8 présente, par ordre croissant d'importance de l'effet observé, les écarts entre les proportions de "réponses engagées" pour chacune de ces six formulations (la base des pourcentages figure entre parenthèses). Ces écarts semblent difficilement imputables aux seules fluctuations d'échantillonnage, bien que certains effectifs soient relativement modestes.

Mais le plus surprenant est que ces écarts ne sont pas tous de même sens, ce qui contredit l'hypothèse d'un effet systématique des modifications de l'énoncé sur les taux de "réponses engagées". Nous reviendrons sur ce point à l'occasion du bilan global de cette recherche.

Réponse

"plus d'argent"

Échantillon témoin

Échantillon expérimental

Différence expérimental - témoin

Formulation B 71,3 % (470) 71,9 % (666) 0,6 %

Formulation C 72,4 % (489) 67,1 % (437) - 5,3 %

Formulation A 73,4 % (512) 67,8 % (515) - 5,6 %

Formulation D 70,1 % (471) 76,7 % (382) 6,6 %

Formulation E 72,3 % (466) 64,0 % (283) - 8,3 %

Tableau 8. Omission de la réponse médiane :

réponse "plus d'argent" sur l'ensemble des seules réponses "engagées".

La difficulté d'évaluer les effets d'interaction.

L'interprétation des six autres expérimentations est plus délicate, puisque celles-ci introduisent simultanément deux modifications de la formulation étalon. On peut partir de l'hypothèse que les effets constatés pour chaque modification isolée s'ajoutent lorsque deux modifications sont présentes simultanément ; si cette hypothèse ne cadre pas avec les observations, la première hypothèse que l'on peut alors retenir est celle d'un effet d'interaction.

Mais nous verrons qu'en réalité cette procédure de comparaison indirecte se prête mal à la détection des effets d'interactions, en raison de possibles "contraintes de marges".

Les expérimentations F, G et H donnent des résultats analogues à ceux des expérimentations C, D et E.

Les expérimentations C, D et E ont mis en évidence l'influence sur les réponses de la présence et de la position de la modalité "sans avis" ; d'un autre côté, l'expérimentation A a montré l'absence d'effet de la position de la réponse médiane. On doit donc s'attendre à ne trouver pratiquement aucun effet d'interaction dans les résultats des expérimentations F, G et H.

La comparaison des écarts relevés dans les tableaux 9 à 11 avec ceux figurant dans les

tableaux 3 à 5 confirme cette quasi-absence d'interaction : les effets constatés pour les

formulations F, G et H sont du même sens et, en gros, du même ordre de grandeur que ceux

relevés pour les formulations C, D et E. L'influence sur les réponses recueillies de la

présentation explicite de la réponse "sans avis" est sensible, surtout lorsque cette modalité fait

l'objet d'une question filtre préalable. D'autre part, la présentation de la réponse médiane en

fin de liste n'altère en rien ces effets.

Formulation F

(décembre 1989) Échantillon

témoin Échantillon

expérimental Différence expérimental - témoin

- "plus d'argent" 34,8 % 30,5 % - 4,3 %

- "autant d'argent" 24,6 % 22,6 % - 2,0 %

- "moins d'argent" 8,9 % 10,3 % 1,4 %

- "sans avis" 31,7 % 36,5 % 4,8 %

Base : 100,0 % = 1 000 999 -

Tableau 9. Réponses médiane et sans avis à la fin.

Formulation G (janvier 1990)

Échantillon témoin

Échantillon expérimental

Différence expérimental - témoin

- "plus d'argent" 31,9 % 24,6 % - 7,3 %

- "autant d'argent" 24,0 % 19,1 % - 4,9 %

- "moins d'argent" 14,3 % 12,4 % - 1,9 %

- "sans avis" 29,8 % 43,9 % 14,1 %

Base : 100,0 % = 1 000 1 000 -

Tableau 10. Sans avis au début, réponse médiane à la fin.

Formulation H (février 1990)

Échantillon témoin

Échantillon expérimental

Différence expérimental - témoin

- "plus d'argent" 36,6 % 22,2 % - 14,4 %

- "autant d'argent" 28,2 % 18,2 % - 10,0 %

- "moins d'argent" 10,6 % 10,3 % - 0,3 %

- "sans avis" 24,6 % 49,3 % 24,7 %

Base : 100,0 % = 1 000 1 000 -

Tableau 11. Sans avis en filtre, réponse médiane à la fin.

Les éventuelles interactions dans les expérimentations F, G et H concerneraient surtout les

"sans avis".

Pour éprouver la valeur de l'hypothèse d'additivité des effets, la procédure la plus simple consiste à comparer les écarts constatés entre d'une part la formulation étalon et par exemple la formulation F (réponses médiane et sans avis à la fin), et d'autre part la somme de ces mêmes écarts observés pour la formulation A (réponse médiane à la fin) et pour la formulation C (sans avis à la fin). Dans le tableau correspondant (tableau 12), la comparaison est facilitée par le calcul de la valeur absolue de la différence entre ces deux pourcentages (

| Δ ^{| ).}

L'hypothèse d'une stricte additivité des effets ne se vérifie que pour la formulation G

(tableau 13). Même si l'on tient compte des inévitables fluctuations d'échantillonnage, cette

"sans avis" est sensiblement moindre que celle prévue par l'hypothèse (tableaux 12 et 14). Il semble donc bien y avoir ici un (faible) effet d'interaction.

Formulation F A + C F | Δ ^|

- "plus d'argent" - 8,9 % - 4,3 % 4,6 %

- "autant d'argent" - 5,3 % - 2,0 % 3,3 %

- "moins d'argent" 3,9 % 1,4 % 2,5 %

- "sans avis" 10,2 % 4,8 % 5,4 %

Tableau 12. Hypothèse d'additivité des effets : formulation F (réponses médiane et sans avis à la fin).

Formulation G A + D G | Δ ^|

- "plus d'argent" - 6,4 % - 7,3 % 0,9 %

- "autant d'argent" - 6,3 % - 4,9 % 1,4 %

- "moins d'argent" - 2,2 % - 1,9 % 0,3 %

- "sans avis" 14,8 % 14,1 % 0,7 %

Tableau 13. Hypothèse d'additivité des effets : formulation G (sans avis au début, réponse médiane à la fin).

Formulation H A + E H | Δ ^|

- "plus d'argent" - 18,3 % - 14,4 % 3,9 %

- "autant d'argent" - 13,7 % - 10,0 % 3,7 %

- "moins d'argent" 0,3 % - 0,3 % 0,6 %

- "sans avis" 31,6 % 24,7 % 6,9 %

Tableau 14. Hypothèse d'additivité des effets : formulation H (sans avis en filtre, réponse médiane à la fin).

L'omission de la réponse médiane accentue et diversifie les effets de la présentation de la modalité "sans avis".

Les expérimentations portant sur les formulations I, J et K (réponse médiane omise, sans avis sous diverses présentations) donnent lieu à des constats contradictoires, qui nous amèneront à nous interroger sur la pertinence du plan d'expérience adopté. Dans la formulation I (réponse médiane omise, sans avis à la fin), la quasi totalité des réponses

"autant" de l'échantillon témoin semble s'être reportée sur la modalité "sans avis"

(tableau 15). Dans cette expérimentation, l'influence de l'interaction se traduit donc par une

diminution du taux des deux réponses "engagées" (tableau 16). Toutefois, comme nous le

verrons plus loin, l'expérimentation I pourrait avoir été perturbée par un changement brutal de

l'opinion sur l'aide de l'État à l'enseignement privé.

Formulation I

(octobre 1988) Échantillon

témoin Échantillon

expérimental Différence expérimental - témoin

- "plus d'argent" 30,1 % 30,9 % 0,8 %

- "autant d'argent" 33,7 % - - 33,7 %

- "moins d'argent" 11,8 % 12,2 % 0,4 %

- "sans avis" 24,4 % 56,9 % 32,5 %

Base : 100,0 % = 1 000 1 001 -

Tableau 15. Réponse médiane omise, sans avis à la fin.

Formulation I B + C I | Δ ^|

- "plus d'argent" 8,2 % 0,8 % 7,4 %

- "autant d'argent" - 34,8 % - 33,7 % 1,1 %

- "moins d'argent" 6,1 % 0,4 % 5,7 %

- "sans avis" 20,5 % 32,5 % 12,0 %

Tableau 16. Hypothèse d'additivité des effets : formulation I (réponse médiane omise, sans avis à la fin).

La formulation J (réponse médiane omise, sans avis au début) suscite une assez forte élévation du taux de sans avis (tableau 17). Toutefois, cette élévation est moindre que pour la formulation précédente, tout en étant naturellement plus forte que pour les autres formulations dans lesquelles la modalité "sans avis" est en début de liste (formulations D et G). Le modèle additif ne s'ajuste que médiocrement à ces données, révélant un possible effet d'interaction (tableau 18).

Formulation J (juin 1989)

Échantillon témoin

Échantillon expérimental

Différence expérimental - témoin

- "plus d'argent" 31,7 % 38,8 % 7,1 %

- "autant d'argent" 30,8 % - - 30,8 %

- "moins d'argent" 13,3 % 17,6 % 4,3 %

- "sans avis" 24,1 % 43,6 % 19,5 %

Base : 100,0 % = 999 1 000 -

Tableau 17. Réponse médiane omise, sans avis au début.

Formulation J B + D J | Δ ^|

- "plus d'argent" 10,7 % 7,1 % 3,6 %

- "autant d'argent" - 35,8 % - 30,8 % 5,0 %

- "moins d'argent" 0,0 % 4,3 % 4,3 %

- "sans avis" 25,1 % 19,5 % 5,6 %

La formulation K (réponse médiane omise, sans avis en filtre) entraîne un double effet : une forte croissance du taux de sans avis, s'accompagnant d'une diminution sensible du taux de réponses "plus d'argent" (tableau 19). De prime abord, les résultats de cette expérimentation dénotent un fort effet d'interaction (tableau 20) ; nous allons voir qu'il pourrait s'agir d'un artefact.

Formulation K

(juillet 1989) Échantillon

témoin Échantillon

expérimental Différence expérimental - témoin

- "plus d'argent" 33,2 % 24,3 % - 8,9 %

- "autant d'argent" 31,1 % - - 31,1 %

- "moins d'argent" 11,2 % 13,8 % 2,6 %

- "sans avis" 24,6 % 61,9 % 37,3 %

Base : 100,0 % = 1 001 1 001 -

Tableau 19. Réponse médiane omise, sans avis en filtre.

Formulation K B + E K | Δ ^|

- "plus d'argent" - 1,2 % - 8,9 % 7,7 %

- "autant d'argent" - 43,2 % - 31,1 % 12,1 %

- "moins d'argent" 2,5 % 2,6 % 0,1 %

- "sans avis" 41,9 % 37,3 % 4,6 %

Tableau 20. Hypothèse d'additivité des effets : formulation K (sans avis en filtre, réponse médiane omise).

Les limites du plan d'expérience adopté : les effets des "contraintes de marges".

Les résultats de l'expérimentation sur la formulation K mettent en évidence les limites du modèle d'additivité des effets dans le cas d'une comparaison indirecte. La sommation des écarts des formulations B et E à la formulation étalon donne - 43,2 % pour la réponse "autant d'argent" (tableau 20). Dans l'échantillon témoin, les réponses "autant" représentent 31,1 % des réponses (tableau 19) ; pour que l'hypothèse d'additivité puisse être "vérifiée", il aurait fallu que ce taux soit de - 12,1 %, ce qui n'a évidemment aucun sens. Bien que l'amplitude en soit moindre, on pourrait faire la même remarque pour la formulation J.

Ces "contraintes de marge", déjà observées par exemple à propos des tables de mobilité

sociale (Bertaux, 1969, p. 463-464), rendent dans certains cas impossible la construction

rigoureuse d'un modèle simple d'additivité des effets. En rendant plus problématique la

confrontation de l'hypothèse d'additivité aux données d'observation, elles ne permettent pas la

détection et la mesure systématiques d'éventuels effets d'interaction. Ces contraintes mettent

ainsi en évidence les limites de l'artifice que nous avons utilisé dans le plan d'expérience afin

de réduire le nombre des expérimentations.

Bilan des expérimentations.

Cette recherche aboutit, pour l'essentiel, à des conclusions analogues à celles des très nombreuses expérimentations en langue anglaise, ce qui montre que, dans ce cas précis, le problème de la langue ne se pose pas (il n'en est pas de même pour, par exemple, les problèmes de "fausse synonymie"). Elle confirme le bien-fondé des recommandations pratiques qui ont été tirées des travaux anglo-saxons pour la formulation des questions d'enquête. Elle met également en évidence les difficultés méthodologiques inhérentes à ce type d'expérimentation, qui limitent naturellement la portée de leurs résultats.

Les problèmes d'interprétation liés au contexte socio-politique.

Comme cette recherche s'est déroulée sur près de deux années, et que l'opinion sur le thème choisi a sensiblement varié pendant cette période (graphique 1), on ne peut écarter l'hypothèse que ces variations aient perturbé les expérimentations. On considère généralement que, s'agissant d'un thème conflictuel, plus les personnes interrogées se sentent concernées par ce thème, moins elles sont sensibles aux modifications de l'énoncé des questions. Depuis les manifestations du 4 mars (en faveur des subventions de l'État aux écoles privées confessionnelles) et du 25 avril 1984 (pour la défense de l'école publique laïque), l'affrontement entre partisans et adversaires d'une aide de l'État aux établissements privés n'avait pas cessé au moment de la recherche, mais a connu des variations d'intensité ; il serait étonnant que ces variations n'aient pas eu d'effet sur les résultats des expérimentations.

Cette hypothèse explique peut-être le caractère surprenant des réponses à la formulation I (tableau 15). On pouvait en effet s'attendre à ce que, dans cette expérimentation, les réponses

"autant d'argent" se répartissent dans l'échantillon expérimental au prorata de leur distribution dans l'échantillon témoin, ou tout au moins ne se reportent pas massivement sur la seule modalité "sans avis" ; or c'est justement ce report massif qui s'est produit. L'expérimentation I s'est déroulée moins de deux semaines après l'expérimentation C. Au cours de cette brève période, selon les réponses des échantillons témoins, le taux de réponses "autant d'argent" a crû de manière inhabituelle, passant en moins de quinze jours de 25,5 % (tableau 4) à 33,7 % (tableau 15), dépassant même à cette unique occasion le taux de réponses "plus d'argent".

Que s'est-il passé entre le 6 et le 17 octobre 1988 (dates des vagues C et I), qui puisse expliquer ce brusque changement dans l'opinion ? Un survol de la presse de l'époque révèle que, depuis la rentrée de septembre 1988, lycéens et enseignants se plaignent des mauvaises conditions dans lesquelles se trouve l'enseignement secondaire public (locaux dégradés, recrutement insuffisant, insécurité croissante). À partir du 6 octobre, les manifestations de lycéens se multiplient dans toute la France (avec le mot d'ordre : "Jospin, des sous pour les lycéens" ; Le Monde, 10 octobre, p. 10). Alors que ces manifestations s'amplifient, les principaux syndicats enseignants annoncent une grève nationale pour le 20 octobre, à laquelle s'associent des mouvements de lycéens ; cette grève s'étendra ensuite à toute la fonction publique, incluant en particulier les transports et la poste. Parallèlement, la sortie en France (le 28 septembre) du film de Martin Scorsese La dernière tentation du Christ a suscité des réactions très violentes de la part de mouvements proches de l'intégrisme catholique ; ces

"commandos de l'inquisition" (Bruno Frappat, Le Monde, 17 octobre, p. 1) empêchent la

projection du film dans de nombreuses salles, et vont même (le 14 octobre) jusqu'à incendier

On peut alors raisonnablement supposer que les passions suscitées depuis 1984 par l'attribution de subventions de l'État à l'enseignement catholique (qui représente la majeure partie de l'enseignement privé en France) ont été fortement ravivées en quelques jours par la conjonction de ces deux événements : les manifestations demandant un effort financier accru de l'État en faveur de l'enseignement public, et les actes d'intolérance d'une minorité d'intégristes catholiques. Dans cette hypothèse, la grande majorité des réponses "autant" à la question étalon auraient exprimé un refus de prendre parti sur un sujet brûlant. L'omission de la réponse médiane dans la formulation expérimentale aurait alors eu pour effet d'obliger les répondants peu impliqués dans ce conflit à se reporter massivement sur la réponse "sans avis".

Par contre, les personnes les plus engagées, ayant une conviction assurée sur l'aide aux écoles privées, n'auraient pas été influencées par les modifications de la formulation (tableau 15).

Les problèmes d'interprétation liés à la méthode.

Indépendamment des difficultés propres au plan d'expérience que nous avons utilisé, les expérimentations sur échantillon partagé posent d'autres problèmes techniques. On sait que, dans un questionnaire administré par un enquêteur (par opposition aux questionnaires remplis par le répondant lui-même), la position des questions dans le questionnaire peut avoir un effet sur les réponses ; en d'autres termes, les questions posées en amont d'une question donnée peuvent influer sur les déclarations ultérieures des personnes interrogées (effet de contexte).

Comme, dans une enquête omnibus, chaque souscripteur peut choisir de ne poser une série de questions qu'à mille personnes, il est possible que le questionnaire d'un échantillon expérimental ait été sensiblement différent de celui de l'échantillon témoin correspondant. Il devient alors impossible de contrôler les effets parasites dus aux modifications du contexte de la question expérimentale.

Plus généralement, dans tout plan d'expérience du type échantillon partagé, l'existence d'un "effet enquêteur" ne peut être écartée. Si les enquêteurs de l'échantillon expérimental ne sont pas les mêmes que ceux de l'échantillon témoin, les différences individuelles peuvent agir sur les réponses recueillies, malgré la formation et la "culture d'entreprise" communes aux deux équipes. Si ce sont les mêmes enquêteurs qui administrent les deux variantes du questionnaire, ils ne sont pas à l'abri d'erreurs dans l'énonciation de questions ne différant que de quelques mots. Il est possible d'atténuer ces éventuels effets parasites, non de les supprimer totalement.

Proposer la réponse "sans avis" en filtre influe fortement sur le poids respectif des "réponses engagées".

Le tableau 21 est construit sur le même principe que le tableau 8, dont il reprend et complète les données. On constate que ce sont les formulations E, H et K qui modifient le plus fortement les taux de réponses partisanes (au point qu'il est vraisemblable que les écarts relevés dans ces trois expérimentations seraient statistiquement significatifs). Ce que ces formulations ont en commun est la présentation de la réponse "sans avis" en question filtre.

Ces résultats amènent à s'interroger sur la signification réelle des réponses "engagées", alors

que ce sont ces réponses (ou plutôt les rapports de force exprimés par ces réponses) qui

importent le plus aux politologues comme aux décideurs.

Ainsi, il semble bien que, selon les répondants, la réponse "sans avis" traduise aussi bien une absence réelle d'opinion qu'une opinion "tiède" ou peu élaborée. Seule une recherche sur le modèle de celles de Cantril et Fried ou de Belson permettrait de dire s'il s'agit dans ce cas d'une position de principe sur les rapports entre l'État et l'enseignement privé qui ne s'accompagne pas d'une forte implication personnelle (on n'est pas prêt à signer une pétition ou à manifester pour défendre cette position), ou bien si le répondant sans avis n'a pas une perception claire du problème et de ses implications pour lui-même ou pour la société dans son ensemble (on n'y a jamais vraiment réfléchi).

En tout état de cause, le fait que ce soit toujours la réponse "plus d'argent" qui se trouve pénalisée par la question préalable sur l'absence d'opinion traduit probablement un effet de social desirability : tant qu'à répondre à l'enquêteur, on préfèrerait lui donner la réponse que l'on croit la plus convenable, soit simplement parce que son contenu est perçu comme positif, soit parce que l'on a l'impression que c'est celle du plus grand nombre.

Réponse

"plus d'argent"

Échantillon témoin

Échantillon expérimental

Différence expérimental - témoin

Formulation I 71,8 % (419) 71,7 % (431) - 0,1 %

Formulation B 71,3 % (470) 71,9 % (666) 0,6 %

Formulation J 70,4 % (450) 68,8 % (564) - 1,6 %

Formulation G 69,1 % (462) 66,5 % (370) - 2,6 %

Formulation F 79,6 % (437) 74,7 % (408) - 4,9 %

Formulation C 72,4 % (489) 67,1 % (437) - 5,3 %

Formulation A 73,4 % (512) 67,8 % (515) - 5,6 %

Formulation D 70,1 % (471) 76,7 % (382) 6,6 %

Formulation E 72,3 % (466) 64,0 % (283) - 8,3 %

Formulation H 77,5 % (472) 68,3 % (325) - 9,2 %

Formulation K 74,8 % (444) 63,8 % (381) - 11,0 %

Tableau 21. Omission de la réponse médiane :

réponse "plus d'argent" sur l'ensemble des seules réponses "engagées".

Proposer la réponse médiane dans la liste des réponses possibles diminue le nombre de "sans avis", mais n'influe pas sur les rapports entre les "réponses engagées".

Comme nous l'avons vu, les formulations dans lesquelles la réponse médiane a été omise présentent toutes une proportion plus élevée de réponses "sans avis" (tableaux 3, 15, 17, 19). Le tableau 21 permet de constater que, exception faite de l'expérimentation K (qui traduit surtout l'influence de la question filtre préalable), l'omission de la réponse "autant d'argent" (B, I et J) n'a aucun effet sur les rapports entre les réponses partisanes.

Conclusions pratiques.

L'opportunité d'une question filtre sur les sans opinion dépend de plusieurs facteurs

ceux des répondants dont l'opinion était moins assurée, et qui ont ainsi saisi l'occasion qui leur était offerte de ne pas se prononcer sur un thème conflictuel. La question filtre a donc eu pour effet de sélectionner les personnes qui avaient un avis ferme et tranché sur la question, et qui étaient disposées à le faire savoir. On peut s'attendre à ce que l'opinion de ces répondants se révèle relativement stable dans le temps.

Si l'on désire avoir une image contrastée de l'opinion sur un sujet d'actualité brûlant, la question filtre sur les "sans avis" permet d'appréhender les positions antagonistes, de recueillir les points de vue militants, quitte à négliger les opinions "tièdes" ou "fluctuantes" (floaters).

Si l'on souhaite par contre disposer d'une vue à la fois plus nuancée et plus sensible aux variations de l'opinion, on est conduit à renoncer à la question filtre ; mais cette option ne permet pas de distinguer les positions franchement partisanes des avis moins engagés ou moins assurés.

D'où la recommandation de Jean M. Converse et Stanley Presser, consistant à ne proposer de prime abord que les réponses partisanes (sans réponse médiane ni "sans avis", comme dans la formulation B), mais à faire suivre la question posée d'une autre question destinée à mesurer la force de la conviction du répondant (Converse, 1986, pp. 35-37). Cette solution est plus élégante et n'est pas plus coûteuse (en temps d'interrogation) que celle qui consiste à proposer la réponse "sans avis" en filtre ; toutefois, avant d'être adoptée, elle pourrait elle aussi faire l'objet d'une expérimentation sur échantillon partagé.

Références.

B ELSON , William, A., 1981, The Design and Understanding of Survey Questions, Aldershot, Gower.

B ERTAUX , Daniel, 1969, "Sur l'analyse des tables de mobilité sociale", Revue française de sociologie, X, 448-490.

B LANKENSHIP , Albert B., 1940, "The influence of the question form upon the response in a public opinion poll", Psychological Record, tome 3, n° 23, pp. 349-422.

C ANTRIL , Hadley, F RIED , Edrita, 1944, Gauging Public Opinion, Princeton, Princeton University Press.

C ONVERSE , Jean M., P RESSER , Stanley, 1986, Survey Questions. Handcrafting the Standardized Questionnaire, Beverly Hills, Sage.

F OWLER , Floyd Jr., 1995, Improving Survey Questions. Design and Evaluation, Beverly Hills, Sage.

M ENEFEE , Selden C., 1936, "The effect of stereotyped words on political judgments", American Sociological Review, vol. 1, pp. 614-621.

P AYNE , Stanley, 1951, The Art of Asking Questions, Princeton, Princeton University Press.

R OETHSLISBERGER , F. J., D ICKSON , William J., 1949, Management and the Worker, Cambridge (Mass), Harvard University Press.

R OGERS , Carl R., 1945, "The nondirective method as a technique for social science research", The American Journal of Sociology, tome L, n° 4, pp. 279-283.

S CHUMAN , Howard, P RESSER , Stanley, 1981, Questions and Answers in Attitude Surveys, New York, Academic Press.

S UDMAN , Seymour, B RADBURN , Norman M., 1974, Response Effects in Surveys, Chicago, Aldine.

S UTTER , Jacques, 1984, La vie religieuse des Français à travers les sondages d'opinion, Paris,

Éditions du CNRS.