Chapitre 3. LA MÉTHODOLOGIE
3.4 La technique et l’instrument de collecte de données : un sondage internet
3.4.1 Les avantages et les limites du questionnaire
Brown (2001 : 6) définit l’instrument de collecte de données questionnaire ainsi : « Les questionnaires sont des instruments écrits qui présentent aux participants une série de questions ou d’affirmations auxquelles ils doivent répondre soit en écrivant une réponse ou en sélectionnant une ou des réponses parmi une sélection. » Les avantages à utiliser un tel questionnaire dans une méthodologie d’enquête à grande échelle sont nombreux (Dörnyei, 2003). Par l’entremise de questionnaires distribués à large échelle, le chercheur peut recueillir beaucoup d’informations pendant une durée limitée. Si le questionnaire est bien construit, il est aussi possible de traiter les données efficacement en utilisant différents outils informatiques existants. Pour une enquête comme la nôtre, les couts-bénéfices semblent être à l’avantage d’une approche par questionnaire, un outil de collecte de données très flexible pouvant être utilisé dans différents contextes avec une variété de personnes, et ce, sur une multitude de thématiques (Dörnyei, 2003; Fortin, 2010; Gillham, 2000).
Cela dit, des désavantages sont inhérents à cet instrument de collecte de données. Il faut retenir d’emblée que les questionnaires présentent une limite de taille en lien avec le faible taux de réponse. Ce faible taux de réponse permet d’ailleurs difficilement « de déterminer si les gens qui renvoient le questionnaire possèdent des caractéristiques similaires à ceux qui ne le renvoient pas » (Vallerand et Hess, 2000 : 260). Fowler Jr (2009) signale qu’une autre des limites principales des questionnaires réside dans les questions elles-mêmes. Les chercheurs seraient d’ailleurs de plus en plus attentifs à la façon de formuler les questions et au besoin que celles-ci soient bien
comprises afin d’obtenir des réponses pertinentes (Saris et Gallhofer, 2014). Fortin (2010) ajoute que l’impossibilité, pour les répondants, d’obtenir des éclaircissements sur certains énoncés dans des questionnaires auto-administrés est aussi une des limites de cet outil de collecte de données.
Dörnyei (2003 : 10-14), quant à lui, recense neuf limites des questionnaires : 1) la simplicité et la superficialité des réponses aux questions; 2) des participants difficiles à rejoindre ou non motivés; 3) des participants qui éprouvent des difficultés à lire/comprendre les questions, dont le métalangage utilisé, et à écrire leurs réponses; 4) peu ou pas d’opportunité pour vérifier ou contrevérifier les réponses des participants; 5) la désirabilité sociale; 6) la déception personnelle des participants en fonction de cette désirabilité sociale qu’ils croient attendue d’eux; 7) la tendance à être en accord avec des affirmations lorsque les participants sont ambivalents; 8) l’effet de halo ou la tendance à sur-généraliser; 9) l’effet de la fatigue des participants. Nous présentons dans le tableau qui suit ces limites et les moyens que nous avons utilisés pour les contrer.
Tableau III. Les moyens de contrer les principales limites du questionnaire
Limites Moyens de contrer les limites
Simplicité et superficialité des
réponses aux questions • Ajout de questions ouvertes obligatoires sur différentes thématiques • Ajout de questions ouvertes facultatives pour permettre
aux répondants d’ajouter des précisions
• Support électronique convivial pour répondre aux questions
Participants difficiles à rejoindre ou
non motivés • Prises de contact nombreuses avec différents organismes et personnes-ressources pour la diffusion du questionnaire
• Lien internet du sondage facilement transférable
• Utilisation d’un questionnaire électronique en ligne, dont le format est connu (Google Forms)
• Bibliographie offerte à tous les participants • Prix de participation annoncés
Limites Moyens de contrer les limites
Participants qui éprouvent des difficultés à lire/comprendre les questions, dont le métalangage utilisé, et à écrire leurs réponses
• Adresse courriel du chercheur pour communiquer avec lui
• Définitions des concepts clés au début de chaque partie • Questions fermées d’abord et ouvertes ensuite sur chaque
thème
• Formulations des questions réalisées en plusieurs étapes de consultation
• Prétests des questionnaires préliminaire et final
Peu ou pas d’opportunité pour
vérifier les réponses des participants • Questions fermées et ouvertes sur les mêmes thèmes • Mention en début de questionnaire sur le fait qu’il n’y a
pas de bonnes ou de mauvaises réponses aux questions
Désirabilité sociale • Confidentialité et anonymat rappelés dès les informations
préliminaires
• Droit de retrait en tout temps
• Absence du chercheur lors de la collecte de données
Déception personnelle des participants en fonction de la désirabilité sociale qu’ils croient attendue d’eux
• Informations préliminaires qui rappellent le fait qu’il n’y a pas de mauvaises ou de bonnes réponses et que le questionnaire n’est pas un outil d’évaluation • Formulation de questions nuancées, qui évitent les
jugements
• Plusieurs étapes de consultation menées, entre autres, auprès d’enseignants du primaire
• Droit de retrait en tout temps
Tendance à être en accord avec des affirmations lorsque les participants sont ambivalents
• Questions fermées et ouvertes sur les mêmes thèmes • Questions facultatives pour ajouter des précisions • Espace pour des commentaires en fin de questionnaire
Effet de halo ou la tendance à sur-
généraliser • Combinaison de pratiques et de conceptions, les unes alimentant les autres • Questions sur des aspects qui se veulent représentatifs de
leur enseignement
• Aspects pratiques à décrire, sans subjectivité
Effet de la fatigue des participants • Annonce de la durée pour répondre au questionnaire dès
les informations préliminaires
• Questions sur les thèmes de la recherche en début de questionnaire et questions démographiques en fin de questionnaire
• Possibilité de laisser le questionnaire de côté et d’y revenir
Pour limiter certains des désavantages propres à l’outil choisi, nous avons donc tenté autant que possible de formuler des questions sans trop d’ambigüités, de distribuer les questionnaires dans différents milieux et de diverses façons, d’obtenir un échantillon le plus représentatif possible dans les circonstances et de contrer les interprétations personnelles des questions chez les répondants (Dörnyei, 2003; Pantaleo, 2002a). Le questionnaire a ainsi été construit grâce à des rondes de
consultation, par des spécialistes des approches didactiques de la littérature, par une conseillère pédagogique et par quelques enseignants du primaire, en notant leurs commentaires pour chacune des questions (Fowler Jr, 2009). Une lettre d’explication accompagnait le questionnaire final et des rappels des définitions des concepts clés y étaient intégrés.