3.1 Le questionnaire
Pour opérationnaliser les éléments du cadre d’analyse, une approche mixte quantitative et qualitative a été retenue. Les questions ont été élaborées en fonction des qualités transversales étudiées ainsi que des qualités singulières rattachées aux objets de la méthodologie (objectif, moyens, personnes, etc.). En ce qui concerne l’approche quantitative, le questionnaire était divisé en deux sections. La première portait sur la planification de la visite et elle comportait une douzaine de questions. Celles-ci faisaient entièrement référence à des moyens. La deuxième section, composée de 21 questions, ciblait le déroulement de la visite. Entre les deux se trouvait une question demandant aux visiteurs d’indiquer le pourcentage du canevas de questions offert par Agrément Canada utilisé par les visiteurs en tant que moyen (toujours dans le but d’évaluer la cohérence). Une autre question leur demandait d’indiquer les processus prioritaires qui leur semblaient inappropriés et ils devaient dire pour quelles raisons ils ont sélectionné un processus ou plus. L’approche qualitative faisait appel entre autres aux commentaires recueillis à propos des processus prioritaires. Également, à la fin du questionnaire se trouvait une section où les visiteurs pouvaient inscrire des commentaires généraux, permettant d’obtenir davantage d’information pour l’analyse qualitative. Enfin, les visiteurs d’Agrément Canada étant majoritairement anglophone, le questionnaire a été traduit, en plus des messages d’accueil et de conclusion, des courriels d’invitation, d’inscription, de rappel et de confirmation. Les énoncés des deux sections du questionnaire avec les objets et les qualités évalués peuvent être consultés à l’annexe 1. Les versions francophones et anglophones du questionnaire peuvent être consultées respectivement à l’annexe 2 et à l’annexe 3. Il est important de noter que ces annexes ne représentent pas la mise en page ayant été visible aux répondants.
Finalement, il s’est avéré que la présente étude n’avait pas à recevoir l’approbation des comités à l’éthique de l’Université Laval. En effet, en vertu de l’Article 2.1 de l’ÉPTC 2, cette recherche implique « une interaction avec des personnes qui ne sont pas elles-mêmes visées par la recherche, en vue d’obtenir de l’information » (Université Laval, 2010, p.1), il n’était pas obligatoire d’obtenir d’approbation. Par contre, cela impliquait de ne collecter aucune information personnelle sur les visiteurs. Or, le sujet d’étude étant spécifiquement la méthodologie des traceurs utilisée par les visiteurs, il n’était pas nécessaire d’obtenir de telles informations sur ces derniers.
3.2 Échelle de mesure utilisée
Il a été déterminé qu’une échelle de mesure à six points serait utilisée. Cox III (1980, p.418) mentionne qu’il n’y a pas de nombre de réponses pouvant s’appliquer à toutes les situations et toutes les études. Dans cette
étude, une échelle d’évaluation en six points (allant de 0 à 5) a été retenue afin que les visiteurs puissent prendre position et éviter ainsi des réponses neutres. De plus, Weng (2004, p.969) affirme que lorsque le niveau d’habiletés cognitives des répondants est au moins celui de collégiens, une échelle à six ou sept points devrait normalement offrir des résultats constants et fiables. L’utilisation d’une échelle à six points plutôt qu’à dix points s’avère justifiée en se fiant aux résultats de Renaud (2012, p.163). Cet auteur a démontré l’absence d’un effet significatif relatif à l’effet du nombre de points entre une échelle de six et dix points lorsqu’elles sont bipolaires. Une échelle est dite bipolaire lorsqu’elle couvre les parties positives et négatives d’un jugement (Schaeffer et Presser, 2003, p.77). Finalement, ne représentant pas le zéro absolu, ce chiffre faisait tout de même état de l’absence de l’adéquation face à la qualité étudiée par la question selon la perception du visiteur qui choisirait cette réponse.
Concernant la nomenclature des points de l’échelle de mesure utilisée, il a été déterminé de créer une échelle relative à une qualité généralisable à la quasi-totalité du questionnaire. La qualité ayant été choisie est l’adéquation. L’échelle ainsi créée était bipolaire, dans le sens où elle passait de « Totalement inadéquat » à « Totalement adéquat » et seuls les points aux extrémités étaient indiqués. Cette échelle a été appliquée aux questions 1 à 12 ainsi qu’aux questions 15 à 35.
3.3 Validation du questionnaire
Afin d’assurer la validité de contenu du questionnaire, il a été soumis à un expert ayant travaillé pendant plus de 20 ans pour Agrément Canada, occupant notamment un poste à la direction de l’organisation, et participant encore de façon sporadique à des visites.
3.4 La collecte de données
À partir d’une liste des visiteurs d’Agrément Canada produite en 2013, un total de 516 invitations à répondre à cette étude ont été transmises. Selon Satistique Canada (2010, p.182), pour une population de 500 unités, un nombre de 222 répondants est nécessaire afin d’obtenir une marge d’erreur de +/- 5%. Ainsi, en prenant pour acquis que la totalité des adresses courriel étaient valides, la cible espérée de répondants au sondage était d’environ 230. De plus, les visiteurs n’ont pas été prévenus que ce questionnaire leur serait envoyé et il était envisagé que plusieurs d’entre eux seraient peut-être réticents à répondre à ce type d’enquête. Cette collecte de données était finalement une auto-interview assistée par ordinateur, réalisée par autodénombrement (Satistique Canada, 2010, p.41). Le logiciel de sondage en ligne LimeSurvey a été choisi puisqu’il permet notamment d’importer la liste complète des répondants, de programmer les messages d’invitation, d’inscription, de confirmation et de rappel, autant en français qu’en anglais. Une fois toutes les questions et les messages programmés, le questionnaire a été transmis le 10 juillet 2014 à l’ensemble des visiteurs.