Instrumentation adaptée

De façon générale au niveau méthodologique, aux yeux des participants, l’évaluation crédible doit comprendre un devis clair, rigoureux, représentatif au niveau des parties prenantes consultées et faisant état des limites qu’il comprend. En plus de ces qualités, les participants interrogés ont mis en évidence l’importance de bâtir des

outils qui s’harmonisent bien à leurs fonctions professionnelles, de façon à ne pas apporter de lourdeur additionnelle et à ne pas interférer avec leurs tâches habituelles. Un outil de collecte de données qui est administré par un intervenant doit ainsi être facilement et rapidement appliqué; il en va de même pour le traitement et l’analyse de données, dans le cas où une partie prenante en assume la responsabilité. Si ce n’est pas le cas, la crédibilité accordée à la démarche peut en être négativement affectée.

Il y avait eu beaucoup de monde impliqué et, en bout de ligne, quand ça avait été le temps d’utiliser [l’outil], là, on s’était rendu compte qu’il y avait plusieurs qui débarquaient et qui trouvaient ça

compliqué. Ça amenait trop. […] Donc, c’est sûr que quand on ne réussit pas à maintenir la motivation des gens qui devraient utiliser l’outil, il y a quelque chose qui ne marche pas à quelque part. Il y a un sentiment d’appartenance à la démarche qui est tombé […]. [Une évaluation] qui est plus de la vieille méthode : questionnaire papier, on envoie ça [à la clientèle] et ils ne reviennent pas. Après ça, moi, il faut que je coure après les questionnaires, je les renvoie par la poste, et là il faut [analyser] ça... Donc, je trouve ça long et lourd. […] Ça se fait tout par Internet, c’est rapide comme tout, ça se répond en ligne et on a le résultat tout de suite. Donc c’est sûr que cette méthode-là, c’est quelque chose qui est pas mal plus gagnant pour moi.

Où ça devient un petit peu plus lourd pour l’équipe, c’est au niveau de la collecte des données, la compilation et l’analyse, parce que des fois, pour certains projets, on a 1000 répondants à un sondage. Donc, pour toute la compilation, on essaye, par exemple, d’utiliser Survey Monkey ou d’autres formules automatiques qui vont faire l’analyse, mais ce n’est pas toujours possible.

Aux yeux des participants, l’instrumentation employée dans le cadre d’une évaluation qu’ils considèrent crédible doit aussi être adaptée aux différents publics destinataires à qui elle s’adresse. Alors qu’il peut s’agir d’une banale formalité pour certains évaluateurs à qui cela va de soi, il n’en demeure pas moins que les participants

insistent vivement sur cette importance. Étant sensibilisées à la réalité de leur clientèle et étant conscientes des difficultés à joindre certains groupes, elles tiennent résolument à ce que la façon de les solliciter ou de les questionner soit adaptée,

conviviale ou même ludique. Plusieurs participants mentionnent qu’il importe de

proposer une formule rapide, qui va à l’essentiel, susceptible d’intéresser les groupes à sonder et qui emploie une terminologie compréhensible pour ces derniers. À titre d’exemple, pour certains participants, une conversation entre humains est nécessaire, de façon à ce que la personne consultée se sente écoutée, sachant que les révélations obtenues n’auraient pas été les mêmes par l’entremise d’un questionnaire en version papier.

C’est toujours difficile de faire participer [les clients] […]. Et malheureusement, c’est souvent ce qui manque, parce qu’on veut les rejoindre, on veut savoir ce qu’ils veulent, on veut savoir comment les aider ou comment les outiller, mais ils ne viennent pas à nous. C’est difficile de les rejoindre pour leur demander leurs besoins, donc de les rejoindre pour leur demander ce qu’ils pensent de…, ça peut être difficile aussi. Mais c’est de trouver comment le faire.

Remplir un questionnaire, c’est facile. Mais certains des

questionnaires, nous on ne pouvait pas demander aux gens de les remplir par ordi ou par papier, parce que des gens ont des handicaps. Donc ça prend une sensibilité par rapport à qui on pose les questions et être à l’écoute.

Parce qu’en fait, moi j’ai une clientèle défavorisée et puis j’ai certaines personnes qui sont de faibles lecteurs, donc ils ne vont pas prendre le temps de tout lire ça. Ils vont écrire n’importe quoi ou cocher n’importe quoi pour passer à la prochaine [question]. On va essayer une nouvelle approche. On va essayer de faire de l’évaluation à travers les réseaux sociaux […]. Donc on va mettre en place un questionnaire, on va le défiler sur les réseaux et pour inciter les gens à répondre aux questionnaires, on va dire « voilà, vous pouvez bénéficier de disons 15 % de rabais […] », pour inciter les

gens à répondre au questionnaire.

Tu ne veux pas avoir un questionnaire d’une demi-heure, parce que les gens ne veulent pas faire ça. Et il y a le côté écrit et le côté oral. […] Mais à l’écrit, ça va peut-être paraitre, mais les gens ne vont pas te donner autant de suggestions qu’à l’oral. […] quand tu les

approches et que tu leur poses ce genre de questions là, ils sont écoutés. Ce n’est pas juste remplir un formulaire. […] il y a une connexion beaucoup plus profonde qui s’établit.

Les focus groups, moi, c’est ce qui fonctionne le mieux. […] Parce que la personne a comme la façon ou la manière d’aller poser la question […] et c’est là que j’ai le plus de réponses.