ET DU FOCUS GROUP POUR LA CONSTRUCTION
R EPERES POUR LE CHAPITRE
3.2. DES FACTEURS ECONOMIQUES ET ORGANISATIONNELS
Nous pensons que cet état de fait est lié à plusieurs facteurs, sans pouvoir discerner précisément le poids relatif de chacun :
- des facteurs économiques, - des facteurs organisationnels,
- et le point de vue adopté par les professionnels de l’évaluation.
Des facteurs économiques et organisationnels sont donc imbriqués dans le point de vue propre à ces professionnels, qui les amène à ne pas traiter la question de l’utilité des résultats produits.
3.2.1. Les facteurs économiques
Certains professionnels de l’évaluation, malgré leur parti pris, reconnaissent eux-mêmes leurs lacunes en matière de connaissances sur l’utilisation des résultats d’évaluation par les professionnels destinataires. Lors d’une réunion annuelle de bilan du service, ce point a fait l’objet d’une discussion entre plusieurs acteurs. Le fait est qu’ils ne disposent pas des moyens nécessaires pour analyser de plus près cette activité d’utilisation des résultats. Etant donné leur charge de travail, une unité dédiée à part entière à l’étude de ce versant du problème est indispensable. Pour des raisons évidentes de restriction budgétaire, la création d’une unité supplémentaire n’était cependant pas à l’ordre du jour.
3.2.2. Les facteurs organisationnels
De plus, étant donné le mouvement de privatisation de France Télécom, les rapports entre différents services, branches ou filiales sont de plus en plus des rapports commerçants. Ce phénomène n’est pas isolé. De nombreuses grandes entreprises connaissent cette logique, où chaque service est cloisonné, a ses propres responsabilités, budgets, frontières et comptabilités. Cela encourage peu le partage de connaissances et les études transversales au sein des entreprises (Lindgaard, 2002).
Nous faisons aussi l’hypothèse que ce cloisonnement entre les différentes entités opérant dans le processus « demande d’évaluation – réalisation de l’évaluation – conception » amène à ce que les besoins en connaissances des divers professionnels transformant les produits/services soient peu étudiés. Cela peut contribuer à renforcer le principe des
demandes d’évaluations exploratoires peu spécifiées, engageant les professionnels de l’évaluation à se baser sur les dimensions utilisateurs.
Pour évoquer le peu d’analyses des besoins en évaluation des professionnels, nous nous appuyons sur des éléments recueillis à partir :
- de deux entretiens retranscrits, menés par deux professionnels de l’évaluation, avec deux chefs de produit, dont un faisant partie d’une branche opérationnelle assurant la production, la maintenance et la diffusion d’un produit de France Télécom,
- d’un entretien mené par le chercheur avec un ingénieur de FTA ayant participé au développement informatique d’une application logicielle pour l’accès à Internet.
Une étude d’évaluation sur la satisfaction des utilisateurs quant à ce produit, a été commandée par la direction commerciale d’une branche opérationnelle de France Télécom aux professionnels de l’évaluation. Le rapport de synthèse a été remis à la direction commerciale de la branche, puis transmis aux concepteurs de FTA. L’entretien que nous avons conduit avec l’un des concepteurs commentant ce dernier rapport a mis en évidence que si plusieurs résultats confirmaient la pertinence des choix de conception, quelques autres n’étaient pas assez approfondis pour que les concepteurs puissent prendre des décisions en termes de modification du processus d’installation ou de l’aide intégrée (ex. les verbatim qui énoncent des problèmes sans données de hiérarchisation de l’importance relative des différents problèmes ou le pourcentage d’utilisateurs satisfaits sans détail permettant de savoir à quoi attribuer le résultat123).
D’après l’entretien avec le chef de produit, avant la conception d’une nouvelle version du produit, ce dernier réalise un audit de personnes de la direction marketing et des autres directions de sa branche opérationnelle ayant utilisé ou entendu parlé de problèmes relatifs à la dernière version du produit. Il effectue la synthèse de divers éléments provenant d’un groupe analysant les remontées du service clients et de l’assistance technique, d’ingénieurs de la branche testant et améliorant le système technique, et d’éventuelles personnes regardant le fonctionnement général des produits/services de la concurrence. Il cherche à connaître les futures opérations commerciales à couvrir (ex. décor de Noël), les nouveaux besoins en conception (ex. fonctionnalités supplémentaires) et enfin les problèmes techniques rencontrés ou « ressentis » divers des utilisateurs/clients. Le chef de produit réalise cela dans l’urgence car le processus de conception complet est soumis à d’importantes contraintes de temps : ce renouvellement doit accompagner, voire anticiper les dernières technologies sur le marché (nouvelle génération de navigateurs, nouveaux fonctionnements de produits/services de la
concurrence) et, plus ponctuellement, observer des dates de lancement du produit. Une fois le cahier des charges réalisé, il est transmis à un ingénieur qui s’occupe de gérer le développement informatique nécessaire soit en interne dans la branche opérationnelle, soit en faisant appel à des concepteurs de FTA ou à d’autres entreprises. Les concepteurs sont choisis en dernier lieu dans ce processus et sont seulement les artisans de la réalisation spécifiée.
De plus, lors de l’entretien avec l’autre chef de produit, celui-ci exprime l’idée que trop d’études amont à la conception sont inefficaces : « Il vaut mieux sortir quelque chose, on dit : bon, on fait le choix là, on arrive à un produit ou un service, on regarde et on rectifie ce qui ne va pas. Parce que vouloir avoir une approche trop construite dans laquelle on essaye de rationaliser, d’objectiver chacun des choix, je ne pense pas que ce soit compatible avec l’état du marché où il faut aller très vite d’abord. Et, en fait, en essayant de raisonner trop sur chaque choix, on perd un peu la cohérence du produit que peut avoir justement un responsable produit, en disant : et bien non, ma vision c’est çà. A la limite on relance le produit et puis, au moins, on le termine et on voit si c’est viable ou pas. C’est plus à la limite un processus de feedback plutôt que de mettre en œuvre une méthodologie sophistiquée. […] Franchement, moi je pense que si je sors un produit, je demande des tests, qu’on me dise, simplement comment les gens réagissent. […]On n'a pas toujours le temps de faire… Par exemple, on peut avoir beaucoup de chiffres, ce n’est pas toujours facile, mais déjà avoir des indicateurs, par exemple : quelles sont les pages qui seront regardées, quelles sont les pages qui ne sont pas regardées, pourquoi. Et tout çà c’est plus des outils a posteriori, plutôt que des outils a priori. » A partir de cela, nous faisons aussi l’hypothèse que faire une étude approfondie des besoins en connaissances de chaque professionnel contribuant aux transformations ou les réalisant, semblerait encore plus vaine aux chefs de produit.
Malgré le précédent audit très orienté veille technologique et besoins clientèle ni les chefs de produit ni davantage les professionnels de l’évaluation n’ont l’idée ou la possibilité d’analyser en profondeur les besoins en connaissances des divers professionnels qui vont contribuer à transformer le produit/service et, plus particulièrement, ceux des concepteurs. Le demandeur de l’étude et l’utilisateur des résultats sont souvent des acteurs différents dans l’entreprise (Daniellou, 2004 ; Roussel, 1996). Il semble en être de même concernant les deux situations précédentes et les évaluations en phase de « feed-back » commandées au service d’évaluation. La question de l’utilité et de l’utilisation des résultats n’est donc pas observée.
3.3. LA QUESTION DE LA « VERITE » ET DE L’UTILITE D’UNE EVALUATION
Il s’agit, selon les professionnels de l’évaluation, d’être au plus proche des catégories de l’utilisateur pour créer le moins de distorsion d’avec l’activité perceptive en situation naturelle que l’on cherche à connaître. Nul doute que la formulation du questionnaire doit être la plus proche de l’entendement du répondant. Il s’agit bien d’éviter les décalages de compréhension entre le concepteur de l’outil d’évaluation et le sujet qui répond.Cela concerne la formulation des questions à poser aux répondants, or il est possible de dissocier, en partie au moins, ce sur quoi doit porter l’évaluation et la formulation des questions elles-mêmes. Concernant ce sur quoi doit porter l’évaluation, « coller » le plus possible aux catégories des utilisateurs/clients amène aussi à passer à côté de la question de l’utilité des résultats produits. A quoi, à qui doivent-ils servir ? A partir de ces résultats, quelles décisions peuvent être réellement prises ? Sur quelles caractéristiques ou artefacts des produits/services, les professionnels peuvent-ils véritablement agir afin de les corriger et de mieux prendre en compte l’utilisateur ou le consommateur ? Quelle pertinence présente, par exemple, un résultat d’évaluation qui ne peut donner lieu à une transformation ? Le résultat en question demeurera une connaissance certes, mais inutilisée. Par exemple, apprendre que les femmes sont celles qui consultent le plus la présentation multimédia détaillant les fonctionnalités d’une application logicielle pour l’accès à Internet avant son installation, et les hommes le moins, constitue une connaissance qui n’apporte toutefois pas d’éléments assez précis aux concepteurs pour entreprendre une action d’amélioration124.
En ce sens, les professionnels de l’évaluation produisent des connaissances qui ne prennent pas en compte la réalité des professionnels qui modifient le produit/service, de leurs représentations et des exigences de leur activité (arbitrage de contraintes, marges de manœuvre réelles). Il s’agit d’un mouvement épistémique sans prendre en compte la question de l’utilité des résultats. Ce point de vue est en étroit lien avec le contexte général dans lequel l’activité d’évaluation s’inscrit. On ne saurait dire cependant que l’orientation qui guide l’action des professionnels de l’évaluation est seulement une conséquence de ce contexte.
Dans ce qui suit, nous allons recueillir les réactions des professionnels de la transformation quant à la liste de dimensions utilisateurs et explorer leur vocabulaire et leurs représentations, puis les exigences de leur activité et leurs réels besoins relatifs à cette activité.