L’EFFET DE SATURATION DE LA PRODUCTIVITE DU NOMBRE TOTAL D’IDEES EN ENTRETIEN INDIVIDUEL

Pour renseigner l’intérêt de mener un entretien supplémentaire par rapport au(x) précédent(s) et donc le seuil à partir duquel la productivité stagne ou chute, il s’agit d’observer son évolution d’un entretien à un autre. En fait de huit entretiens individuels, 16 ont été menés avec chaque type de sujets (« plus experts » ou « plus novices »). Cela permet d’observer l’évolution de la productivité avec une quantité suffisamment intéressante. Nous rappelons que seules les idées nouvelles apportées à chaque entretien supplémentaire ont été conservées.

En revanche, n’ayant pu réaliser qu’un focus group avec chaque population de sujets, nous ne sommes pas en mesure de produire de tels résultats concernant la situation collective.

Les graphiques ci-après montrent l’évolution de la productivité du nombre total d’idées (donc l’ensemble des idées quel que soit le niveau de détail auquel elles appartiennent) d’un entretien individuel à un autre jusqu’au seizième. L’évolution de la productivité en termes de ressources humaines est d’abord présentée (cf. figures 10 et 11), puis celle en termes de coûts financiers (cf. figures 12 et 13), toutes deux, avec les 16 entretiens individuels avec les sujets « plus expérimentés », d’une part, et avec les 16 avec les sujets « plus novices », d’autre part.

questionnaire d’évaluation

Figure 10 : Evolution de la productivité des idées en termes de ressources humaines d’un entretien individuel à un autre, avec les sujets « plus expérimentés »

0 0,2 0,4 0,6 0,8 1 1,2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Nombre d'entretiens

Productivité en termes de ressources humaines de chaque entretien individuel La productivité est exprimée en nombre d’idées par homme/heure.

Figure 11 : Evolution de la productivité des idées en termes de ressources humaines d’un entretien individuel à un autre, avec les sujets « plus novices »

0 0,2 0,4 0,6 0,8 1 1,2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Nombre d'entretiens

Productivité en termes de ressources humaines de chaque entretien individuel La productivité est exprimée en nombre d’idées par homme/heure.

questionnaire d’évaluation

Figure 12 : Evolution de la productivité des idées en termes de coûts financiers d’un entretien individuel à un autre, avec les sujets « plus expérimentés »

0 0,005 0,01 0,015 0,02 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Nombre d'entretiens

Productivité en termes de coûts de chaque entretien individuel La productivité est exprimée en nombre d’idées par Euro.

Figure 13 : Evolution de la productivité des idées en termes de coûts financiers d’un entretien individuel à un autre, avec les sujets « plus novices »

0 0,005 0,01 0,015 0,02 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Nombre d'entretiens

Productivité en termes de coûts de chaque entretien individuel La productivité est exprimée en nombre d’idées par Euro.

Ces résultats mettent au jour qu’après sept entretiens, la productivité en termes de ressources humaines augmente plus faiblement, voire diminue légèrement, et cela avec les sujets « plus expérimentés » comme avec les sujets « plus novices ». De même, après sept entretiens, la productivité en termes de coûts financiers augmente plus faiblement (pour les deux catégories de sujets). En d’autres termes, le coût humain ou financier de chaque idée

questionnaire d’évaluation

produite augmente sensiblement à partir du septième entretien. Il n’est plus aussi rentable de mener un entretien supplémentaire.

6.S

questionnaire d’évaluation

Tableau 11 : Récapitulatif des résultats de comparaison de l’entretien individuel versus du focus group quant à la nature des données produites et à leur productivité

EI FG

Apport et quantité d’idées nouvelles / données experts

OUI : + OUI : −

Quantité d’idées détaillées + −

Quantité de dimensions (données d’un niveau de détail très général)

− + Quantité d’idées spécifiques à chaque

technique

+ −

Contenu

Nature des méga-dimensions Utilisabilité du site Internet ; Obtenues après un codage systématique

Aspects relatifs à l’achat par Internet ;

Obtenues très rapidement

Exploitabilité Quantité d’idées faciles à interpréter + −

Avec utilisation du produit/service ++ d’idées détaillées + d’idées nouvelles Verbalisations

avec et sans

utilisation ^{Sans utilisation du produit/ service + d’idées difficiles à} _interpréter ^{+ d’idées difficiles à} _interpréter Productivité du nombre total d’idées

/ ressources humaines : • pour la préparation, • pour le recrutement, • pour l’animation/passation, • pour le traitement. + + ++ presque ≈ − − − − presque ≈ Productivité globale du nombre total

d’idées / ressources humaines :

La productivité globale de 8EI est presque deux fois supérieure à celle du FG, que le service d’évaluation réalise l’évaluation en entier, sous-traite sa réalisation ou son analyse. Productivité du nombre total d’idées

/ coûts financiers : • pour la préparation, • pour l’animation, • pour le traitement,

• concernant le coût relatif aux participants + recrutement, • concernant le coût matériel.

+ équivalent presque ≈ + − − équivalent presque ≈ − + Productivité globale du nombre total

d’idées / coûts financiers :

8EI≈1½FG ou 1FG≈5EI, que le service d’évaluation considère ou non les frais de

recrutement/matériel, voire sous-traite l’analyse des données.

Productivité des dimensions / ressources humaines ou coûts

− 8EI ≤ 1FG

+ 1FG ≈ 8 à 9EI Productivité

Productivité des détails / ressources humaines ou coûts + 8EI ≈ 2 ½ FG − 1FG ≈ 3EI Evolutions de la productivité du

nombre total d’idées / ressources humaines

Après 7EI, la productivité augmente plus faiblement, voire diminue. Effet de

saturation d’un EI à un

autre _{Evolution de la productivité du} nombre total d’idées / coûts

Après 7EI, la productivité augmente plus faiblement.

questionnaire d’évaluation

7. P

CONTRUCTION D

’

Avant de dégager les conclusions, une remarque préliminaire s’impose : le traitement et codage des données que nous avons réalisés ne sont pas ceux qu’auraient effectués les professionnels de l’évaluation. Ces derniers, pour des raisons de temps, se basent généralement sur leurs notes, sur les éléments écrits par les sujets et, parfois, sur la visualisation des vidéos. Ils font très rarement retranscrire les entretiens. En ce sens, notre codage, beaucoup plus fin, n’est pas tout à fait représentatif, mais les professionnels de l’évaluation poursuivent le même objectif : mettre en évidence les dimensions toutes différentes, relatives à la perception des utilisateurs.

Nous soulevons là la question de la validité. En se plaçant dans des conditions optimales de comparaison de l’entretien individuel et du focus group, quels sont les aspects du « monde réel » qui sont négligés ? Plus que de validité d’une étude ou de généralisation en tant que vérité universelle, Lincoln et Guba (1985) parlent de « transférabilité ». Cela réfère à la possibilité de transférer ce qui est appris à partir d’un contexte d’étude à une application ayant un autre contexte mais présentant un certain degré de congruence avec le contexte de départ. De même, du fait des contextes proches (même tâche de génération d’idées et finalité commune de production de dimensions), nous pensons que nos conclusions sont au moins partiellement transposables. Les professionnels de l’évaluation peuvent s’appuyer dessus en les considérant comme des orientations qu’ils pourront encore affiner au fur et à mesure de leurs études appliquées.

Nous présentons d’abord les conclusions qui concernent l’entretien individuel et le focus group, utilisés comme techniques d’élicitation d’idées pour l’élaboration de dimensions utilisateurs. Nous abordons ensuite les limites que présente cette étude et enfin élargissons nos réflexions à l’utilisation de ces techniques, surtout le focus group, pour la conception de produits/services.

7.1. INTERET DES DONNEES UTILISATEURS PAR RAPPORT AUX DONNEES