3.2.1 Taux de réussite
Pour comparer la précision et l’efficacité de chaque clavier, il a été nécessaire d’introduire la notion de « mot correct ».
Un mot est défini comme étant un « mot correct » si, et seulement si, le mot correspond phonétiquement au mot demandé dans la phrase.
Ainsi, pour le mot "veut", les mots "veux" et "veut" sont considérés comme cor-rects. Nous avons effectué ce choix pour éviter de pénaliser les utilisateurs sur l’or-thographe. Le temps de saisie a été mesuré par rapport au mot effectivement tapé pour éviter de fausser les résultats avec des homophones de longueur différente.
Pour pouvoir comparer les deux claviers, nous avons calculé un taux de réussite,
TR, calculé simplement par la formule
TR= nombre de mots corrects
nombre de mots saisis
Pour les deux claviers, nous obtenons les résultats présentés sur la figure 39 : pour la première session, DUCK affiche un taux de réussite de 75% (σ = 5, 9%) contre 52% (σ = 3, 2%) pour VODKA. Dans le cas de la deuxième session, le taux de réussite indique 91% (σ = 8, 3%) pour DUCK contre 77% (σ = 6, 8%) pour VODKA.
Un test de Shapiro-Wilk indique que les distributions présentées ne suivent pas une loi normale (p <0,01). Nous avons alors réalisé deux tests de Wilcoxon pour comparer les résultats obtenus. Le premier test indique que DUCK est plus précis que VODKA quant à la saisie de mots corrects pour la première session (W = 1070,
p = 0.036), tandis que le deuxième test confirme cette tendance pour la deuxième
session (W = 2069, p = 0.032).
D’autre part, nous pouvons aussi observer que pour les deux systèmes, le taux de réussite augmente entre les deux sessions. Cette tendance est confirmée par des tests de Wilcoxon (W = 1208, p = 0.0487 pour DUCK et W = 276, p = 0.0124 pour VODKA).
Figure 39 – Réussite par clavier
que VODKA au niveau de la correction des mots : le nombre de mots correctement saisis est plus important avec DUCK qu’avec VODKA.
3.2.2 Utilisation de la fonction mots courts
Nous nous sommes enfin intéressés à l’utilisation de la fonction mots courts pour la saisie de mots au long de l’expérience.
Notre première hypothèse était de considérer que l’activation du mode mots courts permettait de rendre la saisie plus efficace.
Afin de mesurer l’impact de l’utilisation de la fonction mots courts, nous avons comptabilisé le nombre d’utilisations de la fonction mots courts, que nous avons séparée en deux types d’utilisation :
1. Les utilisations "utiles", c’est-à-dire les cas où l’utilisateur doit véritablement taper un mot court ;
2. Les utilisations "inutiles", c’est-à-dire les cas où l’utilisateur active le mode par erreur.
a activé consciemment le mode mots courts par erreur (par exemple, en supposant que le mot à saisir s’y trouvait alors qu’il n’y était pas) du cas où il s’agissait d’un mouvement involontaire ; dans les deux cas, l’activation du mode mot court consiste pour nous en une baisse de performance (temporelle et actions), et donc en un critère négatif.
Pour évaluer l’utilisation de la fonction « mots courts », nous avons produit un score représentatif. Par exemple, sur une phrase contenant deux mots courts ("la maison est rouge"), où les mots "la" et "est" sont deux mots courts qu’il est possible de saisir par ce mode, le nombre d’utilisations idéal est de 2 (une fois pour "la" et une fois pour "est"). Avec ce nombre d’utilisations idéal, nous pouvons calculer le taux d’utilisation de la fonction « mots courts » T auxM C comme le nombre d’utilisations réellement utiles du mode mots courts effectuées par l’utilisateur divisée par le nombre d’utilisations idéal. Nous obtenons ainsi :
T auxM C = P
i∈M otsσ(i) Nideal
où σ(i) renvoie 1 si, et seulement si, le mot i est un mot court et l’utilisateur a invoqué le mode mots courts. Nideal correspond au nombre de fois où l’appel est utile (c’est à dire au nombre de mots courts à saisir par l’utilisateur).
De même, nous avons proposé également de calculer le taux d’appels incorrects du mode mots courts par :
T auxIncorrectM C = P
i∈M otsβ(i) Nnoncourts
où β(i) correspond à une fonction qui renvoie 1 si, et seulement si, le mot i n’est pas un mot appartenant à l’ensemble des mots courts proposé et l’utilisateur a invoqué le mode mots courts. Nnoncourts correspond au nombre de mots saisis par l’utilisateur et absents des listes de mots courts.
Nous faisons l’hypothèse que l’utilisateur devient plus précis dans ses gestes et qu’il connaît mieux les listes de mots au fur et à mesure de sa saisie. Ainsi, nous devrions observer une augmentation du taux d’utilisation de la fonction des mots
courts utiles, et une diminution des utilisations incorrectes.
Nous présentons les résultats que nous avons obtenus dans la figure 40. Le taux d’utilisation correct de la fonction mots courts s’élève à 43% pour la première session, contre 68% pour la seconde session. Un test de Wilcoxon confirme la différence signi-ficative de l’utilisation correcte du mode mots courts (W = 511, (p<0, 036)). Cette tendance s’explique par une meilleure connaissance par les utilisateurs du contenu des listes de mots courts lors de la seconde session.
Figure 40 – Utilisation de la fonction mots courts
Concernant le taux d’appels inutiles à la liste, les participants en ont réalisé 16% lors de la première session et 10% lors de la seconde session. Cependant, cette dimi-nution n’est pas significative (W = 421, (p<0, 280)). D’autre part, les participants ont expliqué à la fin de la seconde session que les appels inutiles au mode mots courts étaient en grande partie dû à une interaction erronée, le plus souvent à cause d’un glissement de doigt intempestif.