Des captures d’écran de l’application à modéliser et générer

Ces deux variables nous aident à savoir si l’impact de l’utilisation de MIMIC était de faciliter et/ou accélérer le développement de l’application mobile multimodale (ce qu’on a supposé lors de la création de la plateforme). Cependant, la durée de la phase de réalisation dans cette expérimentation était limitée à deux heures, ce qui ne permet pas de donner largement le temps aux participants.

De plus, pour mesurer l’effort de développement, l’effort de programmation ainsi que l’ef- fort de modélisation (pour les utilisateurs de MIMIC) doivent être mesurés. Toutefois, même si on considère que l’effort de programmation peut être mesuré par le nombre de lignes co- dées (alors que c’est un indicateur imparfait qui comporte beaucoup de défauts6), il est très difficile de quantifier l’effort de modélisation, car il dépend de plusieurs facteurs (déplace- ment des yeux, recherche des éléments de modèle, déplacement de la main avec la souris, etc.). Ainsi pour ces raisons, nous avons décidé de mesurer une autre variable qui englobe les deux variables précédentes et qui peut être facilement quantifiée : le nombre de fonction- nalités réalisées pendant le temps de développement. La mesure de cette variable pour les deux groupes nous aide à déterminer si l’utilisation de MIMIC permet de développer plus de fonctionnalités (dans un temps limité) par rapport à la programmation classique.

IHM Fonctionnel En entrée :

1. « Long Touch » 2. Secouage

3. Clic sur « Up volume bouton » 4. Proximité

5. Complémentarité entre secouage et bouton vo- lume

6. Équivalence entre « Long Touch » et proximité En sortie :

1. Affichage du nombre de balles 2. Affichage du score

3. Déclenchement du son de tir après la complé- mentarité

4. Déclenchement du son de recharge après l’équivalence

5. Affichage de l’image après tir

6. Désaffichage de l’image au début et après re- charge

1. Calcul du nombre de balles

2. Calcul du score

TABLE6.1 – Les fonctionnalités du jeu « Multimodal shooter » (« Jeu de tir »)

Cependant, elle ne nous aide pas à savoir si le développement avec MIMIC est plutôt fa- cile ou rapide ou les deux. Pour résoudre ce problème, nous avons posé deux questions aux participants (dans le questionnaire du paragraphe suivant) pour connaître leurs impressions concernant l’effort et le temps d’utilisation de MIMIC (par rapport au développement clas- sique). Leurs réponses ne seront évidemment pas précises au point de les considérer comme preuve de la facilité ou de la rapidité d’utilisation de MIMIC, mais peuvent nous donner au moins des résultats préliminaires d’un point de vue utilisateur.

Nous avons mesuré le pourcentage des fonctionnalités développées par chaque participant des deux groupes. Le tableau 6.1 détaille les différentes fonctionnalités de l’application « Jeu de tir ».

Questionnaire. Le questionnaire comporte 15 questions destinées à évaluer la satisfac- tion des utilisateurs de MIMIC, à propos de l’implémentation des différents critères IDM (la

vérification des modèles avec les contraintes OCL, la réutilisation des modèles à partir de la bibliothèque et le guidage avec la documentation). Ces questions permettent également de collecter les impressions des participants concernant la notation visuelle des concepts/associations de modélisation, et l’effort/le temps d’utilisation de MIMIC par rapport au développement classique.

Hypothèse. L’hypothèse que nous avons fixée est la suivante :

L’utilisation de MIMIC pour le développement d’une application mobile multimodale aug- mente le nombre de fonctionnalités développées de cette dernière pour un même laps de temps, comparé à un développeur classique (SDK Android).

6.2.2

Analyses et interprétations des résultats

– Tous les étudiants ont réussi à modéliser et générer le premier exemple d’interaction « Free fall » (un modèle de l’application a été fourni).

– Ils ont aussi réussi à modifier une interaction par une autre, mais beaucoup d’entre eux avaient besoin d’aide de notre part pour spécifier une complémentarité entre deux évènements d’interaction.

– Beaucoup d’entre eux n’ont pas consulté la documentation. Ils se sont basés sur les exemples de modèles dans le sujet de l’expérimentation et sur les échanges entre eux. La phase de réalisation. Pour chaque participant, nous avons calculé le pourcentage des fonctionnalités réalisées. Deux étudiants uniquement ont réalisé 100% des fonctionnalités de l’application pendant les deux heures de développement. Ces deux étudiants appartiennent au groupe des utilisateurs de MIMIC (voir tableau 6.2).

La moyenne de développement du premier groupe (avec MIMIC) est de 72,17% alors qu’elle est de 42,14% pour le deuxième groupe (avec le SDK Android). Le nombre de fonctionnalités réalisées par le premier groupe est donc plus élevé par rapport au deuxième groupe. Cela est illustré par les figures 6.10 et 6.11 qui montrent le développement des dif- férentes fonctionnalités avec et sans MIMIC.

Pour vérifier si la différence entre les réalisations des deux groupes est significative et qu’elle n’est pas due au hasard, nous avons appliqué un test statistique de Mann-Whitney sur les résultats obtenus. Avec l’outil SPSS, le test de Mann-Whitney a révélé qu’il y a une dif- férence significative entre les fonctionnalités réalisées par les deux groupes dans la période de deux heures et avec un risque d’erreur de 5 % (U=22,5, z=-2,086, p=0,037 < 0,05).

Participants Framework Pourcentage de réalisation Niveau

Participant 1 Avec MIMIC 36% Bien

Participant 2 Avec MIMIC 92,86% Très bien

Participant 3 Avec MIMIC 71,43% Bien

Participant 4 Avec MIMIC 92,86% Très bien

Participant 5 Avec MIMIC 100% Très bien

Participant 6 Avec MIMIC 100% Très bien

Participant 7 Avec MIMIC 85,71% Très bien

Participant 8 Avec MIMIC 71,43% Bien

Participant 9 Avec MIMIC 57,14% Assez bien

Participant 10 Avec MIMIC 14,28% Bien

Participant 11 Sans MIMIC 35,71% Assez bien

Participant 12 Sans MIMIC 42,86% Bien

Participant 13 Sans MIMIC 35,71% Très bien

Participant 14 Sans MIMIC 64,28% Bien

Participant 15 Sans MIMIC 14,28% Assez bien

Participant 16 Sans MIMIC 92,86% Très bien

Participant 17 Sans MIMIC 21,43% Très bien

Participant 18 Sans MIMIC 21,43% Assez bien

Participant 19 Sans MIMIC 78,57% Bien

Participant 20 Sans MIMIC 14,29% Bien

TABLE6.2 – Les pourcentages des fonctionnalités développées ainsi que le niveau de déve- loppement Android pour chaque participant

Cette différence significative est affirmée aussi par la différence importante entre les mé- dianes des deux groupes comme le montre la figure 6.12 (avec MIMIC : Médiane = 78,57, sans MIMIC : Médiane = 35,71) avec une dispersion presque équitable par rapport à la moyenne (Avec MIMIC : Ecart type = 28,819, Sans MIMIC : Ecart type = 27,653).

Notre hypothèse est donc vérifiée, car l’utilisation de MIMIC a augmenté significative- ment le nombre de fonctionnalités réalisées de l’application « Jeu de tir » par rapport au développement classique sous Android (figure 6.13).

Ces résultats ont attiré notre attention sur un autre impact de l’utilisation de MIMIC qui peut être secondaire mais important. Cela concerne le niveau et la méthode de développe- ment des participants. Dans le tableau 6.3, nous avons comparé les pourcentages des fonc- tionnalités réalisées par les utilisateurs de MIMIC dans l’expérimentation et leurs niveaux de développement Android. Les niveaux ont été estimés par leur enseignant d’Android, qui les a déjà évalués à plusieurs reprises (les niveaux de tous les participants sont présentés dans le tableau 6.2).