Description des interfaces virtuelles développées 123 

Pour atteindre les trois objectifs de notre étude expérimentale, nous avons procédé à la virtualisation des interfaces des deux appareils multifonctions retenus, en prenant soin de calquer les interfaces virtuelles développées sur leurs contreparties matérielles, tant graphiquement que logiquement, comme l’exigeait notre méthodologie à la section 5.1.4. Nous identifions et illustrons ci-dessous les trois étapes par lesquelles nous sommes passés.

Identification des points clés des interfaces matérielles

Nous avons d’abord procédé à l’extraction des caractéristiques SIFT de chacune des interfaces matérielles, afin de pouvoir ultérieurement les localiser et calculer leur orientation, pour ultimement être en mesure de les remplacer par une interface familière, intégrée à l’environnement. Les figures ci-dessous (Figure 5.10 et Figure 5.11) présentent les photos sur lesquelles nous nous sommes basés pour extraire ces caractéristiques. Elles furent prises avec la même caméra que celle utilisée sur notre plateforme, afin de minimiser les différences qui auraient pu être induites par un changement de caméra (ex. : distorsions géométriques dues à la lentille). Notons que, sur ces deux images de résolution 640x182 et 640x132, 329 points clés furent retenus.

Figure 5.10 : Photo de l’interface matérielle du Canon Pixma MP750 à partir de laquelle les points clés de référence (en bleu) furent calculés pour la décrire géométriquement.

Figure 5.11 : Photo de l’interface matérielle du Epson Stylus CX9400Fax à partir de laquelle les points clés de référence (en bleu) furent calculés pour la décrire

géométriquement.

Le Tableau 5.5 présente d’ailleurs un extrait des points clés de l’interface matérielle du Canon MP750. Comme expliqué à la section 5.4.5, ceux-ci furent mémorisés du côté de l’adaptateur et furent transmis à toute plateforme à proximité, en guise de description géométrique de l’interface matérielle représentée. Les figures 5.12 et 5.13 illustrent quant à elles la localisation et le calcul de l’orientation des deux interfaces retenues, sous différentes conditions, en se basant sur les mises en correspondance des points clés identifiés.

Tableau 5.5 : Extrait du fichier de description des points clés du Canon Pixma MP750

X  Y  Sigma  Theta  Descripteurs 

43.35  4.42  2.02  1.954  10  4  0  0  0  4  15  8  162  […]  16.11  6.05  1.89  1.768  79  22  0  0  0  0  0  3  156  […]  265.74  5.9  2.18  4.59  25  83  131  55  1  8  16  1  131  […]  589.11  6.02  2.03  1.66  1  1  0  0  0  0  0  0  138  […]  202.72  6.59  1.93  1.739  0  0  66  19  0  0  0  0  0  […]  202.72  6.59  1.93  4.457  14  0  0  9  10  0  0  3  125  […] 

Figure 5.12 : Détection des interfaces matérielles des appareils multifonctions retenus; les points roses représentent les points clés pour lesquels une correspondance avec les

caractéristiques de référence a été établie.

Figure 5.13 : Illustration de la localisation et du calcul de l’orientation de l'interface matérielle du Canon MP750 sous différents angles de vue (A, B, C & D), en présence

Conception graphique des interfaces virtuelles et identification des composantes Sachant maintenant localiser les interfaces matérielles d’intérêt, il nous fallut fournir à notre plateforme une description graphique des interfaces familières à utiliser pour les remplacer. Nous répliquâmes donc, dans le cadre de cette étude expérimentale et pour les raisons expliquées à la section 5.1.4, les interfaces des deux appareils retenus, incluant leurs écrans LCD, que nous présentons ci-dessous, à la Figure 5.14 et à la Figure 5.15, face à leur contrepartie matérielle. En combinant ces interfaces aux techniques de repérage énoncées aux sections 4.2.1 et 4.2.2, nous fûmes en mesure, à ce stade de la conception, de substituer entre elles les interfaces des deux appareils multifonctions, comme illustré à la Figure 5.16.

Figure 5.14 : Description graphique de l’interface virtuelle (A) calquée sur l’interface matérielle du Canon Pixma MP750 (B).

Figure 5.15 : Description graphique de l’interface virtuelle (A) calquée sur l’interface matérielle du Epson Stylus CX9400Fax (B).

Figure 5.16 : Imposition, face à un appareil Canon MP750 inconnu de l’utilisateur, d’une interface virtuelle familière calquée sur celle du Epson CX9400Fax; les images originelles situées dans les coins supérieurs droits furent rajoutées post-capture, à titre

Quant aux composantes de chacune de ces deux interfaces virtuelles, la même technique de code de couleur que celle présentée à la section 4.3.1 fut utilisée pour les isoler, afin d’être en mesure de les identifier lors des interactions et de leur attribuer un comportement précis. Cette correspondance fut mémorisée dans un fichier XML indépendant, comme celui présenté au Tableau 5.6.

Tableau 5.6 : Extrait du fichier XML décrivant les composantes du Canon MP750 <BUTTON>Copy<COLORCODE>0 0 23</COLORCODE></BUTTON> 

<LCD>Screen<COLORCODE>0 0 24</COLORCODE></LCD>  <BUTTON>OK<COLORCODE>0 0 25</COLORCODE></BUTTON> 

Recensement des fonctionnalités des appareils et reproduction de leur logique Disposant maintenant d’une description graphique des deux interfaces virtuelles, il nous fallut, pour achever leur conception, leur infuser des comportements similaires à ceux recensés auprès des appareils multifonctions retenus. La mise en place de cette logique interne, mémorisée du côté de la plateforme (cf. annexe C présentant des extraits du fichier XML d’initialisation de la machine à états complète de l’interface calquée sur un appareil Epson CX9400Fax), permit à chacune de nos interfaces de répondre, de façon identique à l’appareil simulé, à chacune des commandes de l’utilisateur, qu’il s’agisse ou non d’instructions appartenant au chemin optimal de la tâche demandée. La Figure 5.17 présente ainsi différentes réponses de l’interface virtuelle calquée sur celle du Canon MP750 et imposée, par un utilisateur familier avec cette machine, à un appareil Epson CX9400Fax.

Figure 5.17 : Capture, lors de la réalisation de la tâche demandée face à un appareil Epson CX9400Fax, des réponses de l'interface virtuelle utilisée, calquée sur celle du

Canon MP750; les images originelles situées dans les coins supérieurs droits furent rajoutées post-capture.