Technologies perceptives

Figure 41 - A gauche, schéma des matrices conductrices d’un écran résistif. A droite, le circuit électrique. Sources : http://www.tekscan.com - http://www.touchuserinterface.com

2.2. Technologies perceptives

Qu’il s’agisse de technologies tactiles par capteur optique ou par caméra, ces techniques partagent les mêmes principes de capture et de traitement d’image. La quasi-totalité de ces systèmes repose sur l’emploi de la lumière infrarouge et implique dans certains cas des conditions d’éclairage maitrisées afin de ne pas perturber la détection par des interférences lumineuses. La simplicité et le faible coût de ce type de configurations optiques rendent possible la création de prototypes d’écrans multi-tactiles à des fins d’expérimentation. De

plus, la nature de ces dispositifs offre une grande flexibilité de taille d’écran et de configurations possibles comme la projection avant, arrière ou l’utilisation d’un écran plat LCD ou PLASMA. Dans cette partie, nous ne couvrirons que les configurations qui ont retenu notre attention lorsque nous avons commencé l’élaboration de prototypes multi-tactile. Il ne s’agit donc pas d’une liste exhaustive des technologies optiques existantes mais de la présentation des plus courantes, en donnant un aperçu de leurs avantages, de leurs contraintes et de la simplicité de leur mise en œuvre.

Spectre lumineux

Quasiment toutes les technologies optiques multi-tactiles reposent sur des principes construits sur les bases du traitement d’image ou du signal généré par des capteurs sensibles à la lumière infrarouge. L’illumination est réalisée à l’aide de diodes électroluminescentes ou lasers émettant dans une partie du spectre lumineux du proche infrarouge ou PIR (entre 780nm et 900nm). Les avantages sont nombreux. D’une part, les diodes électroluminescentes dissipent peu d’énergie, donc peu de chaleur. D’autre part, elles sont capables d’émettre dans une bande passante de lumière étroite, facilement identifiable sur le spectre lumineux par un capteur. Dans le cas des systèmes basés sur la configuration par réflexion totale frustrée ou par illumination diffuse, l’acquisition et le traitement d’image se font dans le proche infrarouge afin de créer une image ou un signal de référence par une caméra ou un capteur sensible à cette bande passante. Dans le cas des installations de type projection, les caméras utilisées sont munies d’un filtre passe-bande afin de n’être sensibles qu’aux objets éclairés par les illuminateurs. Cela permet par exemple de ne pas subir l’interférence que pourrait créer la lumière émise par le vidéoprojecteur puisqu’elle se situe dans les longueurs d’onde du spectre visible.

Cependant, ce type de configuration est généralement sensible à la lumière ambiante car la lumière du soleil, comme celle générée par les lampes à incandescence (halogènes, ampoules traditionnelles, etc), émettent sur la quasi-totalité du spectre lumineux et peuvent interférer sur la détection des capteurs ou de la caméra. D’une part, les variations de lumière (passage d’un nuage par exemple) augmentent ou diminuent l’intensité globale d’illumination infrarouge qui ne correspond plus à la référence d’intensité lumineuse de départ. Dans ce cas, il est possible de corriger cela en mettant à jour régulièrement (selon un taux de rafraîchissement) cette référence. D’autre part, l’augmentation de l’illumination

dans le spectre infrarouge par une source parasite réduit l’effet des sources lumineuses du dispositif et tend à réduire la brillance des points de contact qui sont alors plus difficiles à identifier. Une solution à ce problème est illustrée par Johannes Schöning et al.¹⁰⁷ et consiste à utiliser l’illumination pulsée. Contrairement à un éclairage constant, les diodes sont allumées par pulsations très courtes (d’une centaine de microsecondes à quelques millisecondes) augmentant ainsi l’intensité de la lumière émise. Ces pulsations sont synchronisées avec la caméra et permettent d’augmenter également le contraste des points de contact.

Réflexion totale frustrée

Le principe d’optique connu sous le nom de réflexion totale frustrée (Frustrated Total Internal Reflection ou FTIR) décrit le comportement des ondes électromagnétiques transmises à l’intérieur d’un matériau et ne pouvant s’en échapper car elles sont entièrement réfléchies par les bords. C’est le principe qui est utilisé pour transmettre de l’information, sous la forme de lumière, à travers une fibre optique. Ce phénomène intervient du moment que l’indice de réfraction du matériau est supérieur à celui qui l’entoure et que l’angle d’incidence de la lumière est supérieur à une valeur critique. Dans le cas de la configuration d’une surface multi-tactile telle que l’a présenté Jeff Han¹⁰⁸ en 2005, une série de diodes électroluminescentes (LED) illuminent les tranches d’une surface en polycarbonate. La lumière infrarouge la traverse en rebondissant sur les bords sans jamais les traverser sauf lors du contact d’un doigt qui modifie localement l’indice de réfraction à la surface et permet à la lumière de s’échapper à cet endroit. En s’échappant, la lumière illumine la pulpe du doigt qui peut être à ce moment précis détectée par une caméra, sensible aux infrarouges et située derrière la surface. Une série de filtres et d’algorithmes de traitement d’image permet ensuite de « nettoyer » l’image capturée et de déterminer la position des doigts touchant la surface. Généralement, une couche intermédiaire (en silicone par exemple) est ajoutée sur la surface en polycarbonate afin d’augmenter la différence d’indice de réfraction entre l’intérieur et l’extérieur et réduire ainsi la pression nécessaire à exercer sur la surface afin d’obtenir l’effet d’illumination FTIR.

107 SCHÖNING Johannes et al. In Technical Report TUM-I0833, Technical Reports of the Technical, University of

Munich, 2008

108

HAN Jefferson Y. Low-cost multi-touch sensing through frustrated total internal reflection. In Proceedings of

the 18th annual ACM symposium on User interface software and technology (UIST '05). ACM, New York, USA,

Figure 42 - Configuration d'un système FTIR. Reproduction. In [SCHÖNING, 2008].

L’usage de ce type de surface, appelée surface de médiation (compliant surface), permet non seulement de générer des points de contact sans pression mais il bloque également une grande partie de la pollution lumineuse donnant à l’image capturée un contraste plus important et donc plus simple à traiter. Enfin, selon la matière utilisée, cette surface permet de créer un système sensible à la pression des doigts afin d’enrichir les données issues de l’interaction.

Illumination diffuse

Les principes mis en œuvre dans les systèmes d’illumination diffuse fonctionnent de manière similaire aux systèmes FTIR car la détection du point de contact est rendue possible par l’illumination de la pulpe du doigt par de la lumière infrarouge. Dans la configuration d’illumination diffuse (Diffused Illumination ou DI), les émetteurs infrarouges ne sont pas situés sur la tranche mais à l’arrière de la surface en polycarbonate. De cette manière, les objets situés devant réfléchissent la lumière en direction de la caméra qui peut alors les détecter.

Contrairement aux systèmes FTIR, les objets situés à proximité de la surface sont également illuminés par la lumière infrarouge dont l’intensité décroit en fonction de la distance. Ce type de système fonctionne grâce à l’utilisation d’une surface diffusante et non transparente. Cette spécificité offre l’avantage d’utiliser la reconnaissance d’objets, par leur forme ou par un marqueur identifié par le système. Enfin, un verre de protection peut être placé devant la surface étant donné que la détection des objets est traitée par un seuil de luminosité qui définit la sensibilité du contact. L’inconvénient de cette configuration tient au fait qu’il est difficile d’obtenir une illumination homogène de la totalité de la surface, d’autant plus s’il s’agit d’un écran de grande dimension. Dans de nombreux cas d’utilisation, en fonction de la sensibilité de la caméra et de nombreux facteurs liés au traitement d’image, les contacts sont parfois détectés avant même que l’utilisateur ait touché physiquement l’écran, ce qui peut créer des points parasites ou aberrants et perturber la reconnaissance par le système.

Figure 43 - Configuration d'un système DI. Reproduction. In [SCHÖNING, 2008].

La configuration de type DI peut prendre deux formes différentes : l’illumination arrière, vue précédemment mais aussi l’illumination avant. Cette configuration ne nécessite pas obligatoirement le recours à des illuminateurs infrarouges. La lumière ambiante, issue du soleil ou de lumières halogènes par exemple, émet suffisamment de lumière infrarouge pour permettre au système de fonctionner. Pour la détection, le principe est alors inversé, la caméra ne détecte pas les points de

Illumination de surface diffuse (DSI)

Cette méthode utilise une surface en polycarbonate spéciale afin de diffuser la lumière infrarouge. La configuration s’inspire de celle utilisant le principe d’illumination par réflexion totale frustrée, sauf que dans ce cas précis, la lumière infrarouge traverse le matériau en rencontrant sur son chemin des milliers de petites particules agissant chacune comme un petit miroir. Lorsque l’on éclaire la tranche de la surface, la lumière infrarouge est redirigée et diffusée sur l’ensemble de la surface en polycarbonate. En remplaçant la lumière infrarouge par de la lumière visible, nous verrions la surface s’illuminer comme si elle était auto-luminescente. L’effet est alors semblable à la configuration DI, la lumière diffusée par la surface éclaire les objets situés à proximité et permet à la caméra de les repérer.

Figure 44 - Configuration d'un système DSI. Reproduction. In [SCHÖNING, 2008].

Plan de lumière laser infrarouge

Dans ce type de dispositifs, un plan de lumière infrarouge (Laser Light Plane ou LLP) est émis quelques millimètres devant la surface. Ce plan de lumière est généré par des modules laser de faible intensité munis d’une lentille génératrice de ligne. Selon les configurations, ce plan de lumière laser peut varier de 1 à plusieurs millimètres. Lorsqu’un doigt est posé sur la surface, il va traverser le plan de lumière et une partie de la pulpe du doigt est alors éclairé

par une vive lumière infrarouge. La détection et le traitement d’image est semblable aux dispositifs de type DI, les points de lumière infrarouges étant identifiés par le système de captation.

Selon la taille de l’écran et la puissance des lasers, il peut être nécessaire d’utiliser plusieurs sources lumineuses. La plupart des dispositifs utilisant cette méthode sont équipés de deux à quatre lasers, situés aux angles de l’écran. Les tests que nous avons effectués sur cette technique nous ont également montré l’intérêt d’utiliser plusieurs lasers afin d’éviter les problèmes d’occlusion qui pourraient survenir, c’est-à-dire qu’un doigt puisse en cacher un autre, empêchant ainsi la lumière infrarouge d’illuminer la totalité des doigts posés sur la surface.

Figure 45 - Configuration d'un système LLP. Reproduction. In [SCHÖNING, 2008].