Le modèle DIAP et ses dimensions

Pour construire notre modèle, nous avons cherché à cerner les spécificités invariables aux objets connectés et aux applications existantes dans les domaines de la médecine et de l’agriculture où le développement de l’IdO est le plus visible.

A posteriori, nous pouvons rapprocher ce travail de l’opération de variation eidétique propre à la phénoménologie et théorisée par Husserl. La variation eidétique est ce qui permet de « dégager progressivement l’essence, par retranchements successifs, de ses traits ou carac- tères liés essentiellement à l’objet donné dans l’expérience, pour tout dire non nécessaires » (Depraz & Husserl, 2012, p. 32). Il s’agit de faire varier les caractéristiques d’un objet pour en cerner l’essence. Dans notre cas, nous nous sommes demandé : à quelles spécificités essen- tielles peut-on réduire les objets connectés et les applications qu’ils soutiennent ? Également,

du point de vue de l’utilisateur, quels sont les invariants qui apparaissent lorsque les objets connectés sont introduits dans des activités (e.g. soins médicaux, gestion des parcelles) ?

Cette interrogation nous a conduits à construire le modèle DIAP synthétisant ces spé- cificités sous la forme de quatre dimensions : Données, Interfaces, Agents, Pervasivité (voir Figure 4.1).

IdO Données

Pervasivité

Interfaces Agents

Figure 4.1 – Modèle DIAP : Données, Interfaces, Agents, Pervasivité2 Dans les sections suivantes, nous décrivons les quatre dimensions en justifiant leur choix.

Données

Les Données forment la première dimension de l’IdO, car elles sont au cœur du fonctionne- ment des applications portées par l’IdO et les objets connectés. Plusieurs constats permettent d’appuyer cette proposition.

Tout d’abord, nous observons que les architectures de l’IdO, à l’exemple de celles présen- tées en section 3.2.1, sont organisées autour de la collecte de données et de leur valorisation dans des applications et services. Bien que cela ne soit pas explicite, chaque couche des architectures de l’IdO correspond à un nouveau traitement sur les données (voir Figure 4.2).

Capteurs Mise en réseau Services et applications

Production des données

Transmission et agrégation des données Analyse des données

Architecture de l'IdO selon l'IEEE P2413

Processus de traitement des données

Figure 4.2 – Architecture de l’IdO et traitement des données

2. La représentation du modèle DIAP proposée ici est une forme moins restrictive du diagramme de Venn appelée diagramme d’Euler pour laquelle deux ensembles peuvent ne pas avoir une intersection unique en commun. Par exemple, les dimensions Données et Pervasivité du modèle DIAP ne se recoupent jamais seules, mais uniquement lorsque les autres dimensions sont présentes. Cependant, cette représentation du modèle DIAP n’est pas fixée et doit faire l’objet d’approfondissements pour examiner ce qui se situe aux intersections entre chaque dimension. Source :https://www.cs.kent.ac.uk/events/conf/2004/euler/eulerdiagrams.html.

En effet, dans la majorité des architectures, la couche la plus basse est dédiée à la pro- duction des données, où les capteurs enregistrent des événements dans leur environnement. Les couches suivantes visent à transmettre les données, vers d’autres objets ou vers des pla- teformes situées dans le cloud, pour agréger, stocker et traiter les données. Enfin, les données sont traitées pour être valorisées dans un service ou une application. Par exemple, dans le cas d’un bracelet connecté, les capteurs récupèrent des données sur l’activité physique de l’utilisateur puis elles sont transmises vers un autre objet mobile personnel (e.g. smartphone, tablette) pour leur analyse et leur présentation à l’utilisateur.

Outre les architectures, nous constatons aussi que la finalité des applications existantes de l’IdO implique nécessairement une collecte de données. En effet, qu’il s’agisse de surveiller l’activité physique, d’automatiser la gestion de parcelles ou de prédire les risques de maladie, ces applications traitent les données collectées par des capteurs d’objets connectés. Ce constat est lié aux deux effets inhérents au développement des TIC : a) l’automatisation et b) la capacité d’information (informating capacity).

Selon Zuboff (1988), les TIC sont utilisées pour substituer à l’agentivité humaine des processus automatiques afin d’accélérer la réalisation de tâches. Dans un même temps, l’au- tomatisation produit et fonctionne grâce à des données qui renseignent sur des activités et des événements auparavant invisibles ou intangibles. Une application « recherche de contacts » (contact tracing3_{) utilisée dans le cadre de la pandémie de Covid-19 permet d’automatiser} l’identification de personnes infectées, mais elle fournit également des données sur les dépla- cements des utilisateurs. Les données produites par les capteurs des objets connectés rendent visibles des activités qui ont lieu dans l’environnement physique : les déplacements d’une per- sonne, l’évolution de l’état de santé d’un patient, le niveau de pollution dans une ville, etc. En visant l’automatisation d’activités liées à l’environnement, les objets connectés étendent la capacité d’information des TIC .

En section2.1.2, nous avons établi que la donnée désigne un fait ou une mesure. Plusieurs travaux ont proposé une distinction entre la donnée et le « capta » (Checkland & Holwell,

2002; Chippindale, 2000; Dodge & Kitchin, 2005). Les auteurs argumentent en faveur de l’utilisation du terme capta plutôt que donnée, car l’acceptation de cette dernière lui attribue un caractère objectif. Or, d’après les auteurs, les données ne sont ni objectives ni neutres, mais résultent d’une sélection qui comporte une part d’intention et de subjectivité. Ainsi, pour Dodge et Kitchin (2005) les capta sont des « unités de données qui ont été sélectionnées et récoltées à partir de la somme de toutes les données potentielles » (Dodge & Kitchin,

2005, p. 5)4_{. En d’autres termes, les capta représentent les données qui ont été finalement} sélectionnées parmi toutes celles qui pouvaient potentiellement être sélectionnées.

Nous reconnaissons que les données ne sont pas neutres et objectives parce qu’elles sont le résultat de choix liés à l’implémentation et à la conception des capteurs. Les données de l’IdO sont issues de capteurs qui génèrent des mesures, c’est-à-dire des grandeurs physiques (ou, plus simplement, des valeurs) liées à un référentiel permettant de les décrire. Par exemple, 3. « Mise en œuvre des moyens permettant de retrouver et de traiter, s’il y a lieu, les personnes qui ont eu des contacts étroits ou intimes avec une personne infectée par une maladie épidémique afin de freiner la progression de celle-ci » (Le grand dictionnaire terminologique,http://gdt.oqlf.gouv.qc.ca/ficheOqlf.aspx?Id_ Fiche=26552313).

4. « units of data that have been selected and harvested from the sum of all potential data » (version originale).

un capteur peut mesurer la température selon plusieurs référentiels, dont l’échelle Celsius et l’échelle Fahrenheit. Cependant, nous sommes en désaccord avec l’idée de « données poten- tielles », car ces deux termes sont contradictoires : si une donnée est un fait, comment peut-il être potentiel ? D’un côté, la donnée renvoie à quelque chose d’existant et de présent alors que la potentialité suppose que cette chose est seulement virtuelle.

En suivant le principe de simplicité, il nous semble plus pertinent de garder uniquement le terme de donnée tout en admettant dans sa définition l’existence d’une part de sélection. Les données de l’IdO sont donc des paramètres décrivant certains aspects de l’environnement et obtenus par des capteurs ayant été conçus avec une finalité particulière. Nous distinguons plusieurs types de paramètres :

— des paramètres environnementaux décrivant l’environnement et ses différents états. Il s’agit de données, par exemple, générées par les capteurs dont disposent la plupart des smartphones5 _{: accéléromètre, magnétomètre, thermomètre, gyromètre, hygromètre,} capteur de luminosité, de proximité, de pression, de geste infrarouge, d’impulsions car- diaques, scanner d’empreintes digitales, etc. ;

— des paramètres portant sur les états comportementaux et physiologiques de l’humain. Ces capteurs sont le plus souvent intégrés dans les objets connectés dédiés à la médecine, aux bien-être et aux activités sportives : nombre de calories dépensées, température de la peau, rythme cardiaque, poids, déplacements, etc.

Collectées par des capteurs, les données sont ensuite traitées pour alimenter les applica- tions et les services portés par les objets connectés.

Interfaces

Les interfaces humain-machine et les modes d’interaction des objets connectés constituent la seconde dimension de l’IdO. La multiplication d’objets connectés et la fusion des technolo- gies avec les objets qui nous entourent transforment le corps et l’environnement en interface (Doueihi, 2016). L’intégration des TIC dans les objets de l’environnement amène les concep- teurs à adapter les interfaces humain-machine en fonction de la forme, de l’utilité ou encore de l’utilisabilité de l’objet. Ce faisant, les modes d’interaction entre l’objet et l’utilisateur évo- luent vers des modalités plus naturelles pour l’utilisateur : les verbes « toucher », « bouger », « parler » et « regarder » succèdent aux verbes « taper », « pointer » et « cliquer ».

En 1980, Bolt, du MIT Architecture Group, présente l’interface Put That Here innovante pour l’époque permettant de manipuler des données spatiales par la voix et les gestes (Bolt,

1980). Plus tard, les interfaces graphiques (graphical user interface, gui) exploitant le pa- radigme WIMP (Windows, Icons, Menus and Pointing device) proposent de manipuler les données sous forme lexicale et iconique à l’aide de dispositifs de pointage (e.g. clavier, sou- ris). Cependant, van Dam (1997) argumente en faveur d’une nouvelle génération d’interfaces, post-WIMP, proposant des modes d’interactions plus naturels mobilisant tous les sens hu- mains. Les interfaces post-WIMP incluent la reconnaissance des gestes et des mouvements, le traitement du langage naturel et la reconnaissance vocale, les interfaces tactiles, ainsi que la

5. Sources :http://webstar-electro.com/actualite/comprendre-les-capteurs-de-smartphones-et-leur- utilite-21819.htm,https://sites.google.com/site/wikismartphone/generalites/les-capteurs. Consulté le 2 juin 2020.

réalité virtuelle et la réalité augmentée. L’objectif sous-jacent à ces interfaces naturelles est de rendre les interactions de l’utilisateur avec le système informatique transparentes et sans effort6_{. Cet aspect se rapproche de l’un des principes à l’origine de l’informatique ubiquitaire} (voir section3.1.2) : l’utilisation des systèmes informatiques ne doit plus être une activité à part entière, mais se fondre dans les activités quotidiennes.

Dans le cadre de notre modèle DIAP, la dimension Interfaces décrit les interfaces intégrées dans les objets connectés au sens donné à post-WIMP par van Dam (1997). Nous prenons en compte dans cette dimension les interfaces vocales, la réalité virtuelle et la réalité augmentée ainsi que les interfaces surfaciques (surface user interfaces (SUI)), tangibles (tangible user interfaces (TUI)) et ambiantes (ambiant user interfaces (AUI)). Avec les interfaces naturelles, notamment les SUI, TUI et AUI, les modes de saisi et de contrôle de l’information tendent à se confondre avec la représentation de l’information elle-même.

Les SUI sont des écrans ou des projections (horizontales, verticales ou sphériques) incor- porant un dispositif de commande dans le même support physique (e.g. écran tactile ; Krumm (2010)). L’intégration du moyen de contrôle de l’information avec sa représentation est parti- culièrement visible avec les TUI donnant une forme physique et concrète à des informations numériques (Ullmer, Ishii, & Jacob,2005). Une information, ou une opération numérique, est représentée sous la forme d’un objet physique et la manipulation de celui-ci par l’utilisateur affecte l’information. Les manières de contrôler et de saisir les informations numériques se rapprochent de leurs représentations (Ishii,2008) (voir Figure 4.3).

Information / Calcul Représentation non tangible Contrôle Représentation tangible Numérique Physique

Entrée / Sortie Sortie

Figure 4.3 – Interface utilisateur tangible. L’information est tangible, représentée par un objet palpable, et peut être complétée par une représentation intangible (e.g. ombre, projection vidéo). Adapté de Ishii (2008).

Les TUI ont évolué dans deux directions (Holmquist et al.,2019) : d’une part, l’utilisation de matériaux programmables et interactifs et d’autre part, le mélange avec la réalité virtuelle ou augmentée. Le jeu Osmo est un exemple de TUI utilisant des matériaux interactifs : à l’aide de pièces tangibles, les enfants peuvent manipuler des nombres, coder ou encore jouer au Tangram7_{. Flemisch et al. (2020) décrivent un dispositif intégrant une interface tangible} et la réalité virtuelle mis en place dans le cadre du projet de défense EnSUI. L’objectif du dispositif est d’étudier l’ergonomie des postes de conduite de véhicules militaires. Le dispositif est composé d’un casque de réalité virtuelle et d’objets tangibles de sorte que l’utilisateur peut toucher physiquement des objets (e.g. manettes de commande d’un véhicule) qu’il perçoit 6. Comme le rappel Norman (2010) dans son article Natural user interfaces are not natural, le terme « naturel » ne signifie pas pour autant que l’utilisateur est capable d’interagir naturellement avec l’objet comme il le ferait avec une personne. Les interfaces naturelles apportent de nouveaux modes d’interaction qui doivent s’accompagner d’une réflexion sur le respect de critères ergonomiques indispensables pour assurer leur utilisabilité.

dans un monde simulé (e.g. poste de conduite d’un véhicule).

Les interfaces ambiantes regroupent les interfaces ne sollicitant pas directement l’engage- ment et l’attention de l’utilisateur, elles peuvent être ignorées (Krumm,2010). L’information est présentée à la périphérie de l’attention de l’utilisateur, dans sa vision périphérique. Les LED des multiprises et des chargeurs d’appareils mobiles ou encore la fontaine DataFountain conçue par van Mensvoort sont des exemples de AUI8_.

Les interfaces humain-machine peuvent aussi s’appuyer sur l’apprentissage automatique pour améliorer les interfaces et comprendre l’humain (Marquis, Papini, & Prade, 2020). Les interactions humain-machine peuvent se faire par la parole (reconnaissance et synthèse vo- cale), par l’écrit (traitement du langage naturel), par les gestes et la posture (reconnaissance d’objets) ou encore par les émotions9_{. Les modèles de traitement du langage naturel élaboré} par apprentissage automatique permettent de créer des interfaces vocales et/ou conversation- nelles. L’utilisateur dialogue interagit avec le système oralement ou par écrit, à l’exemple des Dialogue-based tutoring system que nous avons présenté en section 2.3.2. Les modèles de vision artificielle sont également utilisés dans les interfaces humain-machine pour reconnaître les gestes de l’utilisateur (Negi, Pawar, & Lal, 2020). Dans un flux vidéo en temps réel, les mains de l’utilisateur sont isolées et les doigts sont identifiés puis leurs positions sont associées à des catégories de gestes (e.g. saluer, aller à gauche).

Agents

Les Agents (du latin agere, agir), la troisième dimension de notre modèle DIAP, repré- sentent les capacités de décisions et d’actions des objets connectés dans l’environnement. Comme nous l’avons vu précédemment, les données sont un élément central de l’IdO en ceci qu’elles forment le contenu à partir duquel fonctionnent les applications et les services basés sur des objets connectés. Cependant, si les capteurs constituent les « organes sensoriels » permettant d’obtenir les données, des « fonctions cognitives » sont nécessaires pour traiter et analyser les données (Li et al.,2020, Wu et al.,2014). Ainsi, les Agents répondent à l’enjeu de valorisation des grands volumes de données collectées par les objets connectés : qu’extraire et comment ? L’objectif est d’assurer une cohérence entre les données collectées par les capteurs et les décisions / actions des objets connectés.

Pour parvenir à cette cohérence, les objets connectés sont couplés à des systèmes d’intelli- gence artificielle. Ensemble, les objets connectés et les SIA forment un système intelligent, car l’on retrouve un module pour estimer l’état du monde, un module pour agir sur le monde et un module pour contrôler la réussite (LeCun,2016). Les technologies de l’IdO permettent la mise en données de l’environnement avec des réseaux de capteurs, l’échange de données pour coordonner les opérations entre objets et l’action concrète sur l’environnement avec des ac- tionneurs. Le couplage avec des SIA permet aux objets connectés, en plus de la coordination, 8. La hauteur des différents jets d’eau de la DataFountain reflète en temps réel les taux de change de trois monnaies (Yen, Euro et Dollar) et leurs relations entre elles. Source : https://www.koert.com/work/ datafountain/. Consulté le 18 février 2020.

9. La reconnaissance des émotions fait partie du champ plus large de l’informatique affective initiée par Picard (1995) et dont le but est d’identifier et de synthétiser les expressions faciales ainsi que les inflexions de voix. L’identification des émotions se base sur des algorithmes de vision artificielle, de traitement du langage naturel et sur les données physiologiques renvoyées par des capteurs. L’objectif est d’améliorer les interactions avec la machine en intégrant de l’empathie et en s’adaptant aux émotions de l’utilisateur.

d’adapter leurs actions en fonction des stimuli. Environnement Capteurs Actionneurs SIA Apprentissage artificiel Base de connaissances Objet connecté Mesures Décisions Actions 1 2 3 Données

Figure 4.4 – Couplage d’un objet connecté avec un système d’intelligence artifi-

cielle.

Le traitement des données collectées relève soit d’un algorithme classique (e.g. régulation d’un thermostat) soit d’un SIA (voir Figure 4.4). Dans ce second cas, les données 1 sont

les entrées d’un modèle prédictif élaboré par un algorithme d’apprentissage artificiel 2.

L’apprentissage artificiel synthétise sous la forme d’un modèle les régularités statistiques présentes dans les données (voir section 2.3.1). Le modèle ne reflète pas avec exactitude la complexité du réel, mais réalise un compromis entre une description abstraite du phénomène et la prise en compte de spécificités locales. Ainsi, si les modèles prédictifs sont par nature inexacts, ils permettent une première interprétation des données qui est exploitable pour la reconnaissance d’objets, la traduction ou la synthèse vocale. Des connaissances peuvent aussi être représentées formellement avec les technologies du web sémantique (e.g. triplets sujet, prédicat, objet, ontologies) pour interpréter les données entrantes.

Les modèles prédictifs et les connaissances formalisées constituent les éléments à partir desquelles les données collectées sont traduites en actions simulant un comportement intel- ligent dans l’environnement 3 (Qin et al., 2016). De cette façon, les modèles élaborés par

apprentissage sont un moyen pour saisir le contexte afin d’adapter les actions. En outre, le couplage des objets connectés avec des modèles de vision artificielle et de traitement du lan- gage naturel permet d’augmenter les objets connectés avec de nouvelles fonctions. Ainsi, un objet connecté peut intégrer des fonctions basées sur la reconnaissance d’objets ou de visages, sur la reconnaissance de voix, pour traduire des textes ou encore dialoguer avec l’utilisateur. Il est à noter que l’étape de traitement et d’analyse des données a lieu à différents endroits selon l’architecture de l’écosystème d’IdO déployé (voir la section 3.2.1 sur l’organisation fonctionnelle de l’IdO). En effet, après captation, les données peuvent être transmises et centralisées dans une plateforme située dans le cloud. Ou bien, selon un modèle de edge computing, tout ou une partie des données sont traitées à la périphérie du réseau, c’est-à-dire au plus proche du capteur (les données sont, par exemple, traitées directement par l’objet connecté intégrant le capteur).

Selon nous, l’une des problématiques posées par le couplage objet connecté / SIA réside dans l’encapsulation des connaissances et des modèles prédictifs10_{. Ces derniers ne sont pas} directement accessibles à l’utilisateur ; il perçoit seulement le résultat de leur application. Pour l’utilisateur, l’interprétation des données apparaît uniquement sous la forme d’instructions 10. L’encapsulation est un terme emprunté à la programmation informatique où elle désigne un principe visant à masquer les données brutes afin de les protéger. Suivant ce principe d’encapsulation, les données et les fonctions d’un programme sont regroupées pour former un ensemble opaque (black box), dont on ne peut pas connaître le fonctionnement interne, mais avec lequel il est possible d’interagir à travers son interface.

ou d’actions, selon les fonctionnalités de l’objet connecté. Cela peut être une alerte médicale, des prédictions sur les rendements agricoles ou des directives pour adapter le trafic routier d’une ville compte tenu du taux de pollution.

Il nous semble que l’encapsulation des connaissances accentue le rôle de « prothèses cog- nitives » des OC qui accompagnent et épaulent les individus à chaque instant (Derian,2018) (voir la section 3.3.2 pour plus de détails). Parce qu’ils manipulent des connaissances, les OC permettent d’externaliser des tâches cognitives ce qui se traduit par une perte au niveau des connaissances pour les usagers. Cependant, nous pensons que les connaissances encapsu- lées dans les objets connectés peuvent servir pour l’apprentissage humain en apportant des informations sur l’environnement.

Pervasivité

La Pervasivité, quatrième dimension de notre modèle DIAP, correspond à l’un des effets