La section présente les deux collectes réalisées avec l’application R
ECORDM
E. La collecte
de scènes est la plus importante des deux. Elle suit le protocole présenté précédemment
pour enregistrer et annoter des données réelles. La seconde collecte est dédiée aux activités
physiques simples, postures et différentes positions du smartphone, qui n’ont pu être
anno-tées au cours de la première collecte.
3.4.1 La collecte de scènes
C’est la collecte principale effectuée avec l’application R
ECORDM
E. Six volontaires y ont
participé, sur une période de plusieurs mois au cours du printemps et de l’été 2014. La
plu-part des enregistrements ont été effectués dans la région de Grenoble ; quelques uns
pro-viennent d’autres régions de France et de l’étranger (notamment de Budapest, Dublin et
Singapour). La durée totale cumulée des enregistrements est de 575 heures, réparties en
82 enregistrements. Parmi ces heures de données, certaines sont marquées de l’étiquette
d’incertitude ; le total d’heures dont les annotations ont été validées se monte à 536 heures.
Dans la table 3.7, nous rapportons les durées cumulées et nombre d’instances suivant les
scènes visitées et les sources enregistrées. Pour les sources continues, la quantité est
expri-mée en heures tandis que pour les sources événementielles, elles est expriexpri-mée en nombre
d’événements enregistrés.
On remarque que l’accéléromètre et le magnétomètre sont les capteurs les plus présents.
La présence moindre du gyroscope et du baromètre s’explique par l’absence de ces capteurs
de certains téléphones (en particulier, ceux d’entrée de gamme). Le son est également moins
présent. Cela s’explique par les mesures de protection mises en place (telles que l’arrêt de
l’enregistrement du son en cas d’appel). Également, il est possible que certains utilisateurs
aient préféré couper l’enregistrement afin de se sentir plus tranquille.
Le nombre d’instances des sources événementielles est très hétérogène allant de
quelques unités ou centaines pour le Bluetooth ou l’indicateur de batterie, à plus de 20000
pour le journal des données. Les coordonnées géographiques du GPS et les identifiants des
bornes Wi-Fi peuvent être considérées comme des données régulières. Si l’on multiplie par
la fréquence théorique d’acquisition des coordonnées qui est d’1 Hz, on obtient une "durée"
de 519446 secondes, soit approximativement 144 heures d’acquisition.
Les différentes informations fournies par une source événementielle (comme par
exemple, l’état du Wi-Fi et les identifiants des bornes détectées et finalement connectées) ne
sont pas distinguées dans les valeurs de la table. Ainsi, ces valeurs représentent le nombre
total d’événements mesurés pour une source événementielle.
3.4.2 La collecte d’activités physiques et de positions du smartphone
Cette collecte complète la collecte de scènes précédente par l’enregistrement de
don-nées et l’annotation d’activités physiques simples et de postures, suivant différentes
posi-Scène Durée (h) Durée (%) Métro 0,4 0,1 Moto 0,8 0,1 Avion 2,1 0,4 Train 5,5 0,9 Tram 8,0 1,4 Bus 9,6 1,7 Commerce 14,0 2,4 Montagne 14,0 2,4 Bateau 14,8 2,6 Voiture 20,1 3,5 Bureau, pause 23,7 4,1 Restaurant, bar 29,4 5,1 Rue 37,1 6,4 Incertain 39,2 6,8 Bureau, réunion 54,3 9,4 Domicile 81,3 14,1 Bureau, travail 221,4 38,5 Total 575,6 100,0
Sources Régulières (heures)
Source Environnements Accéléromètre 391.9 Magnétomètre 391.9 Gyroscope 160.4 Luminosité 337.9 Proximité Baromètre 127.3 Son 253.1
Sources Événementielles (unités)
Écouteurs 168 Batterie 172 Écran 5704 Applications 3636 Journal d’appels 5005 Journal de sms 455
Journal des données 21554
Journal du Bluetooth 4
Journal du Wi-Fi 109556
Antennes relais 16914
Localisation GPS/Wi-Fi 519446
F
IGURE3.7: Représentation (à gauche) des durées cumulées des scènes enregistrées ; et (à
droite) des durées et instances des sources enregistrées
tions du smartphone (Blachon et coll. (2014a)). La collecte diffère également par le contrôle
plus important pendant les sessions d’enregistrement. Le corpus obtenu est exploité dans
une expérimentation décrite dans la section 6.2.1 du chapitre 6.
3.4.2.1 Description générale de la collecte
La collecte vise l’enregistrement des éléments suivants :
— activité physique simple : la marche, la montée et descente d’escaliers, la course et le
saut ;
— usages du téléphone : pas d’usage (téléphone posé), appeler, utiliser une application,
écrire et envoyer un sms et écouter de la musique ;
— postures immobiles : assis, debout et allongé ;
— position du smartphone : tenu à la main, gardé dans la poche et gardé dans le sac.
Pour cela, des scénarios ont été mis en place, supervisés par un expérimentateur au cours
de l’enregistrement qui guide le volontaire dans la séquence des actions à effectuer et reporte
les annotations. Le volontaire porte simultanément quatre téléphones, placés dans les
diffé-rentes positions (deux téléphones se situent dans le sac).
Un scénario se compose d’une séquence de postures et activités physiques à effectuer.
Pour chacune d’elles, la position des différents smartphones est spécifiée. L’usage du
télé-phone tenu dans la main est également mentionné. Au-delà de ces spécifications, le
volon-taire est libre dans la réalisation des activités et postures et dans le temps passé dans chacune
d’elles.
Un extrait d’un scénario est rapporté dans la table 3.5. Chaque téléphone est associé à un
numéro. La dernière colonne de la table indique la position des trois premiers téléphones.
Le quatrième téléphone est resté au fond du sac.
Activité ou posture Usage Positions smartphones Assis Posé n°1 main ; n°2 poche ; n°3 sac Assis Appel n°1 main ; n°2 poche ; n°3 sac Assis Non n°1 main ; n°2 poche ; n°3 sac Debout Non n°1 main ; n°2 poche ; n°3 sac Marche Non n°1 poche ; n°2 sac ; n°3 main Escaliers Non n°1 poche ; n°2 sac ; n°3 main
T
ABLE3.5: Extrait d’un scénario joué par l’un des volontaires
La synchronisation des annotations avec les indications temporelles des données,
elles-mêmes issues des différents smartphones, est possible grâce l’alignement d’un événement
extérieur capturé par les appareils. Il s’agit d’aligner les appareils sur une table après avoir
démarré l’application de collecte, puis d’asséner un coup sur la table au moyen de la main
ou d’un objet laissé tombé. La force engendrée crée une accélération suffisamment forte et
ponctuelle pour être détectée. Cet événement crée aussi un bruit fort et court, identifiable
pour synchroniser les données sonores. Le smartphone de l’expérimentateur employé pour
les annotations est également synchronisé de cette manière.
La synchronisation des données consiste à rechercher le pic d’énergie dans les signaux
d’accélération et de son et à considérer les indicateurs temporels associés comme origine du
temps.
Le reste du protocole est similaire à celui qui a été présenté dans la section 3.2.5 : le
volontaire est accueilli et informé des données collectées et traitements effectués ; le
post-traitement des données indexe les enregistrements dans la base et recherche les
dysfonc-tionnements éventuels pour détecter des discontinuités dans les signaux.
3.4.2.2 Les données
La collecte a mobilisé 19 volontaires, qui ont chacun effectué une session
d’enregistre-ment. La durée moyenne d’une session est de 13 minutes. Les quatre smartphones étaient
portés simultanément par les volontaires. La durée cumulée des enregistrements est de
988 minutes (soit environ 16 heures). Les sources enregistrées se limitent au journal du
fonc-tionnement du téléphone, à l’accéléromètre et au microphone.
Les quatre téléphones employés sont un Motorola Defy Mini, un MTT, un Samsung
Ga-laxy S2 and un Google Nexus 4. Les deux premiers représentent l’entrée de gamme tandis que
les deux derniers sont de meilleure qualité. Nous avons constaté de nombreuses
discontinui-tés dans les données issues du Motorola et du MTT, qui nous ont conduits à les retirer
com-plètement du corpus de données. Nous avons également remarqué un dysfonctionnement
dans l’enregistrement des trois premiers volontaires, et avons retiré les données de leurs
en-registrements en conséquence. Finalement, le corpus exploitable se résume à 16 volontaires
enregistrés par deux téléphones, et totalise 408 minutes cumulées de données
(approxima-tivement 7 heures). La table 3.6 présente les durées cumulées des postures et activités. Nous
rapportons également l’étape du téléphone posé sur la table, qui représente les passages
pendant lesquels le téléphone n’était pas porté par l’utilisateur.
Étiquette Durée (min) Durée (%)
Sauter 4,9 1,2 Courir 14,0 3,4 Escaliers 24,4 6,0 A ct. ph ys . Marcher 93,8 23,0 Allongé 36,0 8,8 Debout 69,9 17,1 P ost u res Assis 141,0 34,6 Téléphone posé 24,1 5,9 Total 408,1 100,0
T
ABLE3.6: Distribution des durées des activités enregistrées
Dans le document
Reconnaissance de scènes multimodale embarquée
(Page 82-85)