J’ai construit un dispositif d’enregistrement adapté au temps long, qui soit capable de capturer un flux vidéo continu, la température au sein du dispositif et contrôler l’allumage du système d’éclairage. Le système est capable d’intégrer d’autres capteurs et actionneurs et présente les informations en temps réel sur une page web.
La solution que j’ai développée consiste à utiliser un micro-ordinateur Raspberry Pi disposant d’un module caméra. (micro-ordinateur). Son faible coût (~40 €) permet d’envisager des expériences à nombre de répliques adaptés à la variabilité inhérente à la myrmécologie. Un système similaire pour l’étude du sommeil drosophiles a d’ailleurs été développé en même temps que le mien par Geissmann et al. (2017).
Caméra
Figure 2-20 Ensemble des éléments nécessaires à la prise de vidéo. Une Raspberry Pi zero (à droite) peut être utilisée avec un module caméra (à gauche). Une fois le système installé sur la carte micro SD la communication avec la Raspberry peut se faire par Wi-Fi.
La caméra est celle d’une Raspberry Pi : pour des informations détaillées sur le matériel, voir la section 6.1 Présentation des principaux outils expérimentaux. Cette caméra est capable d’enregistrer en 1080p, et ne coûte qu’une vingtaine d’euros. J’utilise ici le modèle NoIR, qui est muni d’un capteur sans filtre infrarouge, contrairement aux capteurs standards. De ce fait, il est possible d’obtenir une image même dans le noir si la scène est éclairée par de la lumière proche infrarouge.
L’enregistrement est géré par un script Python, qui détermine la durée de chaque film, le nombre d’images par seconde et les réglages de balance des blancs. Je l’ai configuré pour produire des films d’une heure, de manière continue pendant trois mois. Ce script est géré par une page web configurée par le logiciel Node-Red.
Chapitre 2 - Environnements pour l’étude à long terme et outils d’analyse
Enregistrement de la température
Figure 2-21 Enregistrement de la température. En haut à gauche photographie du capteur de température MCP9808 – il se branche directement sur une Raspberry Pi comme indiqué sur le schéma de droite. En bas la courbe de la température de fin mai à début juillet 2017.
La température est enregistrée toutes les 10 secondes à l’aide d’un capteur branché sur la Raspberry Pi. La carte utilisée est une MCP9808 produite par Adafruit52, elle a une résolution de 0,06 °C pour une précision de 0,25 °C environ. La communication entre la carte et la Raspberry Pi se fait en branchant 4 câbles, suivant le protocole I2C.
Suivi de l’expérience
Afin de faciliter le suivi, j’ai développé une interface web qui indique l’état d’avancement de l’enregistrement, le flux vidéo en train d’être capturé et la température sur la journée.
Figure 2-22 Capture d'écran de l'interface de suivi en direct. Une page web donne accès à la vidéo en temps réel ainsi qu’à la mesure de la température. (Double clic sur l’image pour lancer la vidéo)
Stockage
Dans le cas d’un enregistrement vidéo continu, le stockage se pose rapidement comme goulot d’étranglement. Néanmoins, l’utilisation de méthodes de compression vidéo permet de résoudre ce problème. En effet, la Raspberry Pi intègre un module de compression vidéo en format h264 (mp4). Cela permet d’enregistrer des vidéos d’une heure, à 5 images secondes et pour une résolution 1648x1232 pixels sur moins de 200 MB. On peut ainsi enregistrer 4 mois d’activité sur un disque d’un To.
Outils d’analyse vidéo
Il n’est pas envisageable de regarder les vidéos des activités, même en accéléré, lorsque les enregistrements s’étalent sur plusieurs mois. De ce constat émerge la nécessité d’outils d’analyse permettant de condenser l’information. J’ai conçu des outils qui à partir des films calculent la présence des individus ou le mouvement. Ensuite, ces informations sont moyennées sur des temps plus ou moins long en cartes de densité. Des vidéos sont produites à partir de ces cartes. Par exemple, une vidéo où chaque image correspond à dix minutes d’activité, jouée à 6 images seconde offre donc une accélération x3600 (une seconde de film correspond à une heure d’activité). Ainsi on peut visionner un mois en 12 minutes.
Principe général
Les outils sont conçus en Python. Ils prennent en entrée un film ainsi que divers paramètres, en sortie une vidéo est produite. La vidéo doit être décodée par le programme image par image, afin de calculer les moments de présence ou d’activité. Les images produites sont alors agrégées les unes aux autres en fonction du taux d’accélération désiré, puis insérées dans une nouvelle vidéo. Pour les manipulations vidéo j'ai utilisé une librairie Python très complète nommée imageio53 capable de décoder et d’encoder tout format de vidéo.
Chapitre 2 - Environnements pour l’étude à long terme et outils d’analyse
Présence des individus
Figure 2-23 Analyse d’image par calcul de la présence de fourmis dans le dispositif. En haut l’image extraite de la vidéo utilisée. Au milieu, carte de densité de la présence de fourmis dans le dispositif sur un intervalle de 20 heures. En bas la même carte en échelle logarithmique. Les points les plus lumineux (jaune) correspondent aux zones de forte présence. Les taches hors de l'environement correspondent au defauts d'analyse induit par cette méthode.
À partir de chaque image est extraite une image ne comportant que les points où se trouvent des fourmis. Ces images sont moyennées sur un intervalle de temps déterminé. Ces images sont alors enregistrées dans la vidéo finale sous forme de carte de densité de présence en code couleur : le jaune correspond à une présence forte, le rouge à une présence plus faible, et le noir à une absence de présence.
Le mécanisme de détection des individus a lieu en trois étapes. Premièrement, l’image de fond, sans les fourmis, est estimée en prenant le maximum de chaque pixel pour un sous-ensemble d’images. Les fourmis étant noires, la valeur des pixels en leur position est faible, si entre deux images la fourmi est présente sur seulement l’une des deux en un point, on choisira pour ce point la valeur maximale, donc sans la fourmi.
Figure 2-24 Principe de calcul du fond. Une série d’images prises dans la vidéo que l’on veut traiter sont extraites (à gauche), on prend le maximum d’intensité pour chaque pixel sur cette série, le résultat (à droite) correspond à l’image de fond, sans les fourmis qui ont bougé au moins une fois pendant l’heure de vidéo.
La seconde étape consiste à soustraire à chaque image le fond, il ne reste alors que les fourmis sur l’image résultante. Afin de supprimer les différences de faible valeur dues au bruit sur l’image, on applique un seuil qui supprime les pixels de faible intensité (peu de différence entre l’image de fond et l’image où l’on extrait la position).
Chapitre 2 - Environnements pour l’étude à long terme et outils d’analyse
Figure 2-25 Illustration du principe de détection de la présence. À l’image pour laquelle on désire récupérer l’information de présence d’individus, on calcule la différence avec le fond. À cette différence on applique une condition de seuil afin de supprimer le bruit.
Figure 2-26 Évolution de la densité de présence moyenne sur les 60 premiers jours. Cette mesure est particulièrement efficace pour étudier les changements au temps longs dans l’espace de nidification, où la densité d’individus est élevée (à droite des images).
Ce procédé est classique et utilisé par la plupart des outils d’analyse de vidéo (Bustamante et Amarillo-Suárez, 2016; Yamanaka et Takeuchi, 2018), néanmoins il nécessite des conditions d’éclairage stables, j’ai donc préféré une méthode basée sur le calcul du mouvement, bien plus
robuste dans des conditions changeantes. J’en ai fait une version adaptée au traitement de nombreuses vidéos sur des échelles de temps plus longues, qui nécessite peu de ressources mémoires.
Mouvement
Figure 2-27 Illustration du principe de la méthode d’analyse. La différence entre les images successives est calculée et permet de mesurer l’activité à chaque instant.
Le processus est assez similaire au précédent, mais ne nécessite pas un calcul du fond. Chaque image est comparée à l’image précédente et l’on ne retient que les pixels ayant changé de valeur, puis on applique un seuil pour éviter les erreurs dues à l’encodage vidéo.
De même que précédemment on agrège ces images en moyenne sur un temps qui dépendra de l’accélération désirée. Il est alors possible de sauver ces images sous forme de carte de densité en code couleur. J’ai aussi développé une méthode qui consiste à ajouter en transparence sur le film original une « trace » plus ou moins translucide en fonction de l’activité.
Chapitre 2 - Environnements pour l’étude à long terme et outils d’analyse
Figure 2-28 Carte de densités de l’activité durant le 9e jour. En haut la carte de densité ou les zones de plus forte intensité correspondent aux plus grandes densités d’activité. En bas la
même carte en échelle logarithmique (les zones de densités nulles apparaissent en blanc).
Cette méthode est bien plus efficace et robuste que celle présentée précédemment. De plus, elle requiert un moindre coût de calcul informatique. La présentation en échelle logarithmique, qui met en exergue les valeurs faibles, ne révèle pas de défauts d’analyse comme c’était le cas précédemment (Figure 2-23). Une fois les vidéos de densité de mouvements enregistrées, on peut extraire des courbes de l’activité totale ou de l’activité dans certaines zones, sans avoir à effectuer à nouveau les calculs.
J’ai pu tester et améliorer ces outils en enregistrant l’activité d’une colonie dans un environnement modulaire pendant plus d’un an. La comparaison de différents outils techniques m’a permis de sélectionner les plus adaptés à un usage futur et les constructions abouties ont été mises en ligne sur le site de partage GitHub afin de pouvoir bénéficier au plus grand nombre. Ces outils pourront être utilisés au laboratoire pour suivre des colonies sur des temps longs, dans des géométries différentes et avec des modifications contrôlées de l’environnement. La suite de mon travail a consisté à produire et utiliser des systèmes permettant de changer localement la température afin de déterminer comment les fourmis répondent à ces changements. J’ai ensuite évalué les possibilités de contrôle du comportement grâce à un système biohybride où la température est changée en fonction de l’activité des fourmis. Les résultats de ces expériences sont prometteurs vis-à-vis de l’intérêt de réaliser des expériences similaires avec une colonie complète et sur le long terme.
Chapitre 3 - La température comme moyen de modification du comportement — stimuler et mesurer la réponse
3 La
température comme moyen de
modification
du
comportement
—
stimuler et mesurer la réponse
L’adaptation aux changements des conditions environnementales est vitale pour les êtres vivants dont l’habitat naturel est soumis à des modifications, journalières ou saisonnières. Par leur présence sur une vaste partie du globe, des régions arctiques aux déserts, les fourmis sont un objet d’étude particulièrement riche des méthodes d’adaptations à des conditions variées. Le système biohybride ordinateur/fourmis que j’ai développé pendant cette thèse réalise l’interaction entre machine et vivant par le biais d’une modification contrôlée des conditions environnementales. Parmi les différentes conditions auxquelles sont sensibles les fourmis, j’ai sélectionné la température. Cette étude a permis d’évaluer les possibilités et limites de l’utilisation de la température pour l’interaction avec des fourmis. Focalisé sur les réactions des individus à des changements de température, ce travail éclaire les spécificités de l’étude des comportements individuels, à partir desquelles on cherche à mieux comprendre les mécanismes d’émergence de comportements collectifs.