4.5 Recalage à partir des indices invariants
4.8.5 Supervision de station de micromanipulation
Nous allons mettre en application la construction de la mosaïque et l’incrustation d’imageurs statiques dans le but de superviser une scène de micromanipulation. La scène représente la surface d’une piste d’un circuit électronique d’une montre. La mosaïque est réalisée à partir d’un ensemble d’images composées de 6 × 6 images, de dimensions 768 × 576 pixels chacune avec une zone de recouvrement d’environ 50%. Le facteur d’échelle de la mosaïque finale est de 3 µm/pixel soit une image finale de 1865×977 pixels pour un champ de vision de 5, 8 mm × 4, 7 mm = 27, 26 mm2. La micromanipulation
consiste en la dépose de billes de polystyrène de diamètre de 250 µm par une aiguille. La zone de dépose est parfaitement connue, par conséquent un mini-microscope photonique (TIMM400c) est placé au-dessus de cette zone. Par corrélation on détermine la position d’incrustation dans la mosaïque. On utilise une méthode de fusion pour incruster en temps réel les vues locales dans la vue globale. Une des images de la séquence vidéo de la micromanipulation est représentée à la Figure 4.34.
La deuxième application, consiste à avoir deux sources d’images dans la mosaïque, un imageur statique et un imageur mobile. La scène de micromanipulation représente le mécanisme d’une montre. On considère cette scène comme une station de la micromanip- ulation. Le but est la surveillance des tâches d’assemblage des pignons de montre. Nous avons une vue statique qui doit surveiller la micromanipulation d’un axe de pignon sur une zone connue, par une micropince et une vue mobile qui doit suivre les déplacements d’une seconde micropince dans l’espace de travail. La mosaïque est composée de 4 × 4 images de taille de 640 × 480 pixels avec un recouvrement d’environ 50%, soit une image
Fig. 4.34 – Image de la séquence vidéo de l’incrustation d’une vue statique dans une mosaïque.
finale de 1315 × 986 pixels de facteur d’échelle 8, 495 µm/pixel, ce qui nous donne un champ de vision de 11, 17 mm × 8, 37 mm = 93, 5 mm2. L’initialisation du système de
vision consiste à placer tous les mini-microscopes photoniques (TIMM400c) au dessus des zones initiales des micropinces. Une première image pour chaque mini-microscope photonique est prise afin de localiser la position initiale d’incrustation dans la mosaïque, par corrélation. Pour la vue statique cette position est placée en mémoire et ne changera pas pendant toute la durée de la supervision. Par contre, pour la vue mobile, deux points de référence sont placés par l’utilisateur sur les extrémités des doigts de la micropince. Un algorithme de suivi de type Lucas-Kanade est utilisé pour déterminer le déplacement de la micropince pour le recadrage du mini-microscope au-dessus de la pince mais égale- ment pour mettre à jour la position d’incrustation dans la mosaïque. Pour illustrer nous représentons deux images de la séquence vidéo à deux instants différents à la Figure 4.35.
Fig. 4.35 – Deux images de la séquence vidéo de l’incrustation d’une vue statique et dynamique dans une mosaïque.
4.9
Conclusion
Le faible champ de vision d’un microscope photonique est une contrainte importante dans le contrôle et la supervision de tâche de micromanipulation et de micro-assemblage. En effet si le champ de vision est centré sur la micropince, cela est parfait pour la précision de la tâche de micromanipulation, mais par contre l’information globale est manquante. Où se trouve le magasin de microproduit par rapport à la pince ? Où est la cible du micro-assemblage dans l’espace de travail ? A l’inverse, si on utilise une source d’images avec un grand champ de vision on perd en résolution. La solution directe est de rajouter plusieurs sources d’images dans le système de vision afin d’avoir l’information globale et locale à la fois. Mais avoir des vues dispatchées et représentées dans plusieurs im- ages différentes pose un problème de référentiel. Nous proposons d’utiliser des méthodes permettant d’avoir à la fois toutes les vues dans un même référentiel qui comporte l’in- formation globale avec la résolution d’une vue locale. La vue globale est obtenue par une méthode de rendu d’images à partir d’images par construction de mosaïques (mosaic- ing). Nous avons proposé une méthode de construction à partir d’images à faible texture propre à la microscopie. Dans le domaine de la création de mosaïques par indices invari- ants nous avons utilisé nos nouveaux algorithmes présentés dans les chapitres précédents pour augmenter la robustesse de leur réalisation. Nous avons également présenté une nou- velle méthode de fusion adaptative et un nouveau algorithme de détourage automatique. Notre apport se trouve également dans le domaine des applications. Nous avons réalisé des mosaïques de scène par microscopie avec incrustation statique ou dynamique des zones de micro-assemblage en vue de la supervision de stations de micromanipulation. L’incrustation d’une vue locale dans la vue globale permet également en plus d’être dans un même référentiel, de limiter l’occultation des micropinces dans l’espace de travail. En effet seule l’extrémité, la partie utile de l’outil est incrustée dans la mosaïque, ce qui évite d’occulter l’espace de travail avec les parties non utiles des micropinces. Tout le travail de balayage et de création des mosaïques a été prototypé sous Matlab. Pour des raisons d’application et d’intégration, le système de supervision temps réel d’incrustation et le suivi des cibles on été implémentés dans notre logiciel MosaicingRTI (Mosaicing and Real-Time Inlaying), développé en C++ avec la bibliothèque de vision libre et ouvert OpenCV. Le logiciel utilise la carte du fond de la scène de l’espace de travail pré-établie par Matlab et incruste en temps réel avec une vitesse d’environ 10 Hz la vue locale dans la mosaïque, une capture d’écran est montrée à la Figure 4.36.
Chapitre
5
Synth`ese de Nouvelles Vues par Transfert
Trifocal
La dernière technique de synthèse de nouvelles vues que nous présenterons dans ce chapitre est le transfert trifocal. Cette méthode va nous permettre de construire un maximum de vues virtuelles de l’environnement avec un min- imum de microscopes photoniques. Nous montrerons comment elles peuvent remplacer une vue de côté réelle dans une application de micromanipulation.
5.1
Introduction
L
’encombrement des microscopes photoniques est un sérieux problème dans une station de micromanipulation. Pourtant il est très difficile de se séparer de cer- taines vues utiles dans le contrôle des micropinces. Par exemple une vue de dessus permet le positionnement d’une micropince dans le plan (x, y) et la vue de côté permet le contrôle sur l’axe z. Une amélioration des microscopes photoniques classiques est ap- parue récemment avec la stéréoscopie, mais celle-ci est encore peu exploitée. Nous allons utiliser cette nouvelle caractéristique des microscopes photoniques pour reconstruire les autres vues utiles dans le pilotage d’une station de micromanipulation. Au final, un seul système de microscopie vidéo sera utilisé, les autres vues, comme la vue de côté, seront reconstruites à partir des deux images stéréoscopiques de la vue de dessus. Ce choix va nous permettre de libérer l’espace de travail par le biais d’une minimisation du nom- bre d’imageurs nécessaire. La méthode qui nous a plu, tant par son aspect original que prometteur est le transfert trifocal. Néanmoins, il existe une limitation à la position de certaines nouvelles vues, car il est impossible de reconstruire de l’information à laquelle on a pas accès. Le transfert trifocal est en quelque sorte boudé dans la communauté au profit des reconstructions classiques 3D. En effet la puissance de calcul de nos or- dinateurs actuels fait que des méthodes de reconstruction très lourdes sont à la mode. Dans notre cas, où le contexte nous contraint à des calibrages difficiles et la nécessité, dans le futur, de disposer de systèmes temps-réel, le transfert trifocal nous a séduit.Il permet simplement sans passer par la construction d’un modèle 3D, de reconstruire une image à partir d’autres images. Bien évidemment cette technique très peu connue a donc suscité très peu de littérature. Les quelques références en notre possession sont très évasives sur les détails de la méthode en elle même. C’est pourquoi ce chapitre sera plus théorique que le précédent, car notre apport se trouve sur l’éclaircissement et la mise en application du transfert trifocal. Pour ne pas être noyé sous un ensemble de théories, nous allons illustrer ce chapitre par des exemples d’applications en présentant à chaque fois une partie du code pour mettre en pratique la méthode décrite dans chaque section. Les exemples utiliseront le même couple d’images tout au long de la partie théorique. Dans la section application à la micromanipulation, nous utiliserons d’autres images qui auront un rapport direct avec notre contexte. Pour l’instant nous utiliserons les images tests avec leurs mires de calibrage faible présentées à la Figure 5.1.
Durant ce chapitre nous présenterons également une nouvelle méthode automatique de positionnement de la vue de synthèse sans calibrage, ce qui nous permettra de l’ex- ploiter dans notre contexte de micromanipulation. Nous présenterons aussi de nouveaux algorithmes de rendu, l’un permettant le rendu dans le cas d’une vue positionnée sans calibrage et l’autre évitant l’utilisation du backward mapping pour optimiser la qualité du texturage sur le rendu d’une image complète. La preuve de son utilisation dans un système de microscopie photonique sera validée par l’asservissement en position d’une micropince par une vue de côté, qui sera purement virtuelle et reconstruite par les images stéréoscopiques de la vue de dessus.
Toutes les expressions de ce chapitre seront écrites sous la notation Einstein, voir le glossaire des notations avec l’expression aipi.