Ch. 3: Traitement des mesures

UPJV, Département EEA Master 2 EEAII

Parcours ViRob

Fabio MORBIDI

Laboratoire MIS

Équipe Perception Robotique E-mail: fabio.morbidi@u-picardie.fr Mercredi 10h00-12h30, Jeudi 14h00-17h00

Salle TP101

Plan du cours

Chapitre 1: Perception pour la robotique

Chapitre 2: Modélisation de l’incertitude

1. Introduction

3. Typologies de capteur 2. Classification des capteurs

1. Introduction

3. Incertitude d’un capteur 2. Représentation de l’erreur

4. Propagation d’incertitude

Chapitre 3: Traitement des mesures

1. Réseau multi-capteurs 2. Fusion des mesures

Partie I : Perception Avancée

Ch. 3: Traitement des mesures

  Réseau multi-capteurs

  Fusion des mesures Partie 2 Partie 1

Systèmes multi-capteurs biologiques

Fusion multi-capteurs

Homoncule sensitif: représentation déformée du corps humain basée sur une « carte » neurologique des zones et des proportions du cerveau dédiées aux fonctions sensorielles pour différentes parties du corps

Intégration de l'information sensorielle pour faire des inférences concernant l'environnement

Gouter

Voir

Sentir

Toucher Entendre

Surface de cortex du cerveau

Fusion multi-capteurs

Chouette effraie

Expériences de R.S. Payne dans les années 50

Information sur la rétine

Azimuth

Elevation

Fusion dans le tectum optique Ouïe

« Why Are Barn Owls a Model System for Sound Localization? », L. Hausmann, M. Singheiser, H. Wagner, Journal of Experimental Biology, vol. 213, pp. 2355–

2356, 2010

Systèmes multi-capteurs biologiques

Digital Infrared Ranging

Touch Switch

Pressure Switch Limit Switch

Magnetic Reed Switch Magnetic Sensor

Miniature Polaroid Sensor

Polaroid Sensor Board Piezo Ultrasonic Transducers Pyroelectric Detector

Thyristor

Gas Sensor

Gieger-Muller Radiation Sensor Piezo Bend Sensor

Resistive Bend Sensors Mechanical Tilt Sensors Pendulum Resistive

Tilt Sensors

CDS Cell Resistive Light Sensor

Hall Effect Magnetic Field

Sensors

IRDA Transceiver IR Amplifier Sensor

IR Modulator Radio Shack

Gyro Accelerometer

IR Reflection Sensor

IR Pin Diode

UV Detector Metal Detector

Capteurs pour la robotique ...

Fusion multi-capteurs

Références:

La fusion des informations provenant de différents capteurs permet:

•  D’augmenter la connaissance sur l’état du système en tirant profit de la complémentarité des capteurs

•  D’améliorer la précision des estimations en exploitant la

redondance des données. Cette redondance peut provenir de l’utilisation de plusieurs sources d’information et/ou de la connaissance de l’évolution du système dans le temps

•  De gérer l’incertitude lors de la combinaison d’informations qui seront utilisées dans un processus de décision

“Multi-sensor data fusion with MATLAB”, J.R. Raol, CRC press, 2009

“Handbook of Multisensor Data Fusion:

Theory and Practice”, M.E. Liggins II, D. Hall, J. Llinas (eds.), CRC press, 2017

Niveaux de représentation

La fusion se situe à différents niveaux :

•  Niveau signal

- Fusion d’images, nuages de points 3D, courants, etc.

•  Niveau primitive

- Extraction des features (ex. points, droites, circles)

•  Niveau décision

- Suivi de cible (“target tracking”)

Systèmes multi-capteurs: architecture

Pré- traitement

Choix du capteur

Y₁

Y₂

Yn

Z₁ Z₂

Zn

Décision Donnée fusionnée

Intégration Fusion Intégration

X₁

X₂

Xn Signal Capteur 1

Capteur 2

Capteur

Règles de combinaison

(par ex. la théorie des evidences de

Dempster- Shafer)

•  Les mesures de capteurs sont pré-traitées

•  Les données sont ensuite traitées (par ex. avec la théorie des évidences ou avec des grilles probabilistes)

•  Les résultats sont classés et sélectionnés avant une décision sur les informations de fusion optimale soit prise

... ... ... ...

n

n

Alternatives aux méthodes probabilistes

• Arithmétique d’intervalles (“interval calculus”)

•  Logique floue (“fuzzy logic”)

•  Théorie des evidences (“evidential reasoning”, ER):

méthodes de Dempster–Shafer

Règles pour la fusion de données multi-capteurs:

•  Règle de Bayes

•  Grilles probabilistes

•  Filtre de Kalman (pour la décentralisation: filtre d’information)

•  Méthodes de Monte Carlo séquentielles Limitations des techniques probabilistes:

1.  Complexité 2.  Incohérence

3. Precision des modèles

4. Incertitude sur l’incertitude

Systèmes multi-capteurs: taxonomie

Architectures pour la fusion multi-capteurs.

Classification selon quatre axes indépendants:

1. Centralisée vs. décentralisée

2. Interaction locale vs. globale des composantes 3. Modulaire vs. monolithique

4. Hétérarchique vs. hiérarchique

•  Centralisée, interaction locale et hiérarchique

•  Decentralisée, interaction globale et hétérarchique

•  Decentralisée, interaction locale et hiérarchique

•  Decentralisée, interaction locale et hétérarchique Les combinaisons les plus répandues sont:

Systèmes multi-capteurs: taxonomie

Architecture Centralisée

•  Les sorties d’un capteur peuvent guider les traitements d’un autre capteur

•  Architecture adaptée pour les capteurs complémentaires (par exemple, système caméra visible et caméra infrarouge ou système camera et laser)

•  Les mesures doivent être référencées dans le même repère (spatiale ou temporelle)

Centre de

fusion Decision

Mesures

Mesures

Mesures Capteur 1

Capteur 2

Capteur n ...

Architectures des systèmes multi-capteurs

Fusion multi-capteurs centralisée: exemple

Fusion laser et caméra

(a)

(b) (c)

(b) Le laser détecte des objets en mouvement et calcule leur position et leur vitesse; (c) Au même temps, les objets sont classés par

système de vision comme véhicules; (a) Après la phase de fusion, le système sait que il est en train faire le tracking de deux véhicules

Architecture Décentralisée (ou Distribuée)

•  Chaque capteur a ses propres modules de pré-traitement et décision sans échange avec les autres capteurs

•  Un centre de fusion établit les décisions finales (« globales »)

Centre de fusion

Décision globale

Mesures Mesures Mesures Capteur 1

Capteur 2 Capteur

Extraction de

features

Décision Locale

Décision Locale Décision Locale

...

n ...

Architectures des systèmes multi-capteurs

Fusion multi-capteurs décentralisée:

Applications biométriques

Reconn. de l'iris

Reconn. faciale

Empreinte digitale

Fusion multi-capteurs décentralisée:

Réseau autonome ANSER II

•  Deux robots aériens avec caméras et capteurs IR

•  Deux robots terrestres avec systèmes de vision et radars embarqués

•  Bases de données géométriques et hyperspectrales

•  Informations fournies par des opérateurs humains

“Springer Handbook of Robotics”, O.Khatib, B. Siciliano (éds), “Multisensor Data Fusion”, H. Durrant-Whyte, T.C. Henderson, Ch. 25, pp. 585-610, 2008

Composants du système ANSER II:

Chaque plate-forme maintient une banque de filtres bayésiens non gaussiens décentralisés pour les features observées et transmet cette information aux autres plate-formes

Configuration du système ANSER II

Robot aérien Robot terrestre Opérateur humain

Features découvertes par le système de vision au sol

Processus de perception Plate-formes

Vue d’ensemble obtenue en

fusionnant toutes les informations

Processus de fusion séquentielle

Deux amers: Les observation visuelles angulaires des amers sont

Fusion multi-capteurs et robotique mobile

La fusion multi-capteurs permet l’estimation d’un vecteur d’état qui est:

Les points 1) et 2) sont les objectifs des techniques SLAM (“Simultaneous Localization And Map building”)

1. La position d’un robot dans des applications de Localisation

2. La position des amers de l’environnement dans le cas de la Cartographie

3. La position des autres mobiles dans le cas du suivi de cibles (“target tracking”)

Fusion multi-capteurs et robotique mobile

La fusion multi-capteurs permet l’estimation d’un vecteur d’état qui est:

Les points 1) et 2) sont les objectifs des techniques SLAM (“Simultaneous Localization And Map building”)

1. La position d’un robot dans des applications de Localisation

2. La position des amers de l’environnement dans le cas de la Cartographie

3. La position des autres mobiles dans le cas du suivi de cibles (“target tracking”)

Fusion de capteurs en robotique mobile (localisation): exemple

•  Soit un robot équipé de deux capteurs de distance (A et B) ayant des bruits de mesure: et (variances) σ_A² σ_B²

Robot

Capteurs

z

z

Fusion de capteurs en robotique mobile (localisation): exemple

•  On considère les deux mesures et zA zB

σ_A² σ_B²

x

z

z

x₃ x₄

•  Quel est le meilleur estimé de la position du robot par rapport au mur, en tenant compte des incertitudes de mesure et ?

Fusion de capteurs en robotique mobile (localisation): moyenne pondérée

Objectif: Combiner avec une moyenne pondérée les deux mesures (évidences) obtenues

•  On voudrait donner plus d’importance à la mesure ayant une variance plus petite

•  Moyenne pondérée basée sur l’inverse des variances Nos hypothèses:

x = 10 m

•  La vraie distance du mur est

•  Les deux capteurs sont identiques:

•  Modèle du capteur:

•  Simple modèle linéaire

•  Bruit sans biais

•  Portée du capteur illimitée

(μ_i = 0)

σ_A² = σ_B²

zi = x + r, r ∼ N(0, σ_i²), i ∈ {A, B}

Fusion de capteurs en robotique mobile (localisation): moyenne pondérée

Capteur A Moyenne Capteur B

z = z_A + z_B 2

σ_A = 1 σ_B = 1

σ_z² = Var

z_A + z_B

2

= Var

1

2z_A

+ Var

1

2z_B

= 1

4Var[zA] + 1

4Var[zB] = 1

4(σ_A² + σ_B² ) = 1 2

Rappel que si :

Var[aX] = a² Var[X]

a ∈ R

σ_z = 1/√ 2

= 0.7071

23

zB = 10 + r zA = 10 + r

Fusion de capteurs en robotique mobile (localisation): moyenne pondérée

z = z_A + z_B 2

Capteur A Capteur B

Capteurs non-identiques: σ_A² > σ_B²

Moyenne σ_A = 1

σz = σB =

C’est pire !

En général, on peut considérer la combinaison convexe des mesures:

z = (1 − w) z_A + w z_B, w ∈ [0, 1]

zB = 10 + r zA = 10 + r

σ_z = 0.56 > σ_B = 0.50

Fusion de capteurs en robotique mobile (localisation): moyenne pondérée

Objectif: déterminer le poids optimal. w ∈ [0, 1]

z = (1 − w) z_A + w z_B

Nous avons:

Si on calcule la variance de , on obtient:

Var[z] = Var[(1 − w) z_A + w z_B]

= (1 − w)² Var[z_A] + w² Var[z_B] + 2w(1 − w)Cov[z_A, zB]

= (1 − w)² σ_A² + w² σ_B²

= 0

Les deux mesures sont non corrélées

Pour minimiser , on cherche tel que: Var[z]

d

dw Var[z] = 0

z

w

Fusion de capteurs en robotique mobile (localisation): moyenne pondérée

Nous avons:

d

dw Var[z] = d

dw [(1 − w)² σ_A² + w² σ_B² ]

= −2(1 − w) σ_A² + 2 w σ_B²

= 0

En conclusion, si on résout l’équation précédente par rapport à , on trouve que le poids optimal minimisant la variance de est: z

w = σ_A² σ_A² + σ_B²

w

Exemple:

Var[z] ^{wopt =}

σ_A²

σ_A² + σ_B² = 1

1 + 0.5² = 0.8

Poids

σ_z = 0.45

σA = 1 σB = 0.5

z_B = 10 + r z_A = 10 + r

w = 0 w w = 1

wopt = 0.8

z = (1 − w)z_A + w zB

σz < σB !

Fusion de capteurs en robotique mobile (localisation): moyenne pondérée

De façon plus générale, soit

Si les v.a. sont indépendantes avec variance , alors:

z =

n

i=1

w_i z_i

où les poids satisfont les conditions suivantes (comb. convexe): w_i w_i ≥ 0,

n

i=1

w_i = 1

σ_i² z_i

Var[z] =

n

i=1

w_i²σ_i²

Pour déterminer les poids optimales, on doit minimiser Var[z]

Fusion de capteurs en robotique mobile (localisation): moyenne pondérée

... avec la contrainte sur les poids:

En introduisant un multiplicateur de Lagrange pour respecter cette contrainte, on trouve finalement que les poids optimaux sont:

n

i=1

wi = 1

wk = 1 σ_k²

_n

i=1

1 σ_i²

₋₁

, k ∈ {1, . . . , n}

Exemple: fusion des données d’un capteur fixe et d’un capteur monté sur un casque

Résultat: erreur maximum de translational réduite de 90%

“Fusion of data from head-mounted and fixed sensors”

W.A. Hoff, 1st Int. Workshop on Augmented Reality San Francisco, 1998

Ellipsoides d’incertitude

Capteur fixe

Capteur

Estimé combiné de

la pose