Matching de 2 frames :Tracking avec jetons

MOUVEMENT

Objectifs (idéalement):

• Présenter les concepts de base, l’importance et les

problèmes liés au suivi de trajectoires ou de déformation

• Connaître les techniques de tracking par mise en

correspondances de jetons et notamment le filtrage de

Kalman avec prise en compte des incertitudes en détection

• Connaître les techniques de déformation par contour actif particulièrement adaptées pour le suivi de formes

• Savoir implémenter des méthodes de tracking ( 2 ou 3 algorithmes)

• Explorer les techniques adaptées au suivi de tracking multi-cibles comme le filtrage particulaire

Techniques de Matching par jetons

(ou mise en correspondance éparse, mec)

Il s’agit d’estimer le champ de déplacement en certains points correspondant à des primitives éparses seulement.

Le résultat est un champ de déplacement épars.

On illustrera deux cas :

1. L’analyse frame-à-frame dans le cas de 2 frames

seulement, ce qui revient à trouver les disparités entre deux frames consécutives.

2. Le tracking (ou suivi) du déplacement d’une primitive à travers une séquence d’images plus longue, et qui peut améliorer la robustesse du matching frame-à-frame.

Remarque : Une partie ce qui suit est tirée de la thèse de Auguste Genovesio traitant du tracking de spot fluorescents en imagerie médidale disponible en ligne et d'un chapitre en particulier qui propose un bon bilan des méthodes de tracking ponctuel ou de forme (les références se trouvent dans le document et la thèse est disponible sur le site web du cours. Auguste Genovesio travaille actuellement à l'Institut Curie)

Techniques de Matching par auto-corrélation

Comment mesurer la similarité entre un patch « Target T » et des sous-patches d'une image I

Matching de 2 frames :Tracking avec jetons

Etant données deux frames capturées à différents instants et m points dans chaque image, le problème de mec revient à mapper un point d’une frame à un point de l’autre frame de sorte que deux points ne se mappent pas en un même point.

Rq: Le problème en stéréo est évidemment simplifié puisque les correspondants possibles se trouve le long de la droite épipolaire.

Rq: On voit le lien avec le flot optique

Dans le cas d’objets se déplaçant et de frames prises à intervalle quelconque, les matches possibles peuvent se trouver quasiment n’importe où dans la frame suivante,

contrairement à la stéréo où les frames sont séparées dans l’espace et non dans le temps.

Le problème de mec est ainsi extrêmement combinatoire et lourd à traiter de façon brutale. Pour 2 frames et 5 points dans chaque frame, le nombre de mappings possible est 5!=120.

Par ailleurs, même si on peut éventuellement construire ces 120 mappings, comment choisir le meilleur ?

Pour réduire la complexité du problème, on utilise des contraintes physiques ou heuristiques.

Smoothness

Rigidity

⇑

Differential Approaches

(See M. Shah book)

La difficulté est de traduire ces heuristiques qualitatives en expressions quantitatives afin de définir des fonctions de coûts. (Techniques d’optimisation de type Programmation Dynamique utilisées en Reconnaissance de Formes

structurelles).

Le problème revient alors à déterminer le mapping optimal en fonction de ces fonctions de coût.

L’énumération de toutes les configurations possibles n’est en général pas possible. Il s’agit donc de trouver un bon

algorithme d’approximation pour obtenir une solution sub- optimale très proche de la solution optimale.

Tracking avec jetons :

S. T. Barnard and W. B.

Thompson, "Disparity analysis in images," IEEE Trans. Pattern Anal. Machine Intell., vol.

PAMI-2, pp. 333- 340, 1980.

Il s’agit d’un algorithme itératif pour calculer le flot optique pour m jetons.

Ils utilisent une mesure de confiance P_ij qui code la

probabilité d’un jeton i du frame f¹ à être associée au jeton j du frame f² : P_ij = P( (i,1)↔(j,2) )

P

= 1 c + w

Les probabilités initiales P_ij⁰ sont calculées en utilisant des différences de niveaux de gris dans des petites fenêtres autour des jetons se correspondant :

w

= ∑

dy=−w dy=w

dx=−w

∑

dx=w

( ^f

^{( x}

^{+ dx , y}

^{+ dy ) − f}

^{( x}

^{+ dx , y}

^{+ dy )} )

avec

A chaque itération, on calcule :

P

= P ̃

∑

P ̃

Avec :

P ̃

= P

( ^{A + Bq}

)

et

q

= ∑

k

∑

l

P

Avec k voisin de i et l voisin de j, tels que :

∥( x

, y

)−( x

, y

)∥≤ D

et

∥ V

−V

∥≤ V

où V_ij est le “flot optique” du jeton i s’il est matché avec le jeton j dans l’autre frame

Algorithme ITER_TOKEN

INPUT : Une séquence temporelle de n images f₁, … f_n avec le même nombre de primitives ou jetons à apparier dans chaque frame.

Pour chaque paire de frames consécutives, et pour chaque paire de jetons i et j d’une frame à l’autre, calculer jusqu’à stabilisation

OUTPUT : le flot optique épars ou la correspondance de mouvement associé à l’ensemble des jetons de frame en frame.

P_ij⁰=1

c+w_ij P_ijⁿ= P̃ _ijⁿ

∑

P̃ _ikⁿ

avec P̃ _ijⁿ=P _ijⁿ⁻¹

(

)

et

q_ijⁿ⁻¹=

∑

k

∑

l

P_klⁿ⁻¹

Illustration de la méthode de Barnard et Thompson avec A=.3, B=3 et V_max = 2, et D_max=4

Matching multi-frames : Tracking avec jetons :

Algorithme non-itératif déterministe (voir le livre en ligne de M. Shah sur site web du cours)

Il s’agit de suivre des jetons dans plusieurs frames successives et d’utiliser un mapping initial entre les deux premières frames pour

propager cette information et adapter le mappings suivants en fonction de cette information a priori.

Détecteurs de Harris

?

Soit une séquence de n frames f¹, f², …, fⁿ.

On suppose que les m jetons d’intérêt (détecteur de Harris pour les jonctions par exemple) ont été détectés.

Ainsi, chaque frame fⁱ est réduit à un ensemble de m points.

X_i^j est le vecteur de coordonnées 2D du i^ème points dans la j^ème frame.

Le but est de trouver une correspondance bi-univoque Φ^k entre les points de la frame k et ceux de la frame k+1.

f^k X_i^k f^k+1

X_j^k

X

k+1

X

k+1

Il n’est pas irréaliste de supposer que dans l’espace et sur des intervalles de temps petits, les objets se déplacent sur de petites distances. Et que leur mouvement correspondant est régulier ou uniforme : contrainte (a).

La régularité du mouvement implique un changement minime de la vélocité du point. C’est à dire quele point ne peut changer sa direction et sa vitesse de déplacement simultanément : contrainte (b).

Ainsi, les points vont suivre un certain chemin dit “proximal

uniform path”. La découverte de ce chemin régulier optimal va

utiliser la fonction de coût (“proximal uniformity function”) δ définie dans ce qui suit.

Soit les matrices des Changements Relatifs de la frame k-1 à k+1 C_r^k∈Μ_mxm et des Déplacements Relatifs de la frame k à la frame k+1 D_r^k ∈Μ_mxm.

On placera en ligne les points de la frame de départ et en colonne les points de la frame d’arrivée.

C^k D^k

Points de la couche k Points de la couche k

Points de la couche k+1

C

[ i , j ]=∥ X

Φ^−(k−1)(i)

k−1

X

− X

X

∥ et

D

[ i , j ]=∥ X

X

∥

f^k f^k+1

X

X

f^k-1

X

k−1

Soit les matrices de Changement C et Déplacement D Absolus

Mapping initial

C r k [ i , j ]= C ^k [ i , j ]

∑ u ∑

v

C ^k [ u ,v ]

et

D rk [ i , j ]= D ^k [ i , j ]

∑ u ∑

v

D ^k [ u ,v ]

Soit

M

[ i , j ]=C

rk

[ i , j ]+ D

rk

[ i , j ]

Soit M∈Μ_mxm la matrice résultante :

Cette matrice code la fonction de cout δ pour une association (i,k) avec (j,k+1) sachant l’association optimale précédente ( Φ^-(k-1)(i) , k-1 ) avec (i,k) :

M

[ i , j ]= δ ( X

Φ^−(k−1)(i )

k−1

, X

, X

)

En estimant quantitativement les critères de régularisation suivants :

•La vitesse ne change pas beaucoup entre deux frames successives;

•La direction ne change pas beaucoup entre deux frames successives;

•Le déplacement d’un point entre deux frames successives tend à être petit;

Trajectoire lisse et uniforme :

Controle des Changements du vecteur vélocité

Proximal Match

Dans cette formulation, on suppose qu’un premier mapping Φ¹ entre la frame 1 et la frame 2 est disponible. On peut

utiliser l’algorithme à jeton itératif précédent, par exemple.

Ensuite l’algorithme va prolonger la trajectoire de frame en frame en utilisant ces contraintes de régularités initiales.

Le mapping Φ^k est déterminé en fonction des mappings

précédents de sorte à minimiser la fonction de coût globale sur toute la trajectoire :

C = ∑

k

δ ( X ^k _p ^{− 1} , X _q ^k , X _r ^{k +1} )

Algorithme GREEDY_TOKEN

•INPUT :

•Une séquence temporelle de n images f1, f2, …, fn. 

•Un ensemble de m jetons dans chaque frame. 

•Une correspondance initiale entre les m jetons de la frame 1 et les m jetons de la frame 2 donnée par  l’algorithme ITER_TOKEN par exemple.

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•OUTPUT :  les trajectoires de la séquence d’images

• Quand le nombre de jetons varie, on peut adapter ce cadre algorithmique à la programmation dynamique (cf. reconnaissance de la parole et de

l'écrit manuscrit) http://www-i6.informatik.rwth-aachen.de/~dreuw/tracking.html

• Ces techniques séparent complètement le processus de segmentation/détection des primitives de leur suivi.

Bilan sur les Techniques de mec de type matching de jetons

Algorithme DYN_PROG

INPUT : Une séquence temporelle de T images X₁, X₂, …, X_T.

Etape 1 : Pour chaque pixel p(x,y) de chaque frame X_t de la séquence :

• Calculer un score local q(t,x,y)

• Calculer un score global Q(t,x,y) et une table de pointeurs arrières B(t,x,y)

Etape 2 : A partir de la dernière frame X_T :

•Sélectionner un centre de tracking c_T=argmax_x,yQ(T,x,y)

•Sélectionner par retour jusqu'à la frame X₁: c_t-1=B(t,c_t)

OUTPUT : le meilleur chemin pour le jeton sélectionné à partir de la dernière frame

Qt , x , y=qt , x , y max

x ' , y '∈Mx , y

Qt−1,x ' , y '−Tx ' , y ' , x , y

Bt , x , y= argmax

x ' , y '∈Mx , y

Qt−1,x ' , y'−Tx ' , y ' , x , y Tx , x ' , y , y '=a∗d²x , x ';y , y '

Algorithme DYN_PROG

INPUT : Une séquence temporelle de T images X₁, X₂, …, X_T.

Etape 1 : Pour chaque pixel p(x,y) de chaque frame X_t de la séquence :

• Calculer un score local q(t,x,y)

• Calculer un score global Q(t,x,y) et une table de pointeurs arrières B(t,x,y)

Etape 2 : A partir de la dernière frame X_T :

•Sélectionner un centre de tracking c_T=argmax_x,yQ(T,x,y)

•Sélectionner par retour jusqu'à la frame X₁: c_t-1=B(t,c_t)

OUTPUT : le meilleur chemin pour le jeton sélectionné à partir de la dernière frame

Qt , x , y=qt , x , y max

x ' , y '∈Mx , y

Qt−1,x ' , y '−Tx ' , y ' , x , y

Bt , x , y= argmax

x ' , y '∈Mx , y

Qt−1,x ' , y'−Tx ' , y ' , x , y Tx , x ' , y , y '=a∗d²x , x ';y , y '

Motion Information Score Function ou EigenFaces and Skin Color Functions

(voir article Tracking using dynamic Programming for appearance-based Sign Language Recognition)

Pour tracker plusieurs objets identiques, il suffit de remonter le chemin correspondant aux multiples hypothèses en prenant des précautions quand les chemins (hypothèses) se croisent

Très intéressant quand on tracke des objets en présence

d'occlusions, de gaps, ou pour le tracking off-line, de fond non statique, de plusieurs objets cibles en controlant le tracking par la taille IxJ du rectangle de tracking, la zone des prédécesseurs M et la pénalité de saut T.

Des stratégies sont à imaginer pour le temps réel^.

Matching multi-frames : Tracking :

(voir vidéo Walk1.mpeg)

Définition :

Il s’agit de mettre en correspondance des primitives sur une séquence d’images longue en associant des incertitudes...

Lecture : lisez la thèse de Auguste Genovesio (genovesioThesis.pdf)

Il s’agit comme précédemment d’utiliser le travail de mise en correspondance passé pour prédire la mise en correspondance à venir dans l’hypothèse de trajectoires continues.

Pour cela, il existe une cadre théorique bien établi venant des techniques d’optimisation ; le filtre de Kalman.

Dans nos problématiques de vision, un filtre de Kalman est mis en place sous la forme d’un algorithme récursif qui estime la position et l’incertitude d’un point caractéristique mobile dans la frame suivante à partir des frames précédentes.

En d’autres termes, on cherche la primitive dans cette frame et la taille de la région autour de la primitive prédite pour être sûre de trouver la dite primitive avec une certaine confiance.

Cadre de modélisation bayésienne

Math

Voir document kalma.HMM.ps

L’estimée résultat est optimal au sens statistique : sur un grand nombre d’expériences, le filtre de Kalman, s’il est bien conçu, serait meilleur, en

moyenne, que les estimées résultats de tout autre filtre de prédiction sous l’hypothèse d’un système linéaire et de bruit blanc gaussien.

Si le bruit est non gaussien, le filtre de Kalman est encore le meilleur filtre linéaire non biaisé.

[P.S. Maybeck, Stochastic Models, Estimation, and Control, Vol I. Academic Press, New York, 1979]

• Un système physique.

• Distinction entre paramètres:

–qui modélisent le système;

–que l’on peut mesurer.

• Estimer les premiers à partir des seconds.

Principe

o_i

Prise en compte des incertitudes

• Les mesures sont imprécises/incertaines

• Le modèle est simpliste donc ….

• Dans ce formalisme statistique, on fait

une estimation s

de l’état courant s

à partir des observations o

.

• On veut savoir la fiabilité d’une estimation s

de l’état courant s

.

ce que le filtre de Kalman permet.

•On a accès à:

• bruit blanc additif et:

• Evolution du modèle:

• n

bruit blanc additif et :

η

o ̂

=o

+ η

R

= E [ η

. η

]

Q

= E [ n

. n

]

s _{i + 1} = h _i ( s _i )+ n _i

Les notes de Joella le mois i

Etat de concentration du professeur pour le mois i

Etat de connaissance de Joella le mois i+1

Etat de concentration de Joella pour le mois i

Formalisation: mesure et vecteur d’états

•Filtrage de Kalman: processus itératif d’estimation du vecteur

•Estimation à l’instant i:

• traduit la confiance que l’on a en l’estimation

• Si on connaît , statistiquement parlant la meilleure estimation possible de est:

s

̂ s

associée à P

= E [( ̂ s

− s

)( ̂ s

− s

)

]

̂ s

P

̂ s

̂ s

= h

( ̂ s

)

Formalisation: mesure et vecteur d’états

• du Lien entre les observations et le vecteur d’état:

•Cas linéaire:

f

( o

, s

)= 0

f

: ℜ

×ℜ

→ ℜ

o ̂ _i = F _i . s _i + η _i

Formalisation: les équations de mesures,ou de

quoi dispose-t-on en pratique ?

• et on a bien:

z_i=M_i.s_i+w_i avec

z_i=− f _i(o_i , ̂s_i/i−1)+∂ f _i

∂s_i (o_i ,̂s_i/i−1).ŝ_i/i−1 M_i=∂ f _i

∂ s_i (o_i ,̂s_i/i−1) w_i=∂ f _i

∂o_i (o_i ,̂s_i/i−1).( ̂o_i−o_i)=∂ f _i

∂o_i (o_i ,̂s_i/i−1).η_i

Formalisation: les équations de mesures

• Dans le cas non-linéaire, on s’y ramène: développement de Taylor à l’ordre 1 de

f

f _i( ̂o_i , s_i)= f _i(o_i,ŝ_i/i−1)+∂ f _i

∂ x_i .( ̂o_i−x_i)+∂ f _i

∂s_i .(s_i−̂s_i/i−1)+. . .

3 étapes, propagation des incertitudes.

•Initialisation:

•Prédiction (grâce au modèle système) :

•Calcul du gain de Kalman:

•Mise à jour (grâce aux mesures) :

Un pas du filtre.

̂s_i= ̂s_i/i−1+K_i.(z_i−M _i.̂s_i/i−1) P_i = ( I−K_i. M _i). P_i/i−1

( ̂s₀, P₀)

̂s_i/i−1= h_i( ̂s_i−1) P_i/i−1= ∂h_i

∂s_i ( ̂s_i−1).P_i−1.∂h_i

∂s_i ( ̂s_i−1)^t+Q_i−1

K_i= P_i/i−1. M_i^t .(M_i. P_i/i−1. M_i^t+W

it)⁻¹

L’algorithme

L’algorithme : interprétation

•Compromis entre la contribution de la prédiction et de la mesure:

•On peut réécrire:

•Grande incertitude sur le vecteur d’état donc « grande », « grand » donc innovation favorisée.

•Grande incertitude sur la mesure donc « grande » ,

« petit » , donc prédiction favorisée.

K

W

K

K

= P

. M

it

. W

i−1

P

ˆ ) . (

ˆ .

ˆ

= s

+ K

z

− M

s

s

prédiction innovation

Formalisons dans ce cadre le problème du tracking.

Une nouvelle frame de la séquence d’image est acquise et traitée à chaque instant t_k=t₀+k où k est un entier naturel.

k est suffisament petit pour considérer que le mouvement est linéaire d’une frame à l’autre.

On considère seulement un point primitive, p_k=[x_k,y_k]^T, dans la frame acquise à l’instant t_k, se déplaçant avec la vélocité v_k=[v_x,k,v_y,k]^T.

On décrit le mouvement dans le plan image avec un vecteur d’état s_k=[x_k,y_k,v _x,k,v _y,k]^T.

En supposant un intervalle d’échantillonnage suffisamment petit (et donc une vélocité de la primitive constante entre 2 frames), le modèle

système s’écrit dans le cadre du filtre de Kalman :

p

= p

+ v

+ ξ

v

= v

+ ζ

où ξ

et ζ

sont des bruits blancs gaussiens modélisant le bruit du système .

Le modèle du système : ou prédiction du vecteur d’état

En terme de vecteurs d’état x_k cela s’écrit :

s_k=H_k−1s_k−1+n_k−1

avec H_k−1=

[

]

^[

^]

En terme de mesures, on suppose qu’un extracteur rapide de primitive est disponible et estime z_k, la position du point primitive p_k pour chaque frame de la séquence. Ainsi le modèle de mesure du filtre de Kalman devient :

z

= [ ^{1 0 0 0} 0 1 0 0 ] [ ^{p v}

] ^{+ w}

^{= Ms}

^{+ w}

avec w

bruit blanc Gaussien centré modélisant le bruit de mesure

Le modèle de mesures

Remarque : dans le cas linéaire : R_k=W_k, M_k=F_k et z_k=

Hypothèses et Positions du problème

Sous les hypothèses du filtre linéaire de Kalman, et étant données les observations bruitées z_k, calculer la meilleure estimée de la position de la primitive et de sa vélocité à l’instant t_k ainsi que leurs incertitudes associées.

o ̂

Algorithme KALMAN_TRAKING

INPUT : L’entrée est formée, à chaque instant t_k, des deux matrices de covariance des bruits du système et de mesure à l’instant t_k-1, Q_k-1 et W_k-1 respectivement, plus les deux matrices invariantes temporellement d’état d’une part, H, et de mesure, M, d’autre part, ainsi enfin que des mesures de position à l’instant t_k, z_k. Les entrées de P₀ sont fixées à de très fortes valeurs arbitraires.

OUTPUT : les estimations optimales des position et vélocité à l’instant t_k, ,et leurs incertitudes données par les éléments diagonaux de P_k.

̂ s

= H

̂ s

P

= H

P

H

k−1T

+ Q

K

= P

M

kT

( M

P

M

kT

+ W

)

̂ s

= ̂ s

+ K

( z

− M

H

̂ s

)

P

=( I − K

) P

( I − K

)

+ K

W

K

kT

̂ s

Prédiction modèle

Gain

MAJ de la prédiction modèle par le biais des

mesures

Le filtre quantifie l’incertitude sur l’estimée de l’état, sous la forme des éléments diagonaux de la matrice de covariance d’état P_k

Cette information permet au détecteur de primitives de dimensionner automatiquement la région de recherche de la primitive dans la frame suivante.

Cette région de recherche est centrée sur la meilleure position estimée et sa largeur est proportionnelle à l’incertitude.

Dans un filtre correctement conçu, la valeur de cette incertitude décroit

rapidement avec le temps et la région de recherche se rétrécit d’autant avec le temps.

Dans l’exemple présenté, la taille des croix indique la zone d’incertitude dans laquelle rechercher la primitive dans la frame suivante.

Remarque : la matrice de covariance d’état ne dépend pas des mesures. Donc, si la dépendance temporelle de H_k, M_k, Qk et R_k est connue, Pk peut être calculée off-line et ensuite être approximée par une fonction en escalier. Cette propriété peut être cruciale pour les implémentations temps réel du filtre de Kalman.

Deux problèmes se posent pour l’implémentation de cet algorithme : Les données manquantes

Le filtrage de Kalman repose sur la connaissance suivante :

– Le modèle du système et la matrice de covariance du bruit correspondant Q_k

– Le modèle de mesures et la matrice de covariance du bruit correspondant R_k

– L’état initial du système (temps t₀), , et la matrice de covariance d’état, P₀

Cependant, nombre de données parmi ces dernières sont inconnues.

Toutefois, en général, elles sont modélisables de façon simples linéairement. Il faut juste prendre garde à faire en sorte que Q et R soient comparables pour que la prédiction ou l’innovation ne l’emporte pas de façon injustifiée sur l’autre.

L’association des données (Data Association)

En présence de plusieurs primitives cibles images et de multiples mesures, quelle mesure observée doit être associée avec quelle primitive cible ?

Le cas de cibles en désordre et interférant est particulièrement traité dans la thèse de Auguste Genovesio. Un cadre générique mais coûteux en temps de calcul : le filtrage particulaire.

̂ s

Incertitude de Kalman.

C’est la région de l’espace d’état qui contient le véritable état avec une probabilité donnée.

Exemple : soit le vecteur d’état 2D e_k=[x₁,x₂]^T. Le filtre de Kalman calcule l’estimé d’état optimal, ê_k, comme le maximum de la densité de probabilité conditionnelle de e_k étant donnée la

mesure z_k. Cette fonction de densité est supposée Gaussienne, si bien que son maximum coïncide avec sa moyenne.

Conséquences pratiques :

•La région du plan centrée sur ê_k qui contient le véritable état avec une probabilité c² est l’ellipse :

•Les axes de cette ellipse sont :

•La variable (e-ê_k)(P_k)^-1(e-ê_k)^T a une distribution du Chi-2 Utilisation pratique, pour le tracking :

•A t _k-1, la prédiction d’état du filtre à t_k est ê _k/k-1= H _k-1 ê _k-1 avec la matrice de covariance P _k/k-1. On diagonalise P _k/k-1 pour obtenir ses vecteurs propres, considère les composantes du vecteur d’état

donnant la position [x₁,x₂]^T de la primitive, et on construit une ellipse d’incertitude (centrée en ê _k/k-1 avec une probabilité désirée de (1-a)), et on cherche la primitive dans la frame k seulement dans l’ellipse.

Une fois que votre détecteur de primitive a mesuré la position de la primitive à t_k, on calcule ê_k et P_k, ce qui vous permet de construire l’ellipse d’incertitude contenant la véritable primitive à t_k avec le niveau de probabilité choisi.

(e− ̂e_k)(P_k)⁻¹(e− ̂e_k)^T≤c²

±c√^λiei,i=1,2, à partir des éléments propres de P_k

Suivi de la trajectoire d’une particule dans le plan

• Le système: mouvement à accélération constante

• Equation de mesures:

• Incertitude: Meyer a montré que

s_i ¿ [x_i x˙_i x¨_i y_i y˙_i ¨y_i ]^t s_i+1 ¿

[

]

z_i=[x_i y_i ]^t z_i=

[

0 0 0 1 0 0

]

Q_i=

[

]

Bilan sur la Technique de tracking de Kalman

C.elegans developing embryo (3D)

Waterston Lab -The George Washington University. Washington DC (USA) Microscope: Zeiss LSM 510 Meta

Objective lens: Plan-Apochromat 63X/1.4 (oil) Pixel size (microns): 0.09 x 0.09 x 1.0

Time step (min): 1 or 1.5

From ISBI cell-tracking challenge:

http://www.codesolorzano.com/celltrackingchallenge/Cell_Tracking_Challenge/Datasets.html

Sea urchin embryogenesis

Nicolas Minc Lab -Institut Jacques Monod – Université Paris Diderot (France), SPC

https://www.youtube.com/watch?v=vLXGDLDoQmc

Suivi de primitives multi-frames :

Encore appelé algorithme CONDENSATION ou filtre bootstrap Permet de manipuler numériquement des modèles joints.

Repose sur un principe de ré-échantillonnage qui correspond à la sélection dans les algorithmes évolutionnaires (GA).

Selon nous, c'est un type d'algorithme qui s'inspire des algorithmes de type ISODATA (voir K-Means clustering) avec une philosophie

algorithme évolutionnaire et un formalisme probabiliste/stochastique bayésien et markovien.

Il traite le cas intéressant suivant : les cibles disparaissent, apparaissent, fusionnent, fissionnent dans un cadre unique mais coûteux.

t

Voici comment apparaît l'algorithme dans la littérature : autant dire assez difficile d'approche au premier abord.

Nous en donnons une version simplifiée mais assez proche de la philosophie, et au final de la façon de l'implémenter après les simplification nécessaires à un modèle trop coûteux en général.

Tiré de Conditional Filters for Image Sequence Based

Tracking - Application to Point Tracking. Elise Arnaud et al. Trans. on Image Processing

(fichier Ip05Arnaud.pdf).

Egalement dans KalmanParticle.pdf une bonne explication du lien/différence entre Kalman et Particle Filtering

Algorithme PARTICLE FILTERING

INPUT : Une séquence temporelle de n images I₀, … I_n Etape 1 : Intitialisation

1.1. On lance le détecteur de cible sur image I₀. On obtient K mesures Z₀ 1.2. On calcule le flot optique entre I₀ et I₁

1.3 pour chaque cible détectée ou choisie, on peut créer un vecteur d'état S₀

S₀= (x y dx dy)^T

1.4 Tirage de particules initiales. Soit N le nombre de particules choisi (ex. 50).

Pour chacune des K détections initiales, on considère que :

S₀⁽ⁱ⁾ ∼ Ν (S, (x^k y^k dx^k dy^k)^T, Σ), loi normale avec par ex.

On en tire N/K pour chaque détection par un processus MCMC (Monte Carlo Markov Chain)

1.5 Affectation des poids initiaux

w₀⁽ⁱ⁾=1/N

xy dxdy

∑

0.5 0 0 0

0 0.5 0 0

0 0 0.5 0

0 0 0 0.2

Etape 2 : Boucle de filtrage / suivi de l'image 1 à n (pour t=0 à n-1) 2.1. Prédiction des particules par tirage MCMC :

S'_t+1⁽ⁱ⁾ ∼ Ν (S, HS_t(i), Q)

2.2. Detection :des cibles dans I_t et obtention du vecteur de mesures Z_t

2.3 Data Association : d'une observation à une particule : peut-être l'étape la plus délicate à mettre en place concrètement.

2.4 Mise à jour des poids par tirage MCMC :

w_t+1⁽ⁱ⁾=p(z_k⁽ⁱ⁾ | s'_t⁽ⁱ⁾) ∼ Ν (z, Hs'_t⁽ⁱ⁾, R)

1.5 Sélection des particules par poids et redistribution

On ne garde qu'une certaine proportion des particules de meilleurs poids et on redistribue par tirage de loi uniforme selon la probabilité associée au poids des particules pour en avoir N.

OUTPUT : les trajectoires complexes de cibles.

Algorithme PARTICLE FILTERING

Principe du tirage aléatoire pour une probabilité de tirage p : par ex. Affecter à x une valeur a avec une proabilité p sinon affecter une autre valeur b

0 z=drand48() 1

Si z <p, x=a sinon x=b

Utilisation de ce principe pour le tirage d'une loi normale ou gaussienne type Ν (x, mu, sigma)

Tirage selon une loi gaussienne

Lecture : Pour plus de détail sur le filtrage particulaire lire le tutoriel de Nicolas Paul : particlePaul.pdf

Voir 2D_sampling.nb.pdf pour le tirage d'une

gaussienne 2D

Suivi de contours multi-frames :

Il s’agit de suivre un contour d'objet légèrement mouvant sur une séquence d’images longue.

Lecture : lisez la thèse de Alexandre Dufour (dufourThesis.pdf)

D'abord une méthode de segmentation en image fixe

Suivi de contours multi-frames :

Il s’agit de suivre plusieurs contours d'objets dont le nombre varie et légèrement mouvant sur une séquence d’images longue.

• Travaille dans le cadre des equations aux dérivées partielles (EDP)

• D'abord une méthode de segmentation en image fixe qui s'étend naturellement aux séquences vidéo par son approche optimisation itérative

Du modèle continu à l’implémentation discrète: Active Contours (a) Snake model : inf_CJ₁(C) (explicit active contour)

(b) Level Set Method model (implicit geometric active contour)

Du modèle continu à l’implémentation discrète:

The level set model with region: Inf_c1,c2,C F(c₁,c₂,C)

Du modèle continu à l’implémentation discrète:

The level set model: discretization by finite elements

λ₁=1 λ₂=50 ε=1

∆t=10

- Conclusion : pour le tracking de spots fluorescents dans des images biologiques par exemple, voir la thèse de Auguste Genovesio et le logiciel Icy @ http://ccy.bioimageanalysis.org de l'Institut Pasteur

• “Performance of Optical Flow Techniques”, J. Barron et al., IJCV, vol. 12, pp. 43-77, 1994

• “Determining Optical Flow”, Horn et Schunck, AI, vol.17, pp. 185- 203, 1981

• “Use of Optimal Estimation Theory, in Particular the Kalman Filtering, in Data Analysis and Signal Processing”, W. Cooper,

Review of Scientific Instrumentation, vol. 57, pp. 2862-2869, 1986

• “Three-dimensional computer vision : A geometric Viewpoint”, O.D. Faugeras, MIT Press, Cambridge (MA), 1993

• “Introductory techniques for 3D computer vision”, E. Trucco et Alessandro Verri, Prentice Hall, 1998

Bibliographie

Le temps manquant, je n’ai pas parlé de :

• Détection de changement dans des séquences vidéos (différences d’images sophistiquées) - de plans dans des films et de façon sous-jacente des problématiques de codage vidéo

• Du tracking de référence de points de Harris : l'algorithme de Kanade Lucas et Tomassi (KLD)

disponible dans beaucoup de bibliothèques tels que openCV en C++ par exemple

L'algorithme de Lucas-Kanade

C'est une version de l'algorithme CONST-FLOW.

Deux améliorations notables:

- raffinement itératif de type descente de gradient Newton - gestion des mouvements plus amples par une approche multi-échelle

On réduit la résolution

* From Khurram Hassan-Shafique CAP5415 Computer Vision 2003

image I_t-1 image I

Gaussian pyramid of image I(t-1) Gaussian pyramid of image I(t) image I(t)

image I(t-1) u=10 pixels u=5 pixels u=2.5 pixels u=1.25 pixels

Coarse-to-fine optical flow

estimation

image I image J

Gaussian pyramid of image I(t-1) Gaussian pyramid of image I(t) image I(t)

image I(t-1)

Coarse-to-fine optical flow estimation

run iterative L-K

run iterative L-K

warp & upsample

.. .

Tracking results

With and without pyramide

Multi-resolution Lucas Kanade Algorithm

Compute Iterative LK at highest level For Each Level i

•Take flow u(i-1), v(i-1) from level i-1

•Upsample the flow to create u*(i), v*(i) matrices of twice resolution for level i.

•Multiply u*(i), v*(i) by 2

•Compute I_t from a block displaced by u*(i), v*(i)

•Apply LK to get u’(i), v’(i) (the correction in flow)

•Add corrections u’(i), v’(i) to obtain the flow u(i), v(i) at i^th level, i.e.,

u(i)=u*(i)+u’(i), v(i)=v*(i)+v’(i)