M´ethodes de s´eparation par ACI

G´en´eralement, les m´ethodes de s´eparation par ACI sont fond´ees sur la minimisation d’une fonction de contraste. La notion de fonction de contraste est introduite pour la premi`ere fois dans le domaine de la s´eparation de sources par Comon [Com94]. Il d´efinit une fonction de contraste de la mani`ere suivante : une fonctionF est dite fonction de contraste pour la matrice de vecteurs al´eatoires X si elle v´erifie les conditions suivantes :

1. F(P X) =F(X),∀P, matrice de permutation, 2. F(DX) =F(X),∀D, matrice diagonale,

3. si les composantes de X sont ind´ependantes alors :

• F(M X)≤F(X),∀M matrice inversible

• F(M X) =F(X)⇔M =DP.

En exploitant la richesse des mesures d’ind´ependance statistique des variables al´eatoires, plusieurs fonctions de contraste peuvent ˆetre d´eriv´ees ce qui conduit `a de nombreux crit`eres de s´eparation. Dans la suite, nous pr´esentons quelques crit`eres de s´eparation en montrant le lien entre eux (lorsqu’il y en a un).

ACI par minimisation de l’information mutuelle

L’information mutuelle ´equation (3.6), est une mesure de la d´ependance des variables al´eatoires issue de la th´eorie de l’information. Ce crit`ere est utilis´e comme fonction de contraste pour trouver les composantes ind´ependantes dans une matrice d’observations.

Lien avec la n´eguentropie

Une propri´et´e importante de l’information mutuelle est que, pour une transformation lin´eaire inversibles=W xon peut ´ecrire :

I(s₁, s₂, ..., s_n) =X

i

H(s_i)−H(x)−log|detW| (3.20) Sis_i sont d´ecorrel´ees et de variance unitaire, il est possible d’´ecrireE

ss^T =W E

xx^T W^T = I, impliquant :

detI = 1 = detW E

xx^T W^T

= (detW) detE

xx^T detW^T

(3.21) et ceci implique que detW = 1

pdet(Exx^T). La n´eguentropie d’une variablesest d´efinie par : J(s) =H(y_gauss)−H(s) (3.22) Dans [Hyv99a] il est montr´e que la minimisation de l’information mutuelle correspond `a la maximisation de la n´eguentropie. Une approximation de la n´eguentropie par des cumulants d’ordre sup´erieur est le crit`ere `a maximiser utilis´e par la premi`ere version de l’algorithme FastICA [Hyv99a]. Des versions ult´erieures de cet algorithme utilisent des estimateurs plus robustes de la n´equentropie. Pour plus d’information nous invitons le lecteur `a consulter les r´ef´erences [Hyv99a, HO00].

ACI par InfoMax

L’ACI par le principe InfoMax a ´et´e d´evelopp´ee par A. J. Bell et T.J. Sejnowski dans [BS95] ; cette m´ethode se base sur l’observation que la minimisation de l’information mutuelleI(u) entre

un vecteur u et ses composantes uniformes u₁, . . . , u_n est ´equivalente `a la maximisation de l’entropie deu, (l’entropie d’une variable uniforme ´etant nulle) :

I(u) =

n

X

i=1

H(u_i)−H(u) =−H(u) (3.23) En d’autres termes, le principe de l’ACI par InfoMax consiste `a trouver une matrice de s´eparation W de sorte que les sources soient les plus uniformes possible.

ACI par maximum de vraisemblance

Une approche tr`es r´epandue pour r´esoudre le probl`eme de s´eparation de sources par l’ACI est obtenue par la maximisation de la vraisemblance. Cette m´ethode est propos´ee par [Pha96]. Soit W = (w₁, . . . , w_n)^T =A⁻¹, la log-vraisemblance est donn´ee par :

o`u f_i repr´esentent les densit´es de probabilit´e des sources (suppos´ees connues).

Lien avec l’information mutuelle Afin de mettre en ´evidence le lien avec l’information mutuelle, consid´erons l’esp´erance math´ematique de la log-vraisemblance :

1

et donc on peut ´ecrire la log-vraisemblance : 1

nE{L}= log|detW| −X

i

H(w_i^Tx) (3.27)

La maximisation de la log-vraisemblance est donc ´equivalente `a la minimisation de l’information mutuelle. L’inconv´enient de cette m´ethode est que les densit´es des sources doivent ˆetre estim´ees correctement. Si l’information sur la nature des composantes ind´ependantes n’est pas correcte cette m´ethode donne des r´esultats compl`etement erron´es. Ce probl`eme n’apparaˆıt pas si une mesure de la non-gaussianit´e des sources est utilis´ee.

ACI par statistiques d’ordre sup´erieur

Ces m´ethodes utilisent comme mesure d’ind´ependance les statistiques d’ordre sup´erieur, plus pr´ecis´ement, le kurtosis d’une variable al´eatoire. Dans [Car89], Cardoso a introduit la notion de matrice cumulanteN =Q_x(M) associ´ee `a une matrice M de dimensionn×n:

N =Q_x(M)⇐⇒

( N_ij =

n

X

k=1 n

X

l=1

Q^kl_ijM_lk|16i, j6n )

(3.28)

o`u :

Q_x ,n

Q^kl_ij =Cum[x_i, x^∗_j, x_k, x^∗_l]|1≤i, j, k, l≤no

(3.29) Nous allons mentionner deux algorithmes utilisant la matrice cumulante pour la s´eparation de sources : l’algorithme FOBI (Forth Order Blind Identification) [Car89, Car92] dont le principe est de diagonaliser une seule matrice cumulante Q(M) pour obtenir une matrice de rotation unitaire assurant l’ind´ependance des sources estim´ees et l’algorithme JADE (Joint Approximate Diagonalisation of Eigen-matrices) [CS93] dont le principe est la diagonalisation conjointe de plusieurs matrices cumulantes. Nous rappelons l’algorithme JADE qui peut ˆetre r´esum´e en quatre ´etapes :

Algorithme 6L’algorithme JADE

1: Calculer la matrice de blanchiment B permettant d’obtenir une matrice d’observation X blanche,

2: Calculer le tenseur cumulant d’ordre quatre de la matrice d’observations blanchiesZ = ˆBX ; calculer les matrice propres les plus significatives du tenseur cumulant,

3: Diagonalisation jointe de ces matrices pour obtenir la matrice de rotation unitaire ˆUassurant l’ind´ependance de sources,

4: Estimation de la matrice de m´elange ˆA= ˆB^TU.ˆ

Pour plus d’informations nous vous invitons de consulter les r´ef´erences [CS93].

ACI par approche bayesienne

L’approche bayesienne a ´et´e introduite pour la premi`ere fois dans la s´eparation de sources par [Rob98, Knu98, MD99]. Le sch´ema g´en´eral de l’approche bayesienne est pr´esent´ee dans [CJ07]

et il peut ˆetre r´esum´e par des ´etapes suivantes :

Algorithme 7L’approche bayesienne pour l’ACI

1: D´ecrire le mod`ele de m´elange et en d´eduire la loi p(X|A, S), appel´ee la vraisemblance des inconnues,

2: Attribuer des lois a priori `a toutes les inconnues du probl`eme (aux sources S → p(S) et `a la matrice de s´eparation A→p(A)),

3: En utilisant la r`egle de Bayes, d´eduire la loia posteriori p(A, S|X), p(A, S|X) = p(X|A, S)p(A)p(S)

p(X) ∝p(X|A, S)p(A)p(S) (3.30) o`u p(X) =R

p(X|A, S)p(A)p(S)dS

4: Utiliser cette loi a posteriori pour d´efinir une solution ou un ensemble de solutions pour le probl`eme de s´eparation.

La r´esolution du probl`eme de s´eparation de sources par l’approche bayesienne peut ˆetre abord´ee par trois directions [CJ07] :

1. Estimation jointe des sourcesS et de la matrice de m´elangeA, 2. Estimation de la matrice de m´elangeA,

3. Estimation des sources S.

Pour plus de d´etails, nous invitons les lecteurs `a consulter les r´ef´erences [CJ07].