HAL Id: hal-01503736
https://hal.archives-ouvertes.fr/hal-01503736v2
Submitted on 30 Jun 2017
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Échantillonnage de signaux sur graphes via des processus déterminantaux
Nicolas Tremblay, Simon Barthelme, Pierre-Olivier Amblard
To cite this version:
Nicolas Tremblay, Simon Barthelme, Pierre-Olivier Amblard. Échantillonnage de signaux sur graphes
via des processus déterminantaux. GRETSI 2017 - XXVIème Colloque francophone de traitement du
signal et des images, Sep 2017, Juan-Les-Pins, France. �hal-01503736v2�
Echantillonnage de signaux sur graphes ´ via des processus d´eterminantaux
Nicolas T REMBLAY , Simon B ARTHELM E ´ , Pierre-Olivier A MBLARD
GIPSA-LAB, CNRS, Grenoble, France prenom.nom@gipsa-lab.fr
R´esum´e – Nous consid´erons l’´echantillonnage de signaux sur graphe `a bande limit´ee k, i.e., les combinaisons lin´eaires des k premiers modes de Fourier du graphe. Il existe k nœuds du graphe qui permettent leur reconstruction parfaite, les trouver n´ecessite cependant une diagonalisation partielle de la matrice laplacienne, trop coˆuteuse `a grande dimension. Nous proposons une nouvelle m´ethode rapide d’´echantillonnage bas´ee sur des processus d´eterminantaux qui permet la reconstruction `a partir d’un nombre d’´echantillons de l’ordre de k.
Abstract – We consider the problem of sampling k-bandlimited graph signals, i.e., linear combinations of the first k graph Fourier modes.
We know that a set of k nodes embedding all k-bandlimited signals always exists, thereby enabling their perfect reconstruction after sampling.
Unfortunately, to exhibit such a set, one needs to partially diagonalize the graph Laplacian, which becomes prohibitive at large scale. We propose a novel strategy based on determinantal point processes that side-steps partial diagonalisation and enables reconstruction with only O(k) samples.
1 Introduction
Etant donn´ee une certaine classe de signaux, ´echantillonner ´ consiste `a mesurer un signal un nombre de fois suffisant pour une certaine tˆache, e.g. `a des fins de reconstruction. Pour les si- gnaux d´efinis sur des graphes, une classe de r´egularit´e souvent utilis´ee est celle des signaux `a bande limit´ee k (cf la d´efini- tion 1). Dans ce contexte, il existe deux types de m´ethodes d’´echantillonnage : i) celles qui calculent les k premiers modes de Fourier du graphe et cherchent via des heuristiques k nœuds qui les discriminent tous [2], ii) celles qui s’affranchissent de ce calcul, et qui soit cherchent un nombre de nœuds proche de k et r´esolvent des probl`emes combinatoires qui ne passent pas `a l’´echelle [3], soit s’autorisent un nombre de nœuds de l’ordre de O(k log k) et permettent de passer `a l’´echelle via un
´echantillonnage iid adapt´e au graphe [4], soit via des marches al´eatoires sur graphe sp´ecifiques [5].
Contributions. Nous proposons une m´ethode bas´ee sur les pro- cessus ponctuels d´eterminantaux (PPD) [6], des processus al´ea- toires connus pour favoriser la diversit´e des ´echantillons. Nous adaptons un algorithme d’´echantillonnage de PPD, et montrons comment cet algorithme peut ˆetre utilis´e dans le cadre de l’´echan- tillonnage des signaux `a bande limit´ee sur graphe.
2 Notations et objectif
Les matrices sont en majuscule, e.g. K ; les vecteurs en mi- nuscules et en gras, e.g. x ; les ensembles en cursive, e.g. A ; K
A,Best la restriction de K aux lignes (resp. colonnes) in- dex´ees par les ´el´ements de A (resp. B ) ; enfin : K
A= K
A,A. On note δ
sle vecteur dont les entr´ees sont nulles sauf en s, et I
nla matrice identit´e de dimension n. Soit G un graphe compos´e de N nœuds interconnect´es selon la matrice d’adjacence W ∈
R
N×Ntel que W
ij= W
ji> 0 repr´esente le poids associ´e au lien connectant i `a j. Notons D la matrice diagonale des degr´es : on a D
ii= P
j
W
ij. Le laplacien associ´e `a G s’´ecrit L = D − W ∈ R
N×N, il est semi-d´efini positif et se diagonalise en L = UΛU
|, o`u U = (u
1| u
2| . . . | u
N) ∈ R
N×Nest la ma- trice de ses vecteurs propres et Λ = diag(λ
1, λ
2, . . . , λ
N) ∈ R
N×Nla matrice diagonale de ses valeurs propres, rang´ees dans l’ordre croissant 0 = λ
16 λ
26 . . . 6 λ
N. Par ana- logie au traitement du signal discret classique, u
iest consid´er´e comme le i-`eme mode de Fourier du graphe [7]. Pour k ∈ N
∗, on d´efinit U
k= (u
1| . . . | u
k) ∈ R
N×kla concat´enation des k premiers modes de Fourier du graphe. Un signal `a bande li- mit´ee se d´efinit alors :
D´efinition 1 (Signal `a bande limit´ee k). Un signal x ∈ R
Nd´efini sur les nœuds d’un graphe G est `a bande limit´ee k ∈ N
∗si x ∈ span(U
k), i.e., ∃ α ∈ R
ktel que x = U
kα.
En notant m le nombre de mesures, ´echantillonner consiste
`a choisir un ensemble de m nœuds A = { s
1, . . . , s
m} . No- tons M = (δ
s1| δ
s2| . . . | δ
sm)
|∈ R
m×Nla matrice de mesure associ´ee : le signal x ∈ R
Nmesur´e en A s’´ecrit
y = Mx + n ∈ R
m, (1) o`u n ∈ R
mest un bruit de mesure. ´ Etant donn´e que x est suppos´e ˆetre `a bande limit´ee k, on le reconstruit `a partir de sa mesure y en calculant x
rec= U
k(MU
k)
†y, o`u (MU
k)
†est le pseudo-inverse de Moore-Penrose de MU
k∈ R
m×k. Notons σ
16 . . . 6 σ
kles valeurs singuli`eres de MU
k. Le signal x est parfaitement reconstructible (au bruit pr`es) `a partir de y si U
|kM
|MU
kest inversible, i.e., si σ
21> 0. Dans ce cas :
x
rec= U
k(U
|kM
|MU
k)
−1U
|kM
|y (2)
= x + U
k(U
|kM
|MU
k)
−1U
|kM
|n. (3)
Algorithm 1 Echantillonner un ´ m-PPD `a noyau K [8, Sec 2.4]
Entr´ee : K, m
S ← ∅ , d´efinir p
0= diag(K) ∈ R
Np ← p
0for n = 1, . . . , m do :
· Tirer s
navec probabilit´e P (s) = p(s)/ P
i
p(i)
· S ← S ∪ { s
n}
· Mettre `a jour p : ∀ i p(i) = p
0(i) − K
|S,iK
−1SK
S,iend for
Sortie : A ← S .
Parmi tous les choix possibles de A (et donc de M) qui v´erifient σ
12> 0, lesquels sont optimaux ? Il existe plusieurs d´efinitions d’optimalit´e [5], nous nous int´eressons ici `a la suivante :
A MV = arg max
As.t.|A|=k k
Y
i=1
σ
i2, (4)
o`u “MV” signifie “volume maximal” : en effet, en maximisant le produit des valeurs singuli`eres, on maximise le d´eterminant de U
|kM
|MU
k, c’est-`a-dire le volume form´e par les k lignes
´echantillonn´ees de U
k. Trouver A MV est NP-complet [1]. Notre objectif est de s’en approcher, c’est-`a-dire : trouver un ensemble de taille k (comme A MV ) ou proche de k tel qu’on ait la meil- leure reconstruction possible des signaux `a bande limit´ee k.
3 Processus d´eterminantaux
Notons [N ] l’ensemble des sous-ensembles de { 1, . . . , N } et K ∈ R
N×Nune matrice semi-d´efinie positive (SDP). On convient que det( ∅ ) = 1.
D´efinition 2 (m-PPD). Consid´erons un processus ponctuel, i.e., un processus qui tire al´eatoirement un ensemble A ∈ [N ].
Ce processus est un m-PPD `a noyau K si : i) P ( A ) = 0, pour tout A tel que |A| 6 = m.
ii) P ( A ) =
Z1det(K
A), pour tout A tel que |A| = m, o`u Z est la constante de normalisation.
Proposition 1. Si K est un noyau de projection, i.e., K = XX
|avec X ∈ R
N×det X
|X = I
d, et si d > m, alors l’algorithme 1
´echantillonne un m-PPD `a noyau K.
D´emonstration. Notons S
n(resp. p
n(i)) l’ensemble des n ´echan- tillons obtenus (resp. la valeur de p(i)) `a l’issue de l’´etape n de la boucle de l’algorithme 1. On a : S
n= S
n−1∪ { s
n} . En utilisant le compl´ement de Schur, on a : ∀ n ∈ [1, m] , ∀ i, det K
Sn−1∪{i}=
K
i,i− K
|Sn−1,iK
−1Sn−1K
Sn−1,idet K
Sn−1= p
n−1(i) det K
Sn−1. (5)
A partir de (5), et sachant que i) ` K est SDP : ∀S , det(K
S) > 0, ii) d > m, on peut montrer que p
n(i) > 0 et P
i
p
n(i) 6 = 0, c’est-`a-dire qu’`a chaque it´eration de la boucle, la probabilit´e P (s) est bien d´efinie. La boucle ´etant r´ep´et´ee m fois, la sortie de l’algorithme, not´ee A , est n´ecessairement de taille m, en accord avec le point i) de la D´ef. 2. Enfin, montrons que P ( A ) est conforme au point ii). Par construction de A :
P ( A ) =
m
Y
l=1
P (s
l| s
1, s
2, . . . , s
l−1) =
m
Y
l=1
p
l−1(s
l) P
Ni=1
p
l−1(i) . (6)
Algorithm 2 Echantillonner un ´ m-PPD, algorithme ´equivalent Entr´ee : K = [k
1, . . . , k
N], m
S ← ∅ , d´efinir p = diag(K) ∈ R
Nfor n = 1, . . . , m do :
· Tirer s
navec probabilit´e P (s) = p(s)/ P
i
p(i)
· S ← S ∪ { s
n}
· Calculer f
n= k
sn− P
n−1l=1
f
lf
l(s
n)
· Normaliser f
n← f
n/ p f
n(s
n)
· Mettre `a jour p : ∀ i p(i) ← p(i) − f
n(i)
2end for
Sortie : A ← S .
Or, en ´ecrivant (5) pour i = s
n, et en it´erant, on obtient : Q
ml=1
p
l−1(s
l) = det(K
A). Reste `a montrer que le d´enomina- teur de (6) ne d´epend pas des ´echantillons choisis. C’est l`a o`u l’hypoth`ese d’un noyau de projection est essentielle. On a :
∀ l ∈ [1, m],
N
X
i=1
p
l−1(i) =
N
X
i=1
p
0(i) −
N
X
i=1
K
|Sl−1,iK
−1Sl−1K
Sl−1,iOn a P
Ni=1
p
0(i) = Tr(XX
|) = Tr(X
|X) = d. De plus, soit M la matrice de mesure associ´ee `a S
l−1:
N
X
i=1
K
|Sl−1,iK
−1Sl−1K
Sl−1,i= Tr XX
|M
|(MXX
|M
|)
−1MXX
|= Tr (MXX
|M
|)
−1MXX
|XX
|M
= Tr(I
l−1) = l − 1, par invariance de la trace aux permutations circulaires. Ainsi :
P ( A ) = 1
Z det(K
A) avec Z =
m
Y
l=1
d − l + 1, (7) ce qui termine la preuve.
A MV , l’ensemble `a approcher, est l’ensemble le plus pro- bable du m-PPD (avec m = k) `a noyau K
k= U
kU
|k. Si nous avons les ressources pour calculer U
k, une premi`ere strat´egie d’´echantillonnage est donc l’Alg. 1 appliqu´e `a K
k. Dans le cas contraire, nous proposons dans la suite un nouvel algorithme d’´echantillonnage de m-PPD, de complexit´e inf´erieure d’un facteur m, qui permet d’appliquer des techniques d’approxima- tion polynomiale, ´evitant ainsi toute ´etape de diagonalisation.
4 Approximation via des filtres sur graphe
4.1 R´e´ecriture de l’algorithme d’´echantillonnage Proposition 2. L’algorithme 2 est ´equivalent `a l’algorithme 1 : il ´echantillonne aussi un m-PPD `a noyau de projection K.
D´emonstration. Consid´erons S
n, S
n−1, p
n(i) d´efinis comme pr´ec´edemment et montrons que les p
n(i) dans les boucles des deux algorithmes sont ´egaux. Dans l’Alg. 2 : p
n(i) = p
n−1(i) − f
n(i)
2= p
0(i) − P
nl=1
f
l(i)
2(o`u les { f
i} sont d´efinis dans l’algorithme ; notamment : f
1= k
s1). En comparant avec p
n(i) obtenu dans l’Alg. 1, il suffit de montrer que :
∀ n ∀ i
n
X
l=1
f
l(i)
2= K
|Sn,i
K
−1Sn
K
Sn,i. (8)
Nous allons montrer plus g´en´eralement que :
∀ n ∀ i, j
n
X
l=1
f
l(i)f
l(j) = K
|Sn,i
K
−1Sn
K
Sn,j. (9) Pour ce faire, nous proposons une r´ecurrence.
Initialisation. C’est vrai pour n = 1, o`u S
nest r´eduit `a { s
1} :
∀ i, j K
|Sn,i
K
−1Sn
K
Sn,j= K
s1,iK
s1,j/K
s1,s1= f
1(i)f
1(j).
Hypoth`ese. Supposons que (9) est vraie `a l’´etape n − 1.
R´ecurrence. Montrons qu’elle est ´egalement vraie `a l’´etape n.
En utilisant l’identit´e de Woodbury sur K
−1Sn
, on montre que : K
|Sn,i
K
−1Sn
K
Sn,j= K
|Sn−1,iK
−1Sn−1K
Sn−1,j+ z
n(i)z
n(j) z
n(s
n) , o`u z
n(i) = K
sn,i− K
|Sn−1,sn
K
−1Sn−1
K
Sn−1,i. En remplac¸ant K
|Sn−1,iK
−1Sn−1K
Sn−1,jpar P
n−1l=1
f
l(i)f
l(j) grˆace `a l’hypoth`ese, il nous reste `a montrer que :
∀ i, j f
n(i)f
n(j) = z
n(i)z
n(j)
z
n(s
n) . (10) Or, par construction dans l’Algorithme 2, f
n(i) s’´ecrit :
∀ i f
n(i) = K
sn,i− P
n−1l=1
f
l(i)f
l(s
n) q
K
sn− P
n−1 l=1f
l(s
n)
2. (11) En utilisant une seconde fois l’hypoth`ese (2), on montre que :
∀ i f
n(i) = z
n(i)
p z
n(s
n) , (12) ce qui prouve (10) et termine la preuve.
L’algorithme 2 est un algorithme g´en´eral pour ´echantillonner un m-PPD `a noyau de projection. Sa complexit´e est en O(N m
2), alors que la complexit´e de l’algorithme 1 est en O(N m
3). No- tons que des id´ees similaires pour r´eduire la complexit´e d’un facteur m existent dans la litt´erature (par exemple dans [9]) mais sous des formes un peu cach´ees, et, `a notre connaissance, n’ont jamais ´et´e vraiment explicit´ees dans le cas discret.
4.2 Approcher l’´echantillonnage d’un PPD
Nous allons voir que la mani`ere dont l’algorithme 2 fait ap- pel `a K permet de tirer profit d’approximations polynomiales usuellement utilis´ees lors d’op´erations de filtrage sur graphe.
Rappelons que nous consid´erons le m-PPD associ´e au noyau K
k. Or : K
k= Uh
k(Λ)U
|, o`u h
k(Λ) = diag(h
k(λ
1), . . . , h
k(λ
N)) et h
k(λ) est tel que h
k(λ) = 1 si λ 6 λ
ket h
k(λ) = 0 sinon.
En traitement du signal sur graphes, K
kest un filtre passe-bas id´eal de fr´equence de coupure λ
k.
Approximation polynomiale. [7] Consid´erons le polynˆome de Tchebychev ˜ h
kde degr´e r qui approche au mieux h
k:
∀ λ ∈ [0, λ
N] ˜ h
k(λ) =
r
X
l=1
α
lλ
l' h
k(λ).
On a : K
k' U ˜ h
k(Λ)U
|=
r
X
l=1
α
lUΛ
lU
|=
r
X
l=1
α
lL
l= ˜ h
k(L).
Filtrage rapide sur graphe. On ne calcule jamais explicite- ment ˜ h
k(L) qui est en g´en´eral dense de taille N × N. En re- vanche, ´etant donn´e un signal x d´efini sur le graphe, le signal filtr´e par h
k, K
kx, est approch´e par ˜ h
k(L)x = P
rl=1
α
lL
lx,
Algorithm 3 Echantillonnage approch´e d’un ´ m-PPD `a noyau K = h
k(L)
Entr´ee : L, h
k(λ), r, m
Calculer λ
N, la plus grande valeur propre de L
Calculer le polynˆome ˜ h
kde degr´e r approchant h
ksur [0, λ
N] Estimer p = diag(˜ h
k(L)) ∈ R
Ncomme vu dans la Sec. 4.2 for n = 1, . . . , m do :
· Tirer s
n← argmax(p)
· Calculer f
n= ˜ h
k(L)δ
sn− P
n−1l=1
f
lf
l(s
n)
· Normaliser f
n← f
n/ p f
n(s
n)
· Mettre `a jour p(i) ← p(i) − f
n(i)
2end for
Output : A = { s
1, . . . , s
m}
qui se calcule via r multiplications matrice-vecteur si bien que le nombre d’op´erations n´ecessaires pour filtrer un signal est de l’ordre de r | E | o`u | E | est le nombre de liens du graphe.
Estimation de la diagonale de K
k. Soit R ∈ R
N×nune ma- trice contenant n signaux al´eatoires gaussiens de moyenne nulle et de variance 1/n. Notons que :
E
δ
|i˜ h
k(L)R
2
= δ
|i˜ h
k(L) E (RR
|)˜ h
k(L)δ
i(13)
= δ
|i(˜ h
k(L))
2δ
i' δ
i|K
2kδ
i= K
k(i, i) (14) La i `eme valeur de la diagonale de K
k, p
0(i), est donc approch´ee par la norme de la i `eme ligne de ˜ h
k(L)R, i.e. :
p
0(i) '
δ
i|h ˜
k(L)R
2
, (15)
et, via le lemme de Johnson-Lindenstrauss, on montre qu’un nombre de signaux al´eatoires n = O(log N) est suffisant pour avoir une estimation convenable avec haute probabilit´e [10].
Algorithme d’approximation. On souhaite approcher l’algo- rithme 2 avec entr´ee K
ksans avoir `a calculer U
k. Pour ce faire, on suit l’algorithme 3 en lui donnant comme entr´ee
1L, h
k(λ), r = 50 et m le nombre d’´echantillons souhait´e. Au lieu d’acc´eder directement `a la diagonale d’un noyau K connu, on l’estime `a l’aide de l’´equation (15). Puis, au lieu d’acc´eder aux colonnes k
sdirectement, on les estime via le filtrage rapide associ´e : k
s' ˜ h
k(L)δ
s. Au vu des erreurs d’approximation successives, l’´ecart entre les { f
l} calcul´es au cours des algorithmes 2 et 3 ne cesse de s’accroˆıtre au fur et `a mesure de la boucle. Pour stabiliser l’algorithme 3 : i) le nouvel ´echantillon est celui qui maximise p (mise `a part l’estimation de la diagonale de K, l’al- gorithme n’est donc plus al´eatoire) ; ii) et on s’autorise m > k (ce qui n’a pas de sens pour l’algorithme 2 appliqu´e `a K
kqui est de rang k). Aussi, en pratique, on fait quelques modifications mineures : i) apr`es la mise `a jour de p, on force p(s
i) = 0 pour tous les ´echantillons s
id´ej`a choisis ; ii) lors de la normalisa- tion de f
n, si f
n(s
n) 6 0 `a cause de l’approximation, alors on normalise f
npar p
k f
nk /N. Ces choix sont cependant arbi- traires : une comparaison rigoureuse des diff´erentes possibilit´es de stabilisation fera l’objet de travaux futurs.
1. pour avoir
hk(λ), il fautλk, que nous estimons en suivant [4, Sec. 4.2].
a)
10 11 12 13 14 15 16 17 18
m
10
−210
−110
010
1|| x rec − x || 2
b)
10 11 12 13 14 15 16 17 18
m
10
−210
−110
010
1|| x rec − x || 2
c)
10 11 12 13 14 15 16 17 18
m
10
−210
−110
0|| x rec − x || 2
iid uniformeiid avecp=diag(Kk) iid avecp'diag(Kk) notre methode: alg.3 PPD avecKk