Identification aveugle de mélanges et décomposition canonique de tenseurs : application à l'analyse de l'eau

HAL Id: tel-00933819

https://tel.archives-ouvertes.fr/tel-00933819

Submitted on 21 Jan 2014

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

Identification aveugle de mélanges et décomposition

canonique de tenseurs : application à l’analyse de l’eau

Jean-Philip Royer

To cite this version:

Jean-Philip Royer. Identification aveugle de mélanges et décomposition canonique de tenseurs :

ap-plication à l’analyse de l’eau. Autre. Université Nice Sophia Antipolis, 2013. Français. �NNT :

2013NICE4073�. �tel-00933819�

TOULON-VAR

I3S,UMR CNRS7271

&

LSIS,UMR CNRS7296

ECOLE DOCTORALE STIC

SCIENCES ET TECHNOLOGIES DE L'INFORMATION ET DE LA

COMMUNICATION

THÈSE

pour l'obtention dugrade de

Do teur en S ien es

de l'Université deNi e-Sophia Antipolis

Mention : Automatique, Traitement du Signal etdes Images (ATSI)

présentéeetsoutenue par

Jean-Philip ROYER

IDENTIFICATION AVEUGLE DE MÉLANGES ET DÉCOMPOSITION

CANONIQUE DE TENSEURS : APPLICATION À L'ANALYSE DE L'EAU

Thèsedirigée par Pierre COMON etNadège THIRION-MOREAU

soutenue le4o tobre 2013

Jury :

M.GérardFAVIER Dire teurdere her heCNRS,I3S,UNS Président

M.JérmeMARS Professeuràl'INPGrenoble Rapporteur

M.DavidBRIE Professeuràl'UniversitédeLorraine Rapporteur

M.StéphaneMOUNIER Maîtrede onféren esHDRàl'UniversitéduSud-ToulonVar Examinateur

M.PierreCOMON Dire teurdeRe her heCNRS,GIPSA-LAB,INPGrenoble Dire teurdeThèse

Mme.NadègeTHIRION-MOREAU ProfesseurdesUniversitésàl'UniversitéduSud-Toulon Co-dire tri edeThèse

Arrivant à l'issue de travaux de thèse, j'ai eu l'o asion tout au long de es années de

ren- ontrer un ertain nombre de personnes qui m'ont permis, dire tement ou indire tement, de

mener à bien mon projet. C'est l'o asionpour moide leur rendre hommage.

Tout d'abord, je suis très re onnaissant aux membres du jury d'avoir a epté d'évaluer mon

travail.Mer i don àJérome Marset David Brie pour leur rele ture en tantque rapporteurs

et mer i àGérard Favier etStéphane Mounier pour leur présen e en tant qu'examinateurs.

J'adresse de vifs remer iements à mes deux en adrants de thèse, Pierre Comon et Nadège

Thirion-Moreau. Pierre est à lafois quelqu'un de très humain et un her heur passionné qui

a su me prodiguer des onseils très judi ieux et me faire proter de sa rigueur s ientique.

J'aipu ompter sur lagrandedisponibilitéet surl'en adrement trèsmaternelde Nadège,qui

m'a épaulé tout au long de mes travaux de thèse et fait béné ier de ses idées é lairées qui

m'ontsouvent permis de résoudre les problèmes auxquels j'étais onfronté. Pour leur soutien

indéfe tible tant auniveau s ientique, qu'humain ouadministratif,je leur dois beau oup.

Jeremer ielesmembresdel'équipePROTEEpourla ollaborationqu'onapuavoirensemble.

Denouveau, je iteStéphaneMounier,pour leslonguesheuresqu'iladû passerànous

prépa-rer des é hantillons de travail.Je remer ie Roland Redonpour les é hanges s ientiques que

nous avons eus ensemble, ainsi qu'AnnaëlleZhao pour lesdonnées qu'elle apu me pro urer.

Je remer ie ensuite toute l'équipe de l'aile Télé om pour la bonne ambian e et l'a ueil qui

m'aétéréservéauseindeseslo aux,quej'avaisdéjàfréquentés (assidument!)étantétudiant:

Eri Moreau, qui m'a permis de travaillerave luil'année pré édent mathèse, Laurent Enel,

ChristopheDeLuigi,OlivierDerrien,BernardXerri,Jean-Mar Stamegna,Audrey

Minghelli-Roman,CyrilPrissette, SylvainMaire,ave lequelj'aientretenudesdis ussions intéressantes,

àlafoissurlesbienfaitsdesfast-foodsmaissurtoutsurdenouvellesappro hesquisesont

avé-réesutilesàmontravail,etXavierLu iani,poursonaideetlesréponsesqu'ilapum'apporter.

Bien entendu, jen'oubliepas la liquede do torantsetstagiairesquej'ai roiséstoutaulong

de es années. Tual, mon ollègue de promo. Diogone, le plus sérieux d'entre tous (je vois

d'i i saréa tion...). Man hun, mon partenairede badminton, quisait hoisir lemoment pour

nouvelles arrivées, Xuan (que j'ai embrigadée pour le badminton!) et Cé ile ( ourage pour

noussupporter).Weili(en ore unequifaitdu badminton!),tuseras bienttfrançaise,ilne te

reste plus que la langue!Mer i égalementà tous eux ave qui j'ai pu partager des a tivités

ludiques.Ily alapartiebioet himie,ave Floren eetCynthia, lesnon-permanentsdu LSIS

ave entre autres,Régis, Thibaut, Vin ent, Alain,Vin entenotre présidente, lapartie himie

et signal ave Cheikh, la partie ulture ave Florian et la partie maritime ave Nore, Jenna

etKaren.

Enn, mes remer iements les plus haleureux vont à ma famille, pour leur soutien et leurs

en ouragements. Ils ont su m'insuer legoût de la onnaissan e et je n'en serais pas là sans

Dans ette thèse, nous nous fo alisons sur le problème de la dé omposition polyadique

mini-maledetenseursdedimensiontrois,problèmeauquelonseréfèregénéralementsousdiérentes

terminologies : Polyadique Canonique (CP en anglais), CanDe omp, ou en oreParafa .

Cette dé omposition s'avère très utile dans un très large panel d'appli ations. Cependant,

nous nous on entrons i i sur la spe tros opie de uores en e appliquée à des données

en-vironnementales parti ulières de type é hantillons d'eau qui pourront avoir être olle tés en

divers endroits ou diérents lieux. Ils ontiennent un mélange de plusieurs molé ules

orga-niques et l'obje tif des traitement numériques mis en oeuvre est de parvenir à séparer et à

ré-estimer les omposés de matières organiques présents dans les é hantillons étudiés. Par

ailleurs, dans plusieurs appli ations omme l'imagerie hyperspe trale ou justement, la

hi-miométrie, il est intéressant de ontraindre lesmatri es de fa teurs re her hées à être réelles

et non négatives ar elles traduisent des quantités physiques réelles non négatives (spe tres,

fra tions d'abondan e, on entrations,et ...).C'est pourquoi touslesalgorithmes développés

durant ette thèse l'ont été dans e adre (l'avantage majeur de ette ontrainte étant de

rendre le problème d'approximation onsidéré bien posé). Certains reposent sur l'utilisation

de fon tions barrières, d'autres appro hes onsistent àparamétriser dire tement les matri es

de fa teurs re her hées par des arrés. Divers algorithmes d'optimisation ont été étudiés :

appro hes de type gradient, gradient onjugué non linéaire, bien adapté à des problèmes en

grande dimension, Quasi-Newton (BGF et DFP) et enn Levenberg-Marquardt. Deux

ver-sionsde ha unde esalgorithmesontsystématiquementété onsidérées:laversionre her he

linéaire améliorée (Enhan ed Line Sear h ou ELS, permettant de s'é happer de minima

lo- aux) et la version re her he linéaire par mar he arrière (ba ktra king en alternan e ave

l'ELS). Deplus, des versionsplus générales de es algorithmesontégalementété développées

an de pouvoirprendre en ompted'autres typesdeproblèmes et/ou ontraintessus eptibles

d'apparaître : données manquantes, par imonie des données. Diérentes optimisations

algo-rithmiquesontennété testéesan d'a élérerlesvitessesde onvergen e desalgorithmes.A

desnsd'évaluationetde alibration,lesdiérentessolutionsproposéesontensuiteététestées

sur des mélanges de omposés onnus ee tuésen laboratoireet omparées auxméthodes de

l'état de l'art.

Mots lefs

Non négativité; tenseurs d'ordre trois; analyse multi-variée ou multi-linéaire;

lyse de données; fouille de données; spe tros opie de uores en e; séparation aveugle de

In this thesis, we fo us on the problem of the minimal polyadi de omposition of a

three-waytensor, sometimesreferredtoasCanoni alPolyadi  (CP), oralso alledCanDe omp,

CanD, or Parafa . This de omposition turns out to be very useful in a wide panel of

appli ations.Yet, inthis thesis, wewill on entrate on3Duores en e spe tros opy of water

samples olle tedinsea,estuaries,riversorinwaterengineeringpro essthat ontainamixture

oforgani mole ules.Theaimistore overthe ontributionofea horgani ompoundpresent

in the samples.

Evenif anexa ttexistswithaknown numberofterms,the al ulationoftheCP onsistsof

nding the zeros of a polynomialof degreesix orlarger, in avery large numberof variables.

Thisproblemisnumeri allyverydi ulttosolve,evenifthenumberofzerosisnite.Se ond,

if the modelis subje t toerrors, anapproximate t iswished tobe omputed. However, itis

now wellknown that abest approximatemay not always exist.Third,inseveral appli ations

su h as hyperspe tral imaging or hemometri s,the loadingmatri es need tobe onstrained

toberealandnonnegative.Weshallsubsequently on entrateonthisframework.Fortunately,

one advantageofthe latter onstraintisthat theapproximationproblembe omeswellposed.

Wepresentthedierentnewalgorithmsthathavebeendeveloped tota kletheproblemofthe

nonnegativepolyadi de ompositionofathree-way tensor:someofthemarebasedontheuse

ofbarrierfun tions,otherapproa hes onsistofexpli itlytakingintoa ountthenonnegative

nature of the loading matri es by dire t parameterization (square and thus Hadamard

pro-du ts) instead of enfor ing positive entries by proje tion. Dierent optimization algorithms

havebeenstudiedtoo:nonlinear onjugategradient,wellmat hedtolargedimensions,

om-bined with a global sear h in a hosen dimension. The latter ombination permits to es ape

from lo alminima, gradient, Quasi-Newton (BGF and DFP) and Levenberg-Marquardt

ap-proa hes. Twoversions of ea h algorithmsare onsidered: the Enhan ed Line Sear h version

(ELS)andtheba ktra kingversion(alternatingwithELS).Moreover,generalizationsofthese

solutionshave alsobeen onsidered inorderto takeintoa ountpossiblemissing data,

spar-sity, and dierent algorithmi optimizations have been suggested to in rease the onvergen e

speed. In order to evaluate their performan es, algorithms have been tested on mixtures of

Key words Nonnegativity; 3-way array / third order tensors; tensor fa torization;

multi-wayanalysis; anoni al polyadi de omposition;CP de omposition; anoni al

de om-position; CanDe omp; Parafa ; optimization;non linear onjugate gradient; gradient

algo-rithms;Quasi-Newton;BFGS;DFP;pre onditioning;missingdata;sparsity; hemometri s;

data analysis; data mining; uores en e spe tros opy; blind separation of dissolved organi

Remer iements i

Résumé iii

Abstra t v

Liste des a ronymes xix

Notations xxi

1 Introdu tion générale 1

2 Dé ompositions tensorielles : état de l'art et appli ations en uorimétrie 5

2.1 Introdu tion . . . 5

2.2 Outils . . . 5

2.2.1 Produits usuels etoutils de al ul . . . 5

2.2.1.1 Produit de Krone ker . . . 5

2.2.1.2 Produit de Khatri-Rao . . . 6

2.2.1.3 Produit de Hadamard . . . 6

2.2.1.4 Tra e d'une matri e . . . 6

2.2.1.5 Opérateur de ve torisation. . . 7

2.2.1.6 Produit s alaire etnorme de matri es. . . 8

2.2.1.7 Dérivée et gradient matri iel. . . 8

2.3 Dé ompositionstensorielles . . . 8

2.3.1 Tenseurs . . . 8

2.3.2 Dépliement . . . 9

2.3.3 Dé ompositionCP . . . 10

2.3.3.1 Généralités . . . 10

2.3.3.2 Estimationdes matri esde fa teurs . . . 12

2.3.3.3 Problèmes d'uni ité . . . 13

2.3.3.4 Problèmes de onvergen e . . . 15

2.4 Spe tros opie de uores en e . . . 15

2.4.3 Diusion . . . 17

2.4.4 Liens entre é rituretensorielle et spe tros opie de uores en e . . . 19

2.4.5 Eet d'é ran . . . 21

3 Algorithmes de fa torisation tensorielle sous ontrainte de non négativité 25 3.1 Introdu tion . . . 25

3.2 Quelques rappelssur les appro hes existantes . . . 25

3.2.1 Appro hes pour les matri es . . . 25

3.2.2 Appro hes pour les tenseurs . . . 28

3.3 Nouvelles appro hes pour la dé ompositionCP d'ordre3 non négative . . . 33

3.3.1 Appro he par paramétrisationpar produits de Hadamard . . . 33

3.3.2 Appro he par ajoutd'un terme de pénalisation exponentielle . . . 34

3.4 Algorithmesd'optimisation de typedes ente . . . 36

3.4.1 Gradient onjugué pré onditionné . . . 36

3.4.2 Un as parti ulier . . . 37

3.4.3 Gradient onjugué . . . 37

3.4.4 Méthodes de Quasi-Newton :BFGSetDFP . . . 38

3.4.5 Algorithme de Levenberg-Marquardt . . . 39

3.5 Ajout de termes de pénalisation . . . 40

3.6 Méthodes de déterminationdu pas d'adaptation . . . 41

3.6.1 Pasoptimal . . . 43

3.6.2 Une solutioninexa te, mais rapide :méthode par mar he arrière . . . . 44

3.7 Comparaison des diérents algorithmes sur des mélanges synthétiques . . . 45

3.8 Vers une première généralisation: nouvelalgorithme de Tu ker3 non négatif . 61 3.8.1 Quelques rappelspréliminaires . . . 62

3.8.2 Nouvelalgorithme de dé ompositionde Tu ker 3 non négatif . . . 64

3.8.3 Un exemple numérique . . . 66

4 Mesures manquantes : prise en ompte du problème 69 4.1 Problématique . . . 69

4.2 Appro hes existantes . . . 69

4.3 Nouvelleappro he : algorithmeVarying Weights (VW) . . . 71

4.4 Validationde la méthode sur des mélanges synthétiques . . . 72

4.4.1 Evolutionde lare onstru tion ave l'augmentationdu tauxde données manquantes . . . 76

4.4.2 Se ond jeu d'images . . . 79

4.4.3 Con lusion . . . 84

5 Optimisations algorithmiques 85 5.1 Introdu tion . . . 85

5.2 Cal ul des omplexités algorithmiques. . . 85

5.2.1 Complexité des algorithmes en utilisantune re her he linéaireglobale . 87 5.3 A élérations algorithmiques . . . 87

5.3.3 Con lusion. . . 92

6 Appli ation à des mélanges réels 93 6.1 Appli ationà des mélanges réels pour la himiométrie . . . 93

6.1.1 Prétraitement . . . 94

6.1.2 Jeu de données à 3 uorophores . . . 99

6.1.3 Jeu de données à 2 uorophores . . . 107

6.1.4 Nouveau jeu à2 uorophores . . . 110

6.1.5 Con lusion. . . 114

Con lusions

&

perspe tives de re her he 117 Liste de publi ations 119 Annexe 1 : al uls liés à la dé omposition CP 129 6.2 Rappelsde propriétés utiles . . . 129

6.3 Dé ompositionCP sans ontrainte. . . 129

6.3.1 Cal ul des matri esde gradient . . . 129

6.3.2 Cal ul du pas optimal . . . 131

6.4 Dé ompositionCP sous ontraintede non négativité . . . 131

6.4.1 Paramétrisation aumoyen d'un produit de Hadamard . . . 131

6.4.1.1 Cal ul des matri esde gradient . . . 131

6.4.1.2 Cal ul des gradients des termes de pénalité . . . 133

6.4.2 Ajout d'un terme de régularisationexponentielle . . . 134

6.4.2.1 Cal ul des gradients des termes de pénalité . . . 134

6.4.3 Cal ul du pas optimal sous ontrainte de non négativité. . . 135

Annexe 2 : al uls liés à la dé omposition de Tu ker3 137 6.5 Dé ompositionde Tu ker3 sans ontrainte . . . 137

6.5.1 Cal ul des gradients matri iels . . . 137

6.5.2 Cal ul du pas optimal . . . 138

6.6 Dé ompositionde Tu ker3 ave ontraintede non négativité . . . 140

6.6.1 Cal ul des gradients matri iels . . . 140

6.6.2 Cal ul du pas optimal . . . 142

Annexe 3 : al uls liés aux données manquantes 145 6.7 Cal uldesgradientsmatri ielsave ontraintedenon négativitéetenprésen e de données manquantes . . . 145

2.1 Représentation visuelle de la génération d'un tenseur de rang

1

. . . 9

2.2 Représentation visuelle du dépliementd'un tenseur d'ordre3 en matri e. . . . 11

2.3 Représentation des tran hes d'un tenseur du

3

ème

ordre (

I × J × K

). . . 12 2.4 Diagrammede Jablonski.Image tirée de [Mau ℄. . . 16

2.5 Spe trouorimètre. Image tirée de [Zha11℄. . . 18

2.6 DiusionsRayleighetRaman.Lesignald'intérêtestmasquédu faitdelaforte

intensité de es deux raies. . . 19

2.7 Présentation des diérentes étapesde l'algorithmede Zepp. Enhautàgau he,

l'image d'origine, à droite, l'image ave les zones à orriger. En bas, l'image

résultante, après suppression des raies de diusion, et interpolationdes pixels

manquants. . . 20

2.8 Eetdela on entrationsurl'intensitédeuores en e.Lazonelinéairen'existe

que pour des valeurs inférieuresà environ

10

mg.L

−1

.Image tirée de [Lu 07℄. . 21

2.9 Modélisationde la vuede dessus de la uve ontenant l'é hantillonà analyser.

Image tirée de [Lu 07℄. . . 22

3.1 Conditionnement de la matri eHessienne aul des itérations. . . 40

3.2 Comparaison de la vitesse de onvergen e en fon tion du pas d'adaptation

hoisi, pour les 20premières itérationsde l'algorithme du gradient. En haut à

gau he, le pas xe (

µ = 0.04

). En haut à droite, le pas appro hé. En bas, le pas globalementoptimal. . . 42

3.3 Modélisation graphique de la ondition d'Armijo. La fon tion de oût est

re-présentée en oupe.La ondition devient valide dès que

f

passe en dessous de la ligneen tirets supérieure,i.e.

0 ≤ µ ≤ µ

0

. . . 45 3.4 LesMEEF des 4 omposés de référen e(avantmélange).. . . 49

3.5 Réestimation des 4 omposés via l'algorithme du gradient onjugué (gau he)

3.6 Erreur de re onstru tion (dB) en fon tion du nombre d'itérations (gau he)

pour un tenseur non négatif

71 × 47 × 10

(haut gau he), un tenseur non

né-gatif de taille

71 × 47 × 128

(bas gau he). Erreur de re onstru tion (dB) en

fon tion du nombre d'opérations arithmétiques (droite) pour un tenseur non

négatif

71 × 47 × 10

(hautdroite),un tenseur nonnégatifde taille

71 × 47 × 128

(basdroite).Lamêmelégendeestutiliséepourles4sous-gures.Notonsqu'une

faibleerreurdere onstru tionn'impliquepasquelesmatri esdefa teurssoient

orre tement estimées. Il faut aussi que le nombre de omposés soit

orre te-ment déte té ( f. gures3.9 et3.12). . . 50

3.7 Comparaisondu BFGSave leba ktra king(alternantave de l'ELStoutesles

10 itérations) et BFGS ave ELS à haque itération. Erreur de re onstru tion

en fon tiondu nombre d'itérations. . . 51

3.8 Comparaisondu BFGSave ba ktra king(alternantave de l'ELStoutesles

10

itérations) etdu BFGS (ave ELS à haque itération).Erreur dere onstru tion

en fon tionde la omplexité algorithmique.. . . 51

3.9 Eet d'une surestimation du rang du tenseur :

5

omposés estimés pour

4

réellement présents. Utilisationde l'algorithme du gradient onjugué ave non

négativité imposée par produits de Hadamard. . . 52

3.10 Eetd'une surestimationdurang du tenseur :5 omposésestimés pour 4

réel-lementprésents. Utilisationde l'algorithme BFGS ave non négativité imposée

par produits de Hadamard.. . . 53

3.11 Eet d'une surestimation du tenseur : 5 omposés estimés pour 4 omposés

réellement présents.Utilisation de l'algorithme ALSdé rit dans [CZPA09℄. . . 54

3.12 Eet d'une surestimation du rang du tenseur : 5 omposés estimés pour 4

réellement présents.Utilisation de l'algorithme HALS dé rit en [CZPA09℄ . . . 55

3.13 Performan es de la re onstru tion des MEEF dans le as surestimé pour

dié-rents algorithmes. . . 56

3.14 Illustration du bon omportement du gradient onjugué paramétré par

pro-duits de Hadamardpour

100

initialisationsdiérentes dansle as surestimé. A gau he, on tra e le moyennage point à point de

E

2

dB

au l des itérations des

100 réalisations.Adroite,ontra ela ourbetriée parordre roissant

représen-tant la dernière valeur (atteinte à la dernière itération) de

E

2

dB

pour les

100

réalisations ( e qui revient à tra er une fon tion de répartition de la dernière

valeur). . . 56

3.15 MEEF estimées par gradient onjuguépénalisé par des exponentielles pour un

tenseur non négatif de taille

71 × 47 × 50

. . . 58 3.16 Erreur de re onstru tion (dB) en fon tion du nombre d'itérations en utilisant

un tenseur non négatif de taille

71 × 47 × 50

.. . . 58

3.17 Mélange de

4

fa teurs, en supposant que

F = 5

; les 5 MEEF sont estimées

en utilisant le gradient onjugué et une fon tion de oût ave pénalisation

exponentielle and'assurer lanon-négativité(gau he) etNTF-ALSde [CZPA09℄. 59

3.18 Erreur de re onstru tion (dB) en fon tion du nombre d'itérations en utilisant

3.19 Mélange de

4

fa teurs, en supposant que

F = 5

; les 5 MEEF sont estimées en utilisant le gradient onjugué et une fon tion de oût ave pénalisation

exponentielle an d'assurer la non-négativité (haut-gau he) et NTF-ALS de

[CZPA09℄(haut-droite),et de l'ALS pénalisé par des exponentielles (bas). . . . 60

3.20 MEEF estimées par gradient onjugué appliqué à la dé omposition de Tu ker

non négative(produits de Hadamard). . . 68

4.1 Modèle exa t (

F = 4

), les 4 images de uores en e émission-ex itation esti-méeesenutilisant:àgau he:l'algorithmedugradient onjuguéave ontrainte

de non négativité (pas de données manquantes). A droite : l'algorithme VW

(

30%

de données manquantes). . . 72

4.2

80%

de données manquantes. Mélangede

4

fa teurs,estimationen onsidérant

F = 6

. En haut à gau he : les images de uores en e d'émission-ex itation estimées en utilisant l'algorithme suggéré dans [AKDM11℄ (pas de ontrainte

de non négativité). En haut à droite : algorithme du gradient onjugué ave

une ontrainte de non négativité et prenant en ompte de possibles données

manquantes, à l'aide de poids xes. En bas àgau he : algorithmeVW. E helle

de ouleurs : CP-WOPT (gau he); GC etVW (droite). . . 74

4.3

80%

dedonnées manquantes dansle assurestimé (

F

est supposé égalà6pour l'estimation,alors quele

F

théoriquevaut 4).La ourbe montrel'évolutionde l'erreur

E

1

en fon tion du nombre d'itérations. . . 75 4.4

80%

dedonnées manquantes dansle assurestimé (

F

est supposé égalà6pour

l'estimation,alors quele

F

théoriquevaut 4).La ourbe montrel'évolutionde l'erreur

E

2

en fon tion du nombre d'itérations. . . 75 4.5 Image de uores en e de référen e. . . 76

4.6 MEEF re onstruites ave

40%

de données manquantes (à gau he) et

60%

(à

droite).. . . 77

4.7 MEEFre onstruitesave

70%

données manquantes(àgau he)et80%(àdroite). 77

4.8 Images re onstruites ave

90%

de données manquantes (àgau he) et 95 % (à

droite).. . . 78

4.9 Images re onstruites ave

98%

de données manquantes. . . 78

4.10 Indi e

E

2

selon lepour entage de données manquantes dans le as de l'estima-tion à rang exa t. . . 79

4.11 Images re onstruites ave CP-WOPT pour 5 omposés estimés, alors que le

rang réel

F

vaut

4

en onsidérant70% de données manquantes. . . 80

4.12 Images re onstruites ave VW pour 5 omposés estimés, alors que lerang réel

F

vaut

4

en onsidérant70% de données manquantes. . . 81 4.13 E helle de ouleurdes gures 4.12 et 4.11 . . . 82

4.14

70%

dedonnées manquantes dansle assurestimé (

F

est supposé égalà

5

pour l'estimation,alors quele

F

théoriquevaut 4).La ourbe montrel'évolutionde

E

2

en fon tion du nombre d'itérations. . . 82

4.15

70%

de données manquantes dans le as exa t ave l'algorithme CP-WOPT. . . 83

4.16

70%

de données manquantes dans le as exa t ave l'algorithme VW. . . 83

4.17

70%

de données manquantes dans le as exa t. La ourbe montre l'évolution

5.1 MEEF estimées après optimisation par dé oupage d'un tenseur

47 × 71 × 128

en

16

tran hes. . . 90 5.2 Con entrationsauldesé hantillonsdupremier(gau he)etdeuxième omposé

(droite).En bleu, la on entration de référen e, en rouge, elle réestimée. . . . 91

5.3 Con entrationsauldes é hantillonsdu troisième(gau he) etquatrième

om-posé (droite).En bleu, la on entration de référen e, en rouge, elle réestimée. 91

6.1 Raiede diusion traversant un pi de uores en e. . . 95

6.2 Elémentstru turant de type ligne. Lepoint d'an rage est situé sur le arré du

entre. . . 96

6.3 On utilise l'élément stru turant de la gure (6.2).A gau he, l'image d'origine.

Au entre, la dilatéede l'image d'origine. A droite, l'érodée de l'imaged'origine. 96

6.4 Suppression des raies de diusion de l'image (6.1). A gau he, l'image orrigée

par morphologie mathématique.A droite, elle orrigéepar la méthode de Zepp. 97

6.5 Image orrigée en ombinant les images données en (6.4) par la méthode de

Zepp et la morphologie mathématique, dans et exemple nous avons hoisi

α =

1

₃

. . . 98

6.6 Autre exemplepourlequel la orre tion par morphologiemathématiquedonne

de meilleurs résultats. Enhaut, l'imaged'origine. En bas àgau he, elle

orri-gée par laméthode de Zepp: lazone de uores en e, traverséepar les raiesde

diusion, est pratiquement supprimée. En bas à droite, la orre tion par

mor-phologie mathématique, qui onserve toutes les zones ontenant initialement

du signal de uores en e. . . 98

6.7 Spe tresestimésaprèsprétraitementparltragemorphologique.Agau hesont

représentés touslesspe tresd'ex itation,etàdroitelesspe tresd'émission.De

hauten bas :laphénylalanine,latyrosine etletryptophane.Sur haquegure,

la ourberouge orrespond auspe tre estimépar dé ompositionCP,la ourbe

bleue au spe tre de référen e et la ourbe yan au spe tre de référen e sur

lequel on a tronqué la zone qui orrespondait aux raies de diusion pour plus

de lisibilité. . . 100

6.8 Spe tres estimés après orre tion par la méthode de Zepp. A gau he sont

re-présentés tous lesspe tres d'ex itation, età droite les spe tres d'émission. De

hauten bas :laphénylalanine,latyrosine etletryptophane.Sur haquegure,

la ourberouge orrespond auspe tre estimépar dé ompositionCP,la ourbe

bleue au spe tre de référen e et la ourbe yan auspe tre de référen e sur

le-quelona tronquélazone qui orrespondaitaux raiesde diusionpour plusde

lisibilité. . . 101

6.9 Con entration relativedes diérents uorophoresau sein de haque é hantillon. 102

6.10 Les MEEF des omposés organiques de référen e présents dans le mélange.En

hautàgau heMEEFdelatyrosine.Enhautàdroite,MEEFdelaphénylalanine.

En bas, MEEF du tryptophane. . . 102

6.11 LesMEEFestiméespar gradient onjuguénonnégatif.Enhautàgau he MEEF

de e que l'on estime être la tyrosine. En haut à droite, MEEF de e que l'on

phény-6.12 Surestimation du rang du tenseur en prenant

F = 4

au lieu de

3

. En haut à droite,onre onnait laphénylalanine. Enbas àgau he, latyrosine. Enbas bas

àdroite,letryptophane.LaMEEFenhautàgau he estlogiquementd'intensité

plus faible que les autres puisqu'elle ne orrespond à au un des omposés du

mélange. . . 104

6.13 ComparaisondesMEEFestiméessurlejeuà3uorophoresaumoyendes deux

algorithmes suivants : gradient onjugué sous ontrainte de non négativité (à

gau he), ALS+ LS sans ontraintede positivité (àdroite). . . 105

6.14 Indi edeperforman es

E

2

dB

surlemélangeà

3

uorophores.Legradient onju-gué est en bleu, l'ALS+ LS en rouge . . . 105

6.15 Spe tres estimésaprès prétraitementpar ltrage morphologiquevia ALS+LS

sans ontrainte. A gau he sont représentés tous les spe tres d'ex itation, et à

droite lesspe tres d'émission.De haut en bas :la phénylalanine,la tyrosine et

letryptophane.Sur haquegure,la ourberouge orrespondauspe treestimé

pardé ompositionCP,la ourbebleueauspe trederéféren eetla ourbe yan

au spe tre de référen e sur lequel on a tronqué la zone qui orrespondait aux

raies de diusion pour plus de lisibilité. . . 106

6.16 Con entrationsestimées par ALS +LS . . . 107

6.17 Enrouge,lesspe tres estiméspar dé ompositionCP non négative(algorithme

du gradient onjugué). Enbleu, lesspe tres de référen e. Enhaut,lesspe tres

dusulfatedequinine,respe tivementl'ex itationàgau heetl'émissionàdroite.

En bas, les spe tres de la uores éine, respe tivement l'ex itation à gau he et

l'émissionà droite. . . 108

6.18 Evolutiondes on entrationsrelativesauldesé hantillons.A gau he, la

uo-res éine, à droite, lesulfate de quinine. . . 109

6.19 MEEFdes 2 omposésorganiques.Agau he,lauores éine,àdroite,lesulfate

de quinine. . . 109

6.20 3 omposés estimés pour 2 réellementprésents.. . . 110

6.21 Enrouge, lesspe tres estiméspar dé omposition CP non négative (algorithme

du gradient onjugué). Enbleu, lesréféren es. Enhaut, lesspe tres du sulfate

de quinine, respe tivementl'ex itationà gau he et l'émissionà droite.Enbas,

lesspe tresdelauores éine,respe tivementl'ex itationàgau heetl'émission

à droite. . . 112

6.22 Evolutiondes on entrationsrelativesdelauores éineetdusulfatede quinine

aul des é hantillons. . . 113

6.23 MEEFdes 2 omposés organiques.A gau he, lauores éine,àdroite,lesulfate

de quinine. . . 113

6.24 MEEF de référen e du sulfate de quinine (gau he) etde la uores éine (droite). 114

5.1 Complexité algorithmique d'opérations matri ielles . . . 86

5.2 Complexité algorithmique de diérentsalgorithmes . . . 86

5.3 Complexité algorithmique de l'ELS des diérents algorithmes . . . 87

5.4 Complexité algorithmique pour les versions ELS des diérentsalgorithmes . . . 88

ALS

AlternatingLeast Squares

BFGS

Broyden-Flet her-Goldfarb-Shanno

.à.d. 'est-à-dire

Candecomp

Canoni al de omposition

CP

Cande omp/Parafa ouCanoni al Polyadi de omposition

CP

− WOPT

CP Weighted OPTimization

DFP

Davidon-Flet her-Powell

DMN

Dé ompositionmatri iellenon négative

DOM

Dissolved Organi Matter

DTN

Dé ompositiontensorielle non négative

EEG

Éle tro-En éphaloGraphie

ELS

Enhan ed Line Sear h

FEEM

Fluores en e Emission-Ex itationMatrix

HALS

Hierar hi alAlternating Least Squares

i.e. idest ou 'est-à-dire

K

− L

Kullba k-Leibler divergen e

LS

Line Sear h

MEEF

Matri e d'Emission-Ex itation de Fluores en e

MIMO

Multiple Inputs Multiple Outputs

MOD

Matière organiquedissoute

NMF

Nonnegative MatrixFa torization

NNLS

NonNegativeLeast Squares

NTD

Nonnegative Tu kerde omposition

NTF

Nonnegative Tensor Fa torization

PARAFAC

PARAllel FACtor analysis

RSB

RapportSignal àBruit

Dans toute lasuite du manus rit, nous utiliserons les notations suivantes :

R

orps des réels.

R

+

orps des réels non négatifs.

a

Unelettre en minus uledésigne une variable s alaire.

a

Unelettre en gras eten minus uledésigne une variable ve torielle.

A

Unelettre en majus ule et en gras désigne une matri eou un tenseur.

A = (a

ij

) ∈ R

I×J

matri ede taille

I × J

.

a

ij

Elément de oordonnées

(i, j)

d'une matri e

A ∈ R

I

×J

.

a

ijk

Elément

(i, j, k)

d'un tenseur

A ∈ R

I×J×K

du

3

è

me

ordre.

I

N

matri eidentité de dimension

N × N

.

A

T

Opérateurde transposition d'unematri e, telque

a

ij

= a

ji

.

A

−1

Opérateurd'inversiondans le as d'une matri e arrée.

A

†

Pseudo-inverse de Moore-Penrose d'une matri e

A

.

k.k

1

Norme

L

1

.

k.k

F

Norme de Frobenius.

diag

Si etopérateurestappliquéàunve teur,ilretourneunematri e arrée ontenant

leséléments du ve teur sur la diagonale.

Si et opérateur est appliqué à une matri e, il retourne un ve teur ontenant la

diagonalede la matri e.

⊙

Produit de Khatri-Rao.

⊗

Produit de Krone ker.

⊛

Produit tensoriel.

⊡

Produit de Hadamard.

exp{·}

fon tion exponentielle.

h·, ·i

Opérateurde produit s alaire.

∂

Opérateurde dérivation partielle.

d

Opérateurdiérentiel.

trace

{.}

Tra e d'une matri e.

T

I,KJ

₍₁₎

Dépliementdu tenseur

T ∈ R

I

×J×K

dans lemode 1.

T

J,KI

₍₂₎

Dépliementdu tenseur

T ∈ R

I

×J×K

dans lemode 2.

T

K,J I

₍₃₎

Dépliementdu tenseur

T ∈ R

I

×J×K

dans lemode 3.

log

logarithmenépérien ounaturel.

log

₁₀

logarithmeà base 10ou logarithme dé imal.

1

K,F

matri ede taille

K × F

ne ontenantque des 1.

0

I,1

ve teur de taille

I × 1

ne ontenant que des élémentsnuls.

max{·}

opérateurqui retourne la plus grandedes valeurs passéesen paramètre.

Introdu tion générale

Dans ette thèse,nous nous on entrons sur leproblème de la dé ompositionpolyadique

mi-nimale de tenseurs de dimension trois. Selon les ommunautés s ientiques, on se réfère à e

problème sous diérentes terminologies: Polyadique Canonique (PC ou CP en anglais), ou

en ore CanDe omp, CanD ou Parafa . Même si un modèle exa t existe ara térisé par

un nombre onnude paramètres,le al ulde ladé ompositionCP onsisteàtrouverleszéros

d'un polynmede degrésixvoire plusélevé,en présen e d'untrèsgrand nombre de variables.

Il s'agit don d'un problème numériquement très di ile à résoudre et e en dépit du fait

que le nombre de zéros reste ni. En outre, le modèle est sujet à des erreurs, 'est pourquoi

on en her he la meilleureapproximation ausens d'un ertain ritère. Il est toutefois a quis

aujourd'hui que la meilleure approximation peut ne pas toujours exister... Par ailleurs, dans

plusieurs appli ations telles que l'imageriehyperspe trale oula himiométrie par exemple, il

est intéressant de ontraindreles matri es de fa teurs re her hées à être réelles et non

néga-tives ar elles sont représentatives des quantités physiques réelles et non négatives. Tel est

le as lorsque l'on her he à estimer des spe tres, des fra tions d'abondan e, des

on entra-tions, ...et . Si une telle ontrainte rend le problème d'approximation onsidéré en ore plus

ompliqué, son avantage majeur est de le ramener à un problème bien posé [LC09℄.

Le adreappli atif onsidéré i iest eluide l'analyse de données environnementales pour des

données parti ulières de typeé hantillons d'eau.Ces é hantillons pourront avoir été olle tés

en diérents endroits (mer, estuaires, rivières ou en ore au niveau de pro essus industriels

liés au traitement de l'eau) ou à diérents instants. Ils ontiennent un mélange de plusieurs

molé ules organiques et le but des traitements numériques qui seront mis en oeuvre sera

de parvenir à séparer et à ré-estimer les omposés de matières organiques présents dans les

solutions onsidérées.Pour étudier es é hantillons d'eauprélevés, late hnique lassiquement

utiliséedepuislestravauxdeStedmon [SMB03a℄[SM03 ℄[SM05℄ onsisteà ouplerl'analysede

la lumines en e totale ou spe tros opie de uores en e à des algorithmes de dé ompositions

multi-linéairesCP.Lesspe tres de lumines en etotalesont également appelésspe tros opie

de uores en e 3D ouMatri es d'Emission-Ex itation de Fluores en e (MEEF).Dans notre

as, es signauxnousontété fournisparlelaboratoirePROTEEdel'USTV.Ilsontétémesurés

à l'aide d'un spe trouorimètre équipé d'une sour e d'ex itation ontinue en fon tion du

temps.Unensemblede MEEF onstituealors untenseur d'ordretroisquel'on peut modéliser

par des dé ompositions multi-linéaires (Cande omp/Parafa ou dé ompositions anoniques

polyadiques(CP)).Dans etteappli ation,lesmatri esdefa teurs re her hées orrespondent

on entrationsdes diérents omposés présentsauniveau desdiversé hantillonsdesolutions.

C'estlaraisonpourlaquelle,nousnoussommesdon intéressésaudéveloppementdenouveaux

algorithmes de dé omposition CP non négative pour des tenseurs d'ordre trois. La plupart

des algorithmesexistantsassurentla ontraintedenon négativitéaumoyen d'uneproje tion.

Nous avons don exploré d'autres voies : la première appro he que nous avons onsidérée

onsiste à utiliserdes fon tionsbarrières (é ritessous forme de fon tions exponentielles dans

notre as) lesquelles jouent alors le rle de terme de pénalisation en as de violation de la

ontrainte de non négativité. Nous nous sommes également tournés vers d'autres appro hes

inspiréesdes solutionsproposéesdans le adredes dé ompositionsmatri ielles nonnégatives.

Elles onsistent à prendre en ompte expli itement la nature non négative des matri es de

fa teurs re her hées à travers la paramétrisation même du problème. Nous modélisons les

quantités re her hées aumoyen de arrés e quinousamènetoutnaturellementàintroduire

des produits de Hadamard. Une fois la fon tion de oût ré-é rite et des quantités telles que

les gradients matri ielsvoire lesmatri es Hessiennes à nouveau al ulées, divers algorithmes

d'optimisation ont alors pu être testés : tout d'abord le gradient onjugué non linéaire,bien

adaptéàdesproblèmesengrandedimension, ombinéave unere her helinéaireglobaledans

une dire tion (Enhan ed Line Sear h). Cette ombinaison permet de s'é happer de minima

lo aux. Mais d'autres algorithmes d'optimisation ont également été étudiés : appro hes de

typegradient,Quasi-Newton(BGFetDFP)etennLevenberg-Marquardt.Deuxversionsde

ha unde esalgorithmesontsystématiquementété onsidérées:laversionre her helinéaire

globale (Enhan ed Line Sear h ou ELS) et la version méthode par mar he arrière (ou

ba ktra king,enalternan eave l'ELS).Deplus,desversionsplusgénéralesde esalgorithmes

ontégalementétédéveloppéesandepouvoirtenir ompted'autrestypesde problèmeset/ou

ontraintes propresà l'appli ationvisée: prise en ompted'éventuelles données manquantes,

par imonieouaspe t reuxdesdonnées.Diérentesoptimisationsalgorithmiquesontennété

testéesand'a élérerlesvitessesde onvergen edesalgorithmes(dé oupagedutenseur selon

une dire tion, exploitation des matri es reuses sous Matlab, et ...). A des ns d'évaluation

et de alibration, les diérentes solutions proposées ont ensuite été testées sur des mélanges

de omposés onnusee tuésen laboratoireet omparéesauxrésultatsobtenusaumoyendes

méthodes de l'étatde l'art.

Le manus rit est don organiséde la façonsuivante. Après ette introdu tiongénérale, dans

le hapitredeux,nousintroduironslesoutilsmathématiquesetlesnotionssur lestenseurs qui

sont né essaires aux al uls des gradients matri ielsutilisés dans l'élaborationdes nouveaux

algorithmesde dé ompositionCP nonnégative.Nousyprésenteronségalementleprin ipede

ladé ompositionCP etde quelquesalgorithmesexistants(sans ontraintedenonnégativité).

Nous passerons ensuiteàl'appli ation onsidérée àsavoirlaspe tros opie de uores en e 3D

pour l'analyse de la omposition de l'eau et à ses liens ave la dé omposition CP. Dans le

troisième hapitre, après quelques rappels sur l'état de l'art en matière de ontrainte de non

négativité, qu'il s'agisse de dé ompositions matri ielles ou de tensorielles, nous présenterons

les nouveaux algorithmesde dé omposition CP que nous avons développés lesquels sont

fon-dés surdes modi ationsde lafon tionde oût onsidérée.Plusieursappro hes possiblessont

détaillées : introdu tion de fon tions barrières, modélisation au moyen de  arrés d'où

suite diérentsalgorithmes d'optimisationitératifs (gradient, gradient onjugué non linéaire,

Quasi-Newton, Levenberg-Marquardt). La question du hoixdu pas d'adaptationsera

égale-ment traitée. Enn, un algorithme de Tu ker 3 généralisant l'un des algorithmes pré édents

sera égalementprésenté. Toutes les méthodes détailléesdans e hapitre seront ensuite

om-parées sur des exemples synthétiques de mélanges tri-linéaires.Le hapitre quatresera quant

àlui onsa réauproblèmedesdonnéesmanquantes,quipourraitseposerdansun ontextede

traitementquasitemps-réeletin-situdesdonnées. Làen oredeuxsolutionsserontproposées:

l'une généralise un algorithme existant qui ne prenait en ompte au une ontrainte de non

négativitéet onsidéraitdespoidsbinairesae tésà haque entrée du tenseurde données. La

se onde, plus robuste, onsidère des poids variablesau ours des itérations. Dans le hapitre

inq, nous onsidérerons diérentes optimisations algorithmiques an d'a élérer les vitesses

de onvergen e. Enn dans le hapitre six, nous testerons lesdiérentsalgorithmes proposés

sur des mélanges de omposés organiques onnus réalisés en laboratoire . Nous montrerons

l'apport des solutions proposées et leur robustesse vis-à-vis d'erreurs au niveau de

l'estima-tion du nombre de omposés présents dans les solutions notamment. An d'éliminer l'eet

des diusions Raman et Rayleigh, une nouvelle méthode de pré-traitement sera également

introduite. Dans un dernier hapitre, enn, nous dis uterons des on lusions et perspe tives

Dé ompositions tensorielles : état de l'art

et appli ations en uorimétrie

2.1 Introdu tion

Ce hapitrepoursuitledoubleobje tifde présenteràlafoislesoutilsmathématiquesexploités

dans lasuite dumanus ritetl'appli ationàlaquelle elui- iestprin ipalementdévolu. Ainsi,

nous introduirons les outils et notations utilisées dans le adre de l'algèbre tensorielle, dont

nous rappelleronslesprin ipesetlespropriétésqui serontexploitées parlasuite. Ces notions

permettront d'aborder la spe tros opie de uores en e 3D et son lien ave la dé omposition

CP. Cette appli ation en himiométrie et analyse de données environnementales servira de

base de tests et de omparaisonsàtous les algorithmesque nousserons amenés àdévelopper

dans les pro hains hapitres.

2.2 Outils

2.2.1 Produits usuels et outils de al ul

2.2.1.1 Produit de Krone ker

Le produit de Krone ker [Bre78℄ entre deux matri es

A = (a

ij

) = [a

1

, a

2

, . . . a

F

] ∈ R

I

×F

et

B = [b

1

, b

2

, . . . , b

G

] ∈ R

J

×G

est une matri enotée

A ⊗ B ∈ R

IJ

×F G

etdénie ommesuit :

A ⊗ B =











a

11

B a

12

B . . . a

1F

B

a

21

B a

22

B . . . a

2F

B

. . . . . . . . . . . .

a

I

1

B a

I2

B . . . a

IF

B











(2.1)

Propriétés - Le produit de Krone ker présente les propriétés suivantes si l'on onsidère

3

matri es

A

,

B

et

C

, dont deux (les matri es

B

et

C

) sont de lamême taille,

a

désignant un s alaire :

≻

Distributifi.e.

A ⊗ (B + C) = (A ⊗ B) + (A ⊗ C)

et

(B + C) ⊗ A = (B ⊗ A) + (C ⊗ A)

≻

Non ommutatifi.e.

A ⊗ B 6= B ⊗ A

≻ (A ⊗ B)

T

= A

T

_{⊗ B}

T

≻

Si

A

et

B

sont non singulières,

(A ⊗ B)

−1

= A

−1

_{⊗ B}

−1

≻ (A ⊗ B)

†

= A

†

_{⊗ B}

†

≻ a (A ⊗ B) = (aA) ⊗ B = A ⊗ (aB)

2.2.1.2 Produit de Khatri-Rao

Le produit de Khatri-Rao entre deux matri es possédant le même nombre de olonnes,

A =

[a

1

, a

2

, . . . , a

F

] ∈ R

I×F

et

B = [b

1

, b

2

, . . . , b

F

] ∈ R

J×F

, est déni omme le produit de

Krone ker selon les olonnes :

A ⊙ B = [a

1

⊗ b

1

,

a

2

⊗ b

2

,

a

F

⊗ b

F

] ∈ R

IJ×F

.

(2.2)

Propriétés - Il présente lespropriétés suivantes si l'on onsidère

2

matri es

A

et

B

possé-dant le même nombre de olonnes et une troisièmematri e

C

de lamême taille que

B

ainsi

qu'un s alaire

a

:

≻

Asso iatif i.e.

A ⊙ (B ⊙ C) = (A ⊙ B) ⊙ C

≻

Distributifi.e.

A ⊙ (B + C) = (A ⊙ B) + (A ⊙ C)

≻

Non ommutatifi.e.

A ⊙ B 6= B ⊙ A

≻ a (A ⊙ B) = (aA) ⊙ B = A ⊙ (aB)

2.2.1.3 Produit de Hadamard

Leproduit deHadamardentre 2matri es

A

et

B

de mêmetailleest leproduit termeàterme entre haque élémentdes matri es:

(A ⊡ B)

ij

= a

ij

b

ij

(2.3)

Propriétés - Ce produit présente les propriétés suivantes si l'on onsidère

3

matri es

A, B, C

de lamême tailleetun s alaire

a

:

≻

Asso iatif i.e.

A ⊡ (B ⊡ C) = (A ⊡ B) ⊡ C

≻

Distributifi.e.

A ⊡ (B + C) = (A ⊡ B) + (A ⊡ C)

≻

Commutatifi.e.

A ⊡ B = B ⊡ A

≻ (A ⊡ B)

T

= A

T

_⊡

_B

T

_{= B}

T

_⊡

_A

T

≻ a (A ⊡ B) = (aA) ⊡ B = A ⊡ (aB)

≻ (A ⊙ B)

T

(A ⊙ B) = A

T

_{A ⊡ B}

T

_B

2.2.1.4 Tra e d'une matri e

Latra ed'unematri eest simplementlasommede sesélémentsdiagonaux.Pour unematri e

trace{A} =

N

X

i=1

a

ii

(2.4)

Propriétés - Elle présente des propriétés qui seront exploitées par la suite. Considérons

trois matri es arrées

D

1

,

D

2

et

D

3

de dimension

M × M

etquatre matri es re tangulaires

D

4

,

D

5

,

D

6

et

D

7

(detailleresp.

M × N

,

N × M

,

M × N

et

M × N

), onaalorslespropriétés suivantes [MN07℄:

≻ trace {D

1

+ D

2

} = trace {D

1

} + trace {D

2

}

.

≻ trace {D

1

D

2

D

3

} = trace {D

3

D

1

D

2

} = trace {D

2

D

3

D

1

}

⇒ trace {D

1

D

2

} = trace {D

2

D

1

}

.

≻ trace {D

4

D

5

} = trace {D

5

D

4

}

.

≻ d(D

T

1

) = (dD

1

)

T

.

≻ trace{D

T

4

(D

6

⊡

D

7

)} = trace{(D

4

T

⊡

D

T

6

)D

7

}.

(2.5)

2.2.1.5 Opérateur de ve torisation

L'opérateur

vec

(.)

permet de transformer une matri e en un ve teur. La onvention hoisie i i est d'empiler les olonnes de la matri e.Si

A ∈ R

M×N

:

vec

(A) =

































a

11

...

a

M1

a

12

...

a

M2

...

a

1N

...

a

M N

































(2.6)

Propriétés La ve torisation permet de simplier ertains al uls en orant des relations

ave le produit de Krone ker ouen ore la tra e par exemple [Bre78, MN07℄.Si on onsidère

4 matri es

A ∈ M × N

,

B ∈ M × N

,

C ∈ M × M

,

D ∈ M × M

et2ve teurs

a

et

b

de taille

quel onque :

≻ vec ab

T

_{= b ⊗ a}

.

≻ (vec A)

T

vec

B = trace A

T

_B

.

≻ vec(ABC) = C

T

_{⊗ A}

_vec

_(B)

( N.B : ette relation reste vraie pour n'importe quelles

matri es

A

,

B

,

C

, dès lorsque leproduit

ABC

est déni et arré).

≻ trace (ABCD) =

vec

D

T

T

_{A ⊗ C}

T

_vec

_B

T

. (N.B : ette relation reste vraie pour

2.2.1.6 Produit s alaire et norme de matri es

Le produit s alaire de Frobenius est déni de la façon suivante :

hA, Bi = trace{A

T

_B}

. Ce

quiimplique égalementque :

hA, Ai = kAk

2

F

= trace{A

T

A}

Nousserons amenéspar lasuite à utiliserles deux normes suivantes :

Norme

L

2

: norme de Frobenius - Elle est dénie de lafaçon suivante :

kAk

F

=

p

trace

{AA

T

_}.

(2.7)

Norme

L

1

- On onsidère i i

A

omme élément d'espa e ve toriel:

kAk

1

=

X

i,j

|a

ij

|.

(2.8)

2.2.1.7 Dérivée et gradient matri iel

On dénit la diérentielle d'une fon tion

f

à variables matri ielles

X

(1)

,

X

(2)

,

. . . , X

(N )

omme:

d

f = h

∂f (X

(1)

_{, . . . X}

(N )

∂X

(1)

, dX

(1)

_{i + . . . + h}

∂f (X

(1)

, . . . X

(N )

)

∂X

(N )

, dX

(N )

_i

(2.9) où

∂f

(X

(1)

_,...,X

(N)

∂X

(i)

, ave

i

variantde

1

à

N

, est la dérivée partiellede

f

par rapportà

X

(i)

.

Ondénitles

N

gradientsmatri ielsde ettefon tion

f

parrapportàses variables

X

(i)

,pour

i

variant de

1

à

N

, omme :

∇

X

(i)

f (X

(1)

, . . . , X

(N )

) =

∂f (X

(1)

_{, . . . , X}

(N )

₎

∂X

(i)

(2.10) 2.3 Dé ompositions tensorielles 2.3.1 Tenseurs

Un tenseur dénit une appli ation multilinéaire, et lorsque les bases des espa es sont xées,

il est asso ié àun tableaumulti-dimensionnel.

Ainsi, un tenseur d'ordre trois peut être représenté par une somme de produits tensoriels

entre trois ve teurs. Un tenseur d'ordre trois (ou du troisième ordre) peut ainsi être généré

aumoyen de

3

ve teurs etreprésentépar un tableauà

3

dimensions.On parleausside modes [SBG04℄.L'ordred'untenseur orresponddon aunombred'indi esné essairespouridentier

un de ses éléments.

Le produit tensorielentre deux tenseurs

X

et

Y

de tailles

R

I

1

×I

2

×...×I

N

et

Y ∈ R

I

J

K

a

b

c

Figure2.1 Représentation visuelle de la génération d'un tenseur de rang

1

.

Z = X ⊛ Y ∈ R

I

1

×I

2

×...×I

N

×J

1

×J

2

×...×J

M

_,

(2.11)

dont haque élément est alors dénipar :

z

i

1

i

2

...i

N

j

1

j

2

...j

M

= x

i

1

i

2

...i

N

y

j

1

j

2

...j

M

.

(2.12) Dans le as parti ulier de trois ve teurs

a

,

b

et

c

de taillerespe tive

I × 1

,

J × 1

et

K × 1

,

alors le produit tensoriel entre

a

et

b

donne naissan e à une matri e

M ∈ R

I×J

de rang

1

telle que :

M = a ⊛ b = ab

T

.

(2.13)

Le produit tensoriel entre lestrois ve teurs

a

,

b

,

c

engendre letenseur

T ∈ R

I×J×K

de rang

1

telque :

T = a ⊛ b ⊛ c,

(2.14)

impliquant que les éléments de

T

sont données par la relation

t

ijk

= a

i

b

j

c

k

pour tout

i =

1, . . . I

, pour tout

j = 1, . . . J

et pour tout

k = 1, . . . K

. On peut en voir une représentation s hématique sur la gure2.1.

2.3.2 Dépliement

Untenseurd'ordretroispeutêtrepartitionnéentran hes.Ilexistealorstroistypesdetran hes

possibles:lestran hes frontales, horizontaleset verti ales, ommele montre lagure 2.3. En

un tenseur

T

de taille

I × J × K

,le dépliementdans lepremiermode mène àune matri ede taille

T

I,KJ

(1)

.Lesdépliementsdanslemode deuxettroismènentrespe tivementàunematri e

de taille

T

J,KI

(2)

et

T

K,J I

(3)

. Notons que pour haque mode, on peut modier la dire tion selon

laquelle on juxtapose les tran hes. Les matri es résultantes sont toujours de la même taille

que elles sus- itées, mais l'ordre dans lequel apparaissent lesvaleurs dière.

2.3.3 Dé omposition CP

2.3.3.1 Généralités

Sion onsidère untenseur d'ordretrois, iladmetunedé ompositionsous formed'unesomme

de tenseurs de rang 1 ( e i est généralisable à n'importe quel tenseur d'ordre quel onque).

Ainsipour un tenseur

T ∈ R

I

×J×K

:

T =

F

X

f=1

a

f

⊛

b

f

⊛

c

f

,

(2.15)

oùles3matri esimpliquées

A = (a

if

) = [a

1

, a

2

, . . . , a

F

] ∈ R

I×F

,

B = (b

jf

) = [b

1

, b

2

, . . . , b

F

] ∈

R

J

×F

,

C = (c

kf

) = [c

1

, c

2

, . . . , c

F

]

sontlesmatri esdefa teurs,dontles olonnessontappelées les fa teurs.

F

est un nombre entier. Lorsque le nombre

F

de tenseurs de rang 1 né essaires

au maintien de ette égalité est minimal, on parle de dé omposition anonique polyadique

(

CP

),

F

représentant alorsle rang du tenseur.

On peut réé rire de manièresimilaire ette relation en faisant intervenir les omposantes des

matri es de fa teurs :

t

ijk

=

F

X

f

=1

a

if

b

jf

c

kf

,

(2.16)

Cettedé ompositionestaussiparfoisé riteentermedetran hesfrontales.Pourles

K

tran hes frontales :

T

k

= AD

(k)

B

T

(2.17)

où

D

(k)

est une matri e diagonalequi ontient la

k

ième

ligne de

C

sur sa diagonale.

La dé omposition CP a été introduite en premier par F. L. Hit h o k dès 1927 sous

l'appel-lation dé ompositionpolyadique [Hit27℄. Elle a été ensuite reprise indépendamment par J.

Carroll et J-J. Chang sous la terminologie Canoni al De omposition (

CanDecomp

) [CC70℄ oupar Harshman sous la dénominationParallel Fa tors (PARAFAC[Har70℄. On utilise

éga-lement l'a ronymeéquivalent

CP

.

Il est parfois plus pratique de supposer que les ve teurs sont de norme unité, et d'appliquer

I

J

K

I

J

J

J

J

Dépliement dans le mode 1 :

K

I

J

K

I

J

I

I

I

Dépliement dans le mode 2 :

I

J

K

I

K

I

I

I

Dépliement dans le mode 3 :

J

K

Tranche horizontale

Tranche frontale

Tranche verticale

I

J

K

Figure2.3 Représentation des tran hes d'un tenseur du

3

ème ordre (

I × J × K

).

T =

F

X

f=1

λ

f

a

f

⊛

b

f

⊛

c

f

(2.18) où

λ

= [λ

1

, . . . , λ

F

]

T

.

Les appli ationsde ette dé omposition sont très diverses[KB09, Com09, CLDA09 ,SBG04℄.

Elle a été utilisée en spe tros opie de uores en e [SBG04, Lu 07℄, dans l'industrie

agro-alimentaire [PBdJ

+

02℄, en biomedi al[FG91℄, en déte tion de ibles via radar MIMO[NS09℄,

entraitementd'antennes[SMBG00,GMB

+

11℄,en séparationde signauxdeparole[NMSP10℄,

pourl'identi ationdesignaturesspe tralesdematériauxenimageriehyperspe trale[ZWPP08℄,

en télé ommuni ations [LdAC11 , dAFM07℄,...et .

2.3.3.2 Estimation des matri es de fa teurs

Leproblèmei iposé onsistedon àestimerles

3

matri esdefa teurs

A

,

B

et

C

,ensupposant

que le rang

F

du tenseur est onnu. Un moyen lassique de modéliser e problème onsiste

à se ramener à un problème d'optimisation en her hant alors à minimiser une fon tion de

oût judi ieusement hoisie (

F (A, B, C; Λ)

). On é rit généralement e problème omme un problème d'ajustement de modèleen hoisissant alors de minimiserl'erreur quadratique:

F (A, B, C; Λ) = kT

I,KJ

₍₁₎

− AΛ(C ⊙ B)

T

k

2

F

(2.19)

= kT

J,KI

₍₂₎

− BΛ(C ⊙ A)

T

k

2

F

(2.20)

= kT

K,J I

₍₃₎

− CΛ(B ⊙ A)

T

_k

2

F

,

(2.21)

Λ

estunematri ed'é hellede taille

F × F

dontladiagonale ontientles

λ

f

pour

f = 1, . . . , F

intervenant auniveau de l'équation(2.18), elles'é rit don

Λ = diag (λ)

.

Notons qu'il est possible de permuter les matri es de fa teurs du produit de Khatri-Rao.

Comme évoqué dans la se tion2.3.2, il fautalors modierla dire tionde dépliement ausein

du mode onsidéré.

Dans lalittérature, onpeut trouver plusieurs solutions pour résoudre e problème

d'optimi-sation (voir par exemple [TB06 ℄ pour une étude et une omparaison de plusieurs méthodes

standardexistantes).L'appro helapluspopulaireestd'appliquerlate hniquededesmoindres

arrésalternés(AlternatingLeastSquaresou

ALS

)[Bro98,CC70,Har70,JWLY99℄.L'

ALS

est un algorithmeassezlentà onvergerdanssaversionde base.C'estpourquoidesaméliorations

de type re her he linéaire ont vu le jour dans [Bro97℄ et même re her he linéaire améliorée

(

ELS

) [RCH08℄. Le prin ipe de la méthode est d'optimiser alternativement une fon tion de oûtparrapportàunedesmatri esdefa teurs,lesdeuxautresétantalors onsidérées omme

xes etindépendantes, e qui est lairementsous-optimal.

Pour pouvoir utiliser d'autres types d'algorithmes d'optimisation, la diérentielle

d

F

of

F

doit être al ulée, et nalement, les gradients matri iels(la matri e

I × F ∇

A

F

, la matri e

J × F ∇

B

F

etla matri e

K × F ∇

C

F

) peuvent être évalués.

On a (le as

Λ = I

F

, où

I

F

est lamatri eidentité de taille

F × F

,aété abondammenttraité dans la littérature [CZPA09, Fra92℄) :

∇

A

F(A, B, C; Λ) = 2

h

−T

I,KJ

₍₁₎

+ AΛ(C ⊙ B)

T

i

(C ⊙ B)Λ

= 2



−T

I,KJ

₍₁₎

(C ⊙ B)Λ + AΛ(C

T

C) ⊡ (B

T

B)Λ



,

(2.22)

∇

B

F(A, B, C; Λ) = 2

h

−T

J,KI

₍₂₎

+ BΛ(C ⊙ A)

T

i

_{(C ⊙ A)Λ,}

= 2



−T

J,KI

₍₂₎

(C ⊙ A)Λ + BΛ(C

T

_{C) ⊡ (A}

T

_A)Λ



(2.23)

∇

C

F(A, B, C; Λ) = 2

h

−T

K,J I

₍₃₎

+ CΛ(B ⊙ A)

T

i

(B ⊙ A)Λ

= 2



−T

K,J I

₍₃₎

(B ⊙ A)Λ + CΛ(B

T

B) ⊡ (A

T

A)Λ



,

(2.24)

En égalisant les omposantes du gradient à

0

, onobtientla solutionsuivante :

b

A = T

I,J K

₍₁₎

(Λ(C ⊙ B)

T

)

†

,

(2.25)

b

B = T

J,KI

₍₂₎

(Λ(C ⊙ A)

T

)

†

,

(2.26)

b

C = T

K,J I

₍₃₎

(Λ(B ⊙ A)

T

₎

†

_.

(2.27) 2.3.3.3 Problèmes d'uni ité

Un avantage de la dé omposition CP est qu'elle garantit sous ertaines onditions que la

solution du problème de minimisation soitunique. Par unique, on sous-entend dans toute la

suite essentiellementunique, 'està dire quela solutionest trouvée à une permutationprès

Rang de Kruskal Le rang de Kruskal, en ore appelé k-rang, est un nouveau on ept de

rang nommédans[HL84℄,suiteàunepubli ationdeKruskalquienfaitmentiondans[Kru77℄

sans ledénir.

On dénitlek-rangde

A

ommelenombremaximumk telque haqueensemblede k olonnes

de

A

est linéairement indépendant.

Exemple 1 :

A =





1 2 5

2 4 7

3 6 5





(2.28)

A

est de rang2.Tous lesensembles de 2 olonnes ne sontpas linéairementindépendants(les ve teurs asso iés à la

1

ère

età la

2

ème

olonne sont olinéaires). Il n'y a que lesensembles de

1 olonne quisont tous linéairementindépendants.Don lek-rang de

A

est

1

.

Exemple 2 :

A =





2 1 1

5 2 3

8 3 5





(2.29)

A

est de rang

2

(la

1

ère

olonneest la sommede la

2

ème

etde la

3

ème

olonne). Il n'y aqu'un

ensemblede

3

olonnes (lamatri eelle-même,etellen'estpasderang plein).Par ontre,tous lesensembles de 2 olonnes sont linéairement indépendants. Don son k-rang est

2

.

Condition de Kruskal - Kruskal a établi en 1977 une ondition susante qui garantit

l'uni itéde la dé ompositionCP pour les tenseurs d'ordre

3

[Kru77℄ laquelle s'é rit:

2F + 2 ≤ min(I, F ) + min(J, F ) + min(K, F )

(2.30)

Eneet, pour des matri es tirées aléatoirement selon une distribution ontinue, lek-rang et

lerang oin ident ave probabilité 1,et lerang de

A

par exemple vaut

min

(I, F )

. La ondition (2.30) est souvent réé rite de la manièresuivante[HL84, SB00, SS07℄ :

2F + 2 ≤ k

A

+ k

B

+ k

C

(2.31)

où

k

A

,

k

B

et

k

C

représentent lesk-rangs des matri esde fa teurs.

Cette preuve de l'uni ité de la solution a par la suite été étendue à des tenseurs d'ordre

supérieur à

3

[SB00℄.

Defaçonintuitive,onpeutdémontrerqueladé ompositionCPnesourepasde ertaines

am-biguïtés, ommel'ambiguïtéderotationqueprésentel'ACPsionn'impose pasde ontraintes

parti ulières, omme l'orthogonalitédes axes. Commeexpliqué dans [Bro98℄, si on onsidère

X = AB

T

,

(2.32) alors, n'importequelle matri e

T

de taille

F × F

non singulièreappliquéeà(2.32)de lafaçon suivante

X = ATT

−1

B

T

(2.33)

re onstruitlamatri e

X

.Don ,less ores

AT

etloadings

B (T

−1

₎

T

sontun hoixtoutautant

justiable que

A

et

B

.

ConsidéronsmaintenantlemodèleCP é riten (2.17).Enprenant desmatri es

T

et

P

,toutes deux de taille

F × F

et non singulières, on peut é rire la relation suivante sans hanger la

matri e

X

:

X = ATT

−1

D

(k)

PP

−1

B

T

.

(2.34)

On seretrouverait don ave les matri esde fa teurs

AT

,

T

−1

_D

(k)

_P

et

P

−1

_B

T

. Or,

T

−1

_D

(k)

_P

doit être diagonale, e qui implique que

T

et

P

doivent être hoisies omme matri es de permutations ou de fa teurs d'é helle. De ette manière, on ne peut don être

onfrontéqu'à des indéterminations de permutations oud'é helle, qui, omme dit

pré édem-ment, ne sont pas un obsta le àla déterminationd'une solutionunique.

2.3.3.4 Problèmes de onvergen e

Le omportementd'algorithmesnumériquesaété lassiédans[KHL89℄puisànouveau

onsi-déré dans [CLDA09 ℄. En eet, il arrive parfois que l'on observe au niveau des ourbes de

onvergen e des ralentissements ou des stagnations, qui sont attribuées à la dégénéres en e

du tenseur :

≻

Un bottlene k : lorsque 2 fa teursou plus d'un mode sont pratiquement olinéaires.

≻

Un swamp : lorsque qu'un bottlene k existe dans tous lesmodes.

≻

CP-degenera ies : as parti ulier des swamps, lorsque ertains fa teurs divergent mais

tendent à s'annuler entre leurs ontributions par lebiais de signes opposés.

2.4 Spe tros opie de uores en e

La spe tros opie de uores en e est un type parti ulier de spe tros opie dont l'objet est

d'analyser le omportementet lespropriétés de uores en e d'un é hantillon.

La phénomène de uores en e se produit lors de l'ex itation d'une molé ule par une onde

éle tromagnétique. Cette énergie est d'abord absorbée par lamolé ule, qui sort alors de son

état fondamentalpour passerdansun état ex itéinstable.Leretouràl'état initialsefaitpar

émission d'un photon. On peut en voirune représentation sur la gure 2.4.