Jeudi 15 : Science des données et réduc;on de modèle D. Ryckelynck (Mines ParisTech),

(1)

Semaine découverte 12-‐16 février 2018

Jeudi 15 : Science des données et réduc;on de modèle D. Ryckelynck (Mines ParisTech),

Selim Barhli (Safran Analy;cs), Dmitry Ivanov (Safran Analy;cs)

(2)

Plateforme classique pour la concep;on ou l'exploita;on de systèmes complexes en aéronau;que, énergie, automobile...

Workﬂow dans les plateformes PLM pour systèmes complexes.

Ex: calcul de durée de vie (plasAcité)

10⁸ x 10⁶ réels sur 10 ans

(10 simulaAons/an, 500 pas de temps, 20 champs)

ou archives peu exploitées

(3)

Comment enrichir le processus de modélisa3on par la science des données?

(4)

Post%traitement,

ingénieur, y, Décision, Simula5on,

(bilan,,causalité),

Paramètres, numériques,

Données, physiques,

q,

Données,de, simula5on,

Science,des, données,

X,

Appren;ssage par transfert, d'un cas antérieur vers un cas similaire.

Gains = simula;ons et décisions plus rapides, montée en gamme des produits

Comment enrichir la modélisa;on avec l'analyse de données de simula;on massives?

Réduire les modèles = réduire le nombre d'équa3ons à résoudre

ou interpoler des résultats de simula3on (surfaces de réponse)

(5)

Appren;ssage automa;que, classiﬁca;on et reduc;on de modèles

Réseau de neuronnes arAﬁciels

Cas de chargement Image

Modèle d'ordre réduit

associé au cas de chargement reconnu

pour la géométrie la plus proche

Prévision du déplacement et de la contrainte de von Mises Exploita;on (en ligne)

Appren;ssage non supervisé (1) SimulaAons

par éléments

ﬁnis Paramètre

de

chargement

Analyse en Composantes

Principales Clustering

k-‐means Prévision du

déplacement

4 cas de chargement

Appren;ssage supervisé (2)

Réseau de neuronnes

arAﬁciels RéducAon

d'ordre de modèle de type DVS

cas 1 cas 2 cas 3 cas 4

(6)

Op;msa;on d'un décapsuleur

organisa;on des tâches / jour de découverte

Première réalisaAon par impression 3D

Paramétrage de la CAO

étude de sensibilité numérique OpAmisaAon de la CAO Essais mécaniques

Réseau de neurones et réducAon de modèle

RéalisaAon d'un décapsuleur par

impression 3D

Essais mécaniques Tomographie

aux rayons X

InterprétaAon des essais,

ﬁabilité

temps

Mardi

Lundi Mercredi

Jeudi

Vendredi : temps libre d'approfondissement accompagné Cours de 9h à 12h30 et de 14h à 17h30

(7)

Quatre simula;ons ont été réalisées avant l'op;misa;on. On souhaite les exploiter pour réduire le modèle du décapsuleur.

SimulaAons par éléments ﬁnis Modèle CAO

paramétré

S1

/home/user/OpAon_Ingenierie_Digitale_des_Systemes_Complexes/

Semaine_decouverte_2A/

Machine_learning_reducAon/

Etude_preliminaire_sur_geometrie_CAO/

SimulaAons_EF

S2

S3

S4

Schéma de l'espace des paramètres d'opAmisaAon, contrainte de von Mises

4 géométries diﬀérentes

(8)

Pour explorer diﬀérentes condiAons aux limites, nous ne reprenons pas le cas de charge exploité pour opAmiser la forme du décapsuleur.

P1 P2

P8 P18

... ...

Comment enrichir la modélisa;on avec des données massives?

Cas des modes empiriques (empirical modes)

(9)

Modélisa;on numérique par la méthode des éléments ﬁnis

Fonctions de forme globales

L’état du système est décrit par une interpolation définie par morceaux.

Matrice des fonctions de forme globales

0 1

N

_{1 3}

(x,y) = N

_{2 4}

(x,y)

q₃ q₄

N

_{1 3}

(x,y)

~

u(x,t) = Σ_i=1^N Ν_i(x) q_i(t) , q ∈ ^N , pour un maillage donné Les équaAons de bilan portent sur les valeurs nodales (q_i) d'un champ u.

Equilibre et comportement mécanique : r(q) = 0, q ∈ ^N, r ∈ ^N, N≈500 000 Ν₃(x), Ν₄(x)

(10)

Cluster

Base réduite

associée aux condiAons aux limites reconnues

Base réduite

ClassiﬁcaAon de condiAons de chargement

Prévision des

déplacements par modèle d'ordre réduit.

Erreur 10%, acc. x20 Réseau de

neurones

A

Chargements Géométries

Objec;f : Associer une base réduite à un chargement et simuler son eﬀet de façon accélérée.

q=V γ, V = [V₁, ... V₅] V₁

V₂

V₃ V₄

V₅

(11)

diﬀérents cas de chargement

diﬀérentes géométries

SimulaAon par éléments

ﬁnis r(q) = 0

X ProjecAon des

prévisions sur un maillage

commun

Appren;ssage non supervisé (1) : réalisa;on de clusters de chargement

ACP

puis k-‐means

RéducAon d'ordre de

modèle V^Tr(V γ) = 0 q

NV x N

q=V γ Déterminer des clusters de chargement

sur 18 cas de charge possibles pour toutes les géométries possibles.

Une base réduite par cluster

q ∈ ^N P1 P2

P8 P18

... ...

(12)

Par;onnement des données (Clustering) par la méthode k-‐means

X =

x₁ x₂

....

hkp://scikit-‐learn.org/stable/modules/clustering.html

Dans les espaces de très grande dimension, la dimension tend à gonﬂer les distances euclidiennes.

Tous les points semblent être à la même distance.

Il est préférable de visualiser les données pour choisir k.

x_j µ_i

Wikipedia

S_i

k=3 (nombre de clusters donné)

Trouver k clusters S = {S₁, ...,S_k}

hkps://docs.scipy.org/doc/scipy/reference/cluster.vq.html

(13)

ﬁnis

X ProjecAon des

commun

Q^T =

prévision 1 q^(1)T prévision 2 q^(2)T

....

q Appren;ssage non supervisé (1) :

réalisa;on de clusters de chargements, réduc;on de la dimension

Etude_preliminaire_sur_geometrie_CAO/ConcatenaAon_donnees_SEF/Transfert_vers_maillage_commun/S4

Données comparables

en peAte dimesion RéducAon de la

dimension par DVS

K x N_c

(14)

ﬁnis

ProjecAon des prévisions sur un maillage

commun

Q^T =

....

Les champs de déplacement calculés sont projetés sur le maillage commun d'une boîte englobante, indépendante des paramètres géométriques.

Méthode : on transfère des prévisions, pas des bases réduites orthogonales qui appar;ennent à une variété de Grassmann.

Q Données comparables

ProjecAon:

Δu^P_i = 0 dans Ω^P, u^P_i = u^S_i dans Ω^S_i Ω^P

Ω^S₁

N^P (boîte englobante) = 789000

(15)

Données d'entrée de simula;on (force appliquée) choisies pour avoir une contrainte de von Mises constante en moyenne dans une zone d'intérêt, pour chaque simula;on.

Contrainte de von Mises, zoom sur la zone d'intérêt Cas de la simulaAon S3 pour le chargement P18.

(16)

ﬁnis

X

V^c est une base réduite orthonormée V^cTV^c= I, W^T W = I, S diagonale posiAve (0 < ε < s_i+1 ≤ s_i).

On obAent N_c = 10 modes empiriques.

ProjecAon des prévisions sur un maillage

commun

Q^T =

....

Q ≈ V^c S W^T, on choisit X = W S DécomposiAon en valeurs singulières (SVD) tronquée de Q :

q Appren;ssage non supervisé (1) : par;onnement des données

réalisa;on de clusters de chargements, réduc;on de la dimension par SVD

(autre approche : auto-‐encodeurs)

Données comparables

en peAte dimesion RéducAon de la

dimension par SVD

Wikipedia

K x N_c

N^P (boîte englobante) = 789000

K

(17)

ﬁnis

X ProjecAon des

prévisions et SVD

Données en dimension 2 ACP

puis k-‐means Appren;ssage non supervisé (1) :

réalisa;on de clusters de chargements, réduc;on de dimension par ACP

Etude_preliminaire_sur_geometrie_CAO/ConcatenaAon_donnees_SEF/Clustering

X moyen par chargement

K = 18 posiAons pour la force appliquée au décapsuleur.

X_r1 X_r2

Analyse en composantes principales (ACP) X_r

X_c = X – 1 (1^T X)/K

Matrice de covariance et ses vecteurs propres Données centrées

K x N_c

K x 2

R = 1/K X_c^T X_c

Base des 2 premiers vecteurs propres de R : R u_α = λ_α u_α λ₁≥ λ₂... ≥ λ_Nc u_α^Τu_β= δ_αβ

X_c ≈ X_r1 u₁^Τ+ X_r2u₂^Τ X_r1 = X_cu₁

(18)

ﬁnis r(q) = 0

X ProjecAon des

commun

Appren;ssage non supervisé (1) : réduc;on de modèle

ACP

puis k-‐means q

4 clusters de chargement

X_r1 X_r2

X_r K x 2 k-‐means sur

(19)

Exercice 1 :

•  Etablir le lien entre les données centrées en grande dimension (Q^T -‐ 1 (1^T Q^T)/K) et en dimension réduite X_c.

•  Générer 3 ou 5 clusters.

•  Essayer un clustering sans centrer les données.

•  UAliser des données centrées réduites pour réduire la dimension des données.

•  Essayer de ne pas réduire les données par SVD en appliquant l'ACP à Q^T et montrer que V_c u_α est un vecteur propre de la matrice de covariance en grande dimension.

Machine_learning_reducAon/

Etude_preliminaire_sur_geometrie_CAO/

Concatena;on_donnees_SEF/

Clustering/

clustering_S1S2S3S4.ipynb

hkps://fr.wikipedia.org/wiki/Analyse_en_composantes_principales

Logiciel : python 3.6 (anaconda), jupiter-‐notebook

(20)

ﬁnis r(q) = 0

X ProjecAon des

commun

ACP

puis k-‐means q

NV x N q=V γ 4 clusters de

chargement

Une base réduite par cluster de chargement et par géométrie

q ∈ ^N X_r1

X_r2

Pour la géométrie S4 et le cluster 2:

(21)

q ∈ ^N Pour la géométrie S4 et le cluster 2:

Q^(S4,C2) = V^(S4,C2) S^(S4,C2) W(S4,C2)T + E^(S4,C2), || E^(S4,C2)|| < ε V^(S4,C2)

Machine_learning_reducAon/Modeles_reduits_par_cluster/C4/Modele_reduit_plus_proche=S4/dof_S1.ut

(22)

Exercice 2 :

•  Calculer des modes empiriques par ACP avec des données centrées.

•  Peut-‐on projeter avec précision les données de simulaAons sur ces nouveaux modes empiriques?

•  Calculer des modes empiriques en agrégeant deux résultats de simulaAon Q⁽¹⁾ = V⁽¹⁾ G⁽¹⁾ et Q⁽²⁾ = V⁽²⁾ G⁽²⁾, pour trouver la décomposiAon de Q⁽³⁾ = [Q⁽¹⁾, Q⁽²⁾] en s'inpirant de [1].

Appliquer la méthode proposée en agrégeant les clusters 2 et 4 de la géométrie S4.

•  Que donne la permutaAon de (1) et (2)?

•  Proposez une autre approche en recalculant une matrice de covariance pour [Q⁽¹⁾, Q⁽²⁾].

[1] Incremental singular value decomposiAon of uncertain data with missing values, Makhiew Brand, (2002),

proceeding of the 2002 European Conference on Computer Vision (ECCV2002 Copenhagen), Springer Lecture Notes in Computer Science volume 2350.

Machine_learning_reduc;on/

Modeles_reduits_par_cluster/

C2+C4/

Extension_Q1_Q2/

extension_Q1_Q2.ipynb

(23)

Réseau de neuronnes arAﬁciels

Cas de chargement Image

environement de chargement

Modèle d'ordre réduit issu de S4 Exploita;on

Prévision du déplacement et de la contrainte de von Mises Maillage

d'image 3D proche de la simulaAon S4 Image par tomographie

V^Tr(V γ) = 0

Machine_learning_reducAon/Modeles_reduits_par_cluster/C4/Modele_reduit_plus_proche=S4/run_ROM_simulaAon.py

Gain en temps de simulaAon > 25 par rapport à la méthode des éléments ﬁnis.

(24)

Exercice 3 :

•  Reconstruire un réseau de neurones arAﬁciels avec le dernier disposiAf expérimental, aﬁn de reconnaître les 4 clusters de chargement, pour une pièce en situaAon dans la machine d'essai. Pour cela, prendre environ 200 photographies par cluster pour

construire la base de données.

(25)

Les données traitées ont un format tensoriel

Q!=!!

...!

θ = (t,µ)

[ u (x

_i

, θ

_j

) ] =

µ_1" µ_n"

µ_n+1" µ_2n"

µ_2"

parameter"space"for"D=2"

Les algorithmes et les modèles numériques présentés au cours de la semaine sont génériques

^.

image or simulaAon results

PCA

(26)

Enseignement spécialisé : Large scale machine learning (F. Moutarde, J.-‐Ph. Vert)

PrésentaAon d'autres types de réseaux de neurones Machine à support de vecteur (SVM)

Perceptron

Algorithme d'opAmisaAon des poids par gradient stochasAque ApplicaAons

(27)

CorrecAon

Exercice 2 :

Q⁽¹⁾ = V⁽⁰¹⁾ G⁽¹⁾,Q⁽²⁾ = V⁽⁰²⁾ G⁽²⁾, SVD :

G⁽¹⁾ = U⁽¹⁾S⁽¹⁾W⁽¹⁾, G⁽²⁾ = U⁽²⁾S⁽²⁾W⁽²⁾ V⁽¹⁾=V⁽⁰¹⁾U⁽¹⁾, V⁽²⁾=V⁽⁰²⁾U⁽²⁾

ProjecAon

L = V^(1)TV⁽²⁾, H = (V⁽²⁾ -‐ V⁽¹⁾L) S⁽²⁾

DécomposiAon QR : V⁽²⁾ -‐ V⁽¹⁾V^(1)TV⁽²⁾ = J K, J^T J = I ReconstrucAon de [Q⁽¹⁾ Q⁽²⁾]:

[V⁽¹⁾J] [ S(1) L S⁽²⁾ ] [W⁽¹⁾ 0 ] [ 0 K S⁽²⁾ ] [0 W⁽²⁾] SVD:

[ S(1) V^(1)TV⁽²⁾ S⁽²⁾ ] = V* S* W*

[ 0 K S⁽²⁾ ] V⁽³⁾= [V⁽¹⁾J] V*

S⁽³⁾= S*

W⁽³⁾ = W* [W⁽¹⁾ 0 ] [0 W⁽²⁾]

(28)

Bibliographie

Décomposi;on en valeur singulière

Eckart, C., & Young, G. (1936). The approximaAon of one matrix by another of lower rank. Psychometrika, 1, 183–187.

Golub, G., & Van Loan, C. (1996). Matrix computaAons, 3rd ediAon. Johns Hopkins, BalAmore.

ACP

Jolliﬀe, I. (2002). Principal component analysis. Springer. 2nd ediAon.

Clustering

HarAgan, J., & Wang, M. (1979). A K-‐means clustering algorithm. Applied StaAsAcs, 28, 100–108.

MacQueen, J. (1967). Some methods for classiﬁcaAon and analysis of mulAvariate observaAons. Proc. 5th Berkeley Symposium, 281–297.

Jain, A., & Dubes, R. (1988). Algorithms for clustering data. PrenAce Hall.

Wallace, R. (1989). Finding natural clusters through en-‐ tropy minimizaAon. Ph.D Thesis. Carnegie-‐Mellon Uiv-‐

ersity, CS Dept.

A. Naitali. F. Giri, A. Radouane, and F.Z. Chaoui (2013). Geometric Clustering and Parameter EsAmaAon in MulAple Local Linear Model IdenAﬁcaAon, 11th IFAC InternaAonal Workshop on AdaptaAon and Learning in Control and Signal Processing.

Appren;ssage automa;que Wikipedia (machine learning)

Sinno Jialin Pan et Qiang Yang, (2010). A Survey on Transfer Learning, IEEE TransacAons on Knowledge and Data Engineering, no 20(10)

Jeudi 15 : Science des données et réduc;on de modèle D. Ryckelynck (Mines ParisTech),

Semaine découverte 12-­‐16 février 2018