Haut PDF Convergence des méthodes du gradient conjugué avec la recherche linéaire non monotone

Convergence des méthodes du gradient conjugué avec la recherche linéaire non monotone

Convergence des méthodes du gradient conjugué avec la recherche linéaire non monotone

; gradient conjugué variante de Hager-Zhang (0.9) Le but de cette thèse est de faire une étude de la convergence des méthodes du gradient conjugué avec la recherche linéaire non monotone. La technique de la recherche linéaire non monotone a été proposée en premier par Grippo, Lampariello, and Lucidi [30; 1986] et a connu de nombreuses applications aussi bien en opti- misation sans contraintes qu’en optimisation avec contraintes [30] ; [62]. Bien que prometteuse, la recherche sur le thème de la recherche linéaire non monotone est toujours dans ses débuts. comme on le verra par la suite, les recherches linéaires non monotone ont la particularité de ne pas imposer la condition de décroissance su¢ sante à la fonction objectif.
En savoir plus

125 En savoir plus

La méthode du gradient conjugué avec la recherche linéaire non monotone

La méthode du gradient conjugué avec la recherche linéaire non monotone

ont conclu que pour la méthode PRP, la bornitude de l’ensemble et la restric- tion (4,12) sont indispensables. la recherche linéaire inexacte d’Armijo , Dai [3], Dai et Yuan [8] ont discuté la convergence globale des méthodes FR et PRP d’une manière systématique.Ils ont conclu que la méthode PRP est globalement convergente si la fonction ob- jective f est strictement convexe et la condition su¢sante de descente (4.11) est véri…ee. Deux nouvelles formules (4,8) et (4.9) ont été données dans [15,7]. La nouvelle formule non linéaire du gradient conjugué (4,9) a été prouvée ainsi que la convergence globale [7-9]. Récemment, Wei et al. [23] ont proposé la nouvelle formule suivante :
En savoir plus

94 En savoir plus

Gradient conjugué, étude unifiée

Gradient conjugué, étude unifiée

Les méthodes du gradient conjugué sont très importantes pour la résolution des problèmes d’optimisation non linéaire, en particulier pour les problèmes de grande taille. Cependant, contrairement aux méthodes quasi-Newton. Les méthodes du gradient conjugué sont généralement analysées individuellement. Dans cette thèse, nous proposons une nouvelle famille à deux paramètres des méthodes du gradient conjugué pour l’optimisation sans contraintes. La famille à deux paramètres comprend non seulement les trois méthodes du gradient con- jugué non linéaire déjà existantes, mais aussi une autre famille des méthodes du gradient conjugué comme sous-famille. La famille à deux paramètres des méth- odes du gradient conjugué avec la recherche linéaire de Wolfe est indiquée pour assurer la propriété de descente à chaque itération. Certains résultats généraux de convergence globale sont également établis pour la famille à deux paramètres des méthodes du gradient conjugué. Les résultats numériques montrent que cette méthode est e¢ cace pour les problèmes d’essais donnés. En outre, les méthodes liées à cette famille dont les méthodes hybrides sont largement dis- cutées.
En savoir plus

114 En savoir plus

Convergence globale d’une nouvelle méthode du gradient

Convergence globale d’une nouvelle méthode du gradient

Le concept central est celui de direction de descente. On le retrouvera dans des contextes variés, également pour résoudre des problèmes avec contraintes. Tous les algorithmes d’optimisation n’entrent pas dans ce cadre. Une autre classe importante de méthodes se fonde sur la notion de région de confiance. Après avoir décrit comment fonctionne un algorithme a directions de des- cente, nous donnons quelques exemples d’algorithmes de ce type . Nous dé- crivons ensuite les principales règles de recherche linéaire

108 En savoir plus

Développements récents de la méthode du gradient conjugué

Développements récents de la méthode du gradient conjugué

Il est essentiel de prendre d 0 = −g 0 dans un algorithme de CG. En 1972, Crowder et Wolfe [12] ont donné un exemple en 3 dimensions qui montre que le taux de convergence est linéaire si la direction de la recherche initiale n’est pas la direction de la plus grande pente, même pour une fonction quadratique fortement convexe. En 1976, Powell [58] a obtenu un résultat encore plus fort, il a montré que si la fonction objectif est une fonction quadratique convexe et si la direction de recherche initiale est une direction de descente arbitraire, alors, soit la condition d’optimalité est obtenue dans n + 1 itérations, ou la vitesse de convergence est seulement linéaire. En outre,
En savoir plus

121 En savoir plus

Un Algorithme de Gradient Conjugué Projeté Préconditionné pour la Résolution de Problèmes Unilatéraux

Un Algorithme de Gradient Conjugué Projeté Préconditionné pour la Résolution de Problèmes Unilatéraux

3. Préconditionneur Comme il est usuel dans le cas de l’utilisation de méthodes itératives, il est souhai- table de préconditionner le problème afin d’en accélérer la résolution (Saad, 2005). Le préconditionneur proposé est basé sur des remarques sur les espaces fonctionnels aux- quels appartiennent les différents objets manipulés dans l’algorithme. Durant la phase de recherche linéaire, le multiplicateur de Lagrange λ est mis à jour par la formule λ k + αW k . Or, ces deux vecteurs n’appartiennent pas aux mêmes espaces fonction-

7 En savoir plus

La convergence des méthodes a direction de descente

La convergence des méthodes a direction de descente

Les propriétés de la convergence globale de la méthode du gradient conju- gué ont été étudiées par de nombreux chercheurs. Pour établir les résultats de la convergence, il est généralement nécessaire que le pas k est véri…é certaines stratégies de recherche linéaire. Mais la recherche linéaire devient souvent un fardeau important pour les problèmes à grande échelle car elle implique un plus grand calcul des valeurs des fonctions et des gradients, par ailleurs Powell [49] a montré que la recherche linéaire exacte pourrait entraî- ner une séquence non convergente dans le cas de méthode de PR et méthode de HS. Récemment, un nouveau type de méthode de gradient conjugué est développé par Sun et Zhang [55]. Dans leurs méthode, le pas est calculé par une formule …xe au lieu de la recherche linéaire. La formule est donnée par
En savoir plus

116 En savoir plus

Méthodes à région de confiance et gradient conjugué

Méthodes à région de confiance et gradient conjugué

Conclusion et perspectives Dans cette partie nous allons faire un récapitulatif de ce travail en tirant les conclusions et à faire de perspectives. Dans ce travail nous avons explicité les méthodes à région de con…ance comme outil pour résoudre les problèmes d’optimisation sans contraintes. Les résultats obtenus sont des résultats de convergence qui utilisent les méthodes à région de con…ance et qui emploient comme sous programme le gradient conjugué non linéaire de Dai Yuan à chaque itération. De plus, on a pénalisé les problèmes quadratiques avec contraintes et on les a converti en une série de problèmes sans contraintes.
En savoir plus

91 En savoir plus

Méthodes de décomposition de domaine robustes appliquées au calcul en régime linéaire et non linéaire de structures industrielles de grande taille

Méthodes de décomposition de domaine robustes appliquées au calcul en régime linéaire et non linéaire de structures industrielles de grande taille

La méthode FETI Simultané [8], qui s’appuie sur un algorithme de type gradient conjugué multi- préconditionné (MPCG, Multipreconditioned Conjugate Gradient Algorithm) [6], a récemment été pro- posée afin d’en améliorer la robustesse sur de tels cas. Cette approche part du constat selon lequel la construction d’une nouvelle direction de recherche à chaque itération du gradient conjugé par assem- blage pondéré des contributions locales de chaque sous-domaine conduit à une perte d’information nu- mérique locale pénalisant la bonne convergence de l’algorithme (non captation d’une partie du spectre de l’opérateur F ). De façon alternative, elle propose de conserver les N directions de recherche générées par l’étape de préconditionnement sur chaque sous-domaine et d’y effectuer simultanément la minimisa- tion du résidu. Tout en conservant les propriétés de minimisation du gradient conjugué, elle permet d’en améliorer grandement la convergence grâce l’utilisation d’un espace de recherche plus grand. Cependant, une telle amélioration s’effectue au prix d’un accroissement du coût de calcul par itération puisque les opérations s’effectuent alors sur des blocs de N vecteurs. Par ailleurs, le coût de stockage en mémoire de l’ensemble des directions de recherche peut devenir significatif, voire limitant sur des problèmes de grande taille.
En savoir plus

9 En savoir plus

Extension non-linéaire des méthodes FFT accélérées par gradient conjugué

Extension non-linéaire des méthodes FFT accélérées par gradient conjugué

Fig. 5. Convergence des deux méthodes en fonction du contraste élastique initial  . On se reportera à la figure 4 pour le détail de la légende. 5. Conclusion et perspectives La méthode accélérée par gradient conjuguée, récemment proposée en élasticité linéaire et pour un chargement en déformation imposée [5] [6], a été étendue au cas non-linéaire et à des chargements quelconques (non présenté dans ce papier, on se reportera à la présentation orale ou à [1], si accepté). L’application au cas matrice inclusion sphérique en élasticité non-linéaire montre les avantages de cette méthode par rapport au schéma de base : une moins grande sensibilité de la convergence au choix du milieu de référence ainsi qu’au contraste mécanique entre les phases. Des comparaisons plus poussées avec les différentes méthodes de la littérature sont envisagées sur des calculs plus réalistes (composites SiC/SiC [8], polycristaux, bétons…).
En savoir plus

9 En savoir plus

On the convergence of monotone schemes for path-dependent PDE

On the convergence of monotone schemes for path-dependent PDE

Abstract We propose a reformulation of the convergence theorem of monotone numerical schemes introduced by Zhang and Zhuo [34] for viscosity solutions to path-dependent PDEs (PPDE), which extends the seminal work of Barles and Souganidis [1] on the viscosity solution to PDE. We prove the convergence theorem under conditions similar to those of the classical theorem in [1]. These conditions are satisfied, to the best of our knowledge, by all classical monotone numerical schemes in the context of stochastic control theory. In particular, the paper provides a unified approach to prove the con- vergence of numerical schemes for non-Markovian stochastic control problems, second order BSDEs, stochastic differential games etc.
En savoir plus

28 En savoir plus

Développement et validation d'algorithmes à convergence rapide pour l'apprentissage de réseaux de neurones utilisés en contrôle actif non-linéaire

Développement et validation d'algorithmes à convergence rapide pour l'apprentissage de réseaux de neurones utilisés en contrôle actif non-linéaire

adj oint-MEKA, configuration 2-6-1 125 Figure 4.55 Spectre de puissance du signal d'erreur obtenu avec un controleur flxe, algorithme adjoint-MEKA, configuration 2-6-1 125 Figure 4.56 Sp[r]

206 En savoir plus

Développement de méthodes non destructives basées sur l'acoustique non linéaire pour évaluer l'état des ouvrages en béton

Développement de méthodes non destructives basées sur l'acoustique non linéaire pour évaluer l'état des ouvrages en béton

Figure 2.6. Gamme fréquentielle des spectres acoustiques [Kodjo, 2009]. En contrôle non destructif, le choix de la gamme de fréquences est l’un des défis présents, celle qui doit être choisie en fonction des matériaux à ausculter. Dans le cas des matériaux homogènes (comme la majorité des matériaux métalliques), on a seulement qu’à choisir la fréquence de telle manière à obtenir une longueur d’onde inférieure à la taille des défauts à détécter. Dans le cas des matériaux non homogènes (comme les matériaux cimentaires), cette considération devient complexe puisqu’il existe plusieurs types de particules (par ex. de granulats fins, de phases cimentaires hydratés) ainsi que plusieurs types d’irrégularités dont les tailles ne sont pas connues avec précision. Dans ce cas-ci, les défauts sont « invisibles » aux ondes de basses fréquences car ils sont inférieurs à la longueur d’onde envoyée. Par contre, la propagation des ondes de longueurs inférieures aux défauts risque d’être plutôt sensible à certaines irrégularités microstructurales naturelles que l’on ne veut pas caractériser [Sansalone et al., 1997]. Cela démontre qu’il est important de trouver les gammes fréquentielles appropriées pour le type de caractérisation visée.
En savoir plus

173 En savoir plus

On the almost sure convergence of stochastic gradient descent in non-convex problems

On the almost sure convergence of stochastic gradient descent in non-convex problems

Key words and phrases. Non-convex optimization; stochastic gradient descent; stochastic approximation. This research was partially supported by the COST Action CA16228 “European Network for Game Theory” (GAMENET). P. Mertikopoulos is also grateful for financial support by the French National Research Agency (ANR) under grant no. ANR–16–CE33–0004–01 (ORACLESS). N. Hallak and A. Kavis were supported by the European Research Council (ERC) under the European Union’s Horizon 2020 research and innovation programme (grant agreement no 725594 - time-data). V. Cevher gratefully acknowledges the support of the Swiss National Science Foundation (SNSF) under grant № 200021–178865 / 1, the European Research Council (ERC) under the European Union’s Horizon 2020 research and innovation programme (grant agreement № 725594 - time-data), and 2019 Google Faculty Research Award.
En savoir plus

33 En savoir plus

Une procedure de decision en logique non-monotone

Une procedure de decision en logique non-monotone

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

66 En savoir plus

Synthèse sur les méthodes newtoniennes en optimisation numérique non linéaire: écriture d'algorithmes efficaces

Synthèse sur les méthodes newtoniennes en optimisation numérique non linéaire: écriture d'algorithmes efficaces

∗ est, sous ertaines onditions, le même que elui du problème original. F aire une re her he linéaire sur une fon tion autre que la fon tion oût implique que la dénie positivité de B k+1 n'est plus assurée par la re her he linéaire, e i a amené Powell à dénir une orre tion pour assurer ette dénie positivité. Dès lors, il n'y a plus de réel avantage à utiliser une re her he linéaire de Wolfe, une simple re her he linéaire basée sur les onditions d'Armijo sut. Pour que l'algorithme fon tionne bien, le résultat de ette re her he linéaire doit asymptotiquement tendre vers un pas unitaire. Dans ertains as où la dé roissan e de F (.) ne ompense plus la roissan e de kc(x k )k 1 , e pas unitaire est rejeté même très pro he du minimum ; e i est appelé l'eet Maratos et peut être ompensé par une modi ation de la dire tion de des ente. Un PQS fon tionnel ressemble à l'algorithme 5.
En savoir plus

16 En savoir plus

Evaluation ultrasonore de l'os cortical par des méthodes d'acoustique linéaire et non linéaire. Application à l'évaluation du micro endommagement osseux.

Evaluation ultrasonore de l'os cortical par des méthodes d'acoustique linéaire et non linéaire. Application à l'évaluation du micro endommagement osseux.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

177 En savoir plus

Méthodes numériques de représentation à variables séparées pour la résolution des problèmes paramétriques en mécanique non-linéaire des structures

Méthodes numériques de représentation à variables séparées pour la résolution des problèmes paramétriques en mécanique non-linéaire des structures

M´ ethode APHR en m´ ecanique non lin´ eaire. L’avanc´ee r´ecente dans la m´ethode d’Hyper Reduction propos´ee en [ Ry- ckelynck, 2009 ] permet d’´etendre la m´ethode APHR aux mod`eles m´ecaniques non-lin´eaires `a variables internes. Mais l’extension du sous-espace par les sous-espace de Krylov n’a pas ´et´e conserv´ee. En effet, cette approche aug- mente le nombre d’´evaluations du r´esidu d’´equilibre. Ainsi, le temps de calcul consacr´e au calcul du r´esidu devient beaucoup trop coˆ uteux dans le cas des lois de comportement complexes. Nous proposons donc d’´etendre la base r´eduite en utilisant la solution des ´equations ´ El´ements Finis sur quelques incr´ements de temps. Ces corrections globales non-lin´eaires seront d´etaill´ees dans la section 2.1.1 . Elles introduisent une approximation multi-niveau. Le premier niveau est l’approximation r´eduite, le second niveau est la correction
En savoir plus

253 En savoir plus

Online Non-Monotone DR-Submodular Maximization

Online Non-Monotone DR-Submodular Maximization

Given two vectors x and y, the vector x ∨ y has the i th coordinate (x ∨ y) i = max{x(i), y(i)}. The goal is to maximize the total reward over a time horizon T . In order to bypass the non-convexity of the online vee learning problem, we propose the following methodology. Unlike dimension reduction techniques that aim at reducing the dimension of the search space, we lift the search space and the functions to a higher dimension so as to benefit from their properties in this new space. Concretely, at a high level, given a convex set K, we define a “sufficiently dense” lattice L in [0, 1] n such that every point in K can be approximated by a point in the lattice. The term “sufficiently dense” corresponds to the fact that the values of any Lipschitz function can be approximated by the function values at lattice points. As the next step, we lift all lattice points in K to a high dimension space so that they form a subset of vertices (corners points) e K of the unit hypercube in the newly defined space. Interestingly, the reward function ha t , c t ∨ x t i can be transformed to a linear function in the new space. Hence, our algorithm
En savoir plus

29 En savoir plus

Méthodes à epsilon près pour un problème non linéaire mixte de type elliptique hyperbolique : formules d'estimation des sauts

Méthodes à epsilon près pour un problème non linéaire mixte de type elliptique hyperbolique : formules d'estimation des sauts

présentée au paragraphe 2 (pour des détails sur les méthodes utilisées, on pourra se reporter à [LEB02] et [LEB03a]). On considère dans la suite une grille de 8x4 carrés. Si on considère un carré du maillage (les pas de discrétisation sont égaux) :

25 En savoir plus

Show all 10000 documents...