Bregman divergences

Top PDF Bregman divergences:

Phase retrieval with Bregman divergences and application to audio signal recovery

Phase retrieval with Bregman divergences and application to audio signal recovery

5 Conclusion We have addressed the problem of PR when the quadratic loss is replaced by general Bregman divergences, a family of discrepancy measures with special cases that are well-suited for audio applications. We derived a gradient algorithm and an ADMM scheme for solving this problem and implemented them in the context of audio signal recovery. We evaluated the performance of these algorithms for PR from exact and modified spectrograms. We experimentally observed that when performing PR from exact or slightly degraded spectrograms, traditional algorithms based on the quadratic loss perform best. However, in the presence of high level of degradation, these are outperformed by algorithms based on alternative losses. This highlights the potential of PR with the Bregman divergence for audio signal recovery from highly corrupted spectrograms. However it is difficult to recommend a specific alternative divergence at this stage. The choice is dependent on the nature of the degradation and possibly on the nature of the data itself (e.g., speech vs music). Gradient algorithms are very convenient because they can be applied to any setting, however finding efficient step sizes in every setting was challenging and this issue deserves more attention. In that respect, our ADMM algorithms appeared more stable with respect to the level of noise and to the nature of the data but their applicability is more limited as they depend on the availability of specific proximal operators for each setting.
En savoir plus

24 En savoir plus

Phase recovery with Bregman divergences for audio source separation

Phase recovery with Bregman divergences for audio source separation

Time-frequency audio source separation is usually achieved by estimating the short-time Fourier transform (STFT) magnitude of each source, and then applying a phase recovery algorithm to re- trieve time-domain signals. In particular, the multiple input spectrogram inversion (MISI) algorithm has shown good performance in several recent works. This algorithm minimizes a quadratic recon- struction error between magnitude spectrograms. However, this loss does not properly account for some perceptual properties of audio, and alternative discrepancy measures such as beta-divergences have been preferred in many settings. In this paper, we propose to reformulate phase recovery in audio source separation as a minimization problem involving Bregman divergences. To optimize the resulting objective, we derive a projected gradient descent algorithm. Experiments conducted on a speech enhancement task show that this approach outperforms MISI for several alternative losses, which highlights their relevance for audio source separation applications.
En savoir plus

9 En savoir plus

Bregman divergences based on optimal design criteria and simplicial measures of dispersion

Bregman divergences based on optimal design criteria and simplicial measures of dispersion

strictly isotonic on M > , and strictly concave in the sense of (11), see [19, Sect. 6.13]. Lemma 2 applies, and the Burbea-Rao and Jeffreys-Bregman divergences associated with log ϕ p , p ∈ (−∞, 1), distinguish normal distributions in M > . However, as Section 5 will illustrate, distances associated with negative p are very sensitive to the presence of small eigenvalues in the spectrum of covariances matrices, and are therefore not recommended. In contrast, the presence of zero eigenvalues λ i (M ) has

17 En savoir plus

Tailored Bregman Ball Trees for Effective Nearest Neighbors

Tailored Bregman Ball Trees for Effective Nearest Neighbors

Tailored Bregman Ball Trees for Effective Nearest Neighbors ∗ Frank Nielsen † Paolo Piro, Michel Barlaud ‡ Abstract Nearest Neighbor (NN) search is a crucial tool that remains critical in many challenging applications of computational geometry (e.g., surface reconstruction, clustering) and computer vision (e.g., image and in- formation retrieval, classification, data mining). We present an effective Bregman ball tree [5] (Bb-tree) construction algorithm that adapts locally its internal node degrees to the inner geometric characteristics of the data-sets. Since symmetric measures are usually preferred for applications in content-based informa- tion retrieval, we furthermore extend the Bb-tree to the case of symmetrized Bregman divergences. Ex- act and approximate NN search experiments using high-dimensional real-world data-sets illustrate that our method improves significantly over the state of the art [5], sometimes by an order of magnitude.
En savoir plus

5 En savoir plus

Beta-divergence as a subclass of Bregman divergence

Beta-divergence as a subclass of Bregman divergence

Index Terms—Beta-divergence, Bregman divergence, non- negative matrix factorization. I. I NTRODUCTION D IVERGENCES are distance-like functions, widely used to assess the similarity between two objects. For instance, Kullback-Liebler (KL) divergence [13] is used in informa- tion theory to compare two probability distributions, and the Itakura-Saito (IS) divergence is used as a measure of the per- ceptual difference between spectra [11]. Generalized classes of divergences, for instance Bregman divergences, are used in pattern classification and clustering [1]. In non-negative matrix factorization (NMF [14]), divergences are used as cost functions: NMF approximates an F × T non-negative matrix V with the product of two non-negative low-rank matrices:
En savoir plus

5 En savoir plus

Quantification et Clustering avec des Divergences de Bregman

Quantification et Clustering avec des Divergences de Bregman

Abstract We are interested in the quantization problem for a random variable X taking its values in a separable reflexive Banach space, and in the related question of clustering n independent random variables with the same distribution as X. We use a quantization scheme with a class of distortion measures called Bregman divergences. We give conditions ensuring existence of an optimal quantizer and an empirically optimal quantizer. We also discuss rates of consistency.

5 En savoir plus

Bregman Voronoi Diagrams: Properties, Algorithms and Applications

Bregman Voronoi Diagrams: Properties, Algorithms and Applications

6.3 VC-dimension, classification and learning Some important classification rules rely on Voronoi diagrams; furthermore, the analysis of classification rules (complexity or statistical generalization) sometimes makes use of concepts closely related to Voronoi diagrams. Extending the rules and analyses to arbitrary Bregman divergences, with important related consequences (such as the eventual lost of convexity) is thus particularly interesting for classification, and we review here some notable consequences. In supervised classification, we are generally interested in capturing the joint structure of X and a set of classes, {0, 1} in the simplest case. For this objective, we build representations of concepts, i.e. functions that map X to the set of classes. A concept class H is a set of concept representations h : X → {0, 1}; for example, should h be a Bregman ball, it would classify 0 the points outside the ball, and 1 the points inside. Armed with these definitions, our supervised classification problem becomes the following one. A so-called target concept, c, which is unknown, labels the points of X ; we have access to its labeling throughout a sampling process: we retrieve examples (i.e., pairs (x, c(x))), independently at random, according to some unknown but fixed distribution D over the set {(x, c(x)) : x ∈ X }. The question is: what are the conditions on H that guarantee the possibility to build, within reasonable time, some h ∈ H agreeing as best as possible with c, with high probability? While the complexity requirement is usual in computer science, the fact that we require adequacy with high probability better than systematically is also a necessary requirement, as there is always the possibility of an extremely bad sampling that would prevent any efficient learning (e.g. we have drawn the same example all the time). In general, rather than directly sampling the domain, we work with a finite data set S of examples which is supposed to be sampled this way.
En savoir plus

52 En savoir plus

Bregman Voronoi diagrams

Bregman Voronoi diagrams

F (p ||q) = (p − q) T Q(p − q) where Q is a positive definite symmetric matrix (obtained for F (x) = x T Qx). When Q is taken to be the inverse of the variance-covariance matrix of some data set, D F is the Mahalanobis distance, extensively used in Computer Vision and Data Mining. More impor- tantly, the notion of Bregman divergence encapsulates various information measures based on entropic functions such as the Kullback–Leibler divergence based on the (unnormalized) Shannon entropy, or the Itakura–Saito divergence based on Burg entropy (commonly used in sound processing). Table 1 lists the main univariate Bregman divergences. Finally, we would like to point out that Banerjee et al. [6] have shown that there is a bijection between the regular exponential families in statistics [29] and a subset of the Bregman divergences called regular Bregman divergences.
En savoir plus

33 En savoir plus

Bregman Vantage Point Trees for Efficient Nearest Neighbor Queries

Bregman Vantage Point Trees for Efficient Nearest Neighbor Queries

generalize the seminal vp-tree construction and search algo- rithms to the broader class of Bregman divergences. These distorsion measures are preferred in many cases, as they also handle entropic distances (e.g., Kullback-Leibler divergence) besides quadratic distances. We also extend vp-tree to deal with symmetrized Bregman divergences, which are common- place in applications of content-based multimedia retrieval. We evaluated performances of our Bvp-tree for exact and ap- proximate NN search on two image feature datasets. Our re- sults show good performances of Bvp-tree, specially for sym- metrized Bregman NN queries.
En savoir plus

5 En savoir plus

Iterative Bregman Projections for Regularized Transportation Problems

Iterative Bregman Projections for Regularized Transportation Problems

Optimization using the Kullback-Leibler Divergence. When consider- ing optimization over the simplex or the cone of positive vectors, it makes sense to replace the usual Euclidean metric by a divergence that quantifies with more relevance the difference between two vectors. Of particular interest for our work is the Kullback-Leibler (KL) divergence, since it is intimately related to entropic regularization. The simplest algorithmic block that can exploit such a diver- gence is the iterative projection on affine subsets of such cones under the KL divergence, which was introduced by Bregman [12]. Computing the projection on the intersection of generic convex sets requires to replace iterative projections by more complicated algorithms, such as for instance Dykstra’s method [29]. This algorithm is extended to Bregman divergences (such as KL) in [21] and a proof of convergence is given in [6]. For references in probability and statistics that also address the case of continuous distributions see [25, 30, 51, 9]. Note that several other proximal algorithms have been extended to this setting [5].
En savoir plus

30 En savoir plus

Robust Bregman Clustering

Robust Bregman Clustering

clement.levrard@lpsm.paris Universit´ e de Paris – LPSM Abstract Clustering with Bregman divergences encompasses a wide family of clustering procedures that are well-suited to mixtures of distributions from exponential families [ 3 ]. However these techniques are highly sensitive to noise. To address the issue of clustering data with possibly adversarial noise, we introduce a robustified version of Bregman clustering based on a trimming approach. We investigate its theoretical properties, showing for instance that our estimator converges at a sub-Gaussian rate 1/ √ n, where n denotes the sample size, under mild tail assumptions. We also show that it is robust to a certain amount of noise, stated in terms of Breakdown Point. We also derive a Lloyd-type algorithm with a trimming parameter, along with a heuristic to select this parameter and the number of clusters from sample. Some numerical experiments assess the performance of our method on simulated and real datasets.
En savoir plus

42 En savoir plus

Les syndicats : unité et divergences face à la crise

Les syndicats : unité et divergences face à la crise

2/ Unité de façade, divergences de fond ? Estimant que la faiblesse des syndicats français était due à leurs divisions, la CGT allait, dès les années 1990, militer en faveur d’un rapprochement entre les grandes confédérations. Cette stratégie avait un nom  : le «  syndicalisme rassemblé » et ce dernier prit forme au cours des mobilisations de 2009 et 2010. En dépit de certaines réserves de FO, ces dernières s’appuyèrent sur une unité syndicale qui concerna la totalité des centrales - de SUD à la CFTC - ce qui est inédit dans le contexte de l’après-guerre. Mais dans le même temps, cette stratégie avait des limites. Elle masquait mal les divisions existantes sur le terrain des pratiques et sur celui des propositions. Si l’unité permet d’atteindre le plus haut niveau possible de mobilisation face aux pouvoirs publics, ses résultats demeurent peu probants si elle ne s’incarne pas aussi sur le terrain des propositions. À l’automne 2010, l’unité syndicale n’était pas seulement mise en cause par les appels répétés de FO et de SUD en faveur d’une grève générale déclenchée de façon centralisée, ce que refusaient la CGT et la CFDT. Elle l’était surtout par le fait qu’elle ne débouchait pas sur des propositions communes face aux initiatives du gouvernement. À cet égard, entre la CGT et la CFDT qui constituaient l’axe du front syndical d’alors, les divergences étaient patentes notamment sur le plan de l’allongement de la durée des cotisations. Or, faute de propositions (réellement) communes, faute d’une sorte de « programme syndical commun », la mobilisation ne s’arrête-t-elle pas aux portes de la négociation, alors que c’est précisément là où elle devrait porter tous ses fruits ? En d’autres termes, fautes
En savoir plus

5 En savoir plus

Le Banquet de Xénophon et le Banquet de Platon : convergences et divergences

Le Banquet de Xénophon et le Banquet de Platon : convergences et divergences

CONVERGENCES ET DIVERGENCES Dans le large domaine de la littérature conviviale grecque, le Banquet de Xénophon et le Banquet de Platon constituent, pour nous, les tout premiers textes entièrement consacrés à un banquet, entendu comme une réunion d’hommes qui, suivant des règles et des comportements bien codiiés, se retrouvent, à des occasions données, autour d’un repas collectif, appelé deipnon, suivi d’un symposion, c’est-à-dire de la circulation, autour de la table, de la coupe de vin mélangé. Certes, de nombreuses descriptions de scènes conviviales se trouvent dans des récits, en vers ou en prose, précédant les banquets de Platon et Xénophon. Mais dans tous ces cas, il s’agit ou bien d’évocations de scènes conviviales à l’intérieur de récits qui sont pour ainsi dire plus larges dans leur contenu et dans leur inalité – je pense notamment aux poèmes homériques ou aux histoires d’Hérodote, qui mentionnent un grand nombre de banquets – ou bien de scènes igées, en une sorte de tableau, décrites à l’intérieur de quelques compositions symposiaques – c’est le cas, entre autres, de l’élégie de Xénophane, symposiaque à double titre : non seulement elle est une description précise de l’ensemble des éléments et des procédés typiques d’un symposion, mais, très vraisemblablement, elle était aussi chantée au cours d’un symposion 1 . Ici le
En savoir plus

17 En savoir plus

Les divergences Hardy – Demangeon autour de la Géographie psychologique

Les divergences Hardy – Demangeon autour de la Géographie psychologique

Albert Demangeon, « La géographie psychologique », Annales de géographie, p. 134 L'objet de la géographie est conjointement matériel et idéel. Cette affirmation extraite de l’appel à communication au Géopoint 2002 peut être considérée comme le plus petit dénominateur commun entre les différents courants de la géographie contemporaine. Il n’en a pas toujours été ainsi. Par exemple, les divergences d’Albert Demangeon (1872-1940) avec les propos de Georges Hardy (1884-1972) dans La géographie psychologique (1939) illustrent les difficultés des tenants de notre discipline à accepter la prise en compte de l’idéel, « de
En savoir plus

7 En savoir plus

Méthodes d'éclatement basées sur les distances de Bregman pour les inclusions monotones composites et l'optimisation

Méthodes d'éclatement basées sur les distances de Bregman pour les inclusions monotones composites et l'optimisation

dans S e (A, B) et donc, x est une solution de ( 1.23 ). Notons que S e (A, B) est en fait une spécialisation de Z défini dans ( 1.25 ) et donc, un point dans cet ensemble donne une solution primale-duale. Cette observation n’est pas faite dans [ 44 ] mais elle est exploitée dans [ 2 , 3 ]. De plus, les fonctions f et g utilisées dans cet algorithme sont ex- cessivement restrictives, par exemple, elles doivent être supercoercives, uniformément convexes avec des gradients faiblement séquentiellement continus. Beaucoup de fonc- tions utiles qui apparaissent en traitement de l’image et du signal comme les entropies ne vérifient pas ces conditions. En utilisant les distances de Bregman, combinées avec l’approche hilbertienne de [ 2 , 3 ], nous visons à construire des méthodes pour résoudre le Problème 1.11 et établir leur convergence sous des conditions très générales ; en parti- culier, nous pourrons utiliser une classe de fonctions qui contient les principales notions d’entropie.
En savoir plus

201 En savoir plus

Defining quantum divergences via convex optimization

Defining quantum divergences via convex optimization

these bounds in Figure 3 for the amplitude damping channel, where we obtain an improved bound compared to using the geometric R´ enyi divergence b D α in [ 12 ]. 6 Discussion We have presented a family of quantum α-R´ enyi divergences for α > 1 based on the geometric mean. The framework is in fact more general and allows us to define quantum divergences in a similar way using a Kubo-Ando mean for any operator monotone function g : [0, ∞) → [0, ∞). As we mostly used generic properties of operator means to establish properties of D α # , we expect analogous properties for more general functions g to hold. For example, for any convex function f , the f -divergence between distributions P and Q is defined as Q f (P kQ) = P x f (
En savoir plus

27 En savoir plus

L'entreprise en France et en Allemagne  : divergences actuelles et convergences futures

L'entreprise en France et en Allemagne : divergences actuelles et convergences futures

Quoique sommaires et lacunaires, ces éléments éclairent les raisons pour lesquelles les deux pays divergent sur une question aussi majeure que celle de l’entreprise. On doit souligner que ces divergences ne viennent donc pas d’idéologies économiques nationales qui auraient dicté ces deux modèles. Il est donc relativement inadéquat de parler de capitalisme rhénan et de capitalisme latin, comme si l’Allemagne et la France avaient depuis longtemps deux conceptions théoriques différentes du capitalisme. En outre, comment de telles doctrines auraient-elles été possibles avant les phénomènes nouveaux qui ont donné naissance à l’entreprise et à chacun des modèles nationaux ? Il n’y a pas de définition naturelle et permanente du capitalisme dans chacun des pays, pas plus qu’il n’y a de définition naturelle de l’entreprise. L’écart entre les deux modèles s’est construit avec les divergences dans la conception de la science, de l’université, du travail et de l’ingénieur dans chaque pays. Et si des doctrines économiques ont pesé sur ces deux histoires, c’est aussi au travers d’attitudes différentes vis-à-vis des corporations d’artisans. Enfin, l’histoire politique des deux pays a aussi indéniablement imprimé sa marque sur ces deux trajectoires, mais il serait trop long d’examiner ce point.
En savoir plus

11 En savoir plus

Mouvements de jeunesse et Reformpädagogik : proximités, influences, divergences

Mouvements de jeunesse et Reformpädagogik : proximités, influences, divergences

Dans le Wende-Kreis, la communauté, de hiérarchique qu'elle était pour Wyneken, prend l'aspect d'un cercle, « Kreis von Führern und Geführten », dans lequel il s'agit de c[r]

17 En savoir plus

Réduire les divergences en zone euro en régulant les cycles financiers

Réduire les divergences en zone euro en régulant les cycles financiers

N° 382 – Novembre 2017 La Lettre du Une zone euro hétérogène Le traité de Maastricht en 1992 avait fait de la convergence un préalable à l’adoption de la monnaie unique, à partir de critères que les États candidats à l’entrée dans la zone euro devaient remplir pour être qualifiés. Ces critères, tout particulièrement ceux relatifs au déficit et à la dette publics, ont été conservés. Pour autant, outre des sanctions rarement appliquées, aucun instrument d’ajustement aux divergences éventuelles n'a été prévu. Le pari d’une résorption spontanée des divergences constitue le péché originel de la zone euro. L’hétérogénéité des situations macro- économiques des pays membres de la zone euro s’est de fait accrue après l’introduction de la monnaie unique en 1999. Les excédents courants des pays du cœur de la zone euro comparés aux déficits (ou aux très faibles excédents au cours des années récentes) des pays dits de la périphérie sont une illustration, parmi beaucoup d’autres possibles, de ces écarts qui s’expriment au niveau économique (écarts de croissance du PIB, de taux de chômage…) autant que financier (écarts entre les taux d’emprunts publics, les taux des crédits au secteur privé…). En l’absence d’instrument d’ajustement à des conditions (ou à des chocs) asymétriques, ces divergences persistent. Les artisans de la zone euro n’ont guère entendu à cet égard
En savoir plus

5 En savoir plus

Convergences/divergences : le dialogue intermédial dans Vues et visions de Claude Cahun

Convergences/divergences : le dialogue intermédial dans Vues et visions de Claude Cahun

Mediales Differenzial und transformative Figurationen », dans Jörg Helbig (dir.), Intermedialität : Theorie und Praxis eines interdisziplinären Forschungsgebiets, Berlin, Erich Schmidt[r]

118 En savoir plus

Show all 85 documents...