Définition et exemples dans R d

Définir une divergence de Bregman nécessite d’introduire la notion d’intérieur relatif d’un ensemble convexe (voir Rockafellar [161, Section 7]).

Définition 1.3.1. On appelle intérieur relatif d’un convexe non videC deR^d, noté ir(C),l’intérieur de C relativement à l’enveloppe affine deC (plus petit sous-espace affine contenant C).

Remarque 1.3.1. Alors que l’intérieur d’un convexe est souvent vide, l’intérieur relatif d’un convexe non vide C de R^d est non vide (et a la même dimension que C), d’où l’intérêt d’introduire cette notion.

La Figure 1.1 donne l’exemple d’un convexe d’intérieur non vide dans R² qui est d’intérieur vide dans R³. En effet, cet objet peut contenir une boule de R², mais pas une boule de R³.

Intérieur

[A]

[B]

Figure 1.1.: Un convexe qui est [A] d’intérieur non vide dans R² et [B] d’intérieur vide dansR³.

Nous noterons∂C la frontière relative du convexe C, c’est-à-dire le complémen-taire deir(C) dans son adhérence C.

Définition 1.3.2. Soient C ⊂ R^d un convexe et φ : C → R une fonction stricte-ment convexe, différentiable sur ir(C). La divergence de Bregman associée

dφ:C ×ir(C)→[0,+∞[ est définie par

dφ(x, y) = φ(x)−φ(y)− hx−y,∇φ(y)i,

où h·,·i désigne le produit scalaire de R^d et ∇φ(y) le gradient de φ au point y.

Remarque 1.3.2. On peut noter que la fonction φ est de classe C¹ sur ir(C), car elle y est convexe et différentiable (voir par exemplePhelps [154]). De même, pour touty∈ir(C), les fonctionsx7→dφ(x, y), dont nous verrons plus loin qu’elles sont convexes, sont C¹ sur ir(C).

La distance euclidienne au carré et d’autres distances usuelles sont des cas particuliers de divergence de Bregman. Voici tout d’abord quelques exemples de divergences obtenues lorsque d = 1, mentionnés en particulier par Banerjee et al. [17] et Nielsen et al. [149]. Dans ces exemples ainsi que tous les suivants (en dimension plus grande), nous vérifions que φ possède les propriétés requises, en particulier la stricte convexité, et présentons les calculs qui mènent à la divergence de Bregman dφ(·,·) associée.

Exemple 1.3.1 1. Distance euclidienne au carré en dimension 1. SoientC =Ret φdéfinie parφ(x) = x². On aφ⁰(x) = 2xetφ⁰⁰(x) = 2, d’où la différentiabilité et la stricte convexité de φ. La divergence de Bregman associée est définie, pour tout (x, y)∈R², par

dφ(x, y) =x²−y²−2y(x−y)

= (x−y)² .

On retrouve donc, en dimension 1, le carré de la distance euclidienne.

2. Avec un exposant α≥2. Soit C =R⁺. On peut choisir plus généralement φ telle que φ(x) = x^α avec α ≥ 2 un entier. On a φ⁰(x) = αx^α−1 et φ⁰⁰(x) = α(α−1)x^α−2, donc φ est strictement convexe. Soit (x, y) ∈ R⁺×R^+∗. On obtient la divergence de Bregman

dφ(x, y) = x^α−y^α−αy^α−1(x−y)

= x^α+ (α−1)y^α−αxy^α−1 .

1.3. Divergences de Bregman

3. Distance de Kullback-Leibler généralisée en dimension 1. Prenons C = R⁺, et φ définie par φ(x) = xlnx. On a φ⁰(x) = 1 + lnx et φ⁰⁰(x) = _x¹. Soit (x, y)∈R⁺×R^+∗. La divergence de Bregman obtenue est la suivante :

dφ(x, y) =xlnx−ylny−(x−y)(lny+ 1)

= xlnx

y −(x−y). 4. Perte logistique. Soient C = [0,1] et φ définie par

φ(x) = xlnx+ (1−x) ln(1−x).

On a φ⁰(x) = ln(x)−ln(1−x) et φ⁰⁰(x) = ¹_x+₁₋¹_x. Ainsi, pour tout (x, y)∈ [0,1]×]0,1[,

d_φ(x, y) =xlnx+ (1−x) ln(1−x)−ylny−(1−y) ln(1−y)

−(x−y)(lny−ln(1−y))

= xlnx

y + (1−x) ln 1−x 1−y

!

. Plus généralement, si N ∈N^∗ etC = [0, N],

φ(x) =xlnx+ (N −x) ln(N −x) conduit, pour tout (x, y)∈[0, N]×]0, N[, à

d_φ(x, y) = xlnx

y + (N −x) ln N −x N −y

!

.

5. Distance de Itakura-Saito. Soit C = R^+∗ et soit φ l’entropie de Burg, c’est-à-dire φ(x) = −lnx. On a φ⁰(x) = −_x¹, φ⁰⁰(x) = _x¹2, et, pour tout (x, y) ∈ (R^+∗)²,

dφ(x, y) =−lnx+ lny+1

y(x−y)

= x

y −lnx y −1.

6. Exponentielle.En prenantC =Retφdéfinie parφ(x) =e^x, on a la divergence de Bregman sur R²

d_φ(x, y) = e^x−e^y −(x−y)e^y .

7. Divergence de type Hellinger. Soient C = [−1,1] et φ définie par φ(x) =

−√

1−x². On a φ⁰(x) = ^√₁^x

−x² et φ⁰⁰(x) = _(1−x¹2)^3/2, ce qui montre que φ est strictement convexe. Appelée divergence de type Hellinger parNielsen et al.[149], la divergence associée est, pour tout (x, y)∈[−1,1]×]−1,1[,

dφ(x, y) =−√

1−x²+^q1−y²−(x−y) y

√1−y²

= 1−xy

√1−y² −√

1−x² .

La fonction de perte suivante est « presque » une divergence de Bregman.

8. Hinge Loss. Soit C =R, et soit φ la fonction valeur absolue : φ(x) =|x|. La fonctionφ n’est pas dérivable en 0, et elle est convexe, mais pas strictement convexe. On a

φ⁰(x) =

(−1 si x <0 1 si x >0. En écrivant, pour tout (x, y)∈R²,

dφ(x, y) = |x| − |y| −φ⁰(y)(x−y)

= (−2 signe(y)x)+,

où a+ = max(0, a), on obtient une perte Hinge Loss, qui n’est pas une vraie divergence de Bregman, puisque la fonction valeur absolue n’est pas strictement convexe.

Dans les exemples suivants, l’espace ambiant est R^d. Notons qu’à partir des divergences de Bregman unidimensionnelles, nous pouvons obtenir des divergences de Bregman surR^d en sommant sur les coordonnées.

Exemple 1.3.2 1. Distance euclidienne au carré. SoientC =R^d etφ définie par φ(x) =kxk². La fonction φ est strictement convexe et différentiable sur R^d. Pour tout (x, y)∈(R^d)²,

dφ(x, y) =kxk²− kyk²− hx−y,∇φ(y)i

=kxk²− kyk²− hx−y,2yi

= kx−yk² .

On obtient ainsi le carré de la distance euclidienne.

1.3. Divergences de Bregman

2. Distance de Mahalanobis. Soient C = R^d, A une matrice symétrique définie positive et φ définie par φ(X) =^tXAX, où ^tX désigne le vecteur transposé deX. Calculons la différentielle de φ au point Y notée DYφ. On a

Lorsque la matriceA est l’inverse d’une matrice de covariance, la divergence de Bregman obtenue est appelée distance de Mahalanobis.

3. Distance de Kullback-Leibler entre deux mesures positives discrètes. Soit C = (R⁺)^d. Un élémentx∈ C est un vecteur constitué dedcomposantes positives.

La fonction φ définie par φ(x) = ^Pd_{`=1</sub>x<sub>`}lnx_` est différentiable sur ir(C) et strictement convexe. La divergence de Bregman obtenue avec ce choix de φ est la distance de Kullback-Leibler généralisée ou I-divergence : pour tout (x, y)∈ C ×ir(C),

4. Distance de Kullback-Leibler entre deux mesures de probabilité discrètes. Soit C = (R⁺)^d. On définit à nouveau φ par φ(x) = ^Pd_{`=1</sub>x`lnx`. Si l’on se restreint au simplexe Sd−1 de dimension d − 1, c’est-à-dire aux vecteurs constitués de d composantes positives x1, . . . , xd telles que <sup>Pd</sup><sub>`=1}x` = 1, qui correspondent à des mesures de probabilité discrètes, la divergence de Bregman obtenue est la (vraie) distance de Kullback-Leibler : pour tout

(x, y)∈[C ×ir(C)]∩ Sd²−1,

Pour obtenir également des mesures de distorsion qui puissent s’appliquer à des courbes, nous considérons ici des divergences de Bregman en dimension infinie (Alber et Butnariu [4], Frigyik, Srivastava et Gupta [89]). La définition suivante est la généralisation naturelle de la définition d’une divergence de Bregman en dimension finie : le produit scalaire entre le gradient de φ en y et le vecteur x−y est remplacé par la différentielle de Fréchet deφ au point y appliquée à x−y.

L’intérieur relatif ir(C) peut être défini de manière similaire au cas de la di-mension finie (Définition 1.3.1), en prenant l’adhérence de l’enveloppe affine du convexe C. Il existe également d’autres notions d’intérieur relatif dans un espace de Banach de dimension infinie, appelées pseudo-intérieur relatif et quasi-intérieur relatif (voir Borwein et Goebel [38]).

Définition 1.3.3 (Divergence de Bregman fonctionnelle). Soit E un espace de Banach séparable, C ⊂ E un convexe et soit φ : C → R strictement convexe, de classe C² sur ir(C). La divergence de Bregman associée est définie par

dφ(x, y) =φ(x)−φ(y)−Dyφ(x−y) avec D_yφ la différentielle de φ en y.

Observons que si nous travaillons dans (E,h·,·i), espace de Hilbert, la même notation qu’en dimension finie peut être utilisée.

Remarque 1.3.3. Il paraît raisonnable de construire des divergences de Bregman fonctionnelles en intégrant certaines divergences de Bregman unidimensionnelles.

Les divergences de Bregmanponctuelles(Jones et Byrne [111],Csiszár [56]) consti-tuent un cas particulier de divergences de Bregman fonctionnelles qui sont juste-ment de ce type. Pour m une mesure σ-finie et f une fonction dérivable et stric-tement convexe sur ]0,+∞[, la divergence de Bregman fonctionnelle ponctuelle