Apprentissage profond pour l'approximation d'une distance d'édition entre graphes

HAL Id: hal-02057866

https://hal.archives-ouvertes.fr/hal-02057866

Submitted on 5 Mar 2019

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Apprentissage profond pour l’approximation d’une distance d’édition entre graphes

Guillaume Renton, Benoît Gaüzère, Pierre Héroux, Sébastien Adam

To cite this version:

Guillaume Renton, Benoît Gaüzère, Pierre Héroux, Sébastien Adam. Apprentissage profond pour

l’approximation d’une distance d’édition entre graphes. Conférence sur l’Apprentissage Automatique,

Jun 2018, Rouen, France. �hal-02057866�

Apprentissage profond pour l’approximation d’une distance d’´edition entre graphes

Guillaume Renton

, Benoˆıt Ga¨ uz` ere

, Pierre H´ eroux

, et S´ ebastien Adam

1

Normandie Univ, UNIROUEN, UNIHAVRE, INSA Rouen, LITIS, 76000 Rouen, France 5 mars 2019

R´ esum´ e

Dans cet article, nous proposons une m´ ethode d’ap- proximation de la distance d’´ edition entre graphes bas´ ee sur l’utilisation de deux techniques r´ ecentes d’ap- prentissage profond : la convolution dilat´ ee et le Spatial Pyramid Pooling (SPP). L’approche propos´ ee prend en entr´ ee la matrice de taille variable utilis´ ee par l’ap- proximation BP-GED [RNB07]. Apr` es une transforma- tion permettant d’introduire une invariance aux per- mutations dans la matrice, la combinaison des deux techniques d’apprentissage permet d’obtenir un vec- teur de caract´ eristiques de taille fixe, utilis´ e en entr´ ee de couches denses mod´ elisant un r´ egresseur. L’ap- proche propos´ ee est ´ evalu´ ee sur deux bases de graphes de r´ ef´ erence. Les r´ esultats obtenus sont compar´ es avec ceux de la seule approche qui exploite de l’appren- tissage pour approximer la distance d’´ edition. Les r´ esultats obtenus, bien qu’` a confirmer sur un nombre plus important de bases, montrent la sup´ eriorit´ e de l’approche propos´ ee.

Mots-clef : Distance d’´ edition entre graphe, Approxi- mation de distance, Apprentissage profond.

1 Introduction

La plupart des approches d’apprentissage de la litt´ erature prennent en entr´ ee des donn´ ees num´ eriques, et s’appuient sur les propri´ et´ es math´ ematiques des es- paces euclidiens pour construire des mod` eles. Toute- fois, l’utilisation de vecteurs de caract´ eristiques ne per- met pas toujours de repr´ esenter de mani` ere satisfai- sante certaines informations structurelles, telles que celles pr´ esentes dans les mol´ ecules par exemple.

∗Avec le soutien de la r´egion Normandie, principal financeur.

Une solution pour repr´ esenter ces informations struc- turelles repose sur l’utilisation de graphes. N´ eanmoins, l’espace des graphes ne dispose pas d’autant de bonnes propri´ et´ es math´ ematiques que les espaces euclidiens.

Notamment l’absence de produit scalaire dans l’es- pace des graphes rendant impossible l’utilisation di- recte des m´ ethodes d’apprentissage ` a l’´ etat de l’art (SVM, r´ eseaux de neurones).

Pour pallier l’absence de produit scalaire, une mesure de dissimilarit´ e entre graphes est n´ ecessaire.

La distance d’´ edition entre graphes est une ap- proche commun´ ement accept´ ee pour r´ epondre ` a cette probl´ ematique.

La distance d’´ edition entre graphes (GED) est une m´ etrique entre deux graphes G

= (V

, E

) et G

= (V

, E

), o` u V

(resp. V

) d´ esigne l’ensemble des nœuds de G

(resp. G

) et E

(resp. E

) d´ esigne l’ensemble des arˆ etes de G

(resp. G

). Cette mesure est calcul´ ee en ´ evaluant le coˆ ut de la transformation de G

en G

. Cette transformation est obtenue par une s´ equence d’op´ erations d’´ edition ´ el´ ementaire pouvant ˆ

etre de 3 types : substitution, insertion et suppression,

`

a la fois sur les nœuds et sur les arˆ etes. ` A chacune de ces op´ erations est associ´ e un coˆ ut d’´ edition quantifiant la transformation effectu´ ee sur le graphe. Il existe une infinit´ e de s´ equences d’´ editions permettant de transformer un graphe en un autre, chacune de ces s´ equences d´ efinissant un chemin d’´ edition. La distance d’´ edition est alors d´ efinie comme le coˆ ut minimal parmi l’ensemble des chemins d’´ editions entre les deux graphes. Le chemin d’´ edition associ´ e ` a ce coˆ ut minimal est appel´ e chemin d’´ edition optimal.

L’utilisation de l’algorithme A

est une des premi` eres approches propos´ ees pour le calcul de la GED [HNR68].

Cette m´ ethode construit et parcourt l’arbre des so-

Figure 1 – Arbre partiel repr´ esentant l’ensemble des chemins d’´ edition entre G

et G

. L’algorithme A

permet de parcourir cet arbre afin de trouver un chemin de coˆ ut minimal.

lutions afin d’obtenir un chemin d’´ edition optimal ainsi que le coˆ ut correspondant (cf Figure 1). Plus r´ ecemment, le calcul de la GED a ´ egalement ´ et´ e ex- prim´ e sous la forme de programme lin´ eaire binaire (BLP), notamment dans [JH06, LAR

15, LAAR

16].

Dans les deux cas, l’obtention d’un chemin opti- mal ´ etant un probl` eme NP-complet, les m´ ethodes exactes propos´ ees ont une forte complexit´ e. Elle est par exemple de O(n

) pour A

, avec n le nombre de nœuds de G

et m le nombre de nœuds de G

, ce qui limite donc le calcul de la GED ` a de petits graphes [AAGB

17]. Afin de pallier ce probl` eme, des algorithmes de complexit´ e moindre calculant des ap- proximations de la distance d’´ edition entre graphes ont

´ et´ e propos´ es. L’une des premi` eres approches est celle propos´ ee dans [RNB07]. Dans cette approche, les au- teurs transforment le probl` eme de calcul de la GED en un probl` eme d’affectation de nœuds, r´ esolu par des ap- proches ayant une complexit´ e polynomiales. Il est ainsi possible de traiter des graphes de plus grande taille.

Naturellement, cette am´ elioration des temps de trai- tement se fait au d´ etriment de la pr´ ecision de la va- leur obtenue. La probl´ ematique devient alors de trou- ver le compromis entre qualit´ e de l’approximation et temps d’ex´ ecution, comme il a ´ et´ e mis en ´ evidence dans [AAGB

17].

Dans cet article, nous proposons une nouvelle m´ ethode d’approximation du calcul de distance d’´ edition de graphes, utilisant des m´ ethodes r´ ecentes d’apprentissage profond afin d’obtenir une pr´ ecision sup´ erieure tout en maintenant une faible complexit´ e en d´ ecision. La section suivante pr´ esente les diff´ erentes m´ ethodes constituant la base de notre proposition. En-

suite, la section 3 d´ ecrit l’approche propos´ ee. Enfin, nous ´ evaluons notre approche dans la section 4 par rap- port ` a l’existant.

2 Approximation de la GED

L’une des premi` eres m´ ethodes ` a avoir ´ et´ e propos´ ee pour le calcul d’une approximation de la GED est l’appariement de graphe bipartite (BP-GED) [RNB07].

Cette m´ ethode fait le rapprochement entre la distance d’´ edition entres graphes et un probl` eme de mise en cor- respondance entre nœuds. La recherche du chemin de coˆ ut minimal correspond ` a un probl` eme d’affectation quadratique, simplifi´ e par [RNB07] en probl` eme d’af- fectation lin´ eaire afin d’obtenir une approximation.

On cherche ` a obtenir un appariement optimal, au sens d’un coˆ ut minimal d’appariement entre les nœuds.

Plus formellement, on cherche la fonction ϕ : V

→ V

qui, au nœud u

, affecte le nœud v

, et qui minimise le coˆ ut global de ces affectations. Pour cela, un coˆ ut correspondant ` a l’appariement entre deux nœuds doit ˆ

etre d´ efini. Le coˆ ut d’appariement est d´ efini comme

´

etant le coˆ ut de transformer un nœud u

en un nœud v

. La repr´ esentation des suppressions et des insertions de nœuds se fait par l’appariement avec des nœuds vides, appel´ es ε-nodes. Ainsi, la suppression du nœud u

cor- respond ` a l’appariement entre le nœud u

et le nœud ε.

A l’inverse, l’insertion du nœud ` v

correspond ` a l’ap- pariement entre le nœud ε et le nœud v

. Il faut donc ajouter m ε-nodes ` a G

et n ε-nodes ` a G

. V

et V

sont ainsi tous deux de taille n + m.

Il est important de noter que les nœuds comme les

arcs peuvent poss´ eder des attributs, et que le calcul des

coˆ uts doit prendre en compte ces attributs. La coˆ ut de substitution de deux nœuds peut ainsi correspondre ` a la distance euclidienne entre les deux vecteurs de ca- ract´ eristiques de ces nœuds.

Afin de prendre en compte l’information structurelle pr´ esente dans le graphe, le coˆ ut minimal d’apparie- ment entre les arˆ etes incidentes aux deux nœuds est

´ egalement pris en compte.

Dans l’´ equation 1, u

, u

∈ V

, v

, v

∈ V

, a

cor- respond ` a l’arˆ ete reliant le nœud u

au nœud u

tandis que b

correspond ` a l’arˆ ete reliant le nœud v

au nœud v

, o` u ϕ

est la fonction d’appariement. Fina- lement, S (n+m) correspond ` a l’ensemble des (n +m)!

permutations d’entiers possibles.

C(i, j) = c(u

→ v

) + min

(ϕ₁,...,ϕ_n+m)

∈S(n+m) n+m

X

k=1

c(a

→ b

) (1) Finalement, une matrice C est cr´ e´ ee, de taille (n + m) × (n + m) (cf Figure 2), afin de prendre en compte l’ensemble des coˆ uts pour chaque nœud. La taille de la matrice permet d’affecter ` a chaque nœud u

un unique nœud v

, avec u

et v

pouvant ˆ etre des ε-nodes. Afin de s’assurer qu’` a chaque nœud ε est associ´ e un unique nœud, le coˆ ut entre ce nœud et les autres nœuds ε est fix´ e ` a ∞. Finalement, de mani` ere assez naturelle, le coˆ ut d’appariement entre deux nœuds ε est fix´ e ` a 0, cet appariement n’induisant pas de transformation du graphe. La figure 2 pr´ esente un exemple de cette matrice de coˆ ut pour deux graphes.

On remarque que cette matrice peut ˆ etre s´ epar´ ee en quatre parties : la partie substitution (en haut ` a gauche), la partie suppression (en haut ` a droite), la partie insertion (en bas ` a gauche) et une zone nulle (en bas ` a droite).

C =

v₁ v₂ v₃ ε₁ ε₂ ε₃ ε₄





































u₁

1 0 1 3

u2

1 0 1

3

u3

2 1 2

4

u4

0 1 0

2

ε1

2

0 0 0 0

ε2 ∞

3

0 0 0 0

ε3 ∞ ∞

2 0 0 0 0

Le probl` eme d’affectation des nœuds revient donc ` a un probl` eme d’appariement lin´ eaire o` u les coˆ uts d’appa- riement nœud ` a nœud sont encod´ es dans la matrice C

u3 1 2

u1 1

u2

1

v1 3

v2

Figure 2 – Exemple de matrice de coˆ ut pour deux graphes. Les nœuds du graphes sont attribu´ es.

Le coˆ ut de substituer deux nœuds correspond ` a la diff´ erence entre leurs attributs. Le coˆ ut de substituer deux arcs est nul. Les coˆ uts d’insertions/suppressions des nœuds/arcs valent 1.

(Eq. 1). Ce probl` eme peut donc ˆ etre r´ esolu par l’al- gorithme Hongrois [Kuh55]. De l’appariement obtenu, il est possible de d´ eduire une s´ equence d’´ edition per- mettant de transformer G

en G

. ´ Etant donn´ ee cette s´ equence, on peut calculer efficacement le coˆ ut associ´ e

`

a cette s´ equence d’´ edition. Ce coˆ ut correspond ` a l’ap- proximation faite par BP-GED. Diff´ erentes utilisations de l’algorithme Hongrois ont ´ et´ e propos´ ees, que ce soit afin de diminuer les temps de traitements avec des m´ ethodes gloutonnes comme dans [RFB15a], ou avec des m´ ethodes it´ eratives afin d’augmenter la pr´ ecision, comme dans [BGB16].

Il est important de noter que le chemin obtenu n’est pas forc´ ement optimal, et que le coˆ ut n’est ainsi pas forc´ ement minimal. En effet, la construction de la ma- trice C ne prend en compte qu’une partie limit´ ee de l’information structurelle des graphes, ` a un voisinage de taille 1. L’appariement et le chemin qui en est d´ eduit ne sont donc optimaux que pour le probl` eme d’apparie- ment lin´ eaire. Le coˆ ut associ´ e au chemin obtenu permet de d´ efinir une borne sup´ erieure de la distance d’´ edition.

[RFB14] propose ´ egalement d’obtenir une borne inf´ erieure, en divisant par deux les coˆ uts des op´ erations d’´ editions sur les arˆ etes. [RFB15b] utilise cette borne inf´ erieure avec la borne sup´ erieure comme ca- ract´ eristiques d’entr´ ee d’un SVR afin d’apprendre

`

a pr´ edire une distance d’´ edition entre graphes plus

pr´ ecise, obtenant des r´ esultats encourageants. Mais

cette pr´ ediction est limit´ ee pour deux raisons. Tout

d’abord, il est compliqu´ e de pr´ edire une valeur pr´ ecise ` a

partir de seulement deux caract´ eristiques. La seconde

limitation vient du fait que l’approximation obtenue par BP-GED est parfois tr` es impr´ ecise.

Bien que ces travaux soient encourageants, il n’y a,

`

a notre connaissance, pas d’autres travaux utilisant l’apprentissage afin d’approximer la GED.

Dans la partie suivante, nous pr´ esentons une nou- velle approche permettant d’approximer la distance d’´ edition via une m´ ethode d’apprentissage profond, en utilisant directement l’information contenue dans la matrice C.

3 M´ ethode

On peut supposer que l’apprentissage ` a partir de seulement deux caract´ eristiques ne permet pas une g´ en´ eralisation satisfaisante. L’objectif de la m´ ethode propos´ ee est de pouvoir extraire directement des ca- ract´ eristiques ` a partir de la matrice C. L’utilisation de la matrice C pose deux probl` emes lorsque l’on souhaite utiliser des m´ ethodes d’apprentissage sur celle-ci.

Tout d’abord, les graphes sont, par d´ efinition, de di- mension variable. La matrice C est donc ´ egalement de taille variable. Cette particularit´ e empˆ eche l’utili- sation de la plupart des m´ ethodes d’apprentissage, qui reposent sur l’utilisation de vecteurs de taille fixe.

Le second probl` eme d´ ecoule du fait qu’il n’existe pas d’ordre d’´ enum´ eration de l’ensemble des nœuds du graphe. De ce fait, plusieurs matrices C peuvent ˆ etre g´ en´ er´ ees pour un couple de graphes donn´ e. Chacune de ces matrices correspond ` a une permutation particuli` ere de l’ordre des nœuds. Dans un tel cas, il faut s’assurer que la pr´ ediction prise soit identique pour un mˆ eme couple de graphes, et ce selon toutes les permutations possibles.

Pour traiter le premier probl` eme, nous nous inspi- rons de techniques issues des r´ eseaux convolutifs. Cer- taines permettent d’extraire des caract´ eristiques sur des matrices de tailles variables, tandis que d’autres ram` enent une matrice de taille quelconque ` a une ma- trice de taille fixe, comme le Spatial Pyramid Pooling [HZRS14].

La r´ esolution du second probl` eme est trait´ ee dans la partie suivante.

3.1 Entr´ ee du r´ eseau

L’ordre d’´ enum´ eration des nœuds d’un graphe n’´ etant pas fixe, plusieurs ordres peuvent repr´ esenter

Figure 3 – Exemple de permutation de matrice le mˆ eme graphe. Ainsi diff´ erentes matrices C peuvent ˆ

etre calcul´ ee sur une mˆ eme paire de graphes. Ces ma- trices C contiennent les mˆ emes informations, ` a une per- mutation pr` es. Afin d’ˆ etre moins sensible aux permuta- tions, la matrice C est permut´ ee. Cette permutation est r´ ealis´ ee de sorte que les affectations pr´ edites par l’algo- rithme Hongrois forment la diagonale de la matrice de coˆ uts. La matrice C est permut´ ee selon la matrice de permutation P d´ efinie par l’ ´ Equation 2. Cette solution ne permet de r´ esoudre que partiellement le probl` eme des permutations, et une m´ ethode plus efficace pour- rait ˆ etre int´ egr´ e ` a de prochain travaux.

P(i, j) =

( 1 si ϕ(i) = j

0 sinon (2)

La Figure 3 pr´ esente un exemple de matrice per- mut´ ee, reprenant l’exemple de la Figure 2. Les matrices ainsi construites et permut´ ees constituent les donn´ ees utilis´ ees par notre algorithme d’apprentissage utilise pour estimer la GED entre deux graphes. Cette ma- trice ´ etant de taille variable, des couches de convolu- tion sont utilis´ ees, celles ci n’´ etant pas restreintes ` a une taille fixe.

3.2 R´ eseau convolutif

Les r´ eseaux convolutifs sont bas´ es sur l’utilisation

de filtres dont les poids sont appris. Ces filtres sont

g´ en´ eralement de taille restreinte (3 × 3, 5 × 5) afin de

limiter le nombre de param` etres ` a apprendre, et des

Figure 4 – Repr´ esentation visuelle des convolutions dilat´ ees.

op´ erations de pooling sont utilis´ ees afin d’augmenter artificiellement le contexte pris en compte par ces filtres. Ce contexte est appel´ e champ r´ eceptif. Pour cela, dans des fenˆ etres de petite taille (2 × 2), le pooling agr` ege l’ensemble des valeurs de la fenˆ etre et ne calcule qu’une seule valeur, qui peut ˆ etre la valeur maximale, minimale, moyenne... La matrice r´ esultante est ainsi une version r´ eduite de la matrice originale, dont le facteur de r´ eduction d´ epend de la taille des fenˆ etres utilis´ ees.

La r´ eduction de la taille de la matrice n’est pas la seule solution afin d’augmenter la taille des champs r´ eceptifs. Une autre solution consiste ` a utiliser les convolutions dilat´ ees, dont l’id´ ee est d’obtenir des filtres creux, plus grand mais gardant le mˆ eme nombre de param` etres. Un taux de dilatation est utilis´ e pour cela. Cette m´ ethode est bas´ ee sur l’algorithme ` a trou [HKMMT89] et a ´ et´ e notamment utilis´ ee en segmentation s´ emantique par [CPK

16]. La Figure 4 illustre le principe des convolutions dilat´ ees.

Par ailleurs, les matrices de coˆ ut pr´ esentent des tailles tr` es variables, et peuvent atteindre des tailles tr` es faibles. L’utilisation des dilatations semble plus judicieux que le pooling, de fa¸ con ` a ne pas r´ eduire la taille d’une matrice d´ ej` a petite.

Finalement, l’architecture utilis´ ee reprend les confi- guration des premi` eres couches de convolution du r´ eseau VGG-16 [SZ14], cette architecture ayant montr´ e une bonne capacit´ e d’extraction de caract´ eristiques.

Le r´ eseau utilis´ e poss` ede ainsi 6 couches convolutives, identiques aux 6 premi` ere couches de VGG-16, dont la diff´ erence vient de l’utilisation de la dilatation plutˆ ot que du pooling. Le r´ eseau poss` ede deux premi` eres couches convolutives de 64 filtres de taille 3 × 3 et de dilatation 1, suivi de deux couches convolutives de 128 filtres de taille 3 × 3 et de dilatation 2. Enfin, deux derni` eres couches sont utilis´ ees, avec 256 filtres de taille 3 × 3 et de dilatation 4.

L’objectif de nos travaux est dans un premier temps

d’´ evaluer la possibilit´ e d’apprendre des caract´ eristiques sur la matrice de coˆ ut. L’architecture du r´ eseau n’est pas optimis´ ee pour la r´ esolution du probl` eme, ce qui repr´ esente toutefois une perspective int´ eressante.

L’architecture ainsi ´ etablie ne modifie pas la taille de la matrice. Si la matrice d’entr´ ee est de taille (n + m) × (n + m), alors la sortie du r´ eseau convo- lutif est un tenseur de taille (n + m) × (n + m) × 256.

Afin de r´ ealiser la r´ egression permettant l’approxima- tion de la GED, une repr´ esentation matricielle de taille fixe est n´ ecessaire. La solution utilis´ ee ici est le Spatial Pyramid Pooling.

3.3 Spatial Pyramid Pooling

Le principe du Spatial Pyramid Pooling (SPP) est d’appliquer le pooling non pas sur une unique fenˆ etre de taille fixe mais sur plusieurs fenˆ etres de tailles adaptables. Pour cela, la matrice d’entr´ ee est divis´ ee en N

parts ´ egales. Ainsi, la taille de chaque fenˆ etre correspond ` a un ratio de la taille de la matrice. Sur chacune de ces fenˆ etres, une valeur est s´ electionn´ ee. La valeur maximale est g´ en´ eralement s´ electionn´ ee, mais l’objectif ´ etant de trouver un coˆ ut minimal, la valeur minimale lui est pr´ ef´ er´ ee ici.

Cette op´ eration est ensuite r´ ealis´ ee pour plusieurs valeurs de N diff´ erentes, afin d’obtenir un certain nombre de caract´ eristiques par filtre. Les valeurs de N utilis´ ees ici sont 1 et 2, soit 5 caract´ eristiques par filtre.

La derni` ere couche convolutive ayant 256 filtres, 1280 caract´ erstiques sont extraites par le Spatial Pyramid Pooling. La Figure 5 pr´ esente un exemple d’utilisation du SPP.

La r´ egression est finalement r´ ealis´ ee par des couches dense appliqu´ ees aux caract´ eristiques extraites par le Spatial Pyramid Pooling. Deux couches denses de 21 neurones sont utilis´ ees suivies d’une couche d’un neurone r´ ealisant la r´ egression. Le r´ eseau est ensuite appris en utilisant l’algorithme Adam [KB14]. La figure 6 illustre le processus complet de la m´ ethode ainsi que l’architecture globale du r´ eseau.

Finalement, le r´ eseau complet, incluant convolu-

tions, Spatial Pyramid Pooling et couches denses,

comporte 1,172,217 param` etres et a ´ et´ e d´ evelopp´ e

sous Keras [Cho15]. La section suivante pr´ esente les

diff´ erentes exp´ eriences r´ ealis´ ees afin d’´ evaluer le mod` ele

d´ evelopp´ e.

3 2 0 4 6 2 3 9 8 7 1 5 4 5 1

5 0

2 0 4 1

2 0

4 1 0

Figure 5 – Spatial Pyramid Pooling appliqu´ e ` a une matrice 4 × 4 pour des N de valeur 1 et 2.

4 Exp´ eriences

Cette section pr´ esente les diff´ erentes exp´ eriences r´ ealis´ ees afin d’´ evaluer les performances de la m´ ethode propos´ ee. Le protocole exp´ erimental ainsi que les m´ etriques sont tout d’abord pr´ esent´ es. Les r´ esultats obtenus sur deux bases de donn´ ees de graphes (Let- ter et Fingerprint [RB08]) sont ensuite pr´ esent´ es.Ces r´ esultats sont compar´ es ` a ceux obtenus avec la BP- GED [RNB07] et les SVR [RFB15b], m´ ethode propo- sant ´ egalement une approche bas´ ee sur l’apprentissage.

4.1 Protocole exp´ erimental et m´ etriques

Le protocole exp´ erimental est le suivant. 1000 graphes sont extraits de la base initiale. Pour chaque paire de graphes, la distance d’´ edition exacte est calcul´ ee, en utilisant l’algorithme A

. La matrice de coˆ ut est ´ egalement calcul´ ee puis permut´ ee, selon la strat´ egie d´ efinie en 3.1. L’ensemble des 5.10

paires de graphes est finalement d´ ecoup´ e en 3 bases : une base d’apprentissage, comprenant 40% des donn´ ees, une base de validation avec 10% des donn´ ees, et les 50%

restant en test. Les donn´ ees de validation sont utilis´ ees afin de s’assurer que notre mod` ele ne sur-apprend pas lors de l’apprentissage.

Deux m´ etriques de la litt´ erature sont utilis´ ees pour

´

evaluer les r´ esultats : l’erreur moyenne relative (MRE), exprim´ ee en pourcentage dans l’´ equation 3, ainsi que l’erreur moyenne quadratique (MSE), d´ efinie par l’´ equation 4. Dans les deux ´ equations, d

correspond

`

a la distance approxim´ ee du couple de graphes i et d

`

a la distance exacte du couple de graphes i.

M RE = 100 ∗ 1 N

N

X

i=1

|d

− d

| d

(3)

M SE = 1 N

N

X

i=1

(d

− d

)

(4)

4.2 Letter

Letter [RB08] est une base de graphes repr´ esentant des lettres majuscules form´ ees de segments de droite.

La figure 7 pr´ esente plusieurs exemples de lettres d´ eform´ ees. Chaque nœud repr´ esente une extr´ emit´ e de la lettre, ayant comme attributs les coordonn´ ees x et y de ce point. Les arˆ etes, quant ` a elles, repr´ esentent l’existence ou non d’un segment entre ces points. Les arˆ etes ne poss` edent pas d’attributs. Diff´ erentes distor- sions sont appliqu´ ees ` a chacune des lettres.

Le coˆ ut de substitution de deux nœuds est calcul´ e selon la distance euclidienne des coordonn´ ees de chaque nœud, tandis que les coˆ uts de substitution entre deux arˆ etes sont nuls. Les coˆ uts de suppression et d’insertion sont fix´ es ` a 0.9 pour les nœuds et ` a 1.7 pour les arˆ etes, selon les coˆ uts propos´ es dans [RB12].

Le tableau 1 pr´ esente les r´ esultats obtenus en erreur relative moyenne (MRE) et en erreur quadratique moyenne (MSE) pour les 3 m´ ethodes : BP-GED, SVR ainsi que la m´ ethode propos´ ee. La Figure 8 pr´ esente ces r´ esultats graphiquement. Pour une meilleure lisibilit´ e, le log

des r´ esultats est utilis´ e.

BP-GED SVR Approche propos´ ee

MRE 13.11 7.76 4.2

MSE 3.07 0.86 0.32

Table 1 – Comparaison de BP-GED, SVR et notre m´ ethode sur LETTER

Comme on peut le voir, l’approche propos´ ee est net-

tement meilleure, que ce soit en erreur relative ou en er-

reur quadratique. L’utilisation de la matrice C apporte

ainsi une information suppl´ ementaire, permettant une

meilleure pr´ ecision.

8.3

Réseau convolutif Spatial Pyramid Pooling

Permutation Réseau dense

Matrice C

Figure 6 – Processus final de la m´ ethode.

Figure 7 – Plusieurs d´ eformations de la lettre A.

Figure 8 – R´ esultats obtenus par les m´ ethodes BP- GED, SVR et notre m´ ethode sur la base LETTER en MRE et MSE. Le log

des r´ esultats est utilis´ e pour une meilleure lisibilit´ e.

Figure 9 – Empreinte digitale utilis´ ee pour g´ en´ erer la base Fingerprint

4.3 Fingerprint

Fingerprint [RB08] est une base de donn´ ees de graphes repr´ esentant des empreintes digitales (cf Figure 9). Elle a ´ et´ e g´ en´ er´ ee en r´ ealisant une sque- lettisation d’images d’empreintes digitales. Chaque bifurcation et extr´ emit´ e du squelette obtenu corres- pond ` a un nœud, et les arˆ etes repr´ esentent la pr´ esence ou non d’un lien entre chaque nœud.

Les nœuds ne poss` edent pas d’attribut, et la dis- tance entre deux nœuds d´ epend donc uniquement de leurs arˆ etes. Les arˆ etes sont caract´ eris´ ees par leur angle. Ainsi, le coˆ ut de substitution de deux arˆ etes d´ epend de la distance entre leurs angles, ` a 2π pr` es.

Les coˆ uts d’insertion et de substitution sont fix´ es ` a

0.525 pour les nœuds et 0.125 pour les arˆ etes, toujours

selon [RB12].

BP GED SVR Approche propos´ ee

MRE 68.39 7.56 1.15

MSE 16.15 0.10 0.006

Table 2 – Comparaison de BP-GED, SVR et notre m´ ethode sur FINGERPRINT

Figure 10 – R´ esultats obtenus par les m´ ethodes BP- GED, SVR et notre m´ ethode sur la base FINGER- PRINT en MRE et MSE. Le log

des r´ esultats est utilis´ e pour une meilleure lisibilit´ e.

Le tableau 2 pr´ esente les r´ esultats obtenus en erreur relative moyenne (MRE) et en erreur quadratique moyenne (MSE) pour les 3 m´ ethodes : BP-GED, SVR ainsi que la m´ ethode propos´ ee. La figure 10 illustre graphiquement ces r´ esultats. Pour une meilleure lisibilit´ e, le log

des r´ esultats est utilis´ e.

On observe que les deux m´ ethodes d’apprentissage permettent une nette am´ elioration de la pr´ ecision par rapport ` a la BP-GED sur cette base. Cela peut s’expli- quer par le fait que l’information principale est conte- nue dans les arˆ etes, ce que BP-GED prend difficilement en compte. L’approche propos´ ee obtient ´ egalement des r´ esultats nettement meilleurs que les SVR. On re- trouve ainsi l’id´ ee que l’information contenue dans C est plus pertinente que les simples bornes inf´ erieures et sup´ erieures.

5 Conclusion

Dans ce papier, une nouvelle approche d’approxima- tion de la distance d’´ edition entre graphes est propos´ ee.

Celle-ci est bas´ ee sur les r´ eseaux convolutifs ainsi que sur le Spatial Pyramid Pooling. La combinaison de ces

deux m´ ethodes permet l’extraction de caract´ eristiques

`

a partir de la matrice de coˆ ut, malgr´ e sa taille variable.

L’approche est ´ evalu´ ee sur deux bases de donn´ ees diff´ erentes. Elle pr´ esente de bonnes performances sur les deux bases, avec des r´ esultats meilleurs que ceux obtenus par la seule m´ ethode bas´ ee sur un apprentissage. Ces r´ esultats pourraient ˆ etre encore am´ elior´ es, notamment en cherchant ` a optimiser le r´ eseau utilis´ e. Par ailleurs, la m´ ethode propos´ ee ne permet pas d’obtenir un chemin d’´ edition qui peut ˆ

etre important selon le domaine d’application. Nos futurs travaux viseront ` a pallier ce d´ efaut.

R´ ef´ erences

[AAGB

17] Zeina Abu-Aisheh, Benoit Ga¨ uzere, S´ ebastien Bougleux, Jean-Yves Ramel, Luc Brun, Romain Raveaux, Pierre H´ eroux, and S´ ebastien Adam. Graph edit distance contest : Results and future challenges. Pattern Recognition Letters, 100 :96–103, 2017.

[BGB16] S´ ebastien Bougleux, Benoit Ga¨ uz` ere, and Luc Brun. Graph edit distance as a quadratic program. In Pattern Recog- nition (ICPR), 2016 23rd International Conference on, pages 1701–1706. IEEE, 2016.

[Cho15] F. Chollet. keras. https://github.

com/fchollet/keras, 2015.

[CPK

16] LC. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A.L. Yuille. Deeplab : Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs. arXiv pre- print :1606.00915, 2016.

[HKMMT89] M. Holschneider, R. Kronland-Martinet, J. Morlet, and P. Tchamitchian. A real- time algorithm for signal analysis with the help of the wavelet transform. In Wavelets, pages 286–297. Springer, 1989.

[HNR68] Peter E Hart, Nils J Nilsson, and Ber-

tram Raphael. A formal basis for the

heuristic determination of minimum cost

paths. IEEE transactions on Systems

Science and Cybernetics, 4(2) :100–107,

1968.

[HZRS14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Spatial pyra- mid pooling in deep convolutional net- works for visual recognition. CoRR, abs/1406.4729, 2014.

[JH06] Derek Justice and Alfred Hero. A bi- nary linear programming formulation of the graph edit distance. IEEE Transac- tions on Pattern Analysis and Machine Intelligence, 28(8) :1200–1214, 2006.

[KB14] Diederik P. Kingma and Jimmy Ba.

Adam : A method for stochastic optimi- zation. CoRR, abs/1412.6980, 2014.

[Kuh55] Harold W Kuhn. The hungarian me- thod for the assignment problem. Naval Research Logistics (NRL), 2(1-2) :83–97, 1955.

[LAAR

16] Julien Lerouge, Zeina Abu-Aisheh, Ro- main Raveaux, Pierre H´ eroux, and S´ ebastien Adam. Exact graph edit dis- tance computation using a binary li- near program. In Antonio Robles- Kelly, Marco Loog, Battista Biggio, Francisco Escolano, and Richard Wilson, editors, Structural, Syntactic, and Sta- tistical Pattern Recognition, pages 485–

495, Cham, 2016. Springer International Publishing.

[LAR

15] Julien Lerouge, Zeina Abu-Aisheh, Ro- main Raveaux, Pierre H´ eroux, and S´ ebastien Adam. Graph edit distance : a new binary linear programming formu- lation. CoRR, abs/1505.05740, 2015.

[RB08] Kaspar Riesen and Horst Bunke. Iam graph database repository for graph ba- sed pattern recognition and machine learning. In Niels da Vitoria Lobo, Takis Kasparis, Fabio Roli, James T.

Kwok, Michael Georgiopoulos, Geor- gios C. Anagnostopoulos, and Marco Loog, editors, Structural, Syntactic, and Statistical Pattern Recognition, pages 287–297, Berlin, Heidelberg, 2008. Sprin- ger Berlin Heidelberg.

[RB12] Kaspar Riesen and Horst Bunke. Clas- sification and clustering of vector space embedded graphs. In Emerging Topics in Computer Vision and Its Applications, pages 49–70. World Scientific, 2012.

[RFB14] Kaspar Riesen, Andreas Fischer, and Horst Bunke. Computing upper and lo-

wer bounds of graph edit distance in cu- bic time. In IAPR Workshop on Artifi- cial Neural Networks in Pattern Recog- nition, pages 129–140. Springer, 2014.

[RFB15a] Kaspar Riesen, Miquel Ferrer, and Horst Bunke. Approximate graph edit distance in quadratic time. IEEE/ACM transac- tions on computational biology and bio- informatics, 2015.

[RFB15b] Kaspar Riesen, Andreas Fischer, and Horst Bunke. Estimating graph edit dis- tance using lower and upper bounds of bipartite approximations. International Journal of Pattern Recognition and Arti- ficial Intelligence, 29(02) :1550011, 2015.

[RNB07] Kaspar Riesen, Michel Neuhaus, and Horst Bunke. Bipartite graph mat- ching for computing the edit distance of graphs. In Francisco Escolano and Mario Vento, editors, Graph-Based Representa- tions in Pattern Recognition, pages 1–12, Berlin, Heidelberg, 2007. Springer Berlin Heidelberg.

[SZ14] Karen Simonyan and Andrew Zisserman.

Very deep convolutional networks for

large-scale image recognition. CoRR,

abs/1409.1556, 2014.