Calculer sur la langue mais qu'y comprendre ?

(1)

HAL Id: hal-01941846

https://hal.inria.fr/hal-01941846

Submitted on 2 Dec 2018

HAL

is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire

HAL, est

destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Calculer sur la langue mais qu’y comprendre ?

Maxime Amblard

To cite this version:

Maxime Amblard. Calculer sur la langue mais qu’y comprendre ?. Colloque Cathy Dufour, Nov 2018,

Nancy, France. �hal-01941846�

(2)

Calculer sur la langue mais qu’y comprendre ? Colloque Cathy Dufour

Maxime Amblard 14 novembre 2018

(3)

Plan

Calculer sur la langue

Mod ´eliser formellement le sens

Mod ´eliser stochastiquement le sens

Compositionnalit ´e dans les r ´eseaux de neurones

Conclusion

2/38

(4)

Calculer sur la langue

(5)

Introduction

1. L’IA s’impose comme un enjeu avec des domaines et des m ´ethodes 2. Le traitement de la langue (natural language) peut ˆetre inclus dans l’IA

1

3. Volont ´e decalculersur la langue pour produire des repr ´esentations et des outils

4. Volont é d’yinclureles propri ét és de la langue (i.e.la linguistique)

1.

On se souviendra que le traitement de la langue est ant érieur à l’IA, mais comme aujourd’hui on utilise les m êmes outils et que le terme IA a gagn é, on ne pol émiquera par sur l’inclusion du TAL dans l’IA ou de l’IA dans le TAL.

3/38

(6)

Introduction

1. L’IA s’impose comme un enjeu avec des domaines et des m ´ethodes 2. Le traitement de la langue (natural language) peut ˆetre inclus dans l’IA¹

3. Volont ´e decalculersur la langue pour produire des repr ´esentations et des outils

1. On se souviendra que le traitement de la langue est ant érieur à l’IA, mais comme aujourd’hui on utilise les m êmes outils et que le terme IA a gagn é, on ne pol émiquera par sur l’inclusion du TAL dans l’IA ou de l’IA dans le TAL.

(7)

Introduction

1. L’IA s’impose comme un enjeu avec des domaines et des m éthodes 2. Le traitement de la langue (natural language) peut être inclus dans l’IA¹ 3. Volont é decalculersur la langue pour produire des repr ésentations et

des outils

3/38

(8)

Introduction

1. L’IA s’impose comme un enjeu avec des domaines et des m éthodes 2. Le traitement de la langue (natural language) peut être inclus dans l’IA¹ 3. Volont é decalculersur la langue pour produire des repr ésentations et

des outils

(9)

Deux points de vue

Calculeretinclure la linguistique

• Natural Language Processing (NLP)

Traitement Automatique des Langues (TAL)

engineering, r ésolution de t âches, approche exp érimentale par l’ évaluation

• Computational Linguistics

Linguistique informatique

mod `eles explicatifs, validation par les donn ´ees

4/38

(10)

Traitement Automatique des Langues (TAL)

engineering, r ésolution de t âches, approche exp érimentale par l’ évaluation

Linguistique informatique

mod `eles explicatifs, validation par les donn ´ees

(11)

Traitement Automatique des Langues (TAL) engineering, r ésolution de t âches, approche exp érimentale par

l’ ´evaluation

Linguistique informatique mod `eles explicatifs, validation par les donn ´ees

4/38

(12)

Calculer sur la langue

(13)

Contexte

Mod ´elisation de la langue naturelle :

• Analyseoug ´en ´eration?

• Deux paradigmes : Paradigme symbolique

(Grammaires, lexiques, syst èmes à base de r ègles) Paradigme stochastique

(Machine learning, r ´eseau de neurones)

6/38

(14)

Contexte

Mod ´elisation de la langue naturelle :

• Analyseoug ´en ´eration?

• Deux paradigmes : Paradigme symbolique

(Grammaires, lexiques, syst èmes à base de r ègles) Paradigme stochastique

(Machine learning, r ´eseau de neurones)

(15)

O `u et pour quoi faire ?

O `u :

• mails, SMS, Twitter, Facebook, commentaires, blogs, articles, pages web, ...

Pour quoi faire :

• interface humain-machine, dialogues automatiques

• traduction automatique, analyse d’opinion

• g én ération de documents, r ésum é

• Watson !

• recherche d’information, repr ésentation de l’information Sous-domaines tr ès riches : m édical, l égal, champs techniques

7/38

(16)

O `u et pour quoi faire ?

O `u :

• mails, SMS, Twitter, Facebook, commentaires, blogs, articles, pages web, ...

Pour quoi faire :

• interface humain-machine, dialogues automatiques

• traduction automatique, analyse d’opinion

• g én ération de documents, r ésum é

• Watson !

• recherche d’information, repr ésentation de l’information Sous-domaines tr ès riches : m édical, l égal, champs techniques

(17)

vs

8/38

(18)

Mod éliser la langue = g érer les ambigu¨ıt és

• phonologie

Ginette Garcin ^´ecouter

• morphologie

autossa = dans l’auto autossaniko = dans mon auto la : pronom, nom ou d ´eterminant ?

• syntaxe

Jean regarde (la fille avec un t ´elescope) Jean regarde (la fille) (avec un t ´elescope) Jean pense que Paul croit que Guillaume dit qu’il conduira la voiture

• s ´emantique

La belle ferme la porte

étoile : c él ébrit é ou astre ?

• pragmatique

La pi `ece est dans le porte-monnaie Le porte-monnaie est dans la pi `ece

(19)

• phonologie Ginette Garcin ^´ecouter

• morphologie

• syntaxe

• s ´emantique

• pragmatique

9/38

(20)

• phonologie

• morphologie

autossa = dans l’auto autossaniko = dans mon auto

la : pronom, nom ou d ´eterminant ?

• syntaxe

• s ´emantique

• pragmatique

(21)

• phonologie

• morphologie

autossa = dans l’auto autossaniko = dans mon auto

la : pronom, nom ou d ´eterminant ?

• syntaxe

• s ´emantique

• pragmatique

9/38

(22)

• phonologie

• morphologie

• syntaxe

Jean regarde (la fille avec un t ´elescope) Jean regarde (la fille) (avec un t ´elescope)

Jean pense que Paul croit que Guillaume dit qu’il conduira la voiture

• s ´emantique

• pragmatique

(23)

• phonologie

• morphologie

• syntaxe

Jean regarde (la fille avec un t ´elescope) Jean regarde (la fille) (avec un t ´elescope)

Jean pense que Paul croit que Guillaume dit qu’il conduira la voiture

• s ´emantique

• pragmatique

9/38

(24)

• phonologie

• morphologie

• syntaxe

• s ´emantique

• pragmatique

(25)

• phonologie

• morphologie

• syntaxe

• s ´emantique

• pragmatique

9/38

(26)

• phonologie

• morphologie

• syntaxe

• s ´emantique

• pragmatique

(27)

Mod ´eliser formellement le sens

(28)

Calcul s ´emantique

L^OGIQUE

L^ANGAGE

N. Chomsky

G. Frege R. Montague

A. Tarski

-

? 6

? 6 M^ODELE`

M^ONDE

Principe de compositionnalit ´e Satisfiabilit ´e

Linguistique computationnelle S ´emantique computationnelle

(29)

L^OGIQUE

L^ANGAGE

N. Chomsky

G. Frege

R. Montague

A. Tarski

-

? 6

? 6 M^ODELE`

M^ONDE

Principe de compositionnalit ´e

Satisfiabilit ´e

10/38

(30)

L^OGIQUE

L^ANGAGE

N. Chomsky

G. Frege

R. Montague

A. Tarski

-

? 6

? 6 M^ODELE`

M^ONDE

(31)

L^OGIQUE

L^ANGAGE N. Chomsky

G. Frege

R. Montague

A. Tarski

-

? 6

? 6 M^ODELE`

M^ONDE

Linguistique computationnelle

S ´emantique computationnelle

10/38

(32)

L^OGIQUE

L^ANGAGE N. Chomsky

G. Frege R. Montague

A. Tarski

-

? 6

? 6 M^ODELE`

M^ONDE

Linguistique computationnelle

(33)

Semantique

• Semantique

• Compositionnalit ´e(Frege)

Le sens d’une expression complexe est la composition du sens de ses parties Rq : La langue est massivement compositionnelle bien qu’elle ne le soit pas

compl `etement

• Approches logique(Montague) (1) John loves Mary

love(John,Mary)

• Comment utiliser ces repr ´esentations ?

• Utilit ´e de ces repr ´esentations ?

(2) If a farmer owns a donkey, he beats it

∀x∀y.((farmerx∧donkeyy∧ownx y)→beatx y)

11/38

(34)

Semantique

• Semantique

compl `etement

love(John,Mary)

(35)

Semantique

• Semantique

compl `etement

• Approches logique(Montague)

(1) John loves Mary

love(John,Mary)

11/38

(36)

Semantique

• Semantique

compl `etement

love(John,Mary)

(37)

Semantique

• Semantique

compl `etement

love(John,Mary)

11/38

(38)

Semantique

• Semantique

compl `etement

love(John,Mary)

(39)

Semantique

• Semantique

compl `etement

love(John,Mary)

11/38

(40)

Semantique

• Semantique

compl `etement

love(John,Mary)

(41)

Repr ´esentation DRT (KAMP et REYLE 1993) et SDRT (ASHER et LASCA-

RIDES2003)

Old mathematicians never die ; they just lose some of their functions.

An engineer thinks that his equations are an approximation to reality. A physicist thinks reality is an approximation to his equations. A mathematician doesn’t care.

12/38

(42)

RIDES2003)

(43)

RIDES2003)

12/38

(44)

RIDES2003)

An engineer thinks that his equations are an approximation to reality.

A physicist thinks reality is an approximation to his equations.

A mathematician doesn’t care.

(45)

RIDES2003)

An engineer thinks that his equations are an approximation to reality.

A physicist thinks reality is an approximation to his equations.

A mathematician doesn’t care.

12/38

(46)

Conclusion partielle

• Nombreuses strat égies pourmod éliser finementles ph énom ènes de sens dans les énonc és

• Bas ´ees sur lacompositionnalit ´e

Mais

• Mod éliser (parfaitement) un ph énom ène particuliern’est pas comprendre le sensg én éral de l’ énonc é

• Difficult é d’avoir une repr ésentation compl ète du sens (ce que fait tr ès bien la langue)

• Couverture tr `es limit ´ee

• R éalit é cognitive, r éalit é conceptuelle ? ...

(47)

• Bas ´ees sur lacompositionnalit ´e Mais

13/38

(48)

(49)

13/38

(50)

Mod ´eliser stochastiquement le sens

(51)

S ´emantique distributionnelle

Des mots apparaissant dans contextes similaires ont des sens proches (Harris, 1954)

On peut ´etudier leur synonymie ou leursimilarit ´e

Fr ´equences des cooccurences→Mod `eles distributionnels

Les mots sont repr ésent és par des valeurs r éelles dans un espace avec peu de dimensions

14/38

(52)

(53)

14/38

(54)

(55)

14/38

(56)

Plongements lexicaux

L’int ér êt est d’avoir des mots/sens proches dans l’espace de repr ésentation

• Score de similarit ´e entre deux mots (cosinus)

• Voisins de chat : chien, chaton, lapin, oiseau etc.

• Bas ´e sur le comptage : extraire lesfr ´equences de cooccurrenced’un corpus

• Bas é sur la pr édiction : induire des param ètres bas és sur lapr édiction du mot correct

Au d épart, deux m éthodes diff érentes, o ù l’approche fond ée sur la pr édiction donnait de meilleurs r ésultats

Par la suite, preuves qu’elles sont r ´eellement ´equivalentes ou assez semblables

(57)

15/38

(58)

(59)

15/38

(60)

(61)

16/38

(62)

(63)

16/38

(64)

Calcul de l’analogie

a is to b as c is to d

homme roi - femme reine

autriche vienne - allemagne berlin

écrivain livre - po ète po ème

france Emmanuel Macron - ´etats-unis Trump

droite LR - gauche ps

(65)

Calcul de l’analogie

a is to b as c is to d

homme roi - femme reine

autriche vienne - allemagne berlin

écrivain livre - po ète po ème

france Emmanuel Macron - ´etats-unis Trump

droite LR - gauche ps

17/38

(66)

(67)

Plongements lexicaux : des param `etres

• Objectif de l’entraˆınement

• Choix des contextes (sac de mots, syntaxe, corpus parall `ele)

• Taille de la fen ˆetre (petite, phrase, paragraphe, dynamique)

• Dirig ´e

• Lemmatisation, normalisation, mots d’arr ˆet. . .

19/38

(68)

En pratique

• Les plongements de mots sont souvent utilis ´es pour l’entraˆınement

• Non supervis é : bas é sur du texte brut (donc possibilit é d’utiliser de nombreuses donn ées)

• Algorithmes rapides et disponibles

• Le mod èle peut être raffin é pour une t âche

(69)

En pratique

• Les plongements de mots sont souvent utilis ´es pour l’entraˆınement

• Non supervis é : bas é sur du texte brut (donc possibilit é d’utiliser de nombreuses donn ées)

• Algorithmes rapides et disponibles

• Le mod èle peut être raffin é pour une t âche

20/38

(70)

Pour

• Faciles `a manipuler (si on les entraˆıne sur des corpus ad ´equats)

• Bons r ´esultats rapidement(bonne couverture)

• Adapt ´e pour le Deep Learning Contre

• Difficile d’interpr ´eter les r ´esultats

• Difficult és de contr ôler les param ètres du mod èle

(71)

Compositionnalit ´e dans les r ´eseaux de neurones

(72)

Et la compositionnalit ´e ?

Travaux r écents de FAIR sur la compositionnali é dans les r éseaux de neurones ( ! !)

(73)

Compositionnalit ´e syst ´ematique

Brenden Lake and Marco Baroni. Generalization without systematicity : On the compositional skills of sequence-to-sequence recurrent networks. ICML 2018

• Walk

• Walk twice

• Run

• Run twice

• Dax

• Dax twice

[[X twice]] = [[X]][[X]] [[dax]]= realiser l’action dax

23/38

(74)

• Walk

• Walk twice

• Run

• Run twice

• Dax

• Dax twice

(75)

• Walk

• Walk twice

• Run

• Run twice

• Dax

• Dax twice

23/38

(76)

• Walk

• Walk twice

• Run

• Run twice

• Dax

• Dax twice

[[X twice]] = [[X]][[X]]

[[dax]]= realiser l’action dax

(77)

Test de g ´en ´eralisation

24/38

(78)

D ´ecomposition des commandes

Commandes de base :

• run→RUN

• walk→WALK

• turn left→LTURN Modificateurs :

• walk left→LTURN WALK

• run twice→RUN RUN Conjonctions :

• walk left and run twice→LTURN WALK RUN RUN

• run twice after walk left→RUN RUN LTURN WALK Simplifications :

• Pas d’ambigu¨ıt ´e de port ´e (”walk and [run twice]”)

• Pas de recursion (”walk and run” vs *”walk and run and walk”)

(79)

Infrastructure

• Entraˆınement d’un mod `ele sequence-to-sequence RNN sur 100k commandes et les s ´equences correspondantes

• Pour le test, uniquement des nouvelles commandes

• Chaque commande de test n’est utilis ´ee qu’une fois

• Le mod èle doit être performant imm édiatement

• 2-layer LSTM avec 200 unit ´es par niveau, pas d’attention, 0.5 dropout

26/38

(80)

Exp érience 1 : R épartition al éatoire des donn ées d’entraˆınement et de test

Dans les donn ´ees d’entraˆınement :

• look around left twice

• look around left twiceandturn left

• jump right twice

• run twiceandjump right twice Dans le test :

• look around left twiceandjump right twice

(81)

Exp ´erience 1 : c¸a marche

28/38

(82)

Exp ´erience 2 : d ´ecoupage par le nombre d’action

Entraˆınement sur les commandes avec les s ´equences d’actions les plus courtes (max 22 actions)

• jump around left twice(16 actions)

• walk opposite right thrice(9 actions)

• jump around left twiceandwalk opposite right twice (22 actions) Test sur les commandes avec les s ´equences d’actions les plus longues (de 24 `a 48 actions)

• jump around left twiceandwalk opposite right thrice(25 actions)

(83)

Exp ´erience 2 : c¸a ne marche pas (du tout)

30/38

(84)

Exp érience 3 : g én éralisation de la composition de commande de base (“dax”)

Les donn ´ees d’entraˆınement contiennent toutes les commandes possibles avec “run”, “walk”, “look”, “turn left”, “turn right”

• “run”, “run twice”, “turn left and run opposite thrice”, “walk after run”, ...

Mais seulement un petit ensemble de commandes compos ´ees avec ”jump” :

• “jump”, “jump left”, “run and jump”, “jump around twice”

Le syst `eme est test ´e sur toutes les autres commandes “jump”

• jump twice

• jump left and run opposite thrice

• walk after jump

(85)

Exp érience 3 : beaucoup de donn ées sont n écessaires !

32/38

(86)

Probl `eme de consultation de table

Memorize or generalize ? Searching for a compositional RNN in a haystack, Adam Liska, Germ ´an Kruszewski and Marco Baroni, AEGAP Workshop 2018

t1(00)=10 t3(00)=00

t4(t5(01))=11 t5(t4(01))=01 t2(t2(10))=00

t1(t4(t5(11)))=11 t1(t5(t1(10)))=10 Aucune intelligence, les donn ées sont m émoris ées, et les possibilit és de composition sont infinies

(87)

t1(00)=10 t3(00)=00

t4(t5(01))=11 t5(t4(01))=01 t2(t2(10))=00

t1(t4(t5(11)))=11 t1(t5(t1(10)))=10

Aucune intelligence, les donn ées sont m émoris ées, et les possibilit és de composition sont infinies

33/38

(88)

t1(00)=10 t3(00)=00

t4(t5(01))=11 t5(t4(01))=01 t2(t2(10))=00

t1(t4(t5(11)))=11 t1(t5(t1(10)))=10 Aucune intelligence, les donn ées sont m émoris ées, et les possibilit és de composition sont infinies

(89)

Test de la g ´en ´eralisation de la composition

Entraˆınement #1 : consultation simple des tables t1 :00.10. t4 :10.00. t301.01. ...

Entraˆınement #2 : consultation simple et compos ´ee des tables ct1t4 :00 :00. t3 :10.10. ct5t5 :01.10. ...

Test : consultation compos ´ees avec de nouvelles donn ´ees ct1t4 :01 :01. ct5t5 :00.01. ct3t2 :10.01.

34/38

(90)

(91)

34/38

(92)

Infrastucture

• R ´eseaux de neurones avec deux niveaux cach ´es, architecture

th ´eoriquement apte pour la composition (Recurrent 60-unit LSTM layer, 10-unit sigmoid layer)

• 1M d’exemples pour les entraˆınement des phases #1 et #2

• 128 donn ´ees conserv ´ees pour le test (2 par composition de table de premier ordre possible)

• Entraˆınement standard : r étro-propagation des param ètres, mise à jour avec descente stochastique du gradient (mises à jour parall èles à partir de 40 processeurs)

• Exp érience r ép ét ée 50k fois avec des initialisations al éatoires

(93)

R ´esultat

36/38

(94)

R ´esultat

M ˆeme initialisation, autre apprentissage

(95)

R ´esultat

Et en cachant les parties compositionnelles ( ! !)

36/38

(96)

Conclusion

(97)

Conclusion 1/2

• L’approchestatistiquede la s émantique dela languedonne de (tr ès) bons r ésultats

• En particulier gr âce auxr éseaux de neuronesqui sont agnostiques sur la t âche

• Mais leur g én éralisationne capte pas syst ématiquement les propri ét és compositionnelles

• Lacompositionnalit ´e reste complexe pour les humains

• Un enjeu important est celui de comprendre/mod ´eliser la composition dans ces approches

• ou de simuler la compositionnalit é par composition de diff érents r éseaux

• ou d’utiliser en entr ée des donn ées rendant compte de ces ph énom ènes

37/38

(98)

Conclusion 1/2

(99)

Conclusion 1/2

37/38

(100)

Conclusion 1/2

(101)

Conclusion 1/2

37/38

(102)

Conclusion 2/2

• On calcule relativement bien sur la langue

• mais on comprend plut ˆot superficiellement

• ou tr ès pr écis ément de choses tr ès compliqu ées (et uniquement celles-l à)

(103)

Merci !