DamienNouvel Introduction

(1)

Introduction

Damien Nouvel

Damien Nouvel (Inalco) Introduction 1 / 18

(2)

Généralités

Plan

1. Généralités 2. Contexte général 3. Corpus et statistiques 4. Visées applicatives

(3)

Généralités

Séances et modalités de contrôle

§ Séances

‚ 24 séances

‚ Chaque séance : courset exercicessur machine

‚ Cours S2 :apprentissage automatique

§ Modalités de contrôle

‚ Un contrôle(S1) ou un projet (S2) : 50%

‚ Un examen final: 50%

(4)

Généralités

Séances et modalités de contrôle

§ Séances

‚ 24 séances

‚ Chaque séance : courset exercicessur machine

‚ Cours S2 :apprentissage automatique

§ Modalités de contrôle

‚ Un contrôle(S1) ou un projet(S2) : 50%

‚ Un examen final: 50%

(5)

Généralités

Contenu du cours (prévisionnel)

§ Progression

‚ Introduction

‚ (Programmer en Python)

‚ Éléments en théorie des probabilités et en statistiques

‚ Statistiques pour la linguistique

‚ Théorie de l’information et mesures d’entropie

‚ Statistiques pour l’évaluation

‚ Classification automatique

‚ Paramétrage de classifieurs

(6)

Contexte général

Plan

(7)

Contexte général

Informatique et langage

§ Grace Hopper : A0, premier langage compilé (1951)

(8)

Contexte général

Traitement Automatique des Langues (TAL)

§ Le langage

‚ Expressivité (implicite, déductions)

‚ Générativité / compositionnalité

‚ Modes d’expression: oral, écrit, signes, etc.

‚ Evolution par conventions sociales

§ L’informatique

‚ Calcul binaire, entiers, flottants, etc.

‚ Procédures par séquence d’instructions

‚ Copies exactes

‚ Télécommunicationset essor des nouvelles technologies ñ Discipline issue de l’essor de l’utilisation de l’informatique

pour que des humains manipulent le langagepar d’autres moyens et à une autre échelle

(9)

Contexte général

Traitement Automatique des Langues (TAL)

§ Le langage

§ L’informatique

‚ Télécommunicationset essor des nouvelles technologies

ñ Discipline issue de l’essor de l’utilisation de l’informatique pour que des humains manipulent le langagepar d’autres moyens et à une autre échelle

(10)

Contexte général

Traitement Automatique des Langues (TAL)

§ Le langage

§ L’informatique

‚ Télécommunicationset essor des nouvelles technologies ñ Discipline issue de l’essor de l’utilisation de l’informatique

pour que des humains manipulent lelangage par d’autres moyens et à une autre échelle

(11)

Corpus et statistiques

Plan

(12)

Un corpus : quelles données, pour quoi faire

ñ Ensemble de documents ...

§ Un contenu textuel encodé (UTF8, PDF, Word, XML, etc.)

§ Des classifications associées, par

‚ Auteur(s) et éditeur

‚ Langue

‚ Date de publication

‚ Style (roman, journal, publication, administratif, etc.)

‚ Thèmes (science-fiction, politique, sport, technique, etc.) ñ Corpus comme collection de documents indexés

§ Corpus comme ressources pour

‚ Traitement du langage parlé

‚ Traduction automatique

‚ Études linguistique

‚ Publications scientifiques (par ex. biomédical, sociologie)

‚ etc.

(13)

Un corpus : quelles données, pour quoi faire

‚ Langue

‚ etc.

(14)

Un corpus : quelles données, pour quoi faire

‚ Langue

‚ Thèmes (science-fiction, politique, sport, technique, etc.)

ñ Corpus comme collection de documents indexés

‚ etc.

(15)

Un corpus : quelles données, pour quoi faire

‚ Langue

‚ etc.

(16)

Un corpus : quelles données, pour quoi faire

‚ Langue

‚ etc.

(17)

Les outils statistiques

0 2 4 6 8 10

0 5 10 15 20

Effort

Note

§ Les outils statistiques aident à modéliser des corrélations entre des données selon des paramètres à déterminer

§ Quelques notions de base

‚ Fréquence : nombre d’occurrences

‚ Probabilité: nombre compris dans[0,1]

‚ Loi: distribution des probabilités

(18)

Les outils statistiques

0 2 4 6 8 10

0 5 10 15 20

Effort

Note

(19)

Les outils statistiques

0 2 4 6 8 10

0 5 10 15 20

Effort

Note

(20)

Les outils statistiques

0 2 4 6 8 10

0 5 10 15 20

Effort

Note

(21)

Les outils statistiques

0 2 4 6 8 10

0 5 10 15 20

Effort

Note

(22)

Les outils statistiques

0 2 4 6 8 10

0 5 10 15 20

Effort

Note

(23)

Les outils statistiques

0 2 4 6 8 10

0 5 10 15 20

Effort

Note

(24)

Statistiques pour les sciences

Problématique Hypothèses

Protocole Observations

Description Interprétation

Explication

(25)

Corrélation n’est pas causalité

§ Attention aux interprétations hasardeuses...

‚ Parler russe / Boire de la vodka

‚ Bricoler dans un garage / Devenir millionaire

‚ Acheter des glaces / Porter des tongs

(26)

Épistémologie : règles logiques

§ Expliquer un phénomène selon des conditions

‚ Nécessaire:␣añ ␣b

‚ Suffisante :añb

‚ Nécessaire et suffisante :aôb

§ Règles logiques pour l’inférence

‚ Déduction:

(añb)^a b

‚ Abduction:

(añb)^b a

‚ Induction :

a^b añb

(27)

Épistémologie : règles logiques

‚ Déduction:

(añb)^a b

‚ Abduction:

(añb)^b a

‚ Induction :

a^b añb

(28)

Épistémologie : règles logiques

‚ Déduction:

(añb)^a b

‚ Abduction:

(añb)^b a

‚ Induction :

a^b añb

(29)

Épistémologie : règles logiques

‚ Déduction:

(añb)^a b

‚ Abduction:

(añb)^b a

‚ Induction :

a^b añb

(30)

Épistémologie : règles logiques

‚ Déduction:

(añb)^a b

‚ Abduction:

(añb)^b a

‚ Induction :

a^b añb

(31)

Corpus, modèle, tâche

Corpus

Données Traits Phénomènes Modèle

Extraction

§ Les corpus permettent de décrire des phénomènes

‚ Paramétragedu modèle (plus ou moins supervisé)

‚ Evaluationdu modèle sur un jeu de test

‚ Utilisation du modèle avec d’autres données et tâches

ñ Les statistiquespermettent de concevoir, de paramétreret d’évaluer l’adéquation du modèle pour une tâche donnée

(32)

Corpus, modèle, tâche

Corpus

Extraction

ñ Les statistiquespermettent de concevoir, de paramétreret d’évaluer l’adéquation du modèle pour une tâche donnée

(33)

Corpus, modèle, tâche

Corpus

Extraction

ñ Les statistiquespermettent de concevoir, de paramétreret d’évaluerl’adéquation du modèle pour une tâche donnée

(34)

Visées applicatives

Plan

(35)

Exemples d’applications

§ Niveaux de représentation du langage

‚ Acoustique (oral)

‚ Phonétique (oral)

‚ Morphologie

‚ Syntaxe

‚ Sémantique

‚ Pragmatique

§ Statistiques de corpus pour

‚ Indexation de documents etrecherche d’information

‚ Correctionorthographiqueetgrammaticale

‚ Reconnaissance automatique de l’écriture

‚ Reconnaissance automatique de laparole

‚ Traduction automatique

‚ ... (et bien d’autres)

(36)

Exemples d’applications

‚ Morphologie

‚ Syntaxe

‚ Sémantique

‚ Pragmatique

(37)

Exemples d’applications

‚ Morphologie

‚ Syntaxe

‚ Sémantique

‚ Pragmatique

(38)

Pourquoi les statistiques en TAL

§ Historique rapide et incomplet des approches TAL

‚ Symboliques: automates, transducteurs

‚ Heuristiques : logique, affection manuel de poids de règles

‚ Numériques, dont par exemple

‚ Approches bayésiennes

‚ Chaînes de Markov

‚ Arbres de décision

‚ Maximum d’entropie / régression logistique

‚ SVM, CRF

‚ Réseaux de neurones (DNN, LSTM, convolutions) ñ Plus de numérique, plus de statistiques

§ Importance accrue des statistiques pour la linguistique

‚ Mise à disposition d’ importants volumesde textes

‚ Exigence de robustessedes applications ñ Attention au paramétrages (baselines) !

(39)

Pourquoi les statistiques en TAL

‚ SVM, CRF

(40)

Pourquoi les statistiques en TAL

‚ SVM, CRF

(41)

Pourquoi les statistiques en TAL

‚ SVM, CRF

‚ Réseaux de neurones (DNN, LSTM, convolutions)

ñ Plus de numérique, plus de statistiques

(42)

Pourquoi les statistiques en TAL

‚ SVM, CRF

(43)

Pourquoi les statistiques en TAL

‚ SVM, CRF

(44)

Quelques références

§ Sites web

‚ Michèle Jardinohttp://archives.limsi.fr/Individu/jardino/coursTCAN2005.pdf

‚ Marti Hearsthttp://courses.ischool.berkeley.edu/i256/f06/sched.html

‚ Christopher Manning http://web.stanford.edu/class/cs276b/

‚ Peter Norvighttp://norvig.com/chomsky.html

‚ Revue TALhttp://atala.org/-Revue-TAL-

‚ Revue CLhttp://cljournal.org/

§ Livres

‚ Initiation aux méthodes de la stat. ling. (Muller, 1993)

‚ Modèles statistiques pour l’accès à l’information textuelle (Gaussier, Yvon, 2011)

‚ Statistique textuelle (Lebart, Salem, 1994)

‚ Foundation of Statistical NLP (Manning, Schütze, 1999)