Théorie des langages

(1)

Théorie des langages

Damien Nouvel

(2)

Symboles, alphabet et mots

Plan

1. Symboles, alphabet et mots 2. Langages générés

3. Expressions régulières

(3)

Alphabet

§ Structure mathématique

‚ Algèbre:ensemble,opérateur (anneau)

‚ Ensemble

‚ Pas de répétitions

‚ L’ordre n’importe pas

ñ Exemple :ta,c,b,cu=ta,b,cu

‚ Ensemble vide :H

‚ Ensemble de base :alphabet Σ

‚ Lettres :Σ =ta,b,c. . .zu

‚ Chiffres :Σ =t0,1,2,3. . .9u

‚ Playstation :Σ =thaut,bas,gauche,droite,carre,rond. . .u

‚ Musique :Σ =tdo,re,mi,fa. . . ,diese,becarre. . .croche. . .u

‚ …

ñ Ensemblefini d’éléments

§ Langage par concaténation(produit, juxtaposition)

‚ Associative, non-commutative

(4)

Taille des mots

§ Ensemble des mots formés surΣ

‚ Taille d’un mot wnotée |w|

ñ Nombre d’éléments deΣdansw ñ Avec l’alphabet latin,|langage|= 7

‚ Combinaisons possibles siΣ =ta,bu

‚ Taille 2 :taa,ab,ba,bbu(4 éléments)

‚ Taille 3 :taaa,aab,aba,abb,baa,bab,bba,bbbu(8 éléments) ñ Selon la taillen :2ⁿ

ñ Pour un alphabet dekéléments :kⁿ

ñ Alphabet fini et taille donnée : ensemblefinid’éléments

‚ Il existe unmot vide de taille nulle notéϵ

(5)

Opérations sur les mots

§ Produit

‚ Comme la concaténation, mais sur des langages

‚ Parfois notée avec le point.

‚ Exemple :lang.age=langage

‚ Associative, non-commutative, neutreϵ, absorbantH

§ Puissance

‚ Itération du produit sur un élément

‚ Exemple :(lang)³=langlanglang

§ Autre opérations

‚ Préfixe(propre) : abest préfixe propre de abc=ab.c

‚ Suffixe(propre) : bcest suffixe propre de abc=a.bc

‚ Mirroir :abc˜ =cba

‚ …

(6)

Langages générés

Plan

(7)

Langages générés

Opérations sur les langages

§ Union

‚ Tousles éléments de deux ensembles

‚ Exemple :tab,cdu Y tefg,hiju=tab,cd,efg,hiju

‚ Associative, commutative (neutreH)

§ Intersection

‚ Élémentscommuns de deux ensembles

‚ Exemple :tab,ac,cdu X tac,dcu=tacu

‚ Associative, commutative, absorbantH(neutre Σ^˚)

§ Différence

‚ Tous les éléments du premier ensemble sauf ceux du second

‚ Exemple :tab,ac,cduztacu=tab,cdu

‚ Non-associative, non-commutative (neutre H, absorbantΣ^˚)

§ Complémentaire

‚ Tous les éléments du langage sauf ceux de l’ensemble

‚ Exemple :tbu=ta,c,d. . .aa,ab,ac. . .ba,bb,bc. . .u

(8)

Langages générés

Opérations sur les langages (suite)

§ Produit

‚ Concaténations possibles de mots des langages

‚ Exemple :tab,bau.tcde,edcu=tabcde,abedc,bacde,baedcu

‚ Mêmes propriétés que pour les mots

‚ Distributif pour l’union (pas l’inter.ta,aau.(tbu X tabu))

§ Puissance

‚ Concaténatons possibles des mots d’un langage

‚ Exemple :tab,bacu²=tabab,abbac,bacab,bacbacu

‚ Mêmes propriétés que pour les mots

§ Quotient(droit ou gauche), mirroir (palindromes) … ñ Pas d’intersection entre puissances : i‰jñΣⁱXΣ^j =H ñ Le mot vide est la puissance0 : L⁰ =ϵ

(9)

Langages générés

Langage généré (fermeture transitive)

§ En théorie, pas de limite à la taille d’un mot

§ Fermeture transitive de la concaténation

‚ Union des puissances possibles ñ L⁰YL¹YL²Y. . .8

§ Étoile deKleene (ou itéré, fermeture transitive)

‚ Pour un alphabet, langage généréΣ^˚

ñ Tous les mots possibles à partir de l’alphabet

‚ Pour un langageL^˚

ñ Toutes les concaténations de mots deL

(10)

Langages générés

Le langage comme monoïde libre

§ Monoïde libre

‚ Ensemble muni d’un opérateur associatifăE,opą ñ Loi de composition stable :@xPE,@yPEñx op yPE

‚ Exemples

‚ ăN,+ą

‚ ăensemble,Y ą

‚ ăpile,poserą ñ Élément neutre dansE

ñ La structure ăL^˚, .ąest un monoïde libre

(11)

Langages générés

Problème

§ Langage des montants monétaires

‚ Alphabet des chiffres

‚ Combinaison de chiffres pour un nombre entier

‚ Symbole pour les décimales et langage

‚ Symboles des unités monétaires ñ Langage des montants

(12)

Expressions régulières

Plan

(13)

Formalisations de langages

§ Décrire un langage

‚ Définitoire: langage naturel

‚ Exemples sur Σ =ta,bu

‚ « N’importe quel mot commence parba»

‚ « Dans un mot, toutaest suivi d’au moins unb»

‚ « Dans un mot, il y a autant deaque deb»

‚ Algèbre: concaténation, union, fermeture (…) de langages

‚ Expressions régulières: expressions concises (programme)

‚ Grammaires: formalisation générative (récursivité)

ñ Formalisations plus/moinspuissantes etimplémentables ñ Langagesréguliers par expressions régulières

ou langages / expressions rationnel(le)s ñ Couramment, regexp

(14)

Expressions régulières basiques

§ Quantificateurs

‚ Aucun opérateurab : concaténation

‚ Étoile de Kleenea* : répétition (entre 0et+8)

§ Caractères spéciaux

‚ Point.: n’importe quel caractère

‚ Chapeau ^: début de ligne

‚ Dollar$: fin de ligne

‚ Antislash b\b : frontière de mot

‚ Classesde caractères (sauf répétition, un seul symbole)

‚ [aei]: liste de caractères

‚ [[:digit:]]ou[0-9]: chiffres

‚ [[:alpha:]]: caractères alphabétiques (dont diacritiques)

‚ [[:lower:]],[[:upper:]]: minuscules, majuscules, etc.

‚ [^xyz]: complémentaire de classe

ñ Utilisation : egrep, sed,awk

(15)

Expressions régulières étendues

§ Parenthèses(expr) : groupement (et capture)

ñ Concaténation n’est pas prioritaire (parenthèses nécessaires)

§ Quantificateurs

‚ Plus(expr)+ : au moins une fois

‚ Point d’interrogation(expr)? : au plus une fois

‚ Accolades(expr){m,n}: itération entre met nfois

§ Opérateur

‚ Barre verticale(expr1)|(expr2): union (ou, disjonction) ñ Plus standard : egrep, perl, python (…)

(16)

Recherche d’occurrences

§ Stratégies courantes de recherche d’occurrences

‚ De gauche à droite dans la chaîne

‚ Comportementgreedy (gourmand) par défaut ñ Sinon opérateur?après le quantificateur

‚ Pas de chevauchements

§ Particularités des outils courants

‚ Attention aux prises en charge caractères non-ASCII

‚ egrep(globally search a regular expression and print)

‚ Recherche d’occurrences dans des fichiers « texte plein »

‚ Ligne par ligne (pas d’occurrences à cheval sur deux lignes)

‚ sed(strem editor)

‚ Effacement ou remplacement dans des fichiers

‚ Ligne par ligne (pas d’occurrences à cheval sur deux lignes)

‚ Utilisation des captures pour remplacer

(17)

Références en ligne

§ Référence http://www.regular-expressions.info/

§ Perl / Python

https://www.johndcook.com/blog/python_regex/

§ Unicode http://unicode.org/reports/tr18/

§ …(beaucoup, beaucoup d’autres)

(18)

Exercices

§ Dans le corpus 80jours.txt

‚ Sélectionner en utilisant

egrep --color "regexp" 80jours.txt

‚ n’importe quelle ligne

‚ occurences de « merci »

‚ les déclinaisons de l’adjectif « heureux »

‚ les conjugaisons du verbe « dire »

‚ les conjugaisons du verbe « aller »

‚ des dates (par ex. années et/ou jours et/ou mois)

‚ les nombres écrits en lettres romaines (chapitres)

‚ n’importe quel mot

‚ des noms propres

‚ les balises d’entités nommées

(19)

Exercices (suite)

§ Dans le corpus 80jours.txt

‚ En utilisant

sed "s/regexp/repl/g" 80jours.txt

oùregest une expression régulière etexpson remplacement

‚ Supprimer les ponctuations

‚ Remplacer les verbes à l’infinitif parINF

‚ Effacer les balises d’entités (<per>, </pers>, <loc>)

‚ En utilisant

egrep -o "regexp" 80jours.txt | sort | uniq -c | sort -gr

‚ Compter le nombre d’entités par type

‚ Compter les occurrences d’entités