Le Shell

Programmation en exploitation sous UNIX

Nadia Abchiche Mimouni

Gilney Damm Octobre 2003

Licence GSINFO Département GEII, IUT Évry

Avertissement

• Ce document est un support de cours. Il ne

constitue en aucun un ouvrage de référence à la programmation en exploitation. Son exploitation est subordonnée à la présence au cours dispensé par l’enseignant.

• Il est fortement conseillé d’annoter ce document grâce aux explications et exemples fournis durant le cours.

• Pour toute remarque, envoyer un courrier à [email protected]

Le Shell

Un programme C non intégré au noyau

• Interpréteur de commandes

• Langage de programmation

• Permet d’étendre les commandes du système d’exploitation

• Nombreuses versions

Caractéristiques de l’interprète

• Analyse et interprète des lignes de commandes

• Création et lancement des processus associés aux commandes (contrôle de processus)

• Distinction entre processus bloquant et tâche de fond

• Redirection des E/S

• Mécanisme de substitution de chaînes de caractères

• Accès aux ressources de la machine : le processeur (implicitement), le(s) disque(s), imprimantes,…

via des commandes.

• Affiche un prompt pour signifier qu'il est prêt à interpréter une commande

• Permet d’étendre les commandes du système l’exploitation

• Propose un véritable langage de programmation

• Nombreuses versions (sh, csh, ksh, bash,…)

Structure de la boucle d’interprétation

• Le shell est un programme dont l’algo pourrait être : Tant que vrai

– Lire une ligne

– Identifier la commande (vérifier la syntaxe et sémantique) – Création d’un processus exécutant le fichier associé à la

commande

– Attente de la fin d’exécution de ce processus

Fin Tant que

Choix du shell

Nombreuses versions

• sh shell Bourne (disponible sur toutes les machines)

• csh Berkeley (Bill Joy)

• bash (bourne again shell)

• rsh exécution à distance

• tcsh, ksh, bash, vsh,…

Langage shell : généralités

• Variables utilisateurs (chaînes de caractères)

– Contenu obtenu en préfixant $ à la variable

– Affectation par l’opérateur = ( autrement selon le shell) Exemple : v=bonjour

echo $v

Afficher bonjour

• Variables prédéfinies

– Affectées par le shell : # ? $ ! –

– Affectées avant l’exécution : HOME PATH MAIL TERM PS1 PS2 IFS (variables de configuration)

– Macroprocesseur de substitution

– Commandes internes break continue cd eval exit export login newgrp read shift set wait unmask trap

• Structure de contrôles : if-then-else for-do-done while-do-done case-in-esac

Variables d'environnement prédéfinies

•HOME chemin d'accès au répertoire initial de l'utilisateur

•PATH suite de chemins d'accès aux répertoires des exécutables

•PS1 invite principale du shell en mode interpréteur

•PS2 invite secondaire du shell en mode programmation

•IFS séparateurs de champ des arguments

•MAIL chemin d'accès à la boite aux lettres utilisateur

•MAILCHECK intervalle en sec au bout duquel le mail est contrôlé

•DISPLAY nom de l’écran d’affichage

•TERM nom du type de terminal

Quotage

Rôle

le quotage est utilisé pour supprimer les fonctionnalités de certains caractères spéciaux du shell, dont les métacaractères.

Méta-caractères: \ $ * ` " ' Caractère d ’échappement: \

le caractère \ préserve la valeur littérale du caractère qui le suit

Simples quotes '...'

les caractères inclus entre 2 simples quotes ne sont pas évalués

Doubles quotes "..."

les caractères inclus entre 2 doubles quotes conservent leur valeur à l'exception de $ ` et \.

Exemple

TOTO='bonjour ’

echo '$TOTO et ' "$TOTO"

$TOTO et bonjour

Syntaxe des commandes

$ <cmde> [<option> [<option[… ]]] [<fichier> [<fichier> […]]]

• $ est le prompt shell (modifiable par PS1)

• <cmde> correspond à un nom de commande (fichier exécutable)

• Une commande peut contenir plusieurs lignes (utiliser \) le prompt devient alors « > » (modifiable par PS2)

• Une option est une lettre précédée par « - »

• Les espaces sont des séparateurs

• Pour les noms de fichiers, il existe des caractères génériques (métacaractères) :

– « * » pour n’importe quelle chaîne – « ? » pour n’importe quel caractère

– « […] » n’importe quel caractère de la liste – « - » séparateur d’intervalle

Les commandes

• Le symbole $ invite l’utilisateur à taper une commande (interprète de commandes)

• Les commandes sont tapées en minuscules

– $ <nom de la commande> [options] [paramètres]

– $ man <nom de la commande> donne une documentation en ligne. Exemple : man login

– La variable MANPATH contient le répertoire où est installé le manuel

• Voir les commandes whatis et catman

• Pour stopper la saisie de paramètres faire ctrl D

Les méta caractères (ou jockers)

Un méta caractère est un caractère qui a une signification particulière

– Le caractère * représente un nombre quelconque de caractère quelconques

– Le caractère ? représente un et un seul caractère quelconque

– Le caractère [ commence une définition d’ensemble qui se termine par ]

• Exemple1 : a[bc]d = abd acd

• Exemple2 : a[0-9] représente tous les fichier dont le nom commence par a suivi d’un chiffre.

La ^commande man

• Name

syntaxe et arguments

• Synopsis

usage

• Description

exemples, fichiers, exit values

• See also

Fichiers et autres commandes liés

• Variable MANPATH contient le chemin d’accès aux sources la documentation

• Documentation organisés par thèmes en chapitres

Exemple : les commandes utilisateurs sont dans le chapitre 1 et les primitives système dans le chapitre 2.

• Pour savoir dans quel répertoire vous vous trouvez, utiliser la commande pwd :

pwd pour print working directory

pwd donne le chemin absolu de ce catalogue

• Pour changer de répertoire, utiliser la commande cd –cd pour change directory

Syntaxe : cd <nom du répertoire destination>

Exemple1 : cd /users/ens/

Exemple 2 : cd ramène dans le répertoire de login

Lister le contenu d’un répertoire

• La commande ls –l liste les fichiers en donnant des informations.

• Exemple : Si on est dans gesinfo, ls –l donne :

total 2

-rwx r-x r-x 1 etud1 51 Oct 1 12:00 planing

drwx r-x r-x 2 etud1 512 Oct 1 12:00 src

Spécification d’accès pour le propriétaire Spécification d’accès pour le groupe

Spécification d’accès pour le autresNombre de liens Propriétaire

du fichier Taille du fichier

Date dernière modification Nom du fichier

Spécification du type de fichier

Les options de la commande ls

• –a affiche tous les fichiers même ceux cachés (commençants par .)

• -A affiche tous les fichiers même ceux cachés sauf les répertoires . et ..

• -d affiche les répertoires en tant qu’objets et non pas répertoire

• -l format long, donne toutes les informations sur les objets.

• -t trie les fichiers selon la date de dernière modification

• -R (Récursif) affiche le contenu des répertoires et sous- répertoires associées.

Créer un répertoire

• mkdir pour make directory crée un répertoire ou un sous répertoire

• Exemples :

$ mkdir sources

$ mkdir lettres jeux

$ mkdir /users/cours projets

$ mkdir –p lettres /jeux

Supprimer un répertoire

• rmdir pour remove directory supprime tout répertoire vide

• $ rmdir projets

Changer les attributs d’un fichiers

• Possibilité de modifier les droits d’accès à un fichier avec la commande

chmod pour change mode

• chmod <utilisateurs> [+-=][rwx]

• Paramètres :

exécution x

Positionner

= Others

o

écriture w

Retirer -

groupe g

lecture r

Ajouter +

User u

Exemples d’utilisation de la commande chmod

$ chmod o-r toto retire le droit de lecture pour les autres utilisateurs pour le fichier toto

$ chmod ug+w toto ajout du droit d’écriture pour le proriétaire et le groupe

$ chmod –rwx toto enlève tous les droits pour tout le monde

$ chmod =r toto positionne pour tout le monde le droit de lecture

$ chmod u=rw,go-rwx toto positionne les droits de lecture/écriture pour le propriétaire, et retire tous les droits pour le groupe et les autres

Afficher le contenu d’un fichier

• cat pour concatenate, admet plusieurs paramètres

• Pour arrêter le défilement, taper ctrl s

• Pour reprendre le défilement, taper ctrl q

La commande more

• more accepte plusieurs fichiers : met en en tête de chaque fichoer une bannière avec le nom du fichier courant.

• Offre plusieurs options

– ? Permet de voire toutes les options – Return passe à la ligne suivante

– Espace passe à la page suivante

– q sort de l’affichage prématurément

Copier un fichier

Deux utilisations de la commande cp

• cp fichier1 fichier2 duplique fichier1 dans fichier2

• cp fichier1 fichier2… fichiern repertoire

• cp –R rep1 rep2

Renommer/déplacer un fichier

• mv (move)

• Exemples :

– mv toto titi (renome toto en titi) – mv essai toto (renome essai en toto) – mv toto titi /tmp (déplace deux fichiers) – mv toto /tmp/titi (déplace et renomme)

Détruire un fichier

• rm (remove) efface un ou plusieurs fichiers

• Exemples :

– rm toto

– rm essai1 essai2 – rm –r users/ens

• Options possibles :

– -f (force malgré les protections) – -i pour confirmer la destruction

– -r pour détruire récursivement un répertoire

Commandes de manipulation de fichiers

• basename permet d’extraire le nom le plus relatif d’un fichier : $ basename <nom de fichier> [suffixe]

• Exemples :

– $ basename /users/ens/moncompte moncompte – $ basename moncompte/src/pgme.c .c pgme – $ basename moncompte/src/pgme.c e.c pgm Pas de vérification de l’existence des fichiers

La commande dirname

• Extrait le chemin du fichier

• Exemple :

– dirname /etc/passwd /etc

La commande cut

• Découpe des lignes d’un fichier ou de l’entrée standard

• $ cut –cliste [<nom de fichier>]

• $ cut –fliste [-d<caractère>] [-s] [<nom de fichier>]

liste est une liste d’entiers séparés par des virgules correspondant aux caractères

• Exemples de valeurs de liste :

– 1,4,7 1 et 4 et 7 – 1-3, 8 1 à 3 et 8 – -5,10 1 à 5 et 10 – 3- 3 à la fin

Les options de la commande cut

• -c découpe selon les caractères

• -f découpe par champ selon le caractère séparateur de champ donné par –d.

Par défaut le caractère séparateur est le caractère tab

• -s supprime les lignes qui ne contiennent

pas de séparateur

Exemples d’utilisation de cut

• $ cut –c-5 /etc/passwd extrait les 5

premiers caractères de chaque ligne du fichier /etc/passwd

• $ cut –f1,5 –d: /etc/passwd extrait le premier champ (nom de login) et le cinquième champ (nom réél de l’utilisateur) du fichier

/etc/passwd

La commande find

• Exécute une recherche selon les critères définis dans une expression depuis le

chemin indiqué.

• Syntaxe : find <chemin> [<expression>]

Les expressions possibles pour find

• -name <nom> recherche le fichier portant un nom

• -links <n> recherche les fichiers possédant n liens

• -user <utilisateur> recherche les fichiers appartenant à un utilisateur

• -group <groupe> recherche les fichiers appartenant à un groupe

• -type <type> recherche les fichiers ayant un type (f=fichier, d=répertoire, b=périphérique)

• -ctime <date> recherche les fichiers créés avant ou après une date de création

• -print affiche le fichier pour lequel l’expression est réalisée

• -exec <commande> exécute une commande pour le fichier trouvé

• -perm <masque> recherche les fichier ayant le mode

correspondant à un masque (3 chiffres en octal)

Exemples commande find

• $ find / -name passwd –print

• $ find .. –user u1 –print

• $ find . –type d –print –exec ls –l {}; - print

• $ find / -name core –exec rm {} \; -print

• $ find / -name core –exec ls -l \; -exec rm

{}\;

La commande grep

• Recherche une chaîne de caractères dans un ou plusieurs fichiers

• $ grep [<options>] <chaine> [<fichier>]

• Les options :

– -i ignore majuscules et minuscules

– -h supprime le nom du fichier devant chaque lligne – -n affiche le numéro de ligne dans le fichier

– -v affiche toutes les lignes sauf celles contenant la chaîne

Exemples commande grep

• $ grep ‘^u’ /etc/passwd

• $ grep –v « ; » *.c

• $ grep ksh$ /etc/passwd

La commande head

• Extrait les n premières lignes d’un fichiers

• Syntaxe : head [-<n>] [<fichier>]

– Par défaut n=10 et c’est l’entrée standard qui est prise

• Exemples :

– $ head –2 prog.c – $ head lettre

La commande od

• Affiche le contenu d’un fichier sous des format de données spécifié (en option)

• Les options :

– -o affiche le contenu en octal (option par défaut) – -c caractères ascii

– -d, -D contenu affiché en décimal

– -x, -X contenu affiché en hexadécimal

• Exemples :

– od –c pgme – od –x prog.c

La commande sort

• Trie et fusionne des fichiers

• Syntaxe : $ sort [<options>] [+pos1] [-pos2] [<fichier>]

• Les options :

– -d ordre lexicographique (par défaut) – -n, -b trie suivant la valeur numérique des champs – -r trie selon l’ordre inverse

– -tx le caractère x devient le caractère séparateur de champs par défaut c’est l’espace)

– +pos1-pos2 restreint la zone qui est utilisée pour le tri aux champs qui commencent avec ppos1 et se terminant à pos2

Exemples commande sort

• $ sort /etc/passwd

• $ sort –r toto

• $ sort +0 –1 +3 –4 toto

La commande tail

• Copie une partie d’un fichier depuis un certain point jusqu’à la fin

• Syntaxe : $ tail [+-n [lbc] [fr]] [<fichier>]

– +n à partir du début – -n à partir de la fin

– L’unité l pour les lignes (10 par défaut), b pour les blocs (512 octets), et c pour les caractères

– Si r est indiqué tail affiche alors en commençant par la fin

– f indique que tail ne s’arrête pas en fin de fichier, mais boucle en attendant que le fichier grossisse

Exemples commande tail

• $ tail –10 prog.c

• $ tail +10 prog.c

• $ cat >> /tmp/essai

• $ tail –2lf /tmp/essai

Commandes de surveillance

• who, w, ps

• nice, renice, kill

• vmstat : statistiques sur la mémoire virtuelle

• swapon, swapoff gestion espace pour la pagination

• du espace sur les répertoires

• df espace sur le système de fichiers

Commandes et flux

• Tubes nommés

• Redidections

• Arguments de commandes et entrées de

commandes

• Toute commande Unix, dès son lancement, possède 3 fichiers ouverts :

– L’entrée standard (stdin) ou 0 – La sortie standard (stdout) ou 1 – La sortie erreur (stderr) ou 2

• Dans le shell sh, tout fichier ouvert par un programme est représenté par &X, où X est un numéro qui s’incrémente à chaque ouverture de fichier.

– stdin, stdout et stderr sont respectivement pour toute commande lancée dans le shell &0, &1 et &2.

• Rediriger la sortie :

$ ls –l 1>listeFich.txt

• Rediriger les deux flux dans un même fichier (en tapant une commande erronée)

$ ls –l >>erreur 2>&1

Exemples :

• Exemple : compter le nombre d’utilisateurs connectés

$ who | wc –l 6

$ who | wc –l >temp

$ cat temp 6

• $ ls ; who >temp

bin users tmp

• $ cat temp

u1 tty05 Oct 8 08:35 u2 tty05 Oct 8 09:55

Seule la sortie de la dernière commande est redirigée vers le fichier temp

• $(ls;who)>temp; cat temp

bin users tmp

u1 tty05 Oct 8 08:35 u2 tty05 Oct 8 09:55

Exécution des commandes

1) Interactif (foreground)

2) Asynchrone (arrière plan, background) 3) Différé

4) cyclique

Différents modes d’exécution des commandes

• Mode dans lequel le système rend de façon interactive le résultat de la commande (vue précédement)

Mode d’exécution interactif (foreground)

• <commande> &

• nohup <commande> &

• les touches ctrl (contrôle) et z (simultanément), puis suivies de la commande bg permet de lancer une commande en

background

• nohup évite que les processus lancés en backgroud ne soit arrêtés lors du logout. Envoi résultat par mail à l’utilisateur.

• Lancement de plusieurs commandes sans attendre que chacune d’entre elles se termine

• cat essai1 & cat essai2

… numéro du processus lancé par le Shell

• $ cc pgme.c &

124569

On récupère le promt shell avant que la compilation ne soit terminée

• $ (echo « Bonjour »;sleep 15; echo « Bye ») &

Mode d’exécution asynchrone (arrière plan, background)

• at <un temps> <commande>

Démon at

Commandes atq et atrm

Fichiers de configuration at.allow et at.deny (voir plus loin fonctionnement similaire à ceux de cron)

Fichers : /var/spool/cron/atspool /var/spool/cron/at.jobs

Exemple : at 8:15 May 24 < fichCmde

Mode d’exécution différé

Démon cron

Commande crontab

Pour un utilisateur quelconque :

/var/spool/cron/crontabs/<nom utilisateur>

Pour le super utilisateur :

/var/spool/cron/crontabs/root

Format d’une ligne de ce fichier :

Minute heure jours_mois mois jours-semaine commande Où :

– Minute : 1 à 60 – heure : 1 à 60

– jours_mois : 1 à 31 – mois : 1 à 12

– jours-semaine : 0 à 6 (0=dimanche)

– Commande : commande à exécuter de façon cyclique.

Mode d’exécution différé

cyclique

Fichiers de configuration associés :

• /etc/cron.d/cron.allow

• /etc/cron.d /cron.deny

• Accès autorisé à un utilisateur si :

/etc/cron.d/cron.allow existe et le user n’y est pas Ou bien :

/etc/cron/cron.allow n’existe pas et si le nom user n’apparait pas dans cron.deny

• Acces refuse à un user si :

/etc/cron.d/cron.allow existe et le user n’y est pas Ou bien

/etc/cron/cron.deny existe et l’utilisateur est dedans et cron.allow n’existe pas

• Si aucun des deux fichiers n’existe, seuls les utilisateurs ayant les autorisation solaris.jobs.users peuvent soumetre des jobs

• Pour root, les règles s’appliquent si les 2 fichiers /etc/cron/cron.allow et /etc/cron/cron. deny existent

Contrôle du lancement de commandes cyclique

Comment changer shell de login ?

1. Si le shell est valide (présent dans /etc/shells) et les binaires disponibles (/etc/sh, /etc/csh/, /etc/bash,…):

– chsh –s shellDeLogin utilisateur – passwd –s

Une ligne du fichier /etc/passwd contient à la fin, le nom du shell par défaut, à activer au moment du login.

2. Si les binaires ne sont pas disponibles :

Acquérir les sources et effectuer la compilation soi- même.

• pdksh : version libre de ksh :

– ftp://ftp.cs.mun.ca/pub/pdksh

• bourne shell : compilateur CCsh, commercialié par Comeau Computing :

– [email protected]

• bash écrit et maintenu par Free Software

Foundation

Quelques spécificités syntaxiques des différents shell

sh

• Caractères spéciaux: * ? [akl] [a-g] [!A-Z]

• # $ & ; < << > >> | ‘ « ` / () {}

• Passage d’arguments :

$0 $1… $9

$# nombre arguments (sauf $0)

$$ pid du shell qui exécute

$* chaine des arguments (sauf $0)

$@ liste des arguments (sauf $0)

$? Code retour de la dernière commande

$! Pid du dernier processus asynchrone

sh (suite)

• Variables nomDeVariable=valeur

Echo $ nomDeVariable

• Variables d’environnement

– Créées au login (HOME, USER…)

– Générales (MAIL, CLASSPATH, PATH,…°

• Le problème d’exportation de variables

echo $TOTO

TOTO='bonjour je suis sh' echo $TOTO

bonjour je suis sh sh

echo $TOTO (TOTO n'a pas été exporte) Ctrl+D

export TOTO sh

echo $TOTO (TOTO a été exporté) bonjour je suis sh

Structure de contrôle

• Condition : c’est toujours le code retour d’une commande (0 pour vrai, faux sinon)

Test expression où expression vaut :

• -f nom

• -d nom

• -r (xw) nom

• -s nom (taille)

• -z chaine (chaine vide)

• chaine1 = chaine2 chaine1 != chaine2 (égalité entre chaines)

• Nombre1 –eq nombre2 (-ne –gt –ge –lt –le)

– Connecteurs ! –a -o

• Permet l’arithmétique entière sur les variables.

+ - * / %

A = `expr $A + 1`

• Permet la comparaison de chaînes de caractères (le

résultat est le nombre de caractères reconnus au début) expr « 1234trfhj » : ‘[0-9]*’ donne 4

• Permet l’extraction de chaînes

expr « toto.c » : « \(.*\).c donne toto

expr

• Conditionnelle

if cond1 then Cmde…

elif cond2 then

Cmde…

… else Cmde…

fi

• Conditionnelle multiple

case nomVariable in chaine1) cmde…;;

chaine2) cmde…;;

… esac

• Boucles

for nomVar in liste do

Cmde…

Done

while cond do

Cmde…

done

until cond do

Cmde…

done

Sortie exceptionnelle par break(n) continue exit(n)

• Liste de commande :

{commande…} && {commande} si code retour est 0 {commande…} || {commande} si code retour n’est pas

0

• Fonction :

nomFonction() {commande…}

Peut renvoyer un code retour return(n)

Entrées/sorties

• read listeNomVariables

Lit sur l’entrée standard. Les chaînes sont séparées par des espaces ou des tab

• echo chaine

\c pas de passage à la ligne

\b backspace

\n newline,…

Compléments sur les variables

• ${nomVariable}chaine

• ${nomVariable:-chaine} la substitution se fait même si la variable est nulle ou non initialisée

• ${nomVariable:+chaine} la substitution se fait si la variable est initialisée, sinon

substitution de la chaine vide

ksh et bash

• Fichiers de configuration ~/.profile /etc/profile /etc/suid_profile

• Variables d’environnement en plus

• Des fonctions en plus

• Autres spécificités :

Expansion de ~ en HOME

Compléments des noms par Esc

Commande alias et unalias (alias nomAlias=chaine) Capture de la sortie standard par $(commande)

Historique des commandes

${nomVariable#chaine} enlève chaîne au début

${nomVariable%chaine} enlève chaîne à la fin

ksh et bash (suite)

• ${#nomVariable} retourne le nombre de caractères

• ${#*} ou ${#@} retourne le nombre de paramètres positionnels

• Génération des noms de fichiers

?(listeDechaine) reconnaît 0 ou une des chaines

*(listeDechaine) reconnaît 0 ou plusieurs chaines +(listeDechaine) reconnaît une ou plusieurs chaines

@(listeDechaine) reconnaît une des chaines

!(listeDechaine) reconnaît tout sauf une des chaines

Ksh et bash (suite)

• Tableau de variables :

typeset nomVariable[taille] déclaration set –A nomVariable listeChaine affectation nomVariable[rang]=chaine affectation

${nomVariable[rang]} désignataion

${nomVariable}[*]} retourne la taille du tableau

• Commande let (préférable à la commande expr)

+ - * / % < <= > >= == !== = (affectation) Exemples :

let i=2 let i=i+1

let « j =i*2 » quoter si espaces ou bien ((j =i*2)) pour ne pas quoter

if ((j <=i*2)) ….

ksh bash (suite)

• Expression conditionnelle

[[expression]] où epxression peut être : fichier1 –nt fichier2 plus récent

fichier1 –ot fichier2 plus ancien

chaine1<chaine2 avant dasn l’ordre lexicographique chaine1>chaine2 après dans l’ordre lexicographique -l c’est un lien

-s c’est un socket connecteurs ! && ||

ksh bash (suite)

csh

• Ce qui change :

Fichier de configuration ~/.cshrc Définition des variables :

set nomVariable = valeur (unset)

setenv nomVariable valeur (unsetenv)

Structures de contrôle

if ( expression) then commande…

elsif (expression)

commande…

else

commande…

endif

csh

• Switch ( chaine)

case motif:

commande…

[breaksw]

…

default:

commande…

endsw

csh (suite)

• foreach nomVariable (listeValeurs)

Commande…

end

while (expression) commande end

repeat nbFois commande goto etiquette

etiquette:

csh (suite)

• Les paramètres positionnels ($0 $1… $9)

• argv[] accepté

• Les entrées : le read est remplacé par : set nomVariable = $<

• Expression dans if while … :

+ - * / % ++ --<= >= <> == != =~ !~

• & ^ | (opération bit à bit)

• ! && ||

• if {commande} permet de tester le comde retour

Écriture de commandes shell

1. Fichier de commandes

• Édition d’un fichier

• Le nom du fichier sera le nom de la commande

• Modification de la variable PATH

2. Mode interactif

Le langage awk

•Permet d’appliquer un programme, écrit dans une syntaxe spécifique, à un ensemble de fichiers donnés en entrée

•Basé sur la notion de pattern qui permet d’effectuer un filtrage sur les données des fichiers traités

•Plus élaboré que sed (stream editor)

•Deux commandes /etc/bin/awk

et /usr/xpg4/bin/awk

La commande awk possède deux formes

1) awk ‘<programme>’ <fichier1> <fichier2> … 2) awk –f <fichierPgme> -F <carSep> <fichier1>

<fichier2> …

Forme générale d’un programme awk

Awk lit chaque ligne d’entrée et la divise en des champs séparés par un séparateur.

BEGIN{<instructions initiales>

}

<sélecteur1 (pattern)> {<action1>}

<sélecteur2 (pattern)> {<action2>}

…

END{<instructions finales>

}

Lecture d’une ligne par awk

Dans une expression awk :

• $0 représente la ligne d’entrée dans sa totalité

• $1 représente le premier champ de la ligne

• $2 représente le deuxième champ de la ligne

• …

• $i représente le i ième champ de la ligne

• NF représente le nombre de champs de la ligne traitée

• NR représente le nombre de lignes lues

• FNR représente le nombre de lignes du fichier

• FS représente le séparateur de champs (défaut espace ou tabulation)

• RS représente le séparateur de ligne (défaut retour chariot)

• ARGC représente le nombre d’arguments de la commande

• ARGV représente un tableau des arguments (sans les option et le programme et commence à zéro : ARGV[0] contient le nom de la commande, ARGV [1] le premier fichier, ARGV [2] le deuxième fichier,… de la commande

• FILENAME représente nom du fichier actuel

• OFMT représente le format d’impression des nombres

• OFS représente le séparateur de champs à l’impression

• ORS représente le séparateur de lignes à l’impression

Exemples

• awk ‘/srb/’ $HOME/toto

imprime toutes les lignes contenant la chaine srb dans le fichier $HOME/toto

• awk ‘END{print NR}’ $HOME/toto

imprime le nombre de lignes du fichier $HOME/toto

• awk ‘{print $3}’ $HOME/toto

imprime le troisième champ de chaque ligne du fichier

• awk ‘NR==10’ imprime la dixième ligne de l’entrée

• awk ‘{champ=$NF}

END{print champ}’

imprime le dernier champ de la dernière ligne

Et encore d’autres exemples awk utiles

• awk ‘NF>4’ /$HOME/toto

imprime toute ligne à plus de 4 champs

• awk ‘$NF>4’ /$HOME/toto

imprime toute ligne dont le dernier champ est supérieur à 4

• awk ‘{nf=nf+NF}

END{print nf}’ /$HOME/toto

imprime le nombre de champs de toutes les lignes d’entrées

• awk ‘/jean/ {nlignes+=1; print nlignes} ‘

imprime le nombre de lignes contenant le mot ‘jean’

• awk ‘$1>max {max=$1;maxligne=$0}

END{print max,maxligne}’

imprime le plus grand champ et la ligne qui le contient

• awk ‘length($0)>80’ /$HOME/toto imprime toute ligne plus longue que 80

Exemples (suite)

• awk ‘{temp=$1;$1=$2;$2=temp;print}’ /$HOME/toto imprime chaque ligne en permutant le premier et le

deuxième champ

• awk ‘{print NR,$0} ‘/$HOME/toto

imprime chaque ligne précédée par le numéro de ligne

• awk ‘{for (i=NF;i>0;i=i-1) printf (« %s »,$i)

printf(« \n ») }’

imprime les champs de chaque ligne en ordre inverse

Expression awk

• Une expression awk peut prendre une valeur numérique ou une chaine

• Opérateurs disponibles:

+,-,*,/,%,^ et la concaténation (caractère espace) ++,--,+=,-=,*=,/=,^= et %=

• Relations d’ordre (appliqués aux chaînes et aux nombres)

<,<=,==,!=,>=,>

• Opérateurs de filtrage explicites :

~ et !~

Exemples :

$1~ /srb/ est vraie que pour les enregistrements dont le premier champ est égal à srb

(cf. Description ci dessous)

Les expressions régulières

• Pour être utilisées en tant que pattern (sélecteur) une expression régulière doit être placée entre slash (/ et /) de la façon suivante :

si r est une expression régulière, on écrit /r/

<expression> ~ /r/ vérifiée si la ligne contient r

<expression> !~ /r/ vérifiée si la ligne ne contient pas r

• Les métacaractères employés :

^,$,.,[], |(),*,+,?,\ (cf. Tableau)

\ sert à masquer un des autres caractères, placé devant certains caractères il filtre une séquence de tabulation (tab chap2 p40

Expressions régulières utilisées

c le non méta caractère

\c le caractère littéral c

^ début de chaine

$ fin de chaîne . tout caractère

[c1c2…] tout caractère c1, c2,…

[^c1c2…] tout caractère sauf c1, c2,…

r1|r2 toute chaîne filtrée (matchée) par r1 ou bien r2 (r1)(r2) toute chaîne xy où r1 filtre x et r2 filtre y

(r)* zéro ou plusieurs chaînes consécutives filtrées par r (r)+ une ou plus d’une chaînes consécutives filtrées par r (r) ? La chaîne nulle ou bien la chaîne filtré par r

(r) toute chaîne filtrée par r

Signification des caractères précédé de \

• \b backspace : supprime le dernier caractère d’une chaîne

• \f formfeed : nouvelle page

• \n newline : nouvelle ligne

• \r carriage return : retour à la ligne

• \t tabulation : crée une tabulation de 10 espaces

• \ddd valeur octale ddd où ddd est trois

nombres compris entre 0 et 7

Exemples expressions régulières

• /([a-zA-Z])(ee)/

• /(forever|closer) (remain|and)/

• /F*/

• /FR+E/

• /FRR*E/

• /FR?E/

• /[A-Z]+/

• /^[+-]?([0-9]+[.]?[0-9]*|[.][0-9]+)([eE][+-]?[0-9]+)?$/

Utilisation des variables en awk

• Pas de déclaration ni d’initialisation explicite de variables ni de type

• Une variable peut correspondre à un type nombre ou chaîne ou même aux deux. Awk convertit la valeur de la chaîne en nombre ou en chaîne lors de l’exécution du programme.

• Initialisation à la chaîne vide Exemple :

$1==« Fredo » {

Fredo=10;$2=$2+Fredo print $2

}

Affiche la valeur du deuxième champ augmentée de 10 pour toute ligne dont le premier champ est Fredo

• Exemples : – NF>5 – $1> «s »

Les actions awk

Une action awk se compose d’une ou plusieurs instructions séparées par un point-virgule ou un retour chariot. Une instruction peut être :

Une affectation,une instruction conditionnelle, une boucle ou l’appel d’une fonction standard telle que print. Voici la liste des instructions :

If (condition) <instruction1> [else <instruction2>]

While (<condition>) <instruction>

for (<expr1>;<cond>;<expr>) <instr>

for (<var> in <tableau>) <inst>

do <instr> while (expr) break

continue

{[<instructions]…}

Variable=expr

print [liste expr] [>epxr]

Les tableaux awk

• Pas de déclaration.

• Indexation possible avec des chaines de caractères

• D’où une utilisation possible comme mémoire associative

• Exemple : le premier champ du fichier /etc/passwd contient les noms de login des utilisateurs.

• awk ‘

BEGIN{FS=« : » }

{if (user[$1] {print $1, « dupliqué » }

user[$1]=NR }’ </etc/passwd

Les fonctions prédéfinies awk

• exp (x) retourne l’exponentiel de x

• log(x)

• sqrt (x)

• int (x) retourne l’entier >0 le plus proche de x

• rand() retourne un nombre au hasard entre 0 et 1 (>=0 et <1)

• index (s,t) position de la première occurrence (apparition) de t dans s. rend zéro si t n’apparaît pas dans s.

• int (s) tronque s pour avoir un entier

• length (s) longueur de s

• match (s,x) position de l’expression régulière x dans la chaîne s

• split (s,a,fs) disperse la chaine s dans un tableau a et retourne le nombre d’éléments de a

• sprint (fmt, listExpr) retourne listExpr formatée selon le format fmt

• substr (s,m,n) retourne les n caractères, sous chaîne de s, en commençant à la position m.

• getline lit une ligne dans $0 (cf. ci-dessous)

Définition d’une fonction

• function <nom>(<liste de paramètres>) {

[return [<expression>]]

<instructions>

}

<liste de paramètres> =séquence de variables

séparées par des virgules

Les sorties

• print

• print <expression1>, <expression2>,…

• print <expression1>, <expression2>,…> <fichier>

• print <expression1>, <expression2>,…>> <fichier>

• print <expression1>, <expression2>,…| <commande>

• printf (<format>,<expression1>, <expression2>,…)> <nomfichier>

• printf (<format>,< expression1>, <expression2>,…)>> <fichier>

• printf (<format>,< expression1>, <expression2>,…) | <commande>

• close(<fichier>), cloture de la connexion entre printf et <fichier

• close(<commande>) fermeture des pipes

• system (<commande>) exécute une commande et retourne la valeur retournée par la commande <commande>

Caractères d’écriture de formats

c caractère ASCII

d partie entière d’un nombre e [-]d.ddddddE[+-] dd

f [-]ddd.dddddd

g e ou f selon ce qui est le plus court; supprime les zéros en trop

o nombre octal non signé s chaîne

x nombre hexadécimal non signé

% écrit un % aucun argument n’étant utilisé

Exemples de formats

Format : fmt expression résultat

%c 97 a

%d 97.5 97

%5d 97.5 97

%e 97.5 9.750000E+01

%f 97.5 97.500000

|%s| largeur |largeur|

|%.3s| largeur |lar|

Les entrées

• awk ‘<programme>’ <liste fichiers en entrée>

• awk ‘<programme>’ <entree standard>

• L’entrée peut être un pipe :

Exemple: grep ‘toto’ /etc/temp | awk ‘{

$1<=10 {print $0}

}’

• Séparateurs d’entrée: FS

et RS

• Modification possible en ligne de commande de FS avec l’option –F

Exemple : awk –F’:’ –f fichpgme /etc/passwd

La fonction getline, pour lire des enregistrement en entrée

• getline lit sur l’entrée standard et remplit les variables $0, $1,

$2, $3,…, NR, NF et FNR

• getline <nom de variable> lit sur l’entrée standard et met le met dans une variable

• getline <nom de fichier> lit l’enregistrement suivant dans le fichier et le met dans $0 en mettant à jour NR

• getline <nom de variable> < <nom de fichier> ^{lit le}

prochain enregistrement du fichier et le met dans une variable

• <commande> | getline lit la sortie de commande et le place dans $0 en mettant à jour NF

• <commande> | getline <nom de variable> lit la sortie de commande et le place dans une variable

Applications

• Validation, transformation et traitements de données

• Gestion de bases de données

• Génération de texte, mise à des formats spéciaux

• Compilation, interprétation, transformation de langage

• Expérimentation sur des algorithmes

Etudes d’exemples

• Base de données

• Mini langage

Base de données (spécifications)

• Interrogation d’une base de données d’une

discothèque. Elle regroupe, par style de musique, les groupes, les titres des albums, le nombre de disques selon le type de support (cassette, CD, ou disque

vinyl).

• On effectue plusieurs interrogations de la base :

– par style de musique (liste de tous les groupes avec renseignements associés),

– Par groupe (liste des albums présents dans la base, le nombre disponible et leur prix)

– Par titre d’album (prix, disponibilité, groupe et style)

Le menu qui apparaîtrait est : Style de musique

Groupe

Titre d’album Quitter

Tant que le choix Quitter n’est pas choisi, le programme bouclera et chaque résultat

d’interrogation sera à la fois affiché sur la sortie standard et mis dans un fichier out.dat où tous les résultats seront mémorisés.

Il est également possible de modifier la base de

données.

• Nom du fichier = musique

• Structure du fichier avec les particularités suivantes :

– Tous les caractères doivent être en majuscules

– Le champ séparateur entre les éléments virtuels est

« : » qui est initialisé au début du programme

– Le champ de détection du style de musique est « * » – Le champ « ; » est un sous champ de détection à

l’intérieur d’un élément virtuel qui permet de distinguer le type de support et le prix qui lui associé

*

STYLE : HARD

GROUP : SCORPIONS

ALBUM : I’M STILL LOVING YOU

SUPPORT : CD=546; VINYL=400; K7=71

PRIX :110;63;44

*

STYLE :ROCK

GROUP : ALAN PARSON PROJECT

ALBUM : AYE IN THE SKY: STEREOTOMY

SUPPORT : CD=5346; VINYL=456; K7=96

PRIX :115;70;52

STYLE :ROCK

GROUP : PINK FLOYD

ALBUM : THE ALL: ANIMALS:

OBSCUED BY CLOUDS

SUPPORT : CD=4200; VINYL=213; K7=45

PRIX :105;75;42

*

Un mini-langage: génération d’un calculateur

• Description des expressions arithmétiques par une grammaire :

expr terme

expr + terme expr – terme

terme fait

terme*fait terme/fait

fait nombre

(expr)

Bibliographie

!"#$ $%# "

Éditions Eyrolles

& '& ( ) *) +&

,"-!! % Éditions Eyrolles

.& ( ) ./ 0 /

!"#$ $## - Édition Eyrolles

/ 1 & & '&

1 (& 2 3 450

!""$ -$,* 6 Éditions Eyrolles

7 8 .&