Statistique et Informatique (LI323)

(1)

Statistique et Informatique (LI323)

Nicolas Baskiotis - Hugues Richard

Universit ´e Pierre et Marie Curie (UPMC) Laboratoire d’Informatique de Paris 6 (LIP6)

(Supports de cours : N. Usunier)

(2)

Cours 1 :

Probabilit ´es sur des ensembles discrets et d ´enombrements

1 LI323 : description et informations pratiques

2 Applications des probabilit ´es et des statistiques en informatique

3 Probabilit ´es sur les ensembles discrets

4 D ´enombrements

(3)

Plan

(4)

Description de l’UE

Objectifs du cours

Pr ´esenter les outils de base de:

I la th ´eorie des probabilit ´es,

I la statistique,

donner des exemples de leur application en informatique, manipuler quelques algorithmes issus de ces domaines

−→mini-projets.

Organisation

Calcul des probabilit ´es (Nicolas Baskiotis−cours1 `a6) :

I expos é simple sur la th éorie des probabilit és,

I quelques applications en informatique.

L’inf ´erence statistique (Hugues Richard−cours7 `a11) :

I recueil et analyse des donn ´ees,

I estimation, tests et validation.

(5)

Description de l’UE (2)

Informations pratiques

Site Web :http://www-connex.lip6.fr/˜baskiotisn/

Organisation enmini-projets:

I TD/TME 3-5 : projet apprentissage,

I TD/TME 6-8 : projet bioinformatique,

I TD/TME 9-11 : projet r ´eseaux.

Evaluation

Les trois mini-projets des TMEs 3 `a 11 sont not ´es,

les mini-projets comptent dans la note finaledans tous les cas, un examen `a la fin (pas de partiel).

(6)

Evaluation

Calcul de la note finale

Note de Contr ˆole Continu : sur40, note d’Ecrit : sur60,

note finale (sur20):max ^Ecrit₃ ,^CC+Ecrit₅ . Calcul de la note de CC:

moyenne (rapport ´ee sur40) des notes de mini-projets Calcul de la note d’Ecrit:

0.5*(moyenne des projets+examen), rapport ´ee sur60.

Exemple

un ´etudiant a eu12,13, et14aux mini-projets, et11`a l’examen. Alors:

note de CC :1/3∗(12+13+14) =13(donc26/40), note Ecrit :1/2∗(13+11) =12(donc36/60), note finale :max(³⁶₃,³⁶⁺²⁶₅ ) =12,4.

(7)

D ´efinitions

Probabilit ´es

La th éorie des probabilit és : domaine des math ématiques qui étudie les ph énom ènesal éatoires,

fournit des outils pour étudier lesexp ériences al éatoires:

des exp ériences qui, r ép ét ées dans les m êmes conditions, ne donnent pas n écessairement le m ême r ésultat.

Statistique

La statistique : domaine des math ématiques dans lequel on étudie la collecte, l’analyse, l’interpr étation de donn ées,

en particulier, des donn ées stock ées dans les bases de donn ées, sur le Web, ...

(8)

Plan

(9)

Algorithmique et structures de donn ´ees

public static void sort(double[] a): algorithmetri rapide

−→meilleure performance “en moyenne” que les autres tris ;

“en moyenne”≈les valeurs dans le tableau initial sont al ´eatoires.

Hashtable<String, V>: utiliseint String.hashCode()

−→propri ét é souhait ée dehashCode: donner des valeurs diff érentes aux diff érentesStringstock ées dans la table de hachage.

−→n écessite un mod èle (probabiliste) des chaˆınes de caract ères qui seront stock ées.

(10)

Algorithmique et structures de donn ´ees

(11)

Algorithmique et structures de donn ´ees

(12)

Fouille de donn ´ees

Syst `emes de recommandation : Les clients qui ont achet ´e ...

ont aussi achet ´e ...

Fond ´es sur des analyses statistiques des achats/recherches des diff ´erents produits

Google Trends : analyse des requ ˆetes effectu ´ees par les utilisateurs de Google.

Applications possibles : suivi des int ér êts dans une population, d étection des

´epid ´emies, ...

(13)

Analyse pr ´edictive/apprentissage automatique

Exemple : d ´etection de visages (http://www.idiap.ch/onlinefacedetector/)

−→

Autres exemples :

traduction automatique,

reconnaissance de la parole, ...

(14)

Cryptographie et cryptanalyse

La s écurit é des communications sur Internet est g ér ée par des algorithmes de cryptographie.

Les algorithmes de cryptographie utilisent des g én érateurs de nombres al éatoires.

R éciproquement : les cryptanalystes cherchent lesr égularit és(d éviations par rapport à l’al éatoire) dans les textes crypt és.

Enigma : machine de cryptage allemande pendant la Seconde Guerre mondiale.

Le d écryptage des messages par les alli és a ét é facilit é par un mauvais algorithme de g én ération depermutationsal éatoires.

(15)

Et bien d’autres...

D écision dans l’incertain ; Mod élisation des r éseaux ;

Communication à travers des canaux bruit és ; Analyse des r éseaux sociaux ;

Bases de donn ´ees probabilistes ; ...

(16)

Plan

(17)

Les probabilit ´es ... intuitives ?

Roue de la fortune : un ticket pour ...

laquelle choisir ?

(18)

Probabilit ´es sur les ensembles discrets

Traduction math ´ematique

une case de la roue≡unév énement él émentaire, not éω;

un ensemble de cases de la roue≡un´evenement, not ´eE;

(par exemple les cases gagnantes)

l’ensemble des cases de la roue≡l’univers, not ´eΩ.

Que veut-on ? la solution en 3 axiomes

une mesure de la “chance” qu’un év énement se r éalise

⇒notion de probabilit ´e: une fonctionPdans[0,1]

pas de chance n égative :axiome de positivit é au moins une case sort à chaque tirage

⇒P(Ω) =1:axiome de certitude

la probabilit é d’un év énement est proportionnelle à l’aire qu’il occupe siA∩B=∅,P(A) +P(B) =P(A∪B)⇒axiome d’additivit é

(19)

Probabilit ´es sur les ensembles discrets

Ev ´enements´

SoitΩ, un ensemble d ´enombrable, appel ´e univers,

I Ωrepr ésente l’ensemble des r ésultats possibles d’une exp érience al éatoire un él émentω∈Ωestun év énement él émentaire,

un sous-ensembleEdeΩest un ´ev ´enement.

Exemple : lancer simultan ´e de deux d ´es L’universΩest :

Ω ={(1,1),(1,2),(1,3), ...(5,6),(6,6)},

E={(1,6),(2,6),(3,6),(4,6),(5,6),(6,6)}repr ésente l’ év énement ?

(20)

Probabilit ´es sur des ensembles discrets (2)

Mesure de probabilit ´e

SoitP(Ω)l’ensemble des sous-ensembles deΩ. Une mesure de probabilit ´e surΩest une fonctionP:P(Ω)→[0,1]v ´erifiant:

1 P(Ω) =1(Ωest l’ ´ev ´enement certain),

2 pour tout ´ev ´enementE,P(E)≥0,

3 Pour toute suite(Ei)i∈Nd’ év énements deux à deux disjoints (incompatibles) :P(S

iEi) =P

iP(Ei).

Interpr ´etation

Si on r ép ète (ind éfiniment) l’exp érience al éatoire:

le r ésultat de l’exp érience seraωavec une fr équence deP({ω}), un év énementEse produit avec une fr équenceP(E)

→le r ésultat appartient à l’ensemble E avec une fr équenceP(E).

(21)

Probabilit ´es sur des ensembles discrets (3)

Propri ´et ´es

P(∅) =0, (∅est l’ ´ev ´enement impossible)

P(¯E) =1−P(E)(E¯ : compl ´ementaire deEdansΩ), E⊂F⇒P(F) =P(F\E) +P(E)⇒P(E)≤P(F)

(F\E: ensemble des ´el ´ements deFqui ne sont pas dansE), P(E∪F) =P(E) +P(F)−P(E∩F)

P(S

iE_i)≤P

iP(E_i)

Fonction de masse

On notepla fonction de masse de probabilit é associ ée àP:

∀ω∈Ω,p(ω) =P({ω})

Alors, pour tout ´ev ´enementE:

P(E) =X

ω∈E

p(ω)

(22)

Mesures de Probabilit ´es uniformes

Probabilit ´e uniforme

Consid érons un ensemblefiniΩ. La probabilit é uniforme surΩest d éfinie par la fonction de masse :

p(ω) = 1 card(Ω).

De façon équivalente, la loi uniforme est d éfinie de la façon suivante : pour tout év énementE,P(E) = card(E)

card(Ω).

Exemple : lancer simultan é de deux d és SoitEl’ év énement

La somme des deux chiffres est inférieure ou égale à 5, alors

P(E) = 10 36.

En effet :E={(1,1),(1,2),(1,3),(1,4),(2,1),(2,2),(2,3),(3,1),(3,2),(4,1)}.

(23)

Probl `eme du Prince de Toscane

Exemple

Pourquoi en lançant trois d és, obtient-on plus souvent un total de10points qu’un total de9points, alors qu’il y a6façons d’obtenir ces deux totaux?

9 pts 10 pts 6+2+1 6+3+1 5+2+2 6+2+2 5+3+1 5+4+1 4+3+2 5+3+2 4+4+1 4+4+2 3+3+3 4+3+3

(24)

Probl `eme du Prince de Toscane

Exemple

9 pts 10 pts 6+2+1 6+3+1 5+2+2 6+2+2 5+3+1 5+4+1 4+3+2 5+3+2 4+4+1 4+4+2 3+3+3 4+3+3

L’univers estΩ ={(i,j,k)|i∈ {1, ..,6},j∈ {1, ..,6},k∈ {1, ..,6}}, On acard(Ω) =6³=216et,∀(i,j,k)∈Ω,P((i,j,k)) = 1

216.

(25)

Probl `eme du Prince de Toscane

Exemple

9 pts 10 pts 6+2+1 6+3+1 5+2+2 6+2+2 5+3+1 5+4+1 4+3+2 5+3+2 4+4+1 4+4+2 3+3+3 4+3+3

On consid ère les év énements suivants, qui prennent en compte uniquement les chiffres affich és sur les d és:

pouri≥j≥k,Ωi,j,k={(i,j,k),(j,i,k),(j,k,i),(k,j,i),(k,i,j),(i,k,j)}

Il y a6 év énementsΩ_i,j,kqui donnent une somme à10, et6qui donnent une somme à 9.

(26)

Probl `eme du Prince de Toscane

Exemple

9 pts 10 pts 6+2+1 6+3+1 5+2+2 6+2+2 5+3+1 5+4+1 4+3+2 5+3+2 4+4+1 4+4+2 3+3+3 4+3+3 Les év énementsΩ_i,j,kne sont pas équiprobables:

sii6=j6=k6=i, alorsP(Ωi,j,k) =₂₁₆⁶ ,

sii=j6=k, alorsP(Ω_i,j,k) =₂₁₆³ (idem pouri=k6=jetk=j6=i), sii=j=k, alorsP(Ω_i,j,k) =₂₁₆¹

On a alorsP({i+j+k=9}) =₂₁₆²⁵ etP({i+j+k=10}) =₂₁₆²⁷

(27)

Plan

(28)

Mise en jambe

Combien y’a-t-il de mots de 2 lettres ?

Combien y’a-t-il de mots de 2 lettres form ´es d’une voyelle et d’une consonne ?

Un num éro de t él éphone est compos é de 5 chiffres, dont le premier est0, le deuxi ème compris entre 1 et 5, et les 3 derniers libres. Combien de num éro diff érents peut-on former ? Combien de num éro avec des chiffres tous diff érents ?

On tire 5 cartes dans un jeu de 32 cartes. Combien de r ´esultats possibles ?

(29)

D ´enombrements

D ´enombrement den-uplets

SoitEun ensemble fini de taillen, etkun entier.

nombre dek-uplets d’ él éments deE:n^k, nombre dek-uplets d’ él éments distincts:

A^k_n=n×(n−1)×...×(n−k+1).

A^k_nest appel ´e le nombre d’arrangements dekparmin, ou le nombre de k-arrangements deE.

Cas particulier : nombre de permutations (casn=k):

n! =n×(n−1)×...×1

(une permutation est une façon d’ordonnern él éments distincts).

(30)

Nombre de sous-ensembles

Nombre de sous-ensembles

soitEun ensemble fini de cardinaln, Le nombre de sous-ensembles distincts de cardinalkcontenus dansE:

C^k_n= _k!(n−k)!^n!

C^k_ns’appelle aussi lenombre de combinaisons dekparmin él éments Remarque : Formule du bin ôme de Newton

(x+y)ⁿ=

n

X

k=0

C^k_nx^n−ky^k⇒card(P(Ω)) =2ⁿ .

Remarque 2 :C_n^k=^A

k n

k!. nbk-arrangements =

nb combinaisons dekparmin

×

nb permutations dek ´el ´ements .

Rappel : une permutation est une façon d’ordonner les él éments.

(31)

D ´enombrements : exemples (1)

Exemple

Tirer deux cartes, sans remise, dans un jeu de52cartes. L’ensemble de tous les év énements él émentaires:

Ω ={{a,b} |aetbsont deux cartes diff ´erentes du jeu}

Tous les sous-ensembles sont de cardinal2et sont ´equiprobables : P({a,b}) = 1

1326,∀{a,b} ∈Ω

SoitEl’ ´ev ´enementau moins une des deux cartes est une dame P(E) =1− C₄₈²

1326 =0.149

(32)

D ´enombrements : exemples (2)

Exemple : PMU

Un joueur parie toujours sur le m ˆeme r ´esultat :

pour le quart ´e : les chevaux1,2,3et4vont terminer la course en premier (dans cet ordre).

pour le2sur4: les chevaux1et2seront dans les4premiers arriv ´es.

On suppose qu’il y a toujours15chevaux dans une course, et que l’ordre d’arriv ´ee des chevaux suit une probabilit ´e uniforme.

Quelle est la probabilit ´e que le joueur gagne au quart ´e et au2sur4?