D ´enombrement et ´echantillonnage

(1)

D ´enombrement et ´echantillonnage

Diarra Fall (MAPMO, Universit ´e d’Orl ´eans)

Centre Galois, 20/06/2014, Orl ´eans.

(diarra.fall@univ-orleans.fr)

Diarra Fall (diarra.fall@univ-orleans.fr) D ´enombrement et ´echantillonnage

(2)

Motivations g ´en ´erales

Dans de nombreuses situations, on cherche àd énombrer le nombre d’individus, d’animaux, de v ég étaux ou d’objets se trouvantdans une zone g éographiquedonn ée.

D écompte exactdes individus souventtr ès difficile, voire impossible(grande étendue, population trop importante).

M ´ethodes d’ ´echantillonnage→approximation de la taille de la populationen n’observant que :

certains individus

certaines zones g ´eographiques.

Objectifs de cet atelier :

se familiariser avec ces m ´ethodes au travers de quelques exemples,

pr ésenter les r ésultats math ématiques sur lesquels elles reposent.

(3)

Motivations g ´en ´erales

certains individus

(4)

Motivations g ´en ´erales

certains individus

(5)

Motivations g ´en ´erales

certains individus

(6)

Plan de l’atelier

1 Introduction

2 Echantillonnage al ´eatoire

3 M ´ethode de capture re-capture

4 Maximum de vraisemblance

5 Conclusion

Tests m ´edicaux Sondages

Sondages sur donn ´ees sensibles

(7)

Observations r ép ét ées de ph énom ènes al éatoires

Chaque groupe de participants lance10 fois 5 d ´eset note les r ´esultats.

Calculer lescore moyen et le nombre de 5 ou 6observ ´es.

Comparer les r ésultats obtenus par chaque groupe. D’o ù proviennent ces diff érences ?

Lorsqu’on lance un d ´e :

quelle est la probabilit ´e que l’on tombe sur une certaine face ?

Quelle est la probabilit ´e de tomber sur 5 ou 6 ? Quel est le score moyen auquel on peut s’attendre ? Quelle est la proportion globale de 5 ou 6 observ ´es ? Quelle est la moyenne globale des scores obtenus ? Que remarquez-vous ?

(8)

Observations r ép ét ées de ph énom ènes al éatoires

(9)

Observations r ép ét ées de ph énom ènes al éatoires

(10)

Observations r ép ét ées de ph énom ènes al éatoires

(11)

Observations r ép ét ées de ph énom ènes al éatoires

(12)

Observations r ép ét ées de ph énom ènes al éatoires

(13)

Observations r ép ét ées de ph énom ènes al éatoires

(14)

Observations r ép ét ées de ph énom ènes al éatoires

(15)

Loi des grands nombres

Ce ph énom ène, appel éloi des grands nombres, est à la base de nombreuses m éthodes statistiques.

Th ´eor `eme

Soient n observations al éatoires et ind épendantes(X₁, . . . ,X_n) d’un ph énom ène X de valeur moyenne m.

Sous des hypoth èses g én érales, on montre que

(X₁+· · ·+Xn)

n →

n→+∞m. (P,p.s.) En d’autres termes, sinest assez grand :

la valeur moyenne deX peut être approch ée par la moyenne denobservations ind épendantes.

La probabilit é d’un év énement peut être approch ée par la proportion de fois o ù il a ét é observ é au cours den observations ind épendantes.

(16)

Loi des grands nombres

Th ´eor `eme

(X₁+· · ·+Xn)

n →

(17)

Loi des grands nombres

Th ´eor `eme

(X₁+· · ·+Xn)

n →

(18)

Limite centrale et intervalles de confiance

Notation :X = ¹_n(X₁+· · ·+X_n)(moyenne empirique).

Construites à partir d’observations de ph énom ènes al éatoires, nos approximations pr ésentent une certainevariabilit é.

Variance :σ_n−1² = _n−1¹

(X₁−X)²+· · ·+ (X_n−X)² . Cette variabilit ´e diminue lorsque le nombre d’observationsn croˆıt (cf illustrations).

On d ´efinitT = (X−m)/

qσ_n−1² n .

Pournassez grand, les valeurs deT se r épartissent à peu pr ès suivant une loiN(0,1)(th éo. de la limite centrale).

Intervalle de confiance pourm(avec un risque de 5%) : P(X−

q_σ₂

n−1

n ×1.96≤m≤X+ q_σ₂

n−1

n ×1.96)≈0.95.

→illustrations exo1A et exo1B

(19)

Limite centrale et intervalles de confiance

qσ_n−1² n .

q_σ₂

n−1

n ×1.96≤m≤X+ q_σ₂

n−1

n ×1.96)≈0.95.

(20)

Limite centrale et intervalles de confiance

qσ_n−1² n .

q_σ₂

n−1

n ×1.96≤m≤X+ q_σ₂

n−1

n ×1.96)≈0.95.

(21)

Limite centrale et intervalles de confiance

qσ_n−1² n .

q_σ₂

n−1

n ×1.96≤m≤X+ q_σ₂

n−1

n ×1.96)≈0.95.

(22)

Limite centrale et intervalles de confiance

qσ_n−1² n .

q_σ₂

n−1

n ×1.96≤m≤X+ q_σ₂

n−1

n ×1.96)≈0.95.

(23)

Limite centrale et intervalles de confiance

qσ_n−1² n .

q_σ₂

n−1

n ×1.96≤m≤X+ q_σ₂

n−1

n ×1.96)≈0.95.

(24)

Limite centrale et intervalles de confiance

qσ_n−1² n .

q_σ₂

n−1

n ×1.96≤m≤X+ q_σ₂

n−1

n ×1.96)≈0.95.

(25)

Echantillonnage al ´eatoire

(26)

Probl `eme concret

On cherche à évaluer le nombreN d’ érables se trouvant dans une for êt s’ étendant sur une grande superficie.

(27)

Comment faire ?

0 5 10 15

051015

Position des arbres dans la foret

Pensez-vous que cela soit envisagable de d énombrer tous les érables de cette for êt ?

les ´erables se trouvant dans diff ´erentes zones d’assez petite taille ?

(28)

Comment faire ?

0 5 10 15

051015

Position des arbres dans la foret

Pensez-vous que cela soit envisagable de d énombrer tous les érables de cette for êt ?

les ´erables se trouvant dans diff ´erentes zones d’assez petite taille ?

(29)

Comment faire ?

On suppose que l’on peut d écouper la for êt en 256 zones, soit 16×16, plus petites et de m ême forme.

Quel est, en fonction deN, le nombre moyenmd’ ´erables par zone ?

Comment pensez-vous que l’on puisse donner une approximation demen observant seulement un petit nombrende ces zones ?

Comment choisir les zones `a ´etudier ? Combien faut-il en prendre ?

Choix d éterministe peut pr ésenter des d éfauts (zones s électionn ées peuvent être non repr ésentatives).

⇒ échantillonnage al éatoire: choisir al éatoirement (et avec remise) les zones à étudier.

(30)

Comment faire ?

(31)

Comment faire ?

(32)

Comment faire ?

(33)

Comment faire ?

(34)

Mise en pratique :

Exemples de choix al ´eatoires(n=40):

x 6 9 3 16 10 10 6 9 9 2 11 5 4 3 9 11

y 8 13 13 11 14 15 10 7 4 7 6 1 10 4 1 11

x 15 9 2 2 12 14 5 6 15 14 11 15 14 5 10 11

y 9 16 10 4 13 14 9 12 13 9 1 12 4 16 6 16

x 8 12 8 6 13 5 6 3

y 10 8 15 1 1 7 10 4

Compter le nombre d’ érables se trouvant dans les zones s électionn ées par cet échantillonnage al éatoire

→illustration (exo2).

Donner une approximation dem `a partir des donn ´ees recueillies.

En d ´eduire une approximation deN.

On peut aller plus loin :

Calculer la variance de nos observations.

Donner la valeur de l’intervalle de confiance associ ´e `am.

En d ´eduire un intervalle de confiance pourN.

(35)

Mise en pratique :

x 6 9 3 16 10 10 6 9 9 2 11 5 4 3 9 11

y 8 13 13 11 14 15 10 7 4 7 6 1 10 4 1 11

x 15 9 2 2 12 14 5 6 15 14 11 15 14 5 10 11

y 9 16 10 4 13 14 9 12 13 9 1 12 4 16 6 16

x 8 12 8 6 13 5 6 3

y 10 8 15 1 1 7 10 4

(36)

Mise en pratique :

x 6 9 3 16 10 10 6 9 9 2 11 5 4 3 9 11

y 8 13 13 11 14 15 10 7 4 7 6 1 10 4 1 11

x 15 9 2 2 12 14 5 6 15 14 11 15 14 5 10 11

y 9 16 10 4 13 14 9 12 13 9 1 12 4 16 6 16

x 8 12 8 6 13 5 6 3

y 10 8 15 1 1 7 10 4

(37)

Mise en pratique :

x 6 9 3 16 10 10 6 9 9 2 11 5 4 3 9 11

y 8 13 13 11 14 15 10 7 4 7 6 1 10 4 1 11

x 15 9 2 2 12 14 5 6 15 14 11 15 14 5 10 11

y 9 16 10 4 13 14 9 12 13 9 1 12 4 16 6 16

x 8 12 8 6 13 5 6 3

y 10 8 15 1 1 7 10 4

(38)

Mise en pratique :

x 6 9 3 16 10 10 6 9 9 2 11 5 4 3 9 11

y 8 13 13 11 14 15 10 7 4 7 6 1 10 4 1 11

x 15 9 2 2 12 14 5 6 15 14 11 15 14 5 10 11

y 9 16 10 4 13 14 9 12 13 9 1 12 4 16 6 16

x 8 12 8 6 13 5 6 3

y 10 8 15 1 1 7 10 4

(39)

Mise en pratique :

x 6 9 3 16 10 10 6 9 9 2 11 5 4 3 9 11

y 8 13 13 11 14 15 10 7 4 7 6 1 10 4 1 11

x 15 9 2 2 12 14 5 6 15 14 11 15 14 5 10 11

y 9 16 10 4 13 14 9 12 13 9 1 12 4 16 6 16

x 8 12 8 6 13 5 6 3

y 10 8 15 1 1 7 10 4

(40)

M ´ethode de capture re-capture

(41)

Un autre probl `eme concret

On souhaite donner un ordre de grandeur du nombre de poissons se trouvant dans une grande ´etendue d’eau.

D ´ecompte exact impossible m ˆeme dans zones petites (profondeur, eau trouble etc.)

Capture des poissons et rel âche imm édiate de toute prise⇒ on ne peut observer qu’un poisson à la fois.

Exp ´erimentation et mise en pratique :

-Vous disposez d’un r ´ecipient contenant un nombreNinconnu d’objets identiques.

-Vous ne pouvez sortir du r écipient qu’un objet à la fois et devez m élanger avant chaque tirage.

-Vous avez à votre disposition un feutre ind él ébile.

Comment pensez-vous que l’on puisse avoir une id ´ee du nombre total d’objets pr ´esents dans la boˆıte ?

A quoi peut servir le feutre ?

(42)

Un autre probl `eme concret

(43)

Un autre probl `eme concret

(44)

Un autre probl `eme concret

(45)

Comment faire ?

Si un nombre connuN_M d’objets portent un signe distinctif.

Quelle serait la probabilit ´ePde choisir au hasard un objet portant un signe distinctif, en fonction deN?

Supposons que l’on fassentirages avec remise dans le r ´ecipient, en notant si l’objet porte une marque ou non.

Comment peut-on donner une approximationp_ndeP? D ´eduire depnune approximation deN.

Revenons `a notre probl `eme concret (objets identiques).

Proposer une m éthode permettant de se ramener à l’ étude d’un r écipient contenant 20 objets marqu és.[CAPTURE]

M élanger les objets pour mod éliser la r épartition uniforme des individus marqu és dans la zone d’ étude.

[DELAI D’ATTENTE]

Effectuer ensuiten=45 tirages avec remise. En d ´eduire une approximation deN.[RECAPTURE]

→illustration bouteille de lait et exo3

(46)

Comment faire ?

[DELAI D’ATTENTE]

(47)

Comment faire ?

[DELAI D’ATTENTE]

(48)

Comment faire ?

[DELAI D’ATTENTE]

(49)

Comment faire ?

[DELAI D’ATTENTE]

(50)

Comment faire ?

[DELAI D’ATTENTE]

(51)

Pour aller un peu plus loin

Lorsque le nombre d’observations et la proportion d’objets marqu és sont assez grands, on peut également utiliser le th éor ème de la limite centrale pour montrer que :

P(p_n−

rpn(1−pn)

n ×1,96≤P≤p_n+

rpn(1−pn)

n ×1,96)≈0,95.

Supposons que sur 1000 observations on ait une proportion de 0.199 poissons marqu ´es.

Donner un intervalle de confiance pourP.

(52)

Pour aller un peu plus loin

Lorsque le nombre d’observations et la proportion d’objets marqu és sont assez grands, on peut également utiliser le th éor ème de la limite centrale pour montrer que :

P(p_n−

rpn(1−pn)

n ×1,96≤P≤p_n+

rpn(1−pn)

n ×1,96)≈0,95.

Supposons que sur 1000 observations on ait une proportion de 0.199 poissons marqu ´es.

Donner un intervalle de confiance pourP.

(53)

M ´ethode du maximum de vraisemblance

(54)

Un autre exemple concret

Id ée principale : choisir la valeur deN avec laquelle on a le plus de chance d’obtenir les observations qui ont ét é faites.

On cherche à donner une approximation du nombre de rhinoc éros se trouvant dans une zone g éographique assez vaste.

On suppose que les rhinoc ´eros ont

une probabilit é de ¹₃ d’aller se d ésalt érer à l’un des rares points d’eau en fin d’apr ès-midi.

des comportements ind ´ependants les uns des autres.

On propose de se rendre `a plusieurs reprises autour de ce point d’eau et de compter le nombre de rhinoc ´eros que l’on observe. On fait les observations suivantes :

Nombre de rhinoc ´eros 0 1 2 2 1

(55)

Un autre exemple concret

(56)

Un autre exemple concret

(57)

La m ´ethode du maximum de vraisemblance

On noteb_i le nombre de rhinoc ´eros observ ´es le jouri.

On peut montrer que le nombre de rhinoc éros venant s’abreuver en fin d’apr ès-midi un jour donn é peut être mod élis é par une variable al éatoireBde loiBin(N,¹₃).

On peut donc donner une expression explicite de la probabilit é d’avoir observ é 0,1,2,2,1 rhinoc éros en fonction deN :

P_N(Observations:0,1,2,2,1) = 2

3 5N

N⁴(N−1)²

2⁸ .

Est-ce queN peut valoir 0 ou 1 ?

(58)

La m ´ethode du maximum de vraisemblance

3 5N

N⁴(N−1)² 2⁸ . Est-ce queN peut valoir 0 ou 1 ?

(59)

La m ´ethode du maximum de vraisemblance

3 5N

N⁴(N−1)² 2⁸ . Est-ce queN peut valoir 0 ou 1 ?

(60)

La m ´ethode du maximum de vraisemblance

A partir du graphique ci-dessous, pour quelle valeur deN la probabilit ´e est la plus forte que se produise ce que l’on a observ ´e ?

0 2 4 6 8 10

0.00000.00050.00100.00150.00200.00250.0030

N

P(Observations:0,1,2,2,1)

En d ´eduire la valeur deNla plus vraisemblable.

→illustration exo4

(61)

La m ´ethode du maximum de vraisemblance

A partir du graphique ci-dessous, pour quelle valeur deN la probabilit ´e est la plus forte que se produise ce que l’on a observ ´e ?

0 2 4 6 8 10

0.00000.00050.00100.00150.00200.00250.0030

N

P(Observations:0,1,2,2,1)

En d ´eduire la valeur deNla plus vraisemblable.

→illustration exo4

(62)

Un autre exemple :

Imaginons par exemple qu’un nouveau participant arrive en fin de s éance et qu’il ne sache pas combien de d és vous avez lanc é au d ébut.

S’il dispose uniquement du nombre de 5 ou 6 observ és pour chaque lanc é de 5 d és, il peut utiliser la m éthode du maximum de vraisemblance pour d éterminer à partir des observations la valeur la plus vraisemblable de d és que vous avez jet és.

En effet, ici aussi le nombre de 5 ou 6 obtenus à chacun de vos lanc és peut être mod élis é par une variable de loiBin(N,¹₃), o ù Nrepr ésente le nombre inconnu de d és que vous avez lanc és.

→illustration : r ´esultats dans groupes (et exo4B)

(63)

Conclusion

(64)

Conclusion et commentaires

M ´ethodes statistiques permettent de donner une

approximation du nombre d’individus mais aussi de donner un ordre de grandeur de la pr ´ecision de notre estimation.

On observe une certaine variabilit ´e de nos r ´esultats, qui diminue cependant lorsque le nombre d’observations augmente.

Il est important de prendre en compte la qualit é des donn ées (taille de l’ échantillon, repr ésentativit é) lorsque l’on cherche à interpr éter les r ésultats donn és par une m éthode d’estimation (par exemple un sondage).

Des m éthodes plus fines et pr écises sont g én éralement utilis ées.

(65)

Conclusion et commentaires

(66)

Conclusion et commentaires

(67)

Conclusion et commentaires

(68)

Tests m ´edicaux

(69)

Les donn ´ees

On souhaite étudier l’efficacit é d’un test m édical

permettant de d ´epister une maladie pr ´esente chez 0.5%

de la population.

Le fabricant de ce test indique qu’il est positif pour 99%

des malades et n ´egatif pour 95%des personnes saines.

On dispose de donn ´ees (simul ´ees) concernant un

´echantillon de 1.000.000 d’individus.

Pour chacun de ces individus on observe une variable

”Sant é” donnant l’ état de sant é de l’individu et une variable

”Test” donnant le r ´esultat du test de d ´epistage.