Le Hasard et l’Informatique
Frères Ennemis ?
Jean-Marc Vincent 1
1
Laboratoire Informatique de Grenoble Universités de Grenoble Jean-Marc.Vincent@imag.fr
De l’art des 0 et des 1
Patchwork d’histoires de Sciences
Ecole doctorale de l’Université de Grenoble
Les événements actuels ont avec les précédents une liaison fondée sur le principe évident, qu’une chose ne peut pas commencer d’être, sans une cause qui la produise. Cet axiome, connu sous le nom de principe de la raison suffisante, s’étend aux actions mêmes que l’on juge indifférentes.
Nous devons considérer l’état présent de l’univers comme l’effet de son état antérieur, et comme la cause de celui qui va suivre. Une intelligence qui pour un instant donné connaîtrait toutes les forces dont la nature est animée et la situation respective qui la composent, si par ailleurs elle était assez vaste pour soumettre ces données à l’analyse, embrasserait dans la même formule les mouvements des plus grands corps de l’univers et ceux du plus léger atome : rien ne serait incertain pour elle, et l’avenir comme le passé serait présent à ses yeux.
P-S. Laplace (1814)
Pierre-Simon de Laplace (1749-1827)
Marquis Pierre Simon de Laplace (1749-1827)
Né à Beaumont-en-Auge, fils de cultivateur, Laplace s’initia aux mathématiques à l’Ecole militaire de cette petite ville. Il y commença son enseignement. Il doit cette éducation à ses voisins aisés qui avaient détecté son intelligence exceptionnelle.
A 18 ans, il arrive à Paris avec une lettre de recommandation pour rencontrer le mathématicien d’Alembert, mais ce dernier refuse de rencontrer l’inconnu. Mais Laplace insiste : il envoie à d’Alembert un article qu’il a écrit sur la mécanique classique. D’Alembert en est si impressionné qu’il est tout heureux de patronner Laplace. Il lui obtient un poste d’enseignement en mathématique. En 1783, il devint examinateur du corps de l’artillerle et fut élu, en 1785, à l’Académie des Sciences. A la Révolution, il participa à l’organisation de l’Ecole Normale et de l’Ecole Polytechnique, et fut membre de l’Institut, dès sa création. Bonaparte lui confia le ministère de l’Intérieur, mais seulement pour 6 mois.
L’ oeuvre la plus importante de Laplace concerne le calcul des probabilités et la mécanique céleste. Il établit aussi, gr‚ce à ses travaux avec Lavoisier entre 1782 et 1784 la formule des transformations adiabatiques d’un gaz, ainsi que deux lois fondamentales de
l’électromagnétisme. En mécanique, c’est avec le mathématicien Joseph-Louis de Lagrange, Laplace résume ses travaux et réunit ceux de Newton, Halley, Clairaut, d’Alembert et Euler, concernant la gravitation universelle, dans les cinq volumes de sa mécanique céleste ( 1798-1825 ).
On rapporte que, feuilletant la Mécanique céleste, Napoléon fit remarquer à Laplace qu’il n’y était nulle part fait mention de Dieu. "Je n’ai pas eu besoin de cette hypothèse", rétorqua le savant.
Plan de l’exposé
1 Suites aléatoires Définitions Répétitions
Développement binaire Motifs et fréquences Théorie des probabilités Aléatoirité
2 Information Définitions
Complexité de Kolmogorov Mesure de complexité Entropie
Codage
3 Machine à hasard Pourquoi générer ? Fabriquer le hasard
Générateurs pseudo-aléatoires
4 et l’Homme
Détecter le hasard
Définition
Hasard. n.m. (Hasart au XIIe s. ; empr. de l’arabe al-zahr, proprement «le dé», par l’intermédiaire de l’espagnol azar).
1
Nom d’un jeu de dés en usage au moyen-age ; coup heureux à ce jeu (le six).
2
(a) Risque, circonstance périlleuse. Les hasards de la guerre. (b) Cas, événement fortuit ; concours de circonstances inattendu et inexplicable.
Quel hasard !
3
Cause fictive de ce qui arrive sans raison apparente ou explicable, souvent personnifiée au même titre que le sort, la fortune, etc.
Dictionnaire Robert
Vision du hasard XIX ième
Traité élémentaire du calcul des probabilités : Lacroix (1864)
Problématique
Problème
Étant donnée une suite infinie de nombres, quelles sont les conditions mathématiques pour que ces nombres soient «au hasard».
Difficulté : Lien entre réalité expérimentale et sémantique de la théorie axiomatique des probabilités.
Approches probabilistes :
fréquentiste : Pascal, Laplace, Poincaré (· · · → 1930)
axiomatique : Kolmogorov, Borel,... ( 1930 → · · · )
Restriction aux suites {0, 1} N
Blaise Pascal (1623 -1662)
Mathématicien et physicien, philosophe, moraliste et théologien français.
Enfant précoce, il est éduqué par son père. Les tous premiers travaux de Pascal concernent les sciences naturelles et appliquées. Il contribue de manière importante à la construction d’une calculatrice mécanique (la Pascaline) et à l’étude des fluides. Il a clarifié les concepts de pression et de vide, en étendant le travail de Torricelli. Pascal a écrit des textes importants sur la méthode scientifique.
Mathématicien de premier ordre, il crée deux nouveaux champs de recherche majeurs : tout d’abord il publie un traité de géométrie projective à seize ans ; ensuite il correspond, à partir de 1654, avec Pierre de Fermat à propos de la théorie des probabilités, qui influencera fortement les théories économiques modernes et les sciences sociales.
Après une expérience mystique à la fin de 1654, il délaisse les mathématiques et la physique et se consacre à la réflexion philosophique et religieuse. Il écrit pendant cette période les Provinciales et les Pensées, ces dernières n’étant publiées qu’après sa mort qui survient deux mois après son 39e anniversaire, alors qu’il a été malade toute sa vie (sujet à des migraines violentes en particulier).
Henri Poincaré (1854-1912)
Considéré comme le plus grand mathématicien de son temps, Henri Poincaré est l’un des derniers représentants de cette science à en avoir eu une totale maîtrise dans l’ensemble des domaines, y compris dans ses applications en astronomie et en physique.
Il y a apporté des contributions essentielles, ouvrant plusieurs champs nouveaux, insoupçonnés jusqu’alors, à partir de problèmes qu’il choisissait parce qu’ils s’imposaient à son esprit dans leur nécessité, et élaborant lui-même, dans une créativité exceptionnelle, les outils mathématiques dont il avait besoin pour leur r’esolution. C’est avant tout en mathématiques pures qu’il a donné la pleine mesure de son génie, renouvelant la théorie des équations différentielles et des fonctions avec la découverte des fonctions fuchsiennes. Son oeuvre en mécanique céleste, où il appliqua et développa ses résultats de la théorie des équations différentielles, a marqué une étape importante de cette discipline, apportant un nouveau jour sur le problème de la stabilité du système solaire, tout en ouvrant des perspectives de longue portée sur la théorie des systèmes dynamiques, qui sont à l’origine de nombreux travaux contemporains. Ses études sur la physique mathématique embrassent la mécanique des solides et des fluides, la thermodynamique, l’optique et l’électromagnétisme. Ses travaux dans ces deux derniers domaines culminent avec son étude de 1905 Sur la dynamique de l’électron, où il formule, en même temps qu’Einstein, la pleine prise en compte du principe de relativité pour l’électromagnétisme et développe une théorie relativiste (au sens restreint) de la gravitation.
Poincaré exerça, par son enseignement et le rayonnement de sa pensée, une influence considérable sur de nombreuses générations de mathématiciens et de physiciens, en France comme au niveau international. Il est en outre l’auteur d’une oeuvre originale en philosophie des sciences, qui a été d’une grande importance pour le développement des idées au XXe siècle.
Répétitions de motif
Idée : Ne pas répéter successivement 2 fois le même motif
0 1 0 1
⇒ impossible
Idée : Ne pas répéter successivement 3 fois le même motif
0 1 1 0 1 0
Suite de (Prouhet)-Thue-Morse
Règle de réécriture : 0 −→ 01,
1 −→ 10, 0
01 0110 01101001
0110100110010110
01101001100101101001011001101001
· · ·
Suite de (Prouhet)-Thue-Morse (suite)
Théorème
La suite de Thue-Morse ne comporte pas 3 fois de suite le même
«motif»
Preuve (exercice) : Montrer que s 7−→ f (s) préserve la propriété.
Proposition
Le nième élément de la suite est 0 ssi le nombre de 1 dans l’écriture binaire de n est pair.
Remarque : définition compacte de la suite de Thue-Morse.
⇒ Les suites «au hasard» ne peuvent être caractérisées par la non répétition de motifs.
Damned ! ! ! !
Axel Thue (1863-1922)
Axel Thue was the son of Niels Thue and Nicoline Cathinka Eger. He studied at Voss’s school in Oslo, where he showed a great interest in physics, completing his studies there in 1883. He then enrolled at the University of Oslo graduating in 1889.
He went to Leipzig in 1890 and spent a year studying under Lie. However, [1] :- ... his works do not reveal Lie’s influence, probably because of Thue’s inability to follow anyone else’s line of thought.
He also spent a while in Berlin where he attended lectures by Helmholtz, Fuchs and Kronecker.
Back in Olso, Thue held a scholarship in mathematics from 1891 to 1894. On 6 July 1894 he married Lucie Collett Lund who was ten years younger than Thue. Then Thue was appointed to Trondheim Technical College where he worked from 1894 until 1903. He was appointed as professor of applied mathematics at Oslo University in 1903. He held this post until his death in 1922.
In 1909 he produced an important paper, published in Crelle’s Journal, on algebraic numbers showing that, for example, y3 - 2x2 = 1 cannot be satisfied by infinitely many pairs of integers.
His work was extended by Siegel in 1920 and again by Klaus Roth in 1958.
Thue’s Theorem states that :-
If f(x, y) is a homogeneous polynomial with integer coefficients, irreducible in the rationals and of degree > 2 and c is a non-zero integer then f(x, y) = c has only a finite number of integer solutions.
His contributions to the theory of Diophantine equations are discussed in [3]. In fact Thue wrote 35 papers on number theory, mostly on the theory of Diophantine equations, and these are reproduced in [2].
Another famous contribution made by Thue was his 1910 paper on the word problem for finitely presented semigroups.
Marston Morse (1892-1977)
Marston Morse (24 March 1892 ? 22 June 1977) was an American mathematician best known for his work on the calculus of variations in the large, a subject where he introduced the technique of differential topology now known as Morse theory. In 1933 he was awarded the Bôcher Memorial Prize for his work in mathematical analysis.
Harold Calvin Marston Morse was born in Waterville, Maine to Ella Phoebe Marston and Howard Calvin Morse in 1892. He received his bachelor’s degree from Colby College (also in Waterville) in 1914. At Harvard University, he received both his master’s degree in 1915 and his Ph.D. in 1917.
He taught at Harvard, Brown, and Cornell Universities before accepting a position in 1935 at the Institute for Advanced Study at Princeton, where he remained until his retirement in 1962.
He spent most of his career on a single subject, eponymously titled Morse Theory, a branch of differential topology. Morse Theory is a very important subject in modern mathematical physics, such as string theory
Développement binaire
Bijection entre {0, 1} N et [0, 1[
x ∈ [0, 1[7−→ 0.b 1 b 2 b 3 b 4 · · ·
x ∈ Q ⇒ le développement est périodique x irrationnel ⇒ ?
x transcendant (ex : π, e, ...) ⇒ ?
Nombre de Liouville
L = 0.100100001000000001000000000000000001000000000· · · montré transcendant (en décimal) en 1844.
Damned ! ! ! !
Joseph Liouville (1809-1882)
Il est le fils d’un militaire qui survit aux campagnes napoléoniennes qui, en 1814, établit sa famille à Toul.
Joseph est diplomé de l’École Polytechnique (Promotion 1825). Deux ans plus tard, il intègre l’École des Ponts et Chaussées, dont il n’obtient pas le diplôme en raison de problèmes de santé et, surtout, de sa volonté de suivre une carrière académique plutôt qu’une carrière d’ingénieur.
Après quelques années dans diverses institutions comme assistant et comme professeur à l’Ecole centrale (1833, où il était répétiteur depuis 1831), il est nommé professeur à l’École polytechnique en 1838. Il obtient une chaire en mathématique au Collège de France en 1850 et une chaire en mécanique à la Faculté des sciences en 1857.
¿ côté de ses réussites académiques, il était un remarquable organisateur. Liouville fonda le Journal de mathématiques pures et appliquées qui garde sa haute réputation jusqu’à ce jour. Il fut le premier à lire les travaux inédits d’Évariste Galois, en reconnut l’importance et les publia dans son journal en 1846. Liouville s’impliqua aussi en politique et fut membre de l’assemblée constituante en 1848. Cependant, après sa défaite aux élections à la députation en 1849, il quitta la politique.
Liouville publia dans divers domaines des mathématiques, dont la théorie des nombres, l’analyse complexe, la géométrie différentielle et la topologie différentielle, mais aussi la physique mathématique et même l’astronomie.
Il est particulièrement célèbre pour son théorème de Liouville, de nos jours un résultat plutôt simple en analyse complexe. Dans la théorie des nombres, il fut le premier à prouver l ?existence des nombres transcendants par une construction utilisant les fractions continues (nombres de Liouville).
En physique mathématique, la théorie Sturm-Liouville, travail conjoint avec Charles-François Sturm, est maintenant une procédure habituelle pour résoudre certains types d’équations intégrales. Il existe un second théorème de Liouville dans les dynamiques hamiltoniennes. Il s’est intéressé au problème des valeurs au bord des solutions d’équations différentielles. En ce qui concerne les intégrales elliptiques, il prouve notamment que les fonctions abéliennes sont transcendantes.
Jeu de pile ou face : empirisme
Convergence des fréquences
La fréquence d’aparition de piles dans une infinité de lancers d’une pièce non biaisée est égale à 1 2 .
{x 1 , x 2 , · · · , x n , · · · } ∈ {0, 1} N ,
n→+∞ lim 1 n
n
X
i=1
x i = 1 2 .
01010101010101010101010101010101010101010101010101010101
Damned ! ! ! !
Jeu de pile ou face : empirisme(suite)
Fréquence de motifs Motif fréquence
0 1 2
1 1 2
00 1 4
01 1 4
10 1 4
11 1 4
000 1 8
.. . .. .
010011 2 1
6.. . .. .
Définition (k-uniformité)
La fréquence d’aparition d’un motif de taille k dans une infinité de lancers d’une pièce non biaisée est égale à 2 1
k.
Définition (∞-uniformité)
Une suite est ∞-uniforme si elle est k -uniforme pour tout k ∈ N ∗
∞-uniforme = ⇒ «au hasard»
Emile Borel (1871 -1956)
Émile Borel est né le 7 janvier 1881 dans le village de Saint-Affrique, dans l’Aveyron. Enfant prodige, passionné par les mathématiques, il reçoit une bourse pour le lycée Louis-le-Grand, et à 18 ans, il est reçu 1er au Concours Général, à l’Ecole Polytechnique, et à l’Ecole Normale Supérieure. En accord avec son père, il opte pour cette dernière, car l’argent et les mondanités l’intéressent moins que la recherche.
Plus tard, il épouse la fille du grand mathématicien Appell, qui se fit connaitre, sous le pseudonyme de Camille Marbo, pour ses romans.
Avant même d’avoir soutenu sa thèse, il est nommé à 22 ans maître de conférences à Lille, puis à 26 ans à l’Ecole Normale Supérieure : il ne devait alors plus quitter Paris. Emile Borel est un mathématicien constructiviste, et, avec Baire et Lebesgue, il est le fondateur de la théorie de la mesure et de l’étude moderne des fonctions. Il entreprend d’ailleurs une Collection de monographies sur la théorie des fonctions qui comprend 50 volumes, dont 10 rédigés par lui-même. Borel est aussi le premier à entreprendre une étude systématique des séries divergentes.
Après la Première Guerre Mondiale, Borel obtient la chaire de Calcul des Probabilités, et il consacre son énergie à développer ce domaine et ses liens avec la physique mathématique.
D’ailleurs, il est pour beaucoup dans la création de l’Institut Henri Poincaré, en 1928, consacré justement à ces deux disciplines. Parallèlement à sa carrière scientifique, Borel reçoit de nombreux honneurs, dont les plus importants sont son élection à l’Académie des Sciences en 1921, et la médaille d’or du CNRS qu’il est le premier à recevoir en 1955.
S’il n’aimait pas les mondanités, Borel, curieux dans tous les domaines, n’en fréquentait pas moins les intellectuels de l’époque, comme le poète Paul Valéry, ou le Président du Conseil Paul Painlevé. A la guerre 1914-1918, il insiste pour être envoyé au front, et son action courageuse lui vaut la Croix de Guerre. Son amitié avec Painlevé le conduit à s’engager en politique : à compter de 1924, il est pendant 12 ans député de l’Aveyron, et même quelques mois ministre de la marine. En 1941, il est emprisonné un mois par les Allemands, comme 4 autres membres de l’Académie des Sciences. Il ne se remettra jamais totalement de cette épreuve. Il décède le 3 février 1956 à Paris.
Séquences ∞-uniforme
suites non périodiques bon comportement fréquentiel
Suites normales E. Borel (1909), presque toutes les suites sont normales
0110111001011101111000100110101011110011011110....
Nombre de Champernowne (1933)
∞-uniforme n’est pas «au hasard»
Damned ! ! ! !
David Gawen Champernowne (1912-2000)
Pas de photo pour l’instant
David Gawen Champernowne (July 9, 1912 - August 19, 2000) was Professor of Statistical Economics at Oxford (1948 -1959), and professor of Economics and Statistics at Cambridge (1970-2000). He published work on Champernowne’s Number in 1933, while still an undergraduate at the University of Cambridge.
After academic work at Cambridge and the London School of Economics, he worked in the Prime Minister’s Statistical department ao supply quantitative information to help Winston Churchill make decisions. However, he did not get on well with the department head Prof FA Lindemann, and in 1941 he moved on to become a programme director in the Ministry of Aircraft Production.
Working with an old college friend, Alan Turing in 1948, he helped develop one of the first chess-playing computer programs.
The book for which he is most renowned, synthesising a life’s work, Economic Inequality and Income Distribution (Cambridge University Press), was published in 1998.
Sous-suites extraites
Idée : (von Mises 1919) Toute sous-suite extraite avec des moyens raisonnables vérifie la loi des grands nombres .
Exemple : 0 1 0 1 0 1 · · · non-aléatoire.
Problème : Moyens raisonnables
Wald (1937) extraction par un ensemble dénombrable de stratégies. Il existe une infinité non dénombrable de telles suites.
Idée : sous-suites extraites par des moyens calculables (Church 1940) Il existe une fonction récursive indiquant pour toute suite finie x
1, · · · , x
nsi on garde x
n+1ou pas.
Extraction
Richard von Mises (1883-1953)
Richard Edler von Mises (Lemberg 19 avril 1883 - Boston, 14 juillet 1953) était un savant et un ingénieur en mécanique des fluides, aérodynamique et aéronautique, ainsi qu’en statistique et en théorie des probabilités. Les goûts littéraires de Mises le portaient vers le romancier autrichien Robert Musil et le poète Rainer Maria Rilke, dont il était un spécialiste reconnu. En 1908, Mises fut reçu docteur à l’Université de Vienne, avec une thèse sur "La détermination de la masse du volant de vilebrequin", puis obtint à Brünn son habilitation à enseigner la technique (dissertation sur la "Théorie des turbines hydrauliques" ? Theorie der Wasserrsder).
En 1909, à 26 ans, il est nommé professeur de mathématiques appliquées à Strasbourg, qui faisait alors partie de l’empire allemand sous le nom de Strasburg : on dut donc pour cela lui attribuer la citoyenneté prussienne. En même temps, il postulait pour un poste d’enseignant à l’Ecole d’ingénieurs de Brünn, mais la Première Guerre mondiale devait interrompre ces activités.
Pilote, ayant donné des cours sur la construction des aéronefs y compris, à Strasbourg, le premier cours universitaire sur le vol à moteur. Mises rejoignit l’armée austro-hongroise, où il vola comme pilote d’essais et instructeur de vol, et en 1915 dirigea la construction d’un avion de 600 CV, le Mises-Flugzeug, pour l’armée autrichienne. Terminé en 1916, celui-ci ne prit jamais part aux combats.
Après la guerre, Mises occupa la nouvelle chaire d’hydrodynamique et d’aérodynamique à l’Ecole d’ingénieurs de Dresde. Avec l’arrivée au pouvoir des Nazis en 1933, von Mises, qui était catholique mais d’origine juive, vit sa situation menacée malgré son statut d’ancien combattant et partit pour la Turquie, où il occupa la nouvelle chaire de mathématique pure et appliquée à l’Université d’Istanbul. En 1944, il est nommé à la chaire Gordon-McKay d’aérodynamique et de mathématique appliquée de l’ Université de Harvard.
En aérodynamique, Richard von Mises a fait faire des progrès notables à la théorie du flux dans la couche limite et à la conception des surfaces portantes. En probabilités, il a présenté le fameux paradoxe des anniversaires. Ses opinions ne faisaient pas l’unanimité. "Sa personnalité dynamique faisait, en quelque sorte, passer ses quelques égarements majeurs. On lui a même pardonné sa théorie des probabilités. "
Kolmogorov, dont l’axiomatique concurrente a eu plus de succès, était pourtant moins sévère :
"La possibilité d’appliquer les résultats de la théorie mathématique des probabilités à des phénomènes ’authentiquement aléatoires’ doit se fonder sur une forme ou une autre du concept de probabilité-fréquence, dont Mises a établi avec esprit la nature inéluctable. "
Alonzo Church (1903-1995)
Alonzo Church 14 juin 1903 - 11 août 1995 fut un mathématicien (logicien) américain à qui l’on doit certains des fondements de l’informatique théorique.
Il est connu principalement pour le développement du lambda-calcul, son application à la notion de fonction récursive, pour la première démonstration de l’existence d’un problème indécidable et pour son rôle dans la création du Journal of Symbolic Logic.
Les travaux de son équipe (Church, Kleenne et Rosser) précèdent le travail d’Alan Turing sur le problème de l’arrêt. C’est Church qui le premier a l’idée que l’on peut définir le concept de fonction calculable dans un sens très large, cette idée avait déjà entrevue par Herbrand, mais sa mort prématurée ne lui avait pas permis de la pousser plus loin. Church en a eu l’idée par le lambda-calcul. Church démontre en 1936 l’existence d’un problème insoluble par des moyens mécaniques. Kleene démontre que le lambda-calcul de Church, les fonctions générales récursives (modèle dit de Herbrand- Gödel) et les machines de Turing ont des capacités équivalentes. L’équivalence démontrée ensuite qu’un certain nombre de formalisations mathématiques de la notion de traitement par des processus mécaniques ont des aptitudes en tous points semblables confirme l’intuition de Church. Cette constatation aboutit à la thèse de Church (appelée aussi thèse de thèse de Church-Turing). Elle s’appelle "thèse" parce qu’il s’agit d’un résultat qui ne peut pas être prouvé, car il affirme l’équivalence entre un concept intuitif, à savoir les fonctions mécaniquement calculables, et un concept formel, à savoir, les diverses définitions des fonctions récursives. Elle s’appelle la "thèse de Church" puisque c’est lui qui en a eu le premier l’idée. Elle s’appelle la "thèse de Church-Turing" puisque les machines de Turing donnent une véritable idée de ce que mécanique veut dire.
Sous-suites extraites (suite)
Exemple : L, C, π · · · ne sont pas «au hasard».
Hasard = définition de von Mises-Church
Contre exemple v = v 1 , v 2 , · · · trouvé par Ville en 1940 vérifiant von Mises-Church et
∀n ∈ N ∗ 1 n
n
X
i=1
v i > 1 2 .
Damned ! ! ! !
Théorie axiomatique des probabilités
Théorie abstraite de la mesure (Lebesgue 1904) Ensemble Ω,
Ensemble de parties de Ω, Mesure additive,
Mesure des espace vectoriels réels Intégration (Borel + Lebesgue)
f(x)
x A
f−1(A)
⇒ Théorie axiomatique des probabilités (Kolmogorov - Borel)
Henri Lebesgue (1875-1941)
Henri Léon Lebesgue (28 juin 1875 à Beauvais - 26 juillet 1941 à Paris) est un mathématicien français. Il est reconnu pour sa théorie d’intégration publiée originalement dans sa dissertation Intégrale, longueur, aire à l’Université de Nancy en 1902.
Le père de Lebesgue était employé dans une imprimerie, et mourut alors que son fils était encore très jeune. Après la mort de son père, sa mère a travaillé très dur pour qu’il puisse faire des études. Élève brillant dès l’école élémentaire, Lebesgue étudia plus tard à l’École normale supérieure.
Il a enseigné au lycée de Nancy et à Rennes. Il se fera alors connaître par sa théorie de la mesure, laquelle prolonge les premiers travaux importants d’Émile Borel, l’un de ses professeurs et plus tard son ami.
Il mit au point une théorie des fonctions mesurables (1901) en se basant sur les résultats d’Émile Borel : les tribus boréliennes.
Lebesgue a révolutionné et généralisé le calcul intégral. Sa théorie de l’intégration (1902-1904) est extrêmement commode d’emploi, et répond aux besoins des physiciens. En effet, elle permet de rechercher et de prouver l’existence de primitives pour des fonctions "irrégulières" et recouvre différentes théories antérieures qui en sont des cas particuliers :
* fonctions en escalier et fonctions continues de Riemann
* fonctions bornées de Darboux
* fonctions à variation bornée de Stieltjes
Il a également été professeur à la Sorbonne, puis au collège de France. Il sera élu à l’Académie des sciences en 1922.
Comme son père, Lebesgue a souffert d’une mauvaise santé tout au long de sa vie. Il se maria avec la soeur d’un de ses camarades de l’Ecole normale supérieure, et eut avec elle deux enfants, Suzanne et Jacques.
Théorie axiomatique des probabilités (suite)
- Abandon de la vision fréquentiste,
- Espace mesurable muni d’une mesure de probabilité (Ω, A, P ) , - Variables aléatoires = fonctions mesurables
Théorèmes :
{X n } n∈ N suite de variables aléatoires
indépendantes de même loi ; moyenne EX et variance σ 2
n→+∞ lim 1 n
n
X
i=1
X i = E X Loi forte des grands nombres
n→+∞ lim 1 n
n
X
i=1
f (X i ) = Ef (X ) Théorème ergodique
n→+∞ lim
√ n σ
1 n
n
X
i=1
X i − E X
!
= L N (0, 1) Théorème Central Limite
Loi du logarithme itéré, ....
Théorie axiomatique des probabilités (suite)
Poincaré 1912
Théorie axiomatique des probabilités (suite)
Kolmogorov 1922
Théorie axiomatique des probabilités (fin)
Axiomes
1
A est une tribu de Ω (ensemble de parties de Ω stable par complémentation et réunion dénombrable)
2
Ω ∈ A
3
Pour tout A ∈ A on associe P (A), réel positif
4
P (Ω) = 1
5
Pour A et B éléments de disjoints A P (A ∪ B) = P (A) + P (B).
6
· · · ⊂ A
n⊂ · · · ⊂ A
2⊂ A
1tels que T
n
A
n= ∅
n→+∞
lim P (A
n) = 0.
(continuité)
Méthodologie
Probabilités
Modèle (Ω,A,P)
Théorèmes limites :
- Calcul de lois, convolutions, transformées,...
- Loi des grands nombres, théorèmes ergodiques,...
- Espérance conditionnelle, projection, ...
Réalité
Prototype ou maquette Expérimentation -Instruments de mesure - Plan d’expérience - Données expérimentales
- Analyse de données (tendance, variance, corrélations,...)
Statistiques
Statistique paramétrique : Ω,A,Pθ
θ∈Θ - Estimation de paramètres - Tests paramétriques/non-paramétriques - Adéquation du modèle
Définition de Martin-Löf (1965)
Définition
Une suite est aléatoire ssi elle ne vérifie aucune propriété exceptionnelle réellement testable.
exceptionnelle (référence à tous les théorèmes de la théorie des probabilités)
- vérifiée sur une partie négligeable (mesure nulle) des suites de {0, 1} N
- Par exemple, ne pas vérifier la loi des grands nombres, le théorème central limite, la loi du logarithme itéré ...
réellement testable (référence à un modèle de calcul)
- on peut tester par un programme avec une précision de plus en plus grande en fonction de la taille des entrées.
- lien avec les tests statistiques
Per Martin-Löf (1942-)
Per Martin-Löf is a Swedish logician, philosopher, and mathematician born in 1942. He is best known for developing intuitionistic type theory as a constructive foundation of mathematics. Per Martin-Löf holds a joint chair for Mathematics and Philosophy at Stockholm University.
In 1964-65 Martin-Löf was studying under the supervision of Kolmogorov in Moscow, refining the notion of a random sequence. During this time he wrote his frequently cited article On the definition of random sequences. From 1968 to ’69 he worked as an Assistant Professor at the University of Chicago where he met William Alvin Howard with whom he discussed issues related to the Curry-Howard correspondence. Martin-Löf’s first draft article on type theory dates back to 1971. This impredicative theory generalized Girard’s System F. However, this system turned out to be inconsistent due to Girard’s paradox which was discovered by Girard when studying System U, an inconsistent extension of System F. This experience led Per Martin-Löf to develop the philosophical foundations of type theory, his meaning explanation, a form of proof-theoretic semantics, which justifies predicative type theory as presented in his 1984 Bibliopolis book, and extended in a number of increasingly philosophical texts, such as his influential On the Meanings of the Logical Constants and the Justifications of the Logical Laws.
The 1984 type theory was extensional while the type theory presented in the book by Nordström et al. in 1990, which was heavily influenced by his later ideas, was intensional and more amenable to being implemented on a computer.
Martin-Löf’s intuitionistic type theory developed the notion of dependent types and directly influenced the development of the calculus of constructions and the logical framework. A number of popular computer-based proof systems are based on type theory, for example NuPRL, LEGO, COQ, ALF, Agda, Twelf and Epigram.
Aléatoirité
Intervalle binaire : h p 2 r , q
2 r i
0 ≤ p ≤ q ≤ 2 r .
Test statistique d’aléatoirité T : T = {I(m, n), (m, n) ∈ N 2 }, suite récursivement énumérable d’ensembles binaires tels que
longueur (I(m, n)) ≤ 1
2 m ou bien
≤ 1
f (m) , f récursive totale
. Appliquer un test T au niveau m à x ∈ [0, 1] c’est :
Rejeter x si x ∈ ∪ n I(m, n) et l’accepter sinon.
Une suite est aléatoire ssi elle passe tous les tests
d’aléatoirité.
Commentaires
Test Universel (analogue à la machine de Turing universelle).
Suites normales en base 2 sont les suites imprédictibles par des automates d’états finis. Classe stable par extraction par automates d’états finis.
Définition consistante et cohérente
Il est impossible de vérifier par calcul si une suite est aléatoire
Définitions
Information. n.f. (1274 lat informatio action de façonner, conception, formation d’une idée dans l’esprit, notion, idée, étymologie).
1
(juridique)
2
Renseignement sur quelqu’un ou quelque chose
3
Élément ou système pouvant être transmis par un signal ou une combinaison de messages
Une machine à calculer "peut communiquer à des utilisateurs les résultats de ses calculs, c’est à dire de l’information" (De Broglie)
Dictionnaire Robert
Codage de suites de bits
La suite 01010101010101010101 est codée par Répéter n fois écrire 0 puis 1
Le codage binaire d’une telle chaîne de longueur n est log 2 (n) + C
taille du codage de n + taille du code de l’algorithme La suite des “décimales” de π est codée par la formule (Bailey-Borwein-Plouffe1995)
π =
+∞
X
k=0
1 16k
4
8k + 1 − 2
8k + 4 − 1
8k + 5 − 1 8k + 6
.
Taille du codage
log 2 (n) + C
Complexité de Kolmogorov (1974)
X ∗ ensemble des chaînes de bits de longueur finie.
Φ fonction calculable Φ : X ∗ −→ X ∗
y 7−→ x
Définition (Complexité de x relativement à Φ ) K Φ (x ) =
inf{longueur (y ) Φ(y ) = x } +∞ si x ∈ / Φ(X ∗ )
Définition (Complexité de Kolmogorov de la chaîne finie x ) K(x ) = inf
Φ {K Φ (x ) + taille(Φ)}.
Remarque : K(x ) ≤ l(x ).
Andreï Kolmogorov (1903-1987)
Mathématicien russe dont le nom est principalement attaché à l’axiomatisation du calcul des probabilités dans le cadre de la théorie des ensembles. Fils d’un agronome, Andreï Nikolaïevitch Kolmogorov est né à Tambov. Il entra à dix-sept ans à l’université de Moscou, où il suivit des cours de N. Lusin et de P. Urysohn ; chercheur associé à cette université depuis 1925, il y devint professeur en 1931 et directeur du département de mathématiques deux ans plus tard. En 1939, il fut élu à l’Académie des sciences de l’U.R.S.S.
Les premiers travaux de Kolmogorov portent sur les fonctions de variable réelle (séries trigonométriques, opérations sur les ensembles) ; en 1922, il a construit un exemple célèbre de fonction intégrable dont la série de Fourier est divergente en tout point, ce qui relançait le problème de la convergence des séries de Fourier. Quelques années plus tard, il étendit la sphère de ses recherches à la logique mathématique et aux problèmes de fondements. ¿ partir de 1925, en collaboration avec A. Khintchine, Kolmogorov a étudié les problèmes de convergence de séries d’éléments aléatoires, sur lesquels il a publié de nombreux articles devenus classiques. Son mémoire fondamental, Théorie générale de la mesure et théorie des probabilités (1929), donne la première construction axiomatique du calcul des probabilités fondée sur la théorie de la mesure ; il développa ses idées dans l’ouvrage Grundbegriffe der Wahrscheinlichkeitsrechnung (trad. angl. Foundations of the Theory of Probability, 1950), publié en 1933. Avec son ouvrage Méthodes analytiques de théorie des probabilités, Kolmogorov est un des fondateurs de la théorie des processus stochastiques. Il a étudié plus spécialement ceux qui sont connus de nos jours sous le nom de processus de Markov où deux systèmes d’équations aux dérivées partielles portent son nom ; cette théorie a d’importantes applications en physique (mouvement brownien, diffusion). Mentionnons aussi des recherches très importantes sur les processus aléatoires stationnaires, dont Wiener a souligné le rôle dans la théorie statistique de l’information sur laquelle s’appuie, pour une part, la cybernétique.
Kolmogorov a également fait des recherches en topologie, géométrie, analyse fonctionnelle et approximation optimale des fonctions. Depuis 1950, il a publié des travaux sur la théorie de l’information, la mécanique classique et la théorie des automates finis. Il a consacré ses dernières années à des problèmes d’enseignement des mathématiques et a publié plusieurs ouvrages de pédagogie à l’usage des parents et des enseignants. Il termina sa vie à Moscou
Suite K-aléatoire
Définition
Une suite infinie x = {x n } est K-aléatoire ssi il existe c tel que K(x 1 x 2 · · · x n ) ≥ n − c.
- suites que l’on ne peut pas coder (compresser) - complexité linéaire
- découverte simultanée par Solomonov, Chaitin et Kolmogorov de 1964 à 1967.
- construction cohérente basée sur la machine de Turing universelle et le théorème d’invariance.
- Autres définitions basées sur le même principe Chaitin-Levin 1966.
Gregory Chaitin (1947-)
Gregory John Chaitin (born 1947) is an Argentine-American mathematician and computer scientist.
Beginning in the late 1960s, Chaitin made important contributions to algorithmic information theory and metamathematics, in particular a new incompleteness theorem similar in spirit to Gödel’s incompleteness theorem.
Chaitin has defined Chaitin’s constantΩ, a real number whose digits are equidistributed and which is sometimes informally described as an expression of the probability that a random program will halt.Ωhas the mathematical property that it is definable but not computable.
Chaitin’s early work on algorithmic information theory paralleled the earlier work of Kolmogorov.
Chaitin also writes about philosophy, especially metaphysics and philosophy of mathematics (particularly about epistemological matters in mathematics). In metaphysics, Chaitin claims that algorithmic information theory is the key to solving problems in the field of biology (obtaining a formal definition of life, its origin and evolution) and neuroscience (the problem of consciousness and the study of the mind). Indeed, in recent writings, he defends a position known as digital philosophy. In the epistemology of mathematics, he claims that his findings in mathematical logic and algorithmic information theory show there are "mathematical facts that are true for no reason, they’re true by accident. They are random mathematical facts". Chaitin proposes that mathematicians must abandon any hope of proving those mathematical facts and adopt a quasi-empirical methodology.
Chaitin’s mathematical work is generally agreed to be correct, and has been cited, discussed and continued by many mathematicians. Some philosophers or logicians strongly disagree with his philosophical interpretation of it. Philosopher Panu Raatikainen argues that Chaitin misinterprets the implications of his own work and his conclusions about philosophical matters are not solid. The logician Torkel Franzén criticizes Chaitin’s interpretation of Gödel’s Incompleteness Theorem and the alleged explanation for it that Chaitin’s work represents.
Chaitin is also the originator of using graph coloring to do register allocation in compiling, a process known as Chaitin’s algorithm.
Leonid Levin (1948-)
Leonid Levin (born November 2, 1948, in Dnipropetrovsk USSR) is a computer scientist. He studied under Andrey Kolmogorov.
He obtained his first Ph.D. in 1972 at Moscow University. Later, he emigrated to the USA in 1978 and earned another Ph.D at the Massachusetts Institute of Technology in 1979.
He is well known for his work in randomness in computing, algorithmic complexity and intractability, foundations of mathematics and computer science, algorithmic probability, theory of computation, and information theory.
His life is described in a chapter in the book : Out of Their Minds : The Lives and Discoveries of 15 Great Computer Scientists.
Levin independently discovered a theorem that was also discovered and proven by Stephen Cook. This NP-completeness theorem, often called by inventors’ names (see Cook-Levin Theorem) was a basis for one of the seven "Millennium Math. Problems" declared by Clay Mathematics Institute with a $ 1,000,000 prize offered. It was a breakthrough in computer science and is the foundation of computational complexity. Levin’s journal article on this theorem was published in 1973 ; he had lectured on the ideas in it for some years before that time (see Trakhtenbrot’s survey below), though complete formal writing of the results took place after Cook’s publication.
He is currently a professor of computer science at Boston University, where he began teaching in 1980.
Suite K-aléatoire : propriétés
Proposition (Presque toutes les suites sont K-aléatoires) Le nombre de suites x de longueur n et de complexité K(x ) ≥ n − c est minoré par
2 n (1 − 2 −c )
Preuve : le nombre de suites de longueur < n − c est 2 0 + 2 1 + · · · + 2 n−c−1 = 2 n−c − 1.
Montrer qu’une suite est K-aléatoire est, en
général, indécidable
Complexité du Jeu de pile ou face biaisé
x = {x n } n∈ N lim
n→+∞
1 n
n
X
i=1
x i = p 6= 1 2 .
Proposition (Complexité et entropie)
K(x 1 x 2 · · · x n ) ≤ n[−p log 2 p − (1 − p) log 2 (1 − p)] = nH 2 (p).
H 2 (p) est appelée entropie de la distribution (p, 1 − p).
Entropie
p 0
0.6 0.8 1
0 0.2 0.4 0.6 0.8 1
0.2 0.4
Jeu de pile ou face biaisé : preuve p < 1 2
Classer les suites de n bits par 1) ordre croissant sur le nombre de 1 ;
2) ordre alphabétique sur les suites ayant le même nb de 1.
Exemple : Pour n = 4
0000 0001 0010 0100 1000 0011 0101 0110 1001 1010 1100 0111 1011 1101 1110 1111.
Pour ce codage Φ, donner une suite x de taille n il suffit de donner son rang r (x).
K
Φ(x) ∼ log
2r (x); on néglige l(Φ) et log
2l(x) . Si k “1” dans x alors r (x) ≤ C
0n+ C
n1+ · · · C
nk. Pour k <
n2et
kn +∞∼ p
log
2r (x) ≤ log
2(C
0n+ C
1n+ · · · C
nk) ∼ log
2C
nk∼ log
2(p
−k(1 − p)
n−k) ∼ nH
2(p).
CQFD
Entropie
Définition (Entropie discrète )
Pour une distribution de probabilité p 1 , · · · , p n
H(p 1 , · · · , p k ) = −
k
X
i=1
p i log p i .
Propriétés
1
H maximale pour p =
1k2
H(x) = 0 pour p = 0 ou p = 1 (suite déterministe).
3
....
Interprétation de Boltzman (1877)
Modèle :
n particules «indistingables» (n énorme),
k états possibles pour les particules (niveaux d’énergie), macro-état observable
n = (n
1, · · · , n
k);
Nombre de configurations représentées par n C(n, n 1 , · · · , n k ) = n!
n 1 ! · · · n k ! .
Interprétation de Boltzman (1877) (suite)
Comparaison des probabilités d’apparition de 2 macro-états
R(n, n 0 ) = C(n, n 1 , · · · , n k ) C(n, n 1 0 , · · · , n 0 k ) =
Q n 0 i ! Q n i ! . Pour n très grand, p i = n n
i(formule de Stirling)
R(n, n 0 ) ∼ e n(H(p)−H(p
0)) .
Un seul macro-état p
∗sera observable (réalise le maximum d’entropie).
Décroissance exponentielle autour de ce macro-état.
Si aucune contraintes p
∗=
1ksera observé.
Sous la contrainte d’energie moyenne par particule fixée E :
p
∗i= Cexp(−λE
i).
Ludwig Boltzmann (1844-1906)
Ludwig Eduard Boltzmann, physicien autrichien né le 20 février 1844 à Vienne (Autriche), mort le 5 septembre 1906 à Duino.
Il est considéré comme le père de la physique statistique, fervent défenseur de l’existence des atomes. Validant l’hypothèse de Démocrite selon laquelle la matière peut être considérée comme un ensemble d’entités indivisibles, Ludwig Boltzmann, à l’aide de son équation cinétique dite "de Boltzmann", théorise de nombreuses équations de mécanique des fluides.
Ludwig Boltzmann obtient son doctorat à l’université de Vienne en 1866, avec une thèse sur la théorie cinétique des gaz, dirigée par Josef Stefan, dont il devient ensuite assistant.
Il étudia successivement à Graz, Heidelberg et Berlin, où il suivit les cours de Bunsen, Kirchhoff et Helmholtz.
En 1869, il obtient une chaire de physique théorique à Graz, où il reste pendant 4 ans. En 1873, il accepte une chaire de mathématiques à Vienne, mais revient à Graz 3 ans plus tard, cette fois pour enseigner la physique expérimentale. Il devient membre étranger de la Royal Society en 1899.
Il entretint des échanges, parfois vifs, avec les physiciens à propos de ses travaux. Cela affecta particulièrement Boltzmann et entraina des crises de dépression qui l’ont conduit à une première tentative de suicide à Leipzig, puis à une seconde à Duino , près de Trieste, qui lui sera malheureusement fatale. Boltzmann meurt avant même d’avoir vu ses idées s’imposer.
Au Cimetière central de Vienne, la tombe de Boltzmann a une équation inscrite au-dessus de la statue du physicien. Cette épitaphe est l’équationS=klnω, laquelle exprime l’entropie S en fonction du nombreωdes états d’énergie équiprobables possibles, aveckla constante de Boltzmann.
Les conceptions atomistiques qui sont à la base des recherches de Boltzmann lui ont valu une vigoureuse hostilité de la part de ses confrères. Faute de développements nouveaux, ses résultats entraînèrent un certain discrédit sur ses travaux théoriques, jusqu’à ce que ceux-ci soient remis à l’honneur par les découvertes de Max Planck dans l’analyse du rayonnement du corps noir, puis celles d’Albert Einstein avec l’effet photoélectrique.
Codage
Symboles S = {s
1, · · · , s
k} Codage
C : S −→ {0, 1}
∗s
i7−→ c(s
i) longueur l
iUniquement déchiffrable (CS propriété du préfixe) ;
Inégalité de Kraft Pour un codage ayant la propriété du préfixe
k
X
i=1
2
−li≤ 1, (1)
Réciproquement, si (1) il existe un codage avec la propriété du préfixe.
Complexité d’un code
Sources aléatoires : p 1 , · · · , p k fréquence de transmission ; longueur moyenne du codage
L(c) =
k
X
i =1
p i l i ;
L inf = inf
c L(c ); h ayant la propriété du préfixe Théorème (Shannon 1948)
H(p) ≤ L inf ≤ H(p) + 1.
Claude Shannon (1916-2001)
Claude Elwood Shannon (30 avril 1916 à Gaylord, Michigan - 24 février 2001), ingénieur électrique, est l’un des pères, si ce n’est le père fondateur, de la théorie de l’information. Son nom est attaché à un célèbre "schéma de Shannon" très utilisé en sciences humaines, qu’il a constamment désavoué.
Il étudia le génie électrique et les mathématiques à l’Université du Michigan en 1932. Il utilisa notamment l’algèbre booléenne pour sa maîtrise soutenue en 1938 au MIT. Il y expliqua comment construire des machines à relais en utilisant l’algèbre de Boole pour décrire l’état des relais (1 : fermé, 0 : ouvert).
Shannon travailla 20 ans au MIT, de 1958 à 1978. Parallèlement à ses activités académiques, il travailla aussi aux laboratoires Bell de 1941 à 1972.
Claude Shannon était connu non seulement pour ses travaux dans les télécommunications, mais aussi pour l’étendue et l’originalité de ses hobbies, comme la jonglerie, la pratique du monocycle et l’invention de machines farfelues : une souris mécanique sachant trouver son chemin dans un labyrinthe, un robot jongleur, un joueur d’échecs (roi tour contre roi)...
Souffrant de la maladie d’Alzheimer dans les dernières années de sa vie, Claude Shannon est mort à 84 ans le 24 février 2001.
Algorithme de Huffman (1951)
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.08
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.08
0.14
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.16 0.14
0.08
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.16 0.14
0.08
0.18
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.16 0.14
0.08
0.18
0.22 0.14
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.16
0.08
0.18
0.22 0.28
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.16
0.08
0.18
0.22 0.14
0.28 0.32
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.16
0.08
0.18
0.22 0.14
0.28 0.32
0.40
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.16
0.08
0.18
0.22 0.14
0.28 0.32
0.40
0.60
A B C D E F G H I J
L K
A B C D E F G H I J K L
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10
0.14 0.06 0.08 0.10 0.16 0.08 0.08 0.04 0.12 0.02 0.02 0.10 0.04
0.16
0.08
0.18
0.22 0.14
0.28 0.32
0.40
0.60
1.00
Algorithme de Huffman (1951)
111 1.00
0.60 0.40
0.28 0.32 0.22 0.18
A
0.14 0.14
B 0.06
C 0.08
E
0.16 0.16
D 0.10
I
0.12 0.08
L 0.10
H
0.04 0.04
J 0.02
K F 0.02
0.08
G 0.08
A B C D E F G H I J
L K
0.14 0.06 0.08
0.08 0.08 0.10 0.16
0.04 0.12 0.02 0.02 0.10 0
0
0
0
0 0
0
0
0 0 0
1
1
1
1
1 1
1 1
1 1
1
000 0010 0011 100 010 0110 0111 1100 101 11010 11011
Codage optimal : L-moy = 3.42, Entropie = 3.38 Profondeur = − log 2 (probabilité)
Généralisation Lempel-Ziv,...
Codage et complexité
H(p) est appelée quantité d’information
Propriété du préfixe ⇒ arbre (automate d’état fini) H(p) donne le taux de compression
Borne supérieure de la complexité de Kolmogorov
Synthèse
Une suite est aléatoire au sens de Martin-Löf
si et seulement si elle est aléatoire
au sens de Chaitin-Levin
Schnorr-Levin-Chaitin
Commentaires
Une suite est donc aléatoire ssi elle
ne satisfait aucune propriété exceptionnelle effectivement testable (Martin-Löf 1966),
ou est incompressible au sens algorithmique (Levin 1974) et (Chaitin 1975),
ou est imprévisible par une stratégie calculable (Schnorr 1971) Une suite aléatoire
ne possède pas de forme algorithmique
les sous-suites extraites par des moyens calculables sont normales (dans toutes les bases),
est sans post-effet (fréquences invariantes par décalage à droite)
Commentaires (suite)
Définition cohérente et consistante des suites aléatoires ; Mesure de complexité d’objets mathématiques (incalculable) ; Entropie est un majorant de la quantité d’information ; Lien entre complexité et thermodynamique
Applications nombreuses en informatique (et dans d’autres sciences...) ;
Codage, compression, modélisation...
P-S. Laplace
H Poincaré Calcul des probabilités 1912
Algorithmes numériques randomisés
Aiguille de Buffon Modèle
a α
l
X lsinα
Xde loi uniforme sur[0:l]
αde loi uniforme sur[0, π]
P(X+lsinα≥a)
P (X + l sin α ≤ a) = R
π0
(a − l sin α)d α
πa = 2l
πa . Calcul de π par la répétition d’expériences
−→ Méthode de Monte-Carlo
Calcul numérique d’intégrales (grdes dim)
Georges Louis Leclerc Comte de Buffon (1707-1788)
Georges-Louis Leclerc, comte de Buffon (7 septembre 1707 à Montbard - 16 avril 1788 à Paris), est un naturaliste, mathématicien, biologiste, cosmologiste et écrivain français. Ses théories ont influencé deux générations de naturalistes, parmi lesquels notamment Jean-Baptiste de Lamarck et Charles Darwin. La localité éponyme Buffon, dans la Côte-d’Or, fut la seigneurie de la famille Leclerc.
Les premiers travaux de Buffon ont été consacrés aux mathématiques. Il faut surtout signaler le Mémoire sur le jeu de franc carreau, qui présente l’originalité de faire intervenir le calcul infinitésimal dans le calcul des probabilités. Par la suite, Buffon utilisera les mathématiques dans ses recherches sur la résistance du bois et sur le refroidissement des planètes, ainsi que dans son Essai d’arithmétique morale (Supplément, t. IV, 1777), mais ces travaux montrent que, pour lui, les mathématiques ne sont qu’un moyen de préciser l’idée qu’il peut avoir des choses, et non une discipline autonome. Il est ingénieur plus que mathématicien.
Par contre, il est philosophe de tempérament. Le tome I de l’Histoire naturelle (1749) s’ouvre par un discours De la manière d’étudier et de traiter l’histoire naturelle, qui est une réflexion sur la valeur de la connaissance humaine. Rompant à la fois avec l’idéalisme rationaliste et l’empirisme sceptique, Buffon affirme la validité d’une science fondée sur les faits, mais sachant en dégager les lois, débarassée de toute téléologie, d’une science qui sans doute ne vaut que pour l’homme, mais qui est la seule que l’homme puisse atteindre. Par la suite, Buffon admettra que l’homme peut découvrir les vraies lois de la nature (De la nature, 1re et 2e vues, Histoire naturelle, t. XII et XIII, 1764-1765). Son tempérament rationaliste l’emporte alors sur sa formation philosophique, d’inspiration sceptique.
Génération d’objets géométriques
Joseph Bertrand : Générer une corde au hasard
Calculer la probabilité que la longueur de la corde dépasse la longueur du coté du triangle équilatéral inscrit dans le cercle.
Propositions p = 1
2 p = 1
3 p = 1
4
Génération d’objets géométriques
Joseph Bertrand : Générer une corde au hasard
Cercle
p = 1 3 .
Rayons
p = 1 2 .
Disque
p = 1
4 .
Joseph Bertrand (1822-1900)
Joseph Louis François Bertrand, habituellement appelé Joseph Bertrand, né le 11 mars 1822 à Paris, mort le 3 avril 1900 à Paris, était un mathématicien, historien des sciences et académicien français.
Enfant prodige, à onze ans il suit les cours de l’École Polytechnique en auditeur libre. Entre onze et dix-sept ans il obtient deux baccalauréats, une licence et le doctorat ès sciences avec une thèse sur la théorie mathématique de l’électricité, puis est admis premier au concours d’entrée 1839 de l’École Polytechnique. Il est ensuite reçu au concours de l’agrégation de mathématiques des facultés et premier au premier concours d’agrégation de mathématiques des lycées avec Charles Briot, ainsi qu’à l’École des mines. Il fut professeur de mathématiques au lycée Saint-Louis, répetiteur, examinateur puis professeur d’analyse en 1852 à l’École polytechnique et titulaire de la chaire de physique et mathématiques au Collège de France en 1862 en remplacement de Jean-Baptiste Biot.
En 1845, en analysant une table de nombres premiers jusqu’à 6 000 000, il fait la conjecture qu’il y a toujours au moins un nombre premier entre n et 2n-2 pour tout n plus grand que 3.
Tchebychev a démontré cette conjecture, le postulat de Bertrand, en 1850.
Pour l’étude de la convergence des series numériques, il mit au point un critère de comparaison plus fin que le critère de Riemann.
X 1
nαlognβconverge ssi(α, β)≥(1,1).
Machine à fabriquer du hasard
Loterie
Roue sur pivot, secteurs Principe : système dynamique chaotique avec amortissement Pièces, dés
Principe : système complexe chaotique
Machine à boule, loto, roulette Mélange de cartes
Principe : coupes permutations mélanges
germe : action d’un individu
Machines
Hasard pré-fabriqué
Rand corporation
Tables de chiffres aléatoires
Bits aléatoires RandomNumber.org Hotbits
http ://www.fourmilab.ch/hotbits/
Générateur de Marsaglia
http ://www.stat.fsu.edu/pub/diehard/
etc.
Méthode de Monte-Carlo
Intégration numérique
Projet Manhattan Simulation de réaction nucléaire => équation aux dérivées partielles
I = Z b
a
f (x )dx ' 1 N
X
i=1
f (U i ).
Stanislaw Marcin Ulam (math) Enrico Fermi (physique) John von Neumann (math app) Nicholas Metropolis (physique)
Ordinateur : Eniac 1943
Electronic Numerical Integrator And Computer
John Mauchly et J. Presper Eckert
University of Pennsylvania.
John von Neuman (1903-1957)
Mathématicien américain d’origine hongroise. Il a apporté d’importantes contributions tant en mécanique quantique, qu’en analyse fonctionnelle, en théorie des ensembles, en informatique, en sciences économiques ainsi que dans beaucoup d’autres domaines des mathématiques et de la physique. Il a de plus participé aux programmes militaires américains.
Architecture des ordinateurs
Nicholas Metropolis (1915-1999)
Metropolis contributed several original ideas to mathematics and physics. Perhaps the most widely known is the Monte Carlo method. Also, in 1953 Metropolis co-authored the first paper on a technique that was central to the method known now as simulated annealing. He also developed an algorithm (the Metropolis algorithm or Metropolis-Hastings algorithm) for generating samples from the Boltzmann distribution, later generalized by W.K. Hastings.
