Guillaume et Vivien September 27, 2017
1 Deep Learning et R´ eseaux de neurones
Le Deep Learning, ou apprentissage par r´eseaux de neurones profonds, est `a l’origine de succ`es spectaculaires en intelligence artificielle ces derni`eres ann´ees. Le plus m´ediatis´e reste probablement la victoire du programme AlphaGo contre le champion de Go Lee Sedol, en Mars 2016. Pr´esent´ee par Google et Facebook comme la technologie qui va r´evolutionner notre quotidien en apprenant aux voitures `a se conduire seule, et plus g´en´eralement aux machines `a accomplir toutes les taches pour l’instant r´eserv´ees au cerveau humain, le Deep Learning se fonde sur une version abstraite et sch´ematique des neurones du vivant, sur une simplification des m´ecanismes d’apprentissage humain qui ne sont pourtant pas encore bien compris. Qu’importe, les succ`es fulgurants de cette ap- proche en valident l’int´erˆet ind´ependemment de sa cr´edibilit´e biologique et physiologique.
Ecoutez cette interview de l’un des fondateurs du domaine, Yann Le Cun, pour vous faire´ votre propre id´ee1.
A travers ce sujet, on se propose de d´ecouvrir comment fonctionnent les r´eseaux de neurones pour l’intelligence artificielle et de comprendre les concepts fondamentaux du Deep Learning.
L’ann´ee pr´ec´edente, les ´el`eves qui avaient choisi ce sujet ont r´ealis´e un syst`eme capa- ble d’apprendre `a distinguer deux types d’images. Le syst`eme apprend sur une batterie d’exemples `a reconnaˆıtre des A et des B, ou bien un arbre et une voiture. Lorsqu’il observe une nouvelle image, il est ensuite capable de dire si selon lui, l’image se rap- proche le plus de l’un ou l’autre des deux exemples sur lesquels il s’est entraˆın´e. Ce type d’algorithme est `a la base de toute la technologie de reconnaissances d’images actuelle- ment utilis´ee par Google pour lire les num´eros des portes dans Google Street View, par Facebook pour sugg´erer le tag d’un ami ou bien plus inqui´etant, par les services de police pour l’identification des personnes.
Le travail de l’ann´ee pr´ec´edente demande `a ˆetre d´evelopp´e dans plusieurs directions
`
a choisir. Tout d’abord, les images qu’on est capables de reconnaˆıtre avec le syst`eme d´evelopp´e sont toutes `a peu pr`es `a la mˆeme ´echelle, et dans le mˆeme sens (il n’est pas exemple pas capable de reconnaˆıtre un A `a l’envers). Or, un humain est bien capable de reconnaˆıtre un objet mˆeme s’il a la tˆete en bas, de pr`es comme de loin. On voudrait donc
pouvoir construire un syst`eme qui soit capable de donner une r´eponse ind´ependamment de l’orientation et de l’´echelle. Ensuite, on voudrait ´egalement comprendre jusqu’o`u on peut pousser notre syst`eme tr`es simple, combien d’images il est capable de m´emoriser et si on peut am´eliorer ses performances. Enfin, il serait ´egalement int´eressant de savoir si on peut apprendre d’autres choses avec un syst`eme similaire, pourquoi pas `a jouer `a une sorte de jeu vid´eo par exemple. Une id´ee pourrait ˆetre de lui apprendre `a conduire un petit vaisseau pour ´eviter des obstacles. Le travail vous permettra d’apprendre au passage un peu plus de g´eom´etrie, de th´eorie de l’information et de d´evelopper des comp´etences en programmation informatique.
R´ef´erences audio et vid´eo:
• Le¸con inaugurale de Yann Le Cun au Coll`ege de France: http://www.college-de-france.
fr/site/yann-lecun/inaugural-lecture-2016-02-04-18h00.htm
• Une belle interview sur France Inter, tr`es facile `a ´ecouter: https://www.franceinter.
fr/emissions/les-savanturiers/les-savanturiers-17-avril-2016
• Et une vid´eo `a prendre avec des pincettes, car presque publicitaire, mais qui montre quelques applications possibles: https://www.youtube.com/watch?v=TnUYcTuZJpM
2 Fractales et chaos dans la ville
Les villes se d´eveloppent selon deux grands types de m´ecanismes, soit elles suivent un sch´ema planifi´e souvent organis´e autour de formes g´eom´etriques comme la grille ou les cercles concentriques (Figure 1), soit elle croissent de mani`ere organique sous les contraintes g´eologiques (montagnes, fleuves)2 et des forces d’attraction g´en´er´ees par les march´es ou les lieux d’´echanges, les grandes voies de transport, les gares etc. (Figure 2).
Figure 1: Plan de Palmanova (pr`es de Udine, https://en.wikipedia.org/wiki/
Palmanova) au XVIIe si`ece.
2Rome (https://www.goparoo.com/europe/italy/lazio/rome/images/roma-overview-map.gif) est un tr`es bon exemple de croissance organique contrainte par la g´eographie (le fleuve et les 5 monts).
Figure 2: Plan de Cesky Krumlov au Moyen- ˆAge, R´epublique Tch`eque.
pr´evalu, occultant tout un pan de la r´ealit´e pourtant connu par les ´economistes et les soci- ologues. Entre les deux grands m´ecanismes, la formation des villes r´esulte de l’interaction entre une volont´e de planification `a l’´echelle du centre ville et la somme d’une multi- tude de d´ecisions individuelles locales corr´el´ees. Les concepts classiques d’esth´etique et de g´eom´etrie euclidienne qui jouent un rˆole central dans l’´etude du d´eveloppement des villes sont peu adapt´es `a la description des structures ´emergeant de ces interactions, et nous aveuglent `a une partie des ph´enom`enes en jeu. En revanche, Michael Batty pro- pose de profiter de l’´emergence des sciences du chaos et de la complexit´e, ainsi que de la g´eom´etrie fractale qui fournit un langage dans lequel d´ecrire les processus complexes et chaotiques et des outils pour les visualiser.
L’objectif de ce projet sera de se familiariser avec les concepts fondamentaux li´es `a la g´eom´etrie fractale, puis d’´etudier des mod`eles de croissance de ville utilisant des objets fractals. Il incluera une partie cons´equente de programmation informatique.
Figure 3: Gauche: R´eseaux de transports en communs des villes de Paris et Stuttgart.
Droite: r´eseau fractal `a croissance dendritique.
3 How the crocodile got its stripes (and teeth)! Formation de motifs sur des supports dilatants
Le sujet de l’ann´ee derni`ere, intitul´e How the leopard got its spots !, examinait la for- mation des motifs sur le pelage des animaux, dont le l´eopard et ses tˆaches bien par- ticuli`eres. Le point de d´epart `a la recherche dans ce domaine ´etait un article original d’Alan Turing4, un scientifique passionnant qui est entre autres consid´er´e comme le p`ere de l’informatique et des ordinateurs. Traitant d’un sujet qui paraˆıt bien ´etranger au domaine qui fit sa renomm´ee scientifique, son article cherche `a d´ecrire la formation de taches sur les animaux. L’explication qu’il propose fait intervenir l’organisation des cel- lules au sein du corps de l’animal, le processus de diffusion des diverses mol´ecules qu’elles produisent et leur interaction, cet `a dire les r´eactions chimiques qui se produisent lorsque les mol´ecules se rencontrent. Turing parvient `a montrer que son explication peut g´en´erer des motifs qui rappellent fort les taches d’une vache Holstein. Turing conclue son article en admettant avoir extr`emement simplifi´e le probl`eme et ajoute qu’une description plus fid`ele des processus biologiques restera vraisemblablement hors de port´ee de l’analyse math´ematique. Il remarque par contre que les simulations num´eriques sont l’outil parfait pour ´etudier ces syst`emes, et nous allons le prendre au mot.
Le sujet How the crocodile got its stripes (and teeth)! Formation de motifs sur des sup- ports dilatants vient prendre la suite du sujet sur la formation des motifs sur les pelages des animaux. Pour r´esumer, l’apport principal du mod`ele de Turing est d’expliquer comment des h´et´erog´en´eit´es peuvent s’´etablir dans un syst`eme o`u a lieu une diffusion.
Cela peut expliquer un grand nombre de ph´enom`enes, allant du pelage des l´eopards `a la forme d’algues marines en passant par les motifs des ailes de certains papillons. Une cons´equence particuli`erement profonde de ces travaux est que la structure exacte des motifs n’est pas ´ecrite dans le code g´en´etique, ce qui demanderait d’y stocker beaucoup d’informations, mais se d´eveloppe de mani`ere al´eatoire selon la temp´erature initiale et d’autres param`etres pour former un pelage distinctif mais unique (comme les em- preintes digitales). Or il existe des situations o`u une difficult´e suppl´ementaire s’ajoute au m´ecanisme de formation des structures. Par exemple, on sait que le nombre de rayures d’alligators du Mississipi d´epend de la temp´erature `a laquelle l’embryon se d´eveloppe, et ceci pour des diff´erences de temp´eratures trop faibles pour que l’on puisse puisse l’expliquer simplement par des vitesses de diffusion ou de r´eaction modifi´ee. En re- vanche, la taille de l’embryon d´epend elle de mani`ere tr`es sensible de la temp´erature, et on peut faire l’hypoth`ese que c’est le d´eveloppement de l’embryon qui conditionne le nombre de rayures. On s’int´eresse particuli`erement aux alligators parce qu’ils offrent des possibilit´es d’´etude tr`es int´eressantes: on peut enlever la coquille de l’oeuf sans percer la peau et regarder l’embryon se d´evelopper, pour suivre au cours du temps la formation des motifs (Figure 4). Deux objets d’´etude sont possibles chez ces alligators:
formation des dents, qui est lui aussi intimement reli´e `a la croissance de la machoire pendant le d´eveloppement de l’embryon. Contrairement au cas des tˆaches sur le pelage des animaux, o`u c’est l’interaction entre le processus de r´eaction-diffusion et la forme de l’animal qui dictait la forme du motif final, c’est ici l’interaction entre le proces- sus de r´eaction-diffusion et la dilatation de l’animal qui joue un rˆole crucial. Comme pour les motifs des animaux, un syst`eme d’´equations diff´erentielles classique va d´ecrire la formation des structures, mais ce syst`eme est obtenu apr`es une transformation de l’espace qui prend en compte la croissance de l’embryon. Une fois r´esolu le syst`eme d’´equations diff´erentielles, on utilise la transformation inverse pour retrouver la solution sur le support croissant.
Figure 4: Rayures typiques chex un alligator du Mississipi sorti de l’oeuf. ´Echelle en millim`etres.
