Les capteurs et objets connectés jouent un rôle clé dans de nombreuses applications d’intelligence artificielle. Les micros et caméras alimentent les systèmes de reconnaissance de la parole et de vi- sion artificielle. Les smartphones et les outils d’accès à Internet en général créent des tomberaux de données sur les comportements des utilisateurs. La smart city et les véhicules autonomes sont aussi alimentés par moult capteurs en tout genre.
L’un des moyens de se rapprocher et même de dépasser l’homme est de multiplier les capteurs sen- soriels. La principale différence entre l’homme et la machine réside dans la portée de ces capteurs. Pour l’homme, la portée est immédiate et ne concerne que ses alentours. Pour les machines, elle peut-être distante et globale. On voit autour de soi, on sent la température, on peut toucher, etc. Les machines peuvent capter des données environnementales à très grande échelle. C’est l’avantage des réseaux d’objets connectés à grande échelle, comme dans les “smart cities”. Et les volumes de don- nées générés par les objets connectés sont de plus en plus importants, créant à la fois un défi techno- logique et une opportunité pour leur exploitation.
Le cerveau a une caractéristique méconnue : il ne comprend pas de cellules sensorielles. Cela ex- plique pourquoi on peut faire de la chirurgie à cerveau ouvert sur quelqu’un d’éveillé. La douleur n’est perceptible qu’à la périphérie du cerveau. D’ailleurs, lorsque l’on a une migraine, c’est en gé- néral lié à une douleur périphérique au cerveau, qui ne provient pas de l’intérieur. L’ordinateur est dans le même cas : il n’a pas de capteurs sensoriels en propre. Il ne ressent rien s’il n’est pas con- necté à l’extérieur. Une IA sans capteurs ni données ne sert à rien.
Cette différence peut même se faire sentir à une échelle limitée comme dans le cas des véhicules à conduite assistée ou automatique qui reposent sur une myriade de capteurs : ultrasons, infrarouges, vidéo et laser / LIDAR, le tout fonctionnant à 360°. Ces capteurs fournissent aux ordinateurs de bord une information exploitable qui va largement au-delà de ce que le conducteur peut percevoir, surtout dans la mesure où les données de plusieurs capteurs sont combinées (« sensor fusion »). C’est l’une des raisons pour lesquelles les véhicules autonomes sont à terme très prometteurs et plus sécurisés. Ces techniques sont déjà meilleures que les sens humains, surtout en termes de temps de réponse, de vision à 360° et de capacité d’anticipation des mouvements sur la chaussée (piétons, vélos, autres véhicules). A contrario, la finesse de la vue humaine n’est pas encore égalée par la vi- sion artificielle de fait de ses contraintes actuelles.
En effet, les réseaux de neurones convolutionnels utilisent des images sources à basse résolution pour tenir compte des contraintes matérielles actuelles. Ils sont rares à fonctionner en 3D avec une vision stéréoscopique215.
Le marché des capteurs a connu un fort développement depuis la fin des années 2000 grâce à l’émergence du marché des smartphones, alimenté par l’iPhone et les smartphones Android. Il s’en vend ac- tuellement environ 1,5 milliards d’unités par an et ils sont renouvelés à peu près tous les deux ans par les consommateurs. N’importe quel smartphone comprend au minimum une douzaine de capteurs : deux à quatre caméras, un à deux micros, un accéléromètre, un gyroscope, un GPS, un capteur de lumière, un capteur de proximité et des capteurs radio Bluetooth / Wifi / 2G / 3G / 4G.
Cela a eu comme conséquence d’accélérer la miniaturisation et la baisse du prix de tous ces cap- teurs. Les innovations dans le secteur des capteurs se poursuivent à un bon rythme et permettent de créer des perceptions extra-sensorielles par rapport aux capacités humaines. Chacun de ces capteurs va générer des données exploitables par des systèmes de machine learning et deep learning pour comparer le signal acquis avec des bases de données de signaux déjà associés à des matières déjà détectées.
Nous en avons deux exemples avec les spectrographes infrarouges comme ceux de l’israélien Scio, intégrés dans une balance de Terraillon ou un smartphone de Changhong lancé au CES 2017 (mais qui ne semble pas avoir percé ni été renouvelé en 2018), avec le détecteur de gaz Neose du fran- çais Aryballe ou encore avec le détec- teur de pollution aérienne d’un autre français, Plume Labs.
215 Voir un exemple dans Usings CNNs to Estimate Depth from Stereo Imagery de Tyler S. Jordan er Skanda Shridhar, 2014 (6 pag- es) ainsi qu’avec 3D Facial Expression Reconstruction using Cascaded Regression 2018 (8 pages).
Les plateformes de gestion de maisons connectées tirent aussi parti de nombre de capteurs d’ambiance pour optimiser le confort. Ils jouent sur l’intégration de données d’origine disparate : la température extérieure et intérieure, l’humidité, la luminosité ainsi que les déplacements des utilisa- teurs, captés avec leur smartphone. Cela permet par exemple d’anticiper la température du logement en anticipation du retour au domicile de ses occupants.
Cette orchestration passe de plus en plus souvent par de l’apprentissage profond pour identifier les comportements des utilisateurs et adapter les réponses du système.
L’innovation dans les capteurs photo et vi- déos est également incessante, ne serait-ce que par la miniaturisation de ceux qui équi- pent les smartphones et sont maintenant dotés de vision en 3D. L’américain Ram- bus planche de son côté sur un capteur pho- to qui n’a pas besoin d’optique ! Les cap- teurs de vibrations et les microphones ont des applications industrielles insoupçonnées et révélées par l’IA : la détection d’anomalies.
Ainsi, des capteurs placés dans des véhicules ou des machines industrielles génèrent un signal qui est analysé par des systèmes de deep learning capables d’identifier et caractériser les anomalies. Ainsi, la société Cartesiam (France, 2,5M€) installée à Angers depuis 2016 a créé une slutions lo- gicielle intégrée pour capteurs de vibration intégrant un réseau de neurones servant à détecter les vibrations anormales216.
Les capteurs de proximité intégrables à des machines comme les robots progressent même dans leur biomimétisme. Des proto- types de peau artificielle sensible existent déjà en laboratoire, comme en Corée du Sud (ci-contre, source dans Nature). L’une des mécaniques humaines les plus difficiles à reproduire sont les muscles.
Ils restent une mécanique extraordinaire, économe en énergie, fluide dans le fonctionnement, que les moteurs des robots ont bien du mal à imiter.
Les capteurs biométriques sont de plus en plus courants : dans les bracelets type FitBit, dans les montres connectées avec leurs capteurs infrarouges détectant le pouls et l’oxègénation du sang et dans les capteurs d’électroencéphalogrammes (EEG). Ces derniers permettent à l’homme de contrô- ler un membre artificiel robotisé, une application pouvant restaurer des fonctions mécaniques de personnes handicapées, voire démultiplier la force de personnes valides, dans les exosquelettes dé- diés aux applications militaires ou dans le BTP. L’homme peut ainsi piloter la machine car la péri- phérie du cortex cérébral contient les zones où nous commandons nos actions musculaires.
Les caméras dans le visible et l’infrarouge couplées à d’éventuels autres capteurs permettent de détecter l’état psychologique de personnes à distance, comme leur niveau d’intérêt dans une confé- rence ! C’est un cas d’usage de la société française datakalab qui propose cela dans les conférences et même pour les utilisateurs d’Internet, en captant les émotions visuellement et via un bracelet connecté.
216Eolane et Cartesiam marient capteur et intelligence artificielle pour la maintenance prédictive des équipements industriels, avril 2018.
Matériel de l’IA
Le matériel est la troisième roue du carrosse de l’IA après les algorithmes, les logiciels et les don- nées. Son rôle était méconnu jusqu’en 2016 lorsque l’on a commencé à évoquer le rôle des GPU puis des processeurs neuromorphiques. Depuis, l’industrie des semiconducteurs s’est mobilisée dans la course à l’IA. Je l’avais notamment constaté en préparant le Rapport du CES 2018.
Nous allons ici creuser le rôle et le fonctionnement de ces divers processeurs et de ce qui les ac- compagne côté mémoire et stockage. Leurs évolutions respectives contribuent aussi à améliorer la qualité et la performance des solutions d’intelligence artificielle.
L’un des outils clés de l’IA sont les serveurs d’entraînement du deep learning. Si celui-ci donne de très bons résultats, comme dans la reconnaissance d’images, il est très consommateur de ressources dans sa phase d’entraînement. Il faut facilement 1000 à 100 000 fois plus de puissance machine pour entraîner un modèle de reconnaissance d’images que pour l’exécuter ensuite.
Cela explique pourquoi, par exemple, les GPU et autres TPU (Tensor Processing Units) ont une capacité de calcul d‘environ 100 Tflops/s tandis que les briques neuronales des derniers Kirin 980 de Huawei et de l’A11 Bionic se contentent de 1 à 4 Tflops/s. Et encore, l’entraînement des plus gros réseaux de neurones réclame la mise en batterie de centaines voir de milliers de serveurs utili- sant ces GPU et TPU.
Processeurs
La loi de Moore est la pierre angulaire de nombreuses prédictions technologiques, notamment pour ce qui concerne celles de l’intelligence artificielle. Présentée comme immuable et quasi-éternelle, cette loi empirique indique que la densité des transistors dans les processeurs double tous les 18 à 24 mois selon les versions. Elle est aussi déclinée à foison pour décrire et prédire divers progrès techniques ou technico-économiques, y compris l’avènement de la fameuse singularité qui verrait l’IA dépasser l’intelligence de l’Homme.
La loi de Moore est aussi déclinée avec des variantes dans la vitesse des réseaux, la capacité de stockage, le cout d’une cellule solaire photovoltaïque ou celui du séquençage d’un génome humain. Une progression n’en entraîne pas forcément une autre. Le cout peut baisser mais pas la perfor- mance brute, comme pour les cellules solaires PV. On peut donc facilement jouer avec les chiffres. Pour ce qui est de l’IA, on peut dire que la loi de Moore fait feu de tout bois. Elle se manifeste sous des formes des plus variées. Avec la course à la densité dans le CMOS qui commence à descendre en-dessous de 10 nm avec des roadmaps qui vont jusqu’à 3 nm, avec des technologies alternatives comme la photonique ou le quantique, puis avec des architectures différentes de processeurs optimi- sées pour l’entraînement et l’exécution de réseaux de neurones. C’en est au point où des processeurs sont adaptés à des types particuliers de réseaux de neurones, en gros avec les uns qui couvrent le traitement de l’image et les autres, celui du langage voir du bruit.
Enfin, l’IA sert aussi à conçevoir des chipsets avec des techniques élaborées d’organisation du layout des transistors et fonctions. C’est une évolution naturelle des outils de conception de chip- sets217.
217 Voir notamment Startup JITX Uses AI to Automate Complex Circuit Board Design de Evan Ackerman, juillet 2918 et Using AI In
Course à la densité
Il fut un temps où tous les paramètres des chipsets CMOS évoluaient selon une loi exponentielle ou logarithmique selon les cas : leur densité, le nombre de transistors par chipsets, la vitesse d’horloge ou le prix par transistor.
La loi de Moore est censée s’appliquer à des solutions commercialement disponibles, et si possible, en volume. Or ce n’est pas toujours le cas. Ainsi, l’évolution de la puissance des supercalculateurs est mise en avant comme un progrès technique validant la loi de Moore. Or, ces calculateurs sont créés avec des moyens financiers quasiment illimités et n’existent qu’en un seul exemplaire, sou- vent réalisé pour de la recherche militaro-industrielle ou de grands projets de recherche fondamen- tale (aérospatial, génomique, météo).
Dans la plupart des cas, ces technologies “de luxe” sont intégrées dans des produits grand public quelques années après. Ainsi, la puissance des super-calculateurs des années 1990 s’est retrouvée dans les consoles de jeu des années 2000. Au lieu de faire des calculs en éléments finis pour des prévisions météo, les consoles de jeux calculent des millions de polygones pour simuler des images en 3D temps réel. Mais cette puissance n’est pas homothétique dans toutes les dimensions. Si la puissance de calcul est similaire, les capacités de stockage ne sont pas forcément les mêmes.
La densité des chipsets et leur nombre de transistors continue d’augmenter réguliè- rement (ci-contre) mais pas la fréquence d’horloge qui est au taquet aussi bien sur les laptops, desktops et serveurs. Pourquoi donc ? Pour ne pas faire fondre les chip- sets et sur les mobiles, pour limiter la consommation d’énergie ! On plafonne ainsi à 2 GHz sur mobile et 4 GHz sur desktops et serveurs, sauf à utiliser des systèmes de refroidissement coûteux. D’où le choix des architectures multi- cœurs pour paralléliser les traitements qui sont exploitées des serveurs aux mobiles en passant par les ordinateurs personnels. Par ailleurs, il existe une barrière assez méconnue, celle de Landauer, qui définit le niveau minimum d’énergie nécessaire pour gérer un transistor. Elle pourrait être atteinte d’ici 2035. Tout du moins, avec les architectures CMOS, mais pas avec celles de l’informatique quantique que nous verrons plus loin. Cette barrière est cependant contestée par certains physi- ciens.
Les principales technologies d’intégration des 10 dernières années sont les transistors tri-gate « FinFET ». Avec eux, la densité est meilleure et il y a moins de fuites de courant et une baisse de consommation électrique.
C’est encore mieux lorsque cette technologie est associée au FD-SOI issu du CEA-LETI, de Soitec et de STMicroelectronics, qui ajoute une couche d’isolant en oxyde de silicium (SiO2) sur les wa- fers de silicium et isole bien les transistors les uns des autres (voir le schéma ci-dessous).
Elle est notamment employée pour la fabrication de certains composants radio de l’iPhone ainsi que pour les chipsets neuromorphiques TrueNorth d’IBM. Le FD-SOI est aussi adopté sous licence par Samsung en 28 nm ainsi que par Global Foundries.
De plus, le multi-patterning218
permet d’affiner le dessin des transistors mais il coute cher car il ajoute de nombreuses étapes à la fabrication des chipsets et peut augmenter le taux de rebus. La gravure en EUV (Extreme Ultra Violet) permet d’avoir des dessins plus nets et donc d’éviter ce multi-patterning. La course à la densité est sur- prenante. Il y a une dizaine d’années, les spécialistes consi- déraient qu’il n’y avait point de salut en-dessous de 20 nm219.
Même si, dans Downsizing of transistors towards its Limit, Hiroshi Iwai du Tokyo Institute of Technology (79 slides) décri- vait ces limites avec précision en 2009 (ci-contre), la limite ultime étant la taille d’un atome de silicium220. Or les premiers
chipsets en technologie 7 nm commencent à être fabriqués chez Samsung221 et TSMC pour
les Qualcomm Snapdragon 855
et les Kirin 980 de
Huawei/HiSilicon.
218 J’explique le principe du multi-patterning dans A la découverte de la “fab” chez STMicroelectronics : 2, décembre 2014. 219 En voici un exemple avec Why is CMOS scaling coming to an END ? de Nor Zaidi Haron et Said Hamdioui, 2006 (6 pages). 220 L’excellent dossier After Moore’s Law, paru dans The Economist en mars 2016, détaillait bien la question en expliquant pour- quoi la loi de Moore des transistors CMOS pourrait s’arrêter en une douzaine d’année lorsque l’on descendra au niveau des 5 nm d’intégration.
221 Voir Samsung Foundry Roadmap: EUV-Based 7LPP for 2018, 3 nm Incoming de Anton Shilov, mai 2018.
double and triple patterning
avoids small lines overlaps but more process steps
trigate transistors
less leaks, power saving more complex steps
Et leurs roadmaps respectives descendent jusqu’au 3 nm d’ici une dizaine d’années ! A partir du 7 nm, la gravure en Extreme Ultra Violet deviendra indispensable du fait de sa meilleure résolution spatiale qu’elle procure.
Elle permettra au passage de limiter les étapes de patterning et de passer de plus de 100 à environ 80 masques222. Les ma-
chines d’ASML de gravure en EUV coutent environ $200M l’unité et il en faut environ 4 à 5 pour une unité de production classique 223! Cette montée en
flèche des coûts explique les montants exhorbitants à investir pour des fabs <10 nm, de plus de $15B
L’une des techniques étudiées pour faire croître la densité des transistors est celle des « Gate- all-around » et des nano-fils qui permettent d’améliorer l’inté- gration verticale des transis- tors 224 . Le CEA-LETI est
d’ailleurs en pointe sur le sujet avec sa technique CoolCube. La technologie ne semble pas en- core industrialisée.
On retrouve cette technologie avec d’autres (TFET, CNTFET, etc) dans la roadmap Innova- tions Enabling Semiconductor Roadmap du Taïwanais Chee Wee Liu, 2018 (45 slides). Les roadmaps présentées descendent même à 2 nm d’ici 2024 grâce à l’emploi de ces transistors en- core plus denses et intégrés ver- ticalement. Pour mémoire, 1 nm = 10 atomes de silicium.
222 Voir The Impact of EUV on the Semiconductor Supply Chain, 2018 (19 slides).
223 Voir la description de la technologie et de la roadmap d’ASML dans Enabling Semiconductor Innovation and Growth - EUV
lithography drives Moore’s law well into the next decade, 2018 (37 slides).
224 Le schéma est issu de la présentation From Gate-all-around MOSFETS based on vertical stacked horizontal Nanowires de Hans Mertens, 2017 (78 slides).
Elle est aussi présente dans la roadmap du fondeur Taïwainais TSMC pour l’après 2 nm ! Ils voient bien loin ! Dans Perfor- mance and Design Considera- tions for Gate-All-around Stacked-NanoWires FETs, 2017 (47 slides) d’où est issu le slide
ci-contre. TSMC fabrique no-
tamment les chipsets d’Apple, Qualcomm et Nvidia
D’autres techniques sont envi- sagées à plus long terme comme des nanotubes de carbone comme chez Nantero225 avec sa
NRAM au standard DDR4 et proposée sous licence.
Le schéma ci-contre est issu de
How far can we push Si CMOS What lies beyond de Krishna Saraswat, Stanford University (27 slides).
En-dessous de 2 nm, il faudra commencer à faire une croix sur la loi de Moore. Ou pas… !
Les architectures multi-cœurs atteignent de leur côté leurs limites car les systèmes d’exploitation et les applications sont difficiles à ventiler automatiquement sur un nombre élevé de cœurs, au-delà de 4.
Du côté de la vitesse d’horloge, des pistes sont ex- plorées avec du graphène. IBM avait annoncé en 2011 avoir produit des transistors au graphène ca- pables d’atteindre une fréquence de 155 GHz, et en gravure à 40 nm. Depuis, c’est le calme plat. Une performance en laboratoire d’aboutit pas toujours à de l’industrialisation ! Cela peut-être lié à une diffi- culté à fabriquer le composant avec un taux de défaut raisonnable.
Les laboratoires qui planchent sur le graphène depuis une dizaine d’année ont bien du mal à le mettre en œuvre en contournant ses écueils et à le fabriquer à un coût raisonnable. Il faudra encore patienter un peu de ce côté-là même si cela semble très prometteur et avec des débouchés dans tous les domaines et pas seulement dans l’IA.
Alors, la loi de Moore est foutue ? Pas si vite ! Elle avance par hoquets et il reste encore beaucoup de mou sous la pédale pour faire avancer la puissance du matériel. Mais tout ce que nous venons de voir concerne principalement que la densité des processeurs. C’est loin d’être suffisant pour accélé- rer les logiciels de l’IA !
GPU
Les GPU constituent la solution matérielle la plus largement déployée pour accélérer les ré- seaux de neurones et le deep learning.
Ce sont eux qui ont rendu pos- sible le deep learning, notam-