Le biais des algorithmes est souvent évoqué car il peut affecter les résultats des traitements de ma- chine learning et de deep learning. Mais le biais le plus fort est celui des données qui les alimen- tent202.
Deux anecdotes l’illustrent parfaitement : chez Facebook, les femmes ingénieures de couleur se sont rendu compte en 2016 que les détecteurs de main dans les distributeurs de savon dans les WC ne fonctionnaient pas avec elles. Pour ces mêmes personnes, certains systèmes de reconnaissance de visages ne fonctionnent pas mieux. Pourquoi donc ?
Dans le premier cas, cela peut-être lié au capteur utilisé. Dans le second, c’est une histoire de don- nées d’entraînement qui ont alimenté le système de reconnaissance de visage. Le point commun : les créateurs de ces systèmes n’avaient pas de personnes de couleur dans leurs équipes techniques. D’où un biais dans le matériel, dans les logiciels et les données.
201 C’est un des objectifs du chercheur Stéphane Canu de l’INSA Rouen qui planche sur l’optimisation de gros modèles de vision artificiel et de traitement du langage. D’où le projet de recherché collaborative “Deep in France” lancé par différents laboratoires et financé par l’ANR.
202 Voir l’ouvrage de référence Weapons of Math Destruction
de Cathy O’Neil et cette vidéo d’une heure où elle résume son propos ainsi que son interview Les algorithmes exacerbent les inégalités, novembre 2018.
Dans la reconnaissance de visages, le biais vient de ce que les données comprenaient une proportion trop faible de visages de couleur. Et il semble que cela persiste dans les systèmes d’aujourd’hui se- lon une étude du MIT203.
Une IA doit donc être alimentée par des jeux de données d’entraînement qui sont les plus représen- tatives des usages à couvrir, et notamment en termes de diversité d’utilisateurs. Cela demande de l’empathie, cela exige pour les créateurs de ces solutions de sortir de leur cadre de vie habituel204.
En termes statistiques, cela veut dire que les données doivent avoir un fort écart type et une distribu- tion similaire à celle du marché visé205. Les données d’entraînement d’IA qui portent sur le fonc-
tionnement de machines doivent répondre aux mêmes exigences. Bref, pour faire du machine lear- ning, il faut conserver de solides notions de statistiques et probabilités et ne pas se faire embobiner par des promesses douteuses206.
En juillet 2018, l’assocation ACLU (American Civil Liberties Union) fit un test de croisement entre les 535 membres du Congrès US et 25 000 visages d’une base de criminels en open date avec le SDK Rekognition d’Amazon207. Le système reconnu 28 criminels de la base dans les 535 élus !
Amazon s’est défendu en mettant en avant la configuration utilisée qui tolérait 20% d’erreurs alors qu’ils recommandent à la police d’utiliser un seuil de 5%. On est ici dans un cas de biais de confi- guration d’algorithme plus que de données.
Ainsi, si on entraîne une IA à reconnaître le bruit de moteurs en panne, il faut disposer d’une base d’entraînement de bruits de moteurs représentative des divers types de pannes qui peuvent affecter les-dits moteurs. Sinon, certaines pannes ne seront pas détectées en amont de leur apparition.
Un autre biais peut affecter le machine learning lorsque celui-ci est affecté à la réalisation de prévi- sions: le biais des « données-rétroviseur ». En effet, les données du passé ne correspondent pas à l’avenir. Vous en êtes les témoins au quotidien lorsque vous planifiez un voyage dans un pays ou cherchez un produit donné, puis faite votre achat. Dans les jours et mois qui suivent, vous pourrez alors être bombardé de reciblage publicitaire sur ces mêmes pays et produits alors que vous n’en avez plus besoin. Tous les achats ne relèvent pas de « repeat business » !
203 Voir Study finds gender and skin-type bias in commercial artificial-intelligence systems, de Joy Buolamwini dans MIT News, février 2018 (video).
204 Voir Forget Killer Robots—Bias Is the Real AI Danger de John Giannandrea (Google), octobre 2017,
205 En juin 2018, IBM annonçait la diffusion à venir d’une base contenant un million de visages en open data, avec une bonne repré- sentation de la diversité. Elle serait cinq fois plus grande que la plus grande base ouverte actuelle. La base sera complétée d’une base encore mieux labellisée de 36 000 visages représentant de manière identique l’ensemble des ethnies, ages et genres. Voir
https://www.ibm.com/blogs/research/2018/06/ai-facial-analytics/.
206 L’illustration de potirons illustre de manière imagée ce besoin de diversité dans les données. Elle est extraite d’une présentation de Nikos Paragios lors de la conférence FranceIsAI d’octobre 2018 à Station F, à Paris.
On en a eu une autre belle démonstration avec cette prévision des résultats de la Coupe du Monde FIFA 2018208 réalisée en juin 2018 par Goldman Sachs. Elle anticipait une victoire du Brésil contre
l’Allemagne en finale et une défaite de la France contre le Brésil en demi-finale. Tout en indiquant que par essence, le football était un sport difficile à prédire. Alors, pourquoi donc faire des prévi- sions ? Qui se sont bien évidemment royalement plantées ! On pourrait même dire qu’il était statis- tiquement hautement probable que ces prévisions soient à côté de la plaque tant la théorie du chaos règne dans une telle compétition209.
Autre exemple connu, le cas de Google Flu qui tentait de prédire les épidémies de grippe en se ba- sant sur les recherches portant sur le sujet. Cela fonctionnait bien en moyenne mais l’outil a loupé l’épidémie de 2013, notamment aux USA. Même si l’outil n’utilisait probablement pas de deep learning, il est probable que si cela avait été le cas, il lui aurait été difficile de prédire l’épidémie210.
Une mésaventure du même type a été découverte chez Amazon dont le système d’assistance au recrutement avait tendance à défavoriser les femmes candidates car les données d’entraînement comportaient très peu de femmes, comme c’est le cas dans de nombreux métiers techniques. La sous-représentation statistique des femmes dans le modèle avait donc tendance à diminuer leurs chances d’être retenues comme candidates. Cela montre que si l’on souhaite que les IA ne perpé- tuent pas des situations existantes insatisfaisantes, il faut modifier les représentations statistiques des données d’entraînement pour aller vers un équilibre meilleur ou plus équitable selon les critères du moment211. Là encore, il s’agit d’éviter l’effet rétroviseur des données du passé.
Une entreprise qui dépendrait trop des données du passé pour prédire le futur est l’analogue d’un conducteur de véhicule dont le rétroviseur aurait la taille du pare brise. Le platane serait difficile à éviter dans ces conditions ! C’est bien évidemment métaphorique mais requiert de prendre des pré- cautions. Ce biais du rétroviseur est celui qui conduit les IA à être sexistes ou racistes, parce que les contenus utilisés pour l’entraîner reflètent le monde réel… qui l’est 212! Finalement, le défaut des
IAs est de trop refléter le monde existant et pas assez le monde souhaitable ! Et ce monde souhai- table ne peut être obtenu qu’en injectant un biais explicite dans le choix des données, pas une sorte de biais subi sans avoir réfléchi.
C’est une question autant politique que technique. Il en va de même pour des applications émi- nentes de l’IA que sont les agents vocaux, assez souvent féminins (Alexa, Cortana, …), les robots sexuels ou les armes robots. Ici, les données n’y sont pour rien. Il s’agit de choix sociologiques, marketing et politiques de leurs créateurs213.
Dans l’ouvrage Prediction Machines, Ajay Agrawal, Joshua Gans et Avi Goldfarb214 indiquent
ainsi que les entreprises devront faire preuve de discernement pour allouer des tâches de prévisions aux IAs ou aux humains.
Les biais d’incomplétude interviennent couramment dans le traitement du langage lorsque des ex- pressions sont interprétées mot à mot au lieu de l’être comme idiomatismes.
208 Voir Goldman Sachs used AI to simulate 1 million possible World Cup outcomes — and arrived at a clear winner, juin 2018. 209 Voir Coupe du Monde : le big data s'est encore spectaculairement raté dans ses prévisions, de Sylvain Rolland dans La Tribune, juillet 2018 qui fait état d’autres prévisions qui étaient tout autant à côté de la plaque que celle de Goldman Sachs.
210 Voir Deep Learning: Diminishing Returns? de Bernard Murphy, juillet 2018.
211 Voir Pourquoi il faut défendre Amazon et son algorithme de recrutement d’Aurélie Jean, dans le Point, octobre 2018. 212 Voir Les intelligences artificielles sont-elles sexistes ? Des spécialistes nous répondent de Mathilde Saliou, février 2018. 213 Voir AI has a gender problem. Here’s what to do about it, de Samir Saran et Madhulika Srikumar, avril 2018.
214 Cités dans The Economics Of Artificial Intelligence - How Cheaper Predictions Will Change The World dans Forbes en juillet 2018.
Une manière de visualiser cela est d’imaginer ce qu’un réseau de neurones génératif créérait comme image pour les expres- sions familières « mettre les pieds dans le plat » et « parler la langue de bois », ci-contre. Les méta- phores ne sont pas encore le fort de l’IA !
L’autre biais humain classique est de confondre corrélation et causalité. Les exemples abondent dans ce sens comme cette vague corrélation entre la consom- mation de chocolat dans un pays et son nombre de prix Nobel par habitant. Dans un tel cas, il existe au moins une demi-dizaine d’autres critères qui in- fluent ces deux paramètres. Le machine learning entraîné uniquement avec des données de consommation de chocolat et de prix Nobel n’y verra que du feu. Par contre, une analyse multiparamètres sera peut-être pertinente. Ici, c’est le choix de la structure des données analy- sées qui influera le résultat.