Report
Reference
Biais de genre dans l'intelligence artificielle
COLLET, Isabelle & Laboratoire de l'égalité
COLLET, Isabelle & Laboratoire de l'égalité. Biais de genre dans l'intelligence artificielle . Laboratoire de l'égalité, 2018
Available at:
http://archive-ouverte.unige.ch/unige:114373
Disclaimer: layout of this document may differ from the published version.
1 / 1
Les biais de genre dans l’intelligence artificielle Isabelle Collet pour le Laboratoire de l’égalité
L’intelligence artificielle regroupe un vaste ensemble de recherches et applications informatiques : apprentissage automatique (machine learning), vision par ordinateur, représentation de la connaissance, traitement du langage, aide à la décision... Ces technologies se retrouvent dans les produits de tous les jours : navigation par GPS, traduction automatique, reconnaissance des visages, assistant·es virtuel·les, sites de rencontre, recherche d’information sur Internet…
L’agitation autour de robots intelligents et malveillants qui chercheraient à détruire leur créateur est une panique peu rationnelle qui occulte les vrais points de vigilance en matière d’intelligence artificielle. Certains de ces risques sont directement en lien avec les problématiques défendues par le Laboratoire de l’Égalité.
Apprentissage culturel donc apprentissage des stéréotypes sexistes, racistes et homophobes
Le premier de ces risques tient à la manière dont ces dispositifs apprennent. Les algorithmes qui travaillent sur le langage sont alimentés par des milliards de données (textes, images, vidéos...) imprégnées de nos cultures.
Quand un système devient suffisamment expert pour simuler une conversation et produire un langage qui semble naturel, il s’appuie sur les idées communément admises dans la société à laquelle il s’adresse. C’est sans surprise qu’il reproduit des représentations culturelles historiques éthiquement discutables. Ainsi, non seulement les entités virtuelles d’assistance aux usagers sont en général féminines, en miroir d’un métier le plus souvent dévolu aux femmes. Mais en plus, comme elles utilisent en référence des modèles conversationnels courants, ces assistantes virtuelles répondent par la passivité ou de manière positive à des propos de l’ordre du harcèlement sexuel ou de l’insulte sexiste.
Le laboratoire de l’égalité s’inquiète de la diffusion et de la banalisation, via des algorithmes d’IA, de représentations sexistes, racistes et homophobes,.
Discrimination dans l’aide à la décision
Le deuxième risque apparaît au moment où l’intelligence artificielle est utilisée pour la prise de décision. Quand on utilise la technique du « machine learning », on s’appuie sur des bases de données créées par des humains à partir desquelles la machine doit émettre des préconisations. Or, et pour ne citer que quelques domaines où l’aide à la décision par IA peut s’appliquer, ce que la machine va apprendre, c’est :
• à CV équivalents, les hommes sont mieux payés que les femmes,
• à dossiers équivalents, les prêts sont plus volontiers accordés aux projets d’entreprise portés par des hommes que par des femmes,
• à carrières équivalentes, les hommes sont plus souvent promus ou sollicités pour siéger dans des lieux d’influence que les femmes
• à bulletins scolaires équivalents, les garçons de milieux favorisés sont plus facilement orientés en école d’ingénieur que les filles
• en cas de viol, le crime est généralement requalifié en agression sexuelle
Le Laboratoire de l’égalité s’interroge sur l’automatisation de procédures qui, en déresponsabilisant les individus, amplifieraient les discriminations sous couvert d’une neutralité informatique.
Un univers créé par une population de scientifiques trop peu diversifiées
Alors que l’informatique était une discipline plutôt mixte dans les années 70-80, jusqu’à atteindre la parité dans certaines filières de formation, la part des hommes a augmenté progressivement au point de dépasser maintenant 80%.
D’une manière générale, la grande homogénéité de la population des développeurs d’algorithmes d’IA (des hommes blancs issus des grandes écoles) risque de faire disparaître les besoins, envies et caractéristiques des autres populations.
Les assistant·es virtuel·es en sont un exemple : la plupart des entités féminines virtuelles sont sexy dans le regard d’un homme blanc hétérosexuel.
Le Laboratoire de l’égalité refuse de voir perdurer une représentation du monde univoque, directement induite par des processus qui sont la conséquence d’inégalités scolaires et professionnelles.
Des mesures urgentes
Puisqu’une IA sans contrôle n’est rien d’autre que le miroir de nos propres préjugés, il est urgent de prendre des mesures pour des IA éthiques et égalitaires :
• Un « droit à l’explication », sur lequel travaille actuellement l’Union européenne : les entreprises utilisant les algorithmes d’aide à la prise de décision doivent être capables d’expliquer les décisions prises, y compris dans le cas où du « deep learning » (au fonctionnement opaque) est utilisé.
• Un contrôle du contenu conversationnel produit, en particulier : une résistance au harcèlement sexuel, un bannissement des propos manifestement discriminatoires chez les assistant·es virtuel·les.
• Une réflexion sérieuse sur les données fournies en amont du « machine learning » avec la volonté de produire des IA capables de prendre des décisions avec l’égalité comme critère.
• Une réelle diversité du personnel dans les métiers du numérique, autant aux postes techniques que décisionnels
• Une intensification de la lutte contre le sexisme dans le monde du numérique afin de délégitimer une minorité qui s’autorise des pratiques sexistes et homophobes au nom d’une soi-disant culture geek.
