TITRE II – UN DÉVELOPPEMENT TECHNOLOGIQUE À ENCADRER
Section 3 La militarité des forces de maintien de l’ordre au service de la
La responsabilisation est sans aucun doute le point crucial de la mise en œuvre réussie d’une IA du maintien de l’ordre. S’il est techniquement envisageable d’automatiser complètement la chaîne de commandement, et par conséquent de confier le processus décisionnel à la machine, les avancées de l’intelligence artificielle ne pourront ni ne devront remplacer la responsabilité du décideur. Que celui-ci soit politique, opérationnel ou industriel, le décideur devra continuer d’assumer sa part de responsabilité dans la mise en œuvre des actions qu’il commande.
La première raison est que l’IA n’a pas pour vocation (et ne devra jamais avoir) à remplacer l’humain, mais le suppléer dans la réalisation de tâches complexes. C’est donc un outil d’optimisation qui contracte les coûts temporels, humains et matériels de l’analyse en vue d’une prise de décision accélérée. En cela, l’humain trouve sa place « dans » la boucle décisionnelle, ou « sur » celle-ci : il confronte son analyse et son expérience à celle de la machine afin
d’argumenter la décision qu’il prendra. On entre, au plus, dans une automatisation de l’analyse qui ne doit en rien déposséder le chef de sa responsabilité opérationnelle.
La seconde raison est qu’il est difficilement envisageable que l’IA mette en œuvre elle-même les actions qu’elle préconise. Si cette hypothèse, qui correspond à l’image de l’humain « hors » de la boucle décisionnelle, est tout à fait envisageable pour des systèmes d’arme dans le domaine militaire qui déciderait d’elles-mêmes de la légitimité de faire feu, et de la légitimité ou non de la cible ; ou pour des robots-chirurgiens qui décideraient seuls des parties du corps à opérer et selon quelles modalités. Pour ce qui est des opérations de maintien de l’ordre, il est une réalité pratique qui est celle des personnels de la gendarmerie et de la police nationale, qu’aucune machine ne peut encore remplacer. Maintenir l’ordre en manifestation est une activité qui nécessite une exécution humaine, et qui place chacun des membres des forces de l’ordre dans une réflexion sur le sens de son action, sa légalité et sa légitimité. Il y a par conséquent un obstacle matériel à autonomisation totale de l’IA en manifestation.
Corollaire de cette raison, il n’est pas question de donner une personnalité juridique « robot ». Cette proposition, avancée notamment par l’avocat Alain Bensoussan97, vise à doter
l’algorithme d’une personnalité donc d’une responsabilité juridique. En substance, ne sachant pas où la rechercher (auprès du constructeur ? de l’inventeur ? de l’ingénieur ? du vendeur ?), les actes dommageables que commettrait un robot lui seraient imputés. Par-delà les doutes sur la catharsis que représente la justiciabilité de l’être humain pour les victimes, c’est surtout à la déresponsabilisation de ceux qui commanderait une action que conduirait un tel subterfuge juridique.
Oui, la responsabilisation doit être au cœur de la réflexion éthique et du développement de toute intelligence artificielle. Et cette responsabilisation devra concerner chacun à son niveau (représentant de l’État sur le territoire local, autorité habilitée par celui-ci, commandant de la force publique, gendarme mobile et CRS déployés).
Cette nécessité de ne pas déléguer complètement la chaîne décisionnelle à l’IA trouve aussi une explication technique. Dès lors que l’intelligence artificielle est probabiliste et donc potentiellement soumise aux biais, il est nécessaire d’avoir un « coupe-circuit » humain qui connaît l’algorithme et ses limites, et qui va engager sa responsabilité professionnelle sur les décisions que lui va prendre.
Il est par conséquent nécessaire d’apprendre à se servir de ces outils, mais aussi d’apprendre à ne pas s’en servir car il faut en maîtriser sa dépendance. Le risque, humain, est d’accorder une confiance sans cesse plus grande et aveugle à des systèmes que l’on considère bien moins infaillibles que l’être humain. Aucun processus formel ne garantit que les données et algorithmes ainsi développés soient les bons pour l’objectif assigné. D’un point de vue logique, on ne peut considérer qu’un programme est correctement produit du seul fait des bonnes réponses qu’il apporte : ce serait ignorer qu’il puisse par la suite commettre des erreurs d’appréciation des situations. Et en l’état actuel des choses, rien ne permet de tester la validité des modèles d’IA.
Il s’agit donc de placer l’individu au cœur de la technologie : un individu éclairé, entraîné et responsable. À cet égard, la militarité des forces de maintien de l’ordre est un atout de taille dans la responsabilisation des individus.
En effet, cette militarité – qui tient notamment de sa structure pyramidale – donne une clarté certaine à la chaîne décisionnelle et de commandement. Chaque personnel a une place propre, qui procède d’un supérieur, et dispose de moyens humains et matériels sur lesquels il peut compter pour la réalisation de sa mission particulière. Toute opération est décomposée en une succession de missions intermédiaires qui responsabilisent l’ensemble des personnels pour la part qu’ils doivent accomplir. Cette responsabilité individuelle est un devoir, assumée en vertu de l’obéissance, mais elle ne doit pas être aveugle. Aussi, la théorie des baïonnettes intelligentes est un leitmotiv qui doit interroger tout membre des forces de l’ordre sur son obligation de refuser l’ordre manifestement illégal. Si consécutivement à un biais technique, l’intelligence artificielle en arrivait à proposer un tel ordre, le conditionnement moral et légal des personnels de la gendarmerie et de la police nationale devrait facilement s’imposer.
Cette responsabilisation individuelle a également sa réciproque. Dans toute chaîne de commandement, la défaillance d’un maillon est bien souvent portée par l’ensemble. Le résultat d’une application irréfléchie de l’IA qui conduirait à un dommage, matériel ou physique, mettrait donc en cause directement la responsabilité de l’ensemble de la chaîne de commandement, et à son sommet, l’autorité politique. L’intégration d’une intelligence artificielle du maintien de l’ordre est donc une question bien plus large qu’une seule problématique de mise en œuvre opérationnelle.
CONCLUSION GÉNÉRALE
L’intelligence artificielle se révèle donc comme un potentiel et formidable démultiplicateur de l’action des forces de l’ordre en matière de maintien de l’ordre. Elle se propose de valoriser l’immensité des données et l’expérience acquises par les forces de l’ordre afin d’améliorer la gestion de ces opérations complexes. Si le cadre juridique semble à l’heure actuelle encore insuffisamment solide au regard des enjeux en matière de libertés publiques, il offre néanmoins la possibilité pour les entrepreneurs en intelligence artificielle de mener des expérimentations sous le contrôle de la CNIL.
La réflexion éthique sur les caractéristiques du produit final doit se poursuivre et inclure l’ensemble des intéressés (développeurs, utilisateurs, autorités de contrôle, magistrats, citoyens) dans des structures communes. Cette réflexion se doit également d’être opérationnelle, en vue d’articuler la relation entre la machine et le décideur dans le processus de construction des ordres.
On aurait tort de vouloir tout déléguer à l’intelligence artificielle, même si les promesses sont grandes. Le système peut être faillible et les répercussions en termes de libertés sont trop importantes pour passer outre. Il y a fort à parier que tôt ou tard il y a aura un recours massif aux solutions d’intelligence artificielle dans les opérations de maintien de l’ordre. Il faut donc que les pouvoirs publics se saisissent rapidement de cette question, afin de dessiner les contours de ce qu’il est légitime ou non de développer.
Si dans d’autres domaines régaliens, beaucoup d’initiés appellent à ne pas « céder aux sirènes
des industriels »98, c’est que la technique permet de repousser sans cesse les limites du possible.
Mais là où sont en jeu la liberté et la sécurité, il faut questionner les attentes réelles de la société, et l’inclinaison de celle-ci à un côté plus qu’à un autre de la balance. Le législateur doit par conséquent rapidement s’intéresser aux applications de l’IA en manifestation, que cela soit pour encadrer ou pour interdire.
Cette implication des pouvoirs publics est d’autant plus pressante que les développements vont bon train ; et qu’en l’absence de régulation, le premier à proposer dirige les comportements de
98 La Quadrature du net alerte l’opinion publique sur la nécessité de réglementer l’usage de certaines applications, comme la reconnaissance faciale, à des interfaces numériques du service public (telles qu’Alicem). Elle donne l’exemple de villes situées dans des pays démocratiques étrangers qui ont refusé de mettre en œuvre ces solutions pour leurs services publics.
https://www.marianne.net/societe/lancement-de-la-reconnaissance-faciale-en-france-mais-qu-allons-nous-faire- dans-cette-galere
ceux qui suivent. Il existe donc un impératif démocratique à l’émergence d’une position nationale claire. Trois enjeux sont à surveiller particulièrement :
- le maintien d’une souveraineté, au moins européenne fondée sur des valeurs communes ; - la puissance du privé, propriétaire en quantité de ressources essentielles à l’IA que sont les
données ;
- le couplage des technologies et des capacités entre elles, qui conduit à une surveillance de masse dépassant largement le simple cadre du maintien de l’ordre en manifestation.
Tout le monde a donc intérêt à discuter des conditions dans lesquelles déployer cette solution d’aide à la décision opérationnelle, car il faut bien qu’elle en reste là. Le défi qui s’annonce majeur est celui de la synthèse entre les volontés politiques et les capacités techniques, celui de parvenir à coder l’éthique par conception.
Pour l’avocat Alain Bensoussan, l’intégration des nouvelles technologies dans le quotidien des citoyens est une formidable opportunité pour la matière juridique. Le droit doit ainsi être considéré comme un élément d’expression de l’innovation, plutôt qu’un élément de son étranglement. Il faudra pourtant s’assurer que cette innovation ne se fasse pas au détriment des libertés individuelles et collectives.
Le vrai problème est celui de l’acceptabilité de la technologie, quand bien même l’humain reste dans la boucle. Il faut du temps pour gagner la confiance des citoyens. Mais c’est à ce prix, celui du consensus, celui de l’État de droit, que l’on respecte la démocratie. Cette acceptabilité par les citoyens passera en outre par l’efficacité des expérimentations qui sont et seront menées. Là se tient peut-être un des leviers d’avenir pour le rapprochement des forces de police avec la population.
TABLE DES ANNEXES
ANNEXE I : Dessin de presse
ANNEXE II : Schéma de distinction entre système expert et apprentissage automatique
ANNEXE III : Carte des possibilités d’apprentissage machine
ANNEXE IV : Le principe de gradation dans l’emploi de la force
ANNEXE I
ANNEXE II
Source : Patrick TOURON, « L’impact de l’intelligence artificielle dans la conduite de l’enquête judiciaire », Cahiers de la sécurité et de la justice, mars 2020, n°47, p. 64
ANNEXE III
Source : Patrick TOURON, « L’impact de l’intelligence artificielle dans la conduite de l’enquête judiciaire », Cahiers de la sécurité et de la justice, mars 2020, n°47, p. 65
ANNEXE V
Illustration du procédé « exemples contradictoires » en apprentissage-machine. Les études montrent qu’en ajoutant une perturbation imperceptible, mais soigneusement préparée, une attaque peut mener avec succès le modèle d’apprentissage-machine à faire une mauvaise prédiction. De telles attaques ont été réalisées sur de l’analyse d’image par ordinateur, et sur de la reconnaissance vocale.
Source : Yuan GONG et Christian POELLABAUER, « An overview of vulnerabilities of voice controlled systems », First international workshop on security and privacy for the Internet-of-
BIBLIOGRAPHIE
Textes juridiques Constitution, 1958
Convention européenne de sauvegarde des droits et l’Homme et des libertés fondamentales, 1950
Traité sur l’Union européenne, 1992 Code pénal
Code de la sécurité intérieure
Règlement (UE) 216-679 du Parlement européen et du Conseil du 27 avril 2016, relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données
Directive (UE) 2016/680 du Parlement européen et du Conseil du 27 avril 2016
Décret-loi (abrogé) du 23 octobre 1935 portant réglementation des mesures relatives au renforcement du maintien de l’ordre public
Loi n°78-17 du 06 janvier 1978
Loi n°95-73 du 21 janvier 1995 (modifiée) d’orientation et de programmation relative à la sécurité
Décret n°2013-728 du 12 août 2013 portant organisation de l’administration centrale du ministère de l’intérieur et du ministère des outre-mer
Jurisprudence
Conseil constitutionnel, décision n°80-127 DC du 20 janvier 1981, Loi renforçant la sécurité
et protégeant la liberté des personnes, cons. 56
Conseil constitutionnel, décision n°82-141 DC du 27 juillet 1982, Loi sur la communication
audiovisuelle
Conseil constitutionnel, décision n°85-187 DC du 25 janvier 1985, Loi relative à l’état
d’urgence en Nouvelle-Calédonie et dépendances
Conseil constitutionnel, décision n°94-352 DC du 18 janvier 1995, Loi d’orientation et de
programmation relative à la sécurité
Conseil constitutionnel, décision n°2010-613 DC du 07 octobre 2010, Loi interdisant la
dissimulation du visage dans l’espace public
Conseil constitutionnel, décision n°2018-765 DC du 12 juin 2018, Loi relative à la protection
des données personnelles
Conseil constitutionnel, décision n°2019-780 DC du 04 avril 2019, Loi visant à renforcer et
Conseil d’État, 28 mai 1971, Ville nouvelle Est
Conseil d’État, ass., 27 octobre 1995, Commune de Morsang-sur-Orge, 136727 Conseil d’État, ord., 18 mai 2020, Ligue des droits de l’Homme et autres Cass., 1ère civ., 06 octobre 2011, pourvois n°10-21822 et 10-21823
Cour de cassation, chambre criminelle, 09 février 2016, 14-82.234, bull.
Tribunal des conflits, 17 juin 2013, M. Bergoend c/ Société ERDF Annecy Léman
Rapports d’autorités publiques et projets de lois
M. Pascal POPELIN, « Rapport d’enquête sur les missions et modalités du maintien de l’ordre républicain dans un contexte de respect des libertés publiques et du droit de manifestation », XIVème législature, 21 mai 2015, n°2794
Cédric Villani, Donner un sens à l’intelligence artificielle : pour une stratégie nationale et
européenne, 2018
Rapport législatif du Sénat, Proposition de loi visant à interdire l’usage des lanceurs de balles de défense dans le cadre du maintien de l’ordre et à engager une réflexion sur les stratégies de désescalade et les alternative pacifiques possible à l’emploie de la force publique dans ce cadre, 20 février 2019
Rapport du Défenseur des droits, « Le maintien de l’ordre au regard des règles de déontologie », déc. 2017
Stratégie nationale de recherche en intelligence artificielle, 2018
Livre blanc sur l’intelligence artificielle : une approche européenne sur l’excellence et la confiance
Rapport de la CNIL, Commet permettre à l’homme de garder la main ?, 2017
Ouvrages généraux
Jacques BAUD, La guerre asymétrique ou la défaite du vainqueur, Éditions du Rocher, 2003, p. 110-114
Alain BENSOUSSAN, Jérémy Bensoussan, IA, robots et droit, Larcier, 2019
Fabien CARDONI, La garde républicaine d’une République à l’autre (1848-1871), PUR, 2008 Dominique ROUSSEAU, Pierre-Yves GAHDOUN, Julien BONNET, Droit du contentieux
constitutionnel, Montchrestien, 11è éd., 2016
Eric SADIN, L’intelligence artificielle ou l’enjeu du siècle, anatomie d’un antihumanisme
radical, L’échappée, 2018
Périodiques et revues spécialisées
Cédric ABRIAT, « L’intelligence artificielle, nouvel indicateur de puissance ? », Défense et
sécurité internationale, juillet-août 2019
Frank AUTRE, Kunal ARYA, Ryan BABBUSH, « Quantum supremacy using a programmable superconducting processor », Nature, n°574, 2019Étienne PICARD, JCP G, 1995, I. 155 Egon BITTNER, « Florence Nightingale à la poursuite de Willie Sutton. Regards théoriques sur la police, Déviance et Société, vol. 25, n°3, 2001
Jean-Paul BRODEUR, « Le travail d’Egon Bittner, une introduction à la sociologie de la force institutionnalisée », Déviance et Société, vol. 25, n°3, 2001
Marc de FRITSCH, Ariane BITOUN, « Commander avec l’IA, une aide à la conception et à l’évaluation des modes d’action », RDN, n°820, 2019
Rémy HÉMEZ, « Tactique : le devoir d’imagination », RDN, n°704, 2008
Tony JEFFERSON, The case against paramilitary policing, Open university press, 1990 Fabien JOBARD, « La militarisation du maintien de l’ordre, entre sociologie et histoire »,
Déviance et Société, vol. 32, n°1, 2008
Dominique LAMBERT, « Éthique et autonomie : la place irréductible de l’humain », RDN, n°820, 2019
Jacques de MAILLARD, « Relations police-population », DéfiS, n°9, décembre 2018
Philippe MASSONI, « Défense des libertés et ordre public à Paris », Administration, 1996, n°173
Nicolas MAZZUCCHI, « Intelligence artificielle et industrie de défense, le grand défi », R.D.N., n°820, 2019
Cathy O’NEILL, Weapons of math destruction : how big data increases inequality and
threatens democracy, Broadway Books, 2017
Judea PEARL et Dana MACKENZIE, The book of why : the new science of cause and effect, Basic Books, 2018
Peter WADDINGTON, « Toward paramilitarism ? Dilemnas in the policing public order »,
British Journal of Criminology, 1987
Actes de colloques, enseignements et travaux universitaires
Olivier LE BOT, « La liberté de manifestation en France : un droit fondamental sur la sellette ? », La liberté de manifester et ses limites : perspective de droit comparé, Actes du colloque des 18 et 19 mars 2016
Florian POULET, Cours de politiques de sécurité publique, Master 2 Sécurité et défense, 2019- 2020
Articles de presse et communications officielles
Florence PARLY, Discours « Intelligence artificielle et défense », ministre des Armées, Saclay, 05 avril 2019
Cédric O, « Expérimenter la reconnaissance faciale est nécessaire pour que nos industriels progressent », Le Monde, 14/10/2019
Henri VERDIER, « La transformation de l’État doit surtout être organisationnelle et managériale », Les Échos, 22/07/2019
Général Marc WATIN-AUGOUARD, « Sauvegardons la militarité de la gendarmerie », Le
Journal du Dimanche, 08 juin 2019
« La somme exorbitante des dégradations causées par les Gilets jaunes », Capital, 19/03/2019 « L’État vend aussi vos données », Le Parisien, 19/05/2015 (http://www.leparisien.fr/week- end/l-etat-aussi-vend-vos-donnees-19-05-2015-4784563.php) https://www.elysee.fr/emmanuel-macron/2018/03/29/discours-du-president-de-la-republique- sur-lintelligence-artificielle https://www.sciencesetavenir.fr/high-tech/intelligence-artificielle/emmanuel-macron- annonce-le-budget-alloue-pour-le-plan-intelligence-artificielle-de-la-france_122578 https://www.usinenouvelle.com/editorial/emmanuel-macron-annonce-la-creation-de-deux- centres-d-expertise-en-ia-a-paris-et-montreal.N899464 https://www.lefigaro.fr/flash-eco/tracking-le-gouvernement-veut-garder-la-maitrise-du- developpement-face-a-google-et-apple-20200415 https://www.lesechos.fr/tech-medias/intelligence-artificielle/macron-appelle-a-une-strategie europeenne-de-lintelligence-artificielle-1144356 https://www.lesechos.fr/industrie-services/air-defense/big-data-faute-de-solution-francaise- les-services-secrets-signe-a-nouveau-avec-palantir-1151255 https://www.lesechos.fr/tech-medias/intelligence-artificielle/intelligence-artificielle-bruxelles- promet-un-encadrement-bien-reel-1173157 https://www.marianne.net/societe/lancement-de-la-reconnaissance-faciale-en-france-mais-qu- allons-nous-faire-dans-cette-galere http://www.leparisien.fr/video/video-macron-j-attends-de-nos-policiers-la-plus-grande- deontologie-14-01-2020-8235834.php http://www.leparisien.fr/faits-divers/des-robots-testes-a-la-place-des-juges-dans-les-cours-d- appel-de-rennes-et-douai-30-10-2017-7362198.php https://toulouse.latribune.fr/entreprises/business/2015-02-02/espionnage-industriel-et-secret- des-affaires-les-pme-francaises-sont-elles-en-danger.html https://www.ledauphine.com/france-monde/2017/10/08/notre-capacite-d-attention-plus-faible- que-celle-du-poisson-rouge https://www.futura-sciences.com/tech/questions-reponses/intelligence-artificielle-intelligence- artificielle-six-usages-quotidien-11341/ https://www.leslivresblancs.fr/dossier/ia-lintelligence-artificielle-ou-en-sommes-nous
https://www.bpifrance.fr/A-la-une/Dossiers/L-intelligence-artificielle-est-synonyme-de- rentabilite-accrue-pour-les-entreprises https://interstices.info/marvin-minsky-un-pere-visionnaire-de-lintelligence-artificielle/ https://www.zdnet.fr/actualites/l-europe-devoile-sa-grande-strategie-en-matiere-d- intelligence-artificielle-39899357.htm https://lessor.org/a-la-une/lintelligence-artificielle-au-secours-du-maintien-de-lordre/ Sources diverses, sites institutionnels
Joseph HENROTIN, « Les promesses de l’intelligence artificielle », Le Collimateur, IRSEM, 09/04/2019
Pierre MAZEAUD, Libertés et ordre public, site Internet du Conseil constitutionnel, 2003 La République des lettres, republique-des-lettres.fr/190-paul-virilio.php
Publications du Centre de recherche de l’EOGN
https://erewerra2.files.wordpress.com/2018/07/plan-stratc3a9gique-de-la-recherche-et-de- linnovation-1.pdf https://thispersondoesnotexist.com/ https://www.interieur.gouv.fr/Archives/Archives-des-actualites/2018-Actualites/Naissance- du-CSIA https://www.gendarmerie.interieur.gouv.fr/crgn/Publications/Notes-du-CREOGN
TABLE DES MATIÈRES
RÉSUMÉ / ABSTRACT………5
TABLE DES ABRÉVIATIONS………..6
SOMMAIRE………..7
INTRODUCTION GÉNÉRALE……….…………8