— 1 —

La séance est ouverte à neuf heures trente.

Mme la présidente Françoise Dumas. Chers collègues, nous sommes réunis ce matin pour procéder à l’examen des conclusions de la mission d’information sur les systèmes d’armes létaux autonomes, les SALA, avec comme co-rapporteurs Fabien Gouttefarde et Claude de Ganay, une mission, vous vous en souvenez sans doute, créée à l’automne 2019.

L’émergence de « robots tueurs » suscite nombre de peurs et fantasmes dans la société, ce qui a conduit la ministre des Armées à déclarer, à l’occasion de son discours sur l’intelligence artificielle de défense, en avril 2019, que « Terminator ne défilera pas sur les Champs-Élysées le 14 juillet. »

Aujourd’hui, nous comptons donc sur nos rapporteurs pour nous éclairer sur cette question épineuse, aux confins des développements de l’intelligence artificielle de défense, nous aider à faire la distinction entre le mythe et la réalité et nous en présenter les enjeux éthiques et juridiques.

Avant de leur laisser la parole, je tiens à les remercier d’avoir réussi à présenter leurs conclusions avant l’été, alors que leurs travaux ont été perturbés par les mesures de confinement mises en place pour endiguer la propagation de l’épidémie de COVID-19.

Sans plus tarder, je laisse la parole à Fabien Gouttefarde.

M. Fabien Gouttefarde, co-rapporteur. Madame la présidente, chers collègues, nous devons d’abord vous avouer que lorsque nous avons débuté nos travaux, Claude de Ganay et moi avons parfois été confrontés à un certain scepticisme de la part de plusieurs de nos interlocuteurs : au fond, nous disaient-ils, pourquoi travailler sur un objet – les systèmes d’armes létaux autonomes – inexistant à ce jour, et qui pourrait ne jamais voir le jour ?

Dans le même temps, faisant preuve d’un enthousiasme diamétralement contraire, d’autres relevaient l’importance de se pencher sur cette question, les SALA étant considérés par certains comme la marque d’une troisième révolution dans l’histoire des systèmes d’armes, après l’invention de la poudre à canon et celle de l’arme atomique.

Loin de nous déconcerter, cette contradiction a, au contraire, conforté notre envie de creuser davantage le sujet. D’ailleurs, plusieurs raisons justifient, selon nous, que la représentation nationale s’intéresse à la question.

M. Claude de Ganay, co-rapporteur. Premièrement, nous ne pouvons ignorer les inquiétudes d’une partie de la société quant au renforcement de la robotisation du champ de bataille, cristallisées autour de la question des « robots tueurs ».

Deuxièmement, si l’image des « robots-tueurs », façon Terminator, est sensationnaliste et médiatique, elle nourrit nombre de fantasmes et de craintes irrationnelles. Pourtant, le débat mérite une approche aussi objective et rationnelle que possible.

Troisièmement, le renforcement de l’autonomie des systèmes d’armes, permis par les spectaculaires progrès en intelligence artificielle réalisés ces dernières années, interroge notre rapport à la guerre et, ce faisant, les grands principes du droit international des conflits.

Quatrièmement, des discussions internationales se tiennent à Genève depuis sept ans sur les SALA, presque dans l’indifférence générale, alors que la France y joue un rôle moteur et a remporté de notables succès diplomatiques.

Cinquièmement, enfin, la recherche de « toujours-plus-d’autonomie » fait l’objet d’une nouvelle course aux armements, à même de recomposer le paysage stratégique, et la France et l’Europe ne doivent pas rester en dehors de cette nouvelle bataille. Nous reviendrons en détail sur chacun de ces points, qui constituent la trame de notre rapport.

M. Fabien Gouttefarde, co-rapporteur. Pour mener à bien nos travaux, nous avons entendu les principaux acteurs institutionnels français et internationaux engagés dans le cadre des négociations internationales sur les SALA, mais également des chercheurs en sciences humaines et en robotique, des représentants des états-majors et des acteurs industriels, des juristes, des philosophes, des ingénieurs et des représentants des grandes organisations non gouvernementales internationales.

Ce regard panoptique nous semblait nécessaire pour aborder un sujet qui touche, en fait, à l’humanisme et à la place de l’homme face à la machine.

M. Claude de Ganay, co-rapporteur. Nous nous sommes également rendus à Washington, afin d’échanger avec des représentants du Pentagone et du Département d’État, mais également nos homologues, ainsi que des chercheurs et les responsables de la campagne internationale « To Stop Killer Robots ».

À Bruxelles, nous avons notamment rencontré les équipes de Josep Borrell, et si le confinement a eu raison de notre projet de déplacement à Genève, nous avons quand même auditionné, en visioconférence, notre ambassadeur auprès de la Conférence du désarmement et les représentants du Comité international de la Croix Rouge, gardien du temple du droit international humanitaire : le DIH.

Ce large tour d’horizon nous a permis de mieux comprendre les enjeux d’une question qui, à elle seule, illustre les problématiques de l’intelligence artificielle de défense.

M. Fabien Gouttefarde, co-rapporteur. Avant d’aller plus loin, il nous paraît essentiel de rappeler que notre rapport ne porte pas sur l’intelligence artificielle de défense dans son ensemble. Notre commission a déjà abordé cette question, dans le cadre du rapport de nos collègues Olivier Becht et Thomas Gassilloud sur la numérisation des armées, et le ministère des Armées a publié, en septembre dernier, une stratégie ambitieuse en la matière.

Les développements de l’intelligence artificielle sont bien entendus consubstantiels de la crainte de voir les SALA envahir les champs de bataille, mais ce sont à ces seuls objets que nous avons tenu à circonscrire nos travaux, conformément au mandat qui nous a été donné par la commission.

M. Claude de Ganay, co-rapporteur. Venons-en donc au cœur de notre sujet. Les premières questions qui se posent sont d’apparence plutôt simples : qu’est-ce qu’un SALA ? De quoi parle-t-on ?

Y répondre n’est pas aussi aisé que l’on pourrait le penser.

Les SALA font en effet l’objet d’un affrontement sémantique assez marqué, auquel prennent part les États bien sûr, mais également un certain nombre d’acteurs de la société civile, qu’il s’agisse du CICR ou de grandes organisations non gouvernementales.

Si le critère de la létalité ne semble pas, au fond, faire réellement débat – pour être qualifié de SALA, un système d’arme doit être doté de la capacité de tuer –, le point principal d’achoppement porte sur l’autonomie desdits systèmes d’armes.

M. Fabien Gouttefarde, co-rapporteur. L’autonomie peut d’abord être entendue comme la capacité d’un système à se fixer ses propres règles. Du moins, telle est la définition qu’une rapide étude étymologique nous invite à retenir : l’autonomie est en effet issue du grec « autos », soi-même, et « nomos », lois. En ce sens, l’autonomie est nécessairement « pleine » ou « entière ». C’est cette définition que retiennent la plupart des grandes puissances militaires, dont la France.

Toutefois, certaines voix adoptent une définition plus extensive de l’autonomie, plus proche, en fait, de la notion d’automatisation. Pour les partisans de cette approche, un système serait autonome dès lors qu’il le serait partiellement. C’est la position défendue par certains États ainsi que par une large part de la société civile. Pour eux, les drones peuvent ainsi être considérés comme des SALA.

Au terme de nos travaux, nous pensons qu’il faut mieux distinguer les choses.

En effet, ainsi que plusieurs de nos interlocuteurs nous y ont invités, nous sommes convaincus de la nécessité de ne pas aborder l’autonomie de manière monolithique, mais comme un continuum, composée de plusieurs stades. On retrouve ainsi les distinctions classiques entre des notions bien connues : l’homme « dans » la boucle, sous-entendu « de décision » ; l’homme « sur » la boucle et l’homme « hors » de la boucle.

M. Claude de Ganay, co-rapporteur. De manière plus fine, certains chercheurs proposent de distinguer différents niveaux d’autonomie, allant de systèmes téléopérés ou répliquant l’action d’un opérateur, à des systèmes semi-autonomes, c’est-à-dire dotés de capacités d’autonomie pour certaines fonctions jusqu’à, enfin, la pleine autonomie. M. Thierry Berthier, chercheur au centre de recherche des écoles de Saint-Cyr, a ainsi bâti une grille de lecture composée de six niveaux, allant de L0, pour un système téléopéré, à L5 pour un système pleinement autonome.

M. Fabien Gouttefarde, co-rapporteur. Du fait de ces différentes approches, des systèmes autonomes et des systèmes automatisés sont parfois confondus, et certains tentent donc d’intégrer des armes existantes, comme certains missiles ou des drones, dans le champ des SALA.

La confusion tient également au fait que la recherche de l’autonomie des systèmes d’armes est ancienne et que les industriels comme les forces elles-mêmes ont pu contribuer à l’entretenir. Pensons simplement au fait que l’acronyme du missile SCALP, bien connu dans nos forces, signifie : « Système de croisière conventionnel autonome à longue portée ».

De notre point de vue, il convient clairement d’affirmer que si l’autonomie doit être appréhendée comme un continuum, ne doivent pas être considérés comme des SALA l’ensemble des systèmes d’armes létaux dotés d’autonomie, mais simplement ceux pleinement autonomes.

M. Claude de Ganay, co-rapporteur. En d’autres termes, un SALA, c’est : un système d’arme capable de choisir et d’engager seul une cible, sans intervention humaine, dans un environnement changeant, un système dont l’humain ne peut reprendre le contrôle qu’en procédant à sa destruction physique.

M. Fabien Gouttefarde, co-rapporteur. Dans ces conditions, il ne fait guère de doute que les SALA n’existent pas aujourd’hui.

Les systèmes d’armes présentés comme tels, à l’instar par exemple des plateformes SGR-A1, développées en Corée du Sud par Samsung Tech, et déployées de manière opérationnelle sur la frontière entre les deux Corées – peut-être avez-vous vu des reportages –, ou du « Dôme de fer » israélien qui protège le ciel de Tel-Aviv, ne s’apparentent qu’à des systèmes automatisés, programmés, conçus pour répondre à un seul type de menace.

En revanche, d’un point de vue strictement technologique, de tels systèmes pourraient voir le jour grâce aux récents progrès de l’intelligence artificielle et de son application aux systèmes de défense.

M. Claude de Ganay, co-rapporteur. Sans revenir en détail sur l’histoire de l’intelligence artificielle ni ses récents développements, quelques rappels nous semblent nécessaires afin d’appréhender le débat sur les SALA. L’intelligence artificielle n’est pas un concept nouveau. Elle a connu ses premières heures de gloire en 1956, lorsqu’un collège d’experts en mathématiques réunis sur le campus de l’université américaine de Dartmouth s’est fixé pour objectif d’imiter la cognition humaine avec des machines.

De manière schématique, il est possible d’identifier deux générations de technologies au sein de ce champ de recherche.

Dans un premier temps, les technologies employées sont entièrement programmées. Il s’agit de systèmes-experts, également appelés systèmes-machines, qui ont donné naissance aux armements actuellement utilisés. Cette première génération de l’intelligence artificielle repose sur des technologies informatiques relativement classiques, et des applications modélisées, programmées et complètement prédictives. Par exemple, les missiles de croisière sont programmés en amont et les acteurs opérationnels disposent d’une expertise technique leur permettant de maîtriser ces instruments.

Puis, dans un second temps, les systèmes d’apprentissage, dits aussi machine learning, conçus il y a plusieurs décennies, ont connu un renouveau grâce aux progrès réalisés dans les domaines des capacités de calcul, du traitement de données massives – le Big data – et des algorithmes fonctionnant à partir de réseaux de neurones profonds.

Les progrès réalisés dans le domaine de l’intelligence artificielle permettent aujourd’hui de confier à une machine la réalisation de fonctions dites cognitives, telles la reconnaissance, la classification, l’apprentissage et la décision. L’approfondissement de ces systèmes permettra de franchir les prochains paliers vers l’apparition d’armes totalement autonomes.

Le CICR considère d’ailleurs que le passage d’un système d’armes « automatisé » à un système d’armes « autonome » impliquera une capacité d’apprentissage et d’adaptation et une « intelligence artificielle ».

M. Fabien Gouttefarde, co-rapporteur. Si la conception et le développement d’armes létales totalement autonomes sont donc technologiquement envisageables, leur emploi opérationnel l’est moins.

Ainsi que nous l’ont rappelé la plupart de nos interlocuteurs, tout système d’arme, qui plus est létal, doit s’intégrer dans une chaîne de commandement dont le respect est consubstantiel aux armées. Le chef militaire se doit donc de pouvoir reprendre la main sur une machine à tout moment, afin de lui donner de nouveaux ordres, d’annuler des ordres précédents ou encore de fixer de nouvelles règles opérationnelles. Il y a là une règle fondamentale de l’engagement militaire.

S’il est envisageable que le chef militaire puisse déléguer à une machine une partie de la conduite de la mission, conformément aux ordres établis, en aucun cas la décision de tir ne pourrait être confiée à un système autonome. Le chef militaire serait alors dans l’impossibilité d’évaluer la menace, et de mettre en balance sa connaissance du milieu et des règles d’engagement, ainsi que de la situation tactique d’ensemble.

Le développement des SALA est ainsi associé à une perte de contrôle, alors même que le chef militaire engage sa responsabilité en donnant l’ordre de tirer. Certains de nos interlocuteurs ont ainsi résumé le débat de manière lapidaire : pour les armées, françaises comme étrangères, c’est « ni Rambo, cet humain laissé à lui-même, ni Terminator, robot humanoïde totalement autonome ».

C’est d’ailleurs pour cette raison que nombre de spécialistes estiment que les SALA n’existeront jamais.

M. Claude de Ganay, co-rapporteur. Alors, si les SALA n’existent pas et n’existeront jamais, pourquoi s’y intéresser ? Les choses sont évidemment plus complexes.

D’abord, si les SALA constituent le stade ultime de l’autonomisation des systèmes d’armes, l’inclusion progressive de segments autonomes dans les systèmes d’armes suscite à elle seule des interrogations d’ordre philosophique, éthique, social et juridique.

L’émergence de l’autonomie dans les systèmes d’armes et son renforcement progressif s’accompagnent d’une modification de la place de l’humain dans les combats, après des siècles d’affrontements « où il fallait des poitrines à opposer à d’autres poitrines » selon l’expression bien connue de M. Jacques Chirac.

Ensuite, la quête de l’autonomie des systèmes d’armes est indissociable de l’essor de l’intelligence artificielle de défense, qui fait l’objet d’une compétition mondiale marquée.

Il est donc indispensable de veiller à ce que le débat sur les SALA ne parasite pas les efforts engagés en faveur de l’intelligence artificielle de défense, au risque d’un triple déclassement : technologique, industriel et stratégique.

M. Fabien Gouttefarde, co-rapporteur. Revenons d’abord sur les implications éthiques et juridiques de l’éventuel développement des SALA. Du point de vue éthique, plusieurs questions fondamentales se posent : en premier lieu, celle de la délégation à une machine de la décision de tirer pour tuer. D’aucuns considèrent qu’un tel transfert touche directement au principe de dignité humaine.

En deuxième lieu, alors que la décision fait appel à la morale, vouloir faire des SALA des sujets moraux – les humaniser, en somme – supposerait de transcrire en algorithmes les principes moraux et les jugements subjectifs sur lesquels ils se fondent. Ce qui est très difficile, voire impossible.

M. Claude de Ganay, co-rapporteur. En troisième lieu, l’intelligence artificielle comporte toujours une « part d’ombre », la fameuse « boîte noire » de l’intelligence artificielle, qui empêche l’opérateur de reconstituer le processus de prise de décision de la machine.

Rappelons à ce titre que le système d’intelligence artificielle qui a battu le champion du monde du jeu de go a effectué dix-sept mouvements que ses programmateurs ne pouvaient pas expliquer. Une telle situation pose de sérieuses difficultés dès lors qu’il serait envisagé de déléguer à une intelligence artificielle la décision de tirer pour tuer.

En quatrième lieu, les techniques d’apprentissage présentent des risques de biais involontaires, en particulier lorsque les données d’apprentissage ne sont pas représentatives. Citons ainsi l’exemple d’un biais ethnique dans des données de populations.

De manière générale, le renforcement de l’autonomie des systèmes d’armes bouscule la place de l’homme dans la guerre. En heurtant ainsi directement la question de déshumanisation du champ de bataille, la question des SALA percute directement les grands principes du droit international des conflits.

M. Fabien Gouttefarde, co-rapporteur. Ainsi, au-delà des questionnements éthiques, ce sont les conséquences juridiques du développement et de l’emploi des SALA qu’il convient d’interroger. Dans le cadre de nos travaux, nous avons retenu une définition large du droit international des conflits, intégrant à la fois le droit international humanitaire – droit de Genève et droit de la Haye – et le droit de la maîtrise des armements.

Nous ne reviendrons pas en détail ici sur ces deux grands champs du droit international public, mais pourrons répondre à vos éventuelles questions.

De manière schématique, le droit international humanitaire est constitué d’un ensemble de règles applicables dans les situations de conflit armé et visant à limiter les effets de ces derniers. Son objectif est de protéger les personnes qui ne participent pas ou plus aux combats et d’encadrer les moyens et les méthodes de la guerre.

Le DIH repose sur cinq grands principes unanimement acceptés sur la scène internationale : principe de distinction, entre civils et combattants, principe d’humanité, principe de discrimination, principe de proportionnalité et principe d’interdiction des maux superflus et des souffrances inutiles.

Ces principes sont déjà parfois mis à mal par des combattants humains contemporains. En outre, certains considèrent que l’amélioration des techniques de guerre permet de mieux les appliquer, grâce, par exemple, à une meilleure précision. Toutefois, le respect de ces principes par des machines suscite de sérieux questionnements de même que, plus largement, capacité à engager la responsabilité d’une machine. C’est à l’aune de ces questions que doit être envisagé le débat international sur la régulation des SALA et leur potentielle interdiction.

À ce jour, les SALA ne sont pas spécifiquement encadrés par des règles spécifiques du droit de la maîtrise des armements.

M. Claude de Ganay, co-rapporteur. C’est pourquoi des discussions ont été engagées à Genève, dès 2013 et l’initiative de la France, dans le cadre de la Convention du 10 octobre 1980 sur l’interdiction ou la limitation de l’emploi de certaines armes classiques qui peuvent être considérées comme produisant des effets traumatiques excessifs ou comme frappant sans discrimination, plus connue sous le simple nom de Convention sur certaines armes classiques : la CCAC.

Après une première phase de réunions informelles, un Groupe d’experts gouvernementaux, dit GGE, a été mandaté en 2017 afin de définir et d’encadrer les SALA. D’aucuns considèrent qu’une telle évolution constitue une avancée majeure puisque certains pays, à l’instar de la Russie ou des États-Unis, refusaient, jusqu’alors, de discuter des SALA de manière formelle.

M. Fabien Gouttefarde, co-rapporteur. Pour la France, ce premier succès diplomatique assez important a été conforté à l’automne dernière, avec l’adoption de onze principes directeurs sur les technologies émergentes dans le domaine des SALA. De l’avis de nombre de commentateurs, il s’agit d’un grand pas en avant, qui pourrait constituer la base d’un traité international.

Pour l’heure, les discussions sont suspendues, la réunion du GGE prévue en juin 2020 ayant été annulée puis reportée en août, avant la prochaine étape majeure : la conférence d’examen de la CCAC prévue en 2021.

Nous nous félicitons du rôle majeur joué par la France dans le débat international sur les SALA, appuyée en cela par l’Allemagne dès 2014. Toutefois, il nous faut à ce stade apporter quelques précisions, voire des mises en garde.

Premièrement, les discussions internationales apparaissent relativement tendues, et opposent plusieurs groupes de pays : un groupe de pays dits « désarmeurs », un groupe réunissant les États-Unis et leurs proches, très réticents à tout engagement en faveur de l’établissement d’un quelconque cadre dans le domaine des SALA, et enfin, un groupe modéré, animé par la France et l’Allemagne.

La Russie et la Chine occupent quant à elles des places spécifiques, avec des positions changeantes et peu cohérentes, si ce n’est pas leur rejet de tout cadre contraignant empêchant la poursuite des recherches dans le domaine de l’autonomie.

En deuxième lieu, les discussions internationales font l’objet d’une vive attention de la part de la société civile, et en particulier des membres de la campagne « To Stop Killer Robots », comme Human Rights Watch, Handicap international ou Amnesty. Proches des États dits « désarmeurs », ces acteurs jugent les travaux de la CCAC trop timides, et militent pour la mise en place d’un processus ad hoc.

À nos yeux, c’est bien dans le cadre multilatéral de la CCAC que doivent se poursuivre les discussions car il s’agit de l’unique moyen d’associer les grandes puissances militaires que sont les États-Unis, la Russie et la Chine.

En outre, nous estimons qu’il serait fort dommageable de stopper un processus qui a porté ses premiers fruits, alors qu’un accord international semble à portée de main dans le cadre de cette instance rattachée à l’Organisation des Nations Unies.

Nous soutenons en cela pleinement la position franco-allemande, qui vise à aboutir à un fort engagement politique, assorti d’une procédure régulière d’examen des développements technologiques réalisés par chaque pays.

M. Claude de Ganay, co-rapporteur. Si nous estimons qu’il est nécessaire de poursuivre les discussions au sein de la CCAC, c’est aussi car nous craignons que le débat sur les SALA ne vienne parasiter les efforts entrepris par la France et l’Europe en matière d’intelligence artificielle de défense, conduisant de fait à notre déclassement stratégique.

Le développement de systèmes de plus en plus autonomes est en effet inéluctable.

Dès à présent, les machines se montrent plus réactives que l’humain, et plus précises dans l’exercice de certaines fonctions : un homme réagit en quelques secondes, la machine en quelques millisecondes, voire moins ; un tireur humain qui bouge, respire et tremble, est moins précis qu’une machine qui ne bouge pas, ne respire pas, ne tremble pas ; la machine est capable d’opérer avec constance sur des temps très longs, voire vingt-quatre heures sur vingt-quatre, là où l’homme est limité par la fatigue et l’inattention.

Ainsi, en 2016, le colonel Gene Lee, formateur au sein de l’US Air force, a perdu tous les combats aériens qu’il a menés en simulation face à Alpha, un programme informatique doté d’intelligence artificielle. Nous ne reviendrons pas ici sur les bénéfices opérationnels, tant offensifs que défensifs, que porte en elle l’intelligence artificielle de défense et, ce faisant, l’autonomie plus poussée des systèmes d’armes.

M. Fabien Gouttefarde, co-rapporteur. Rappelons simplement que nous sommes à l’aube de l’hyperwar, théorisée l’an dernier par le général américain John Allen. L’essor de cette « hyperguerre » participera à la recomposition du paysage stratégique, selon deux dynamiques. D’abord, une montée en puissance continue de la Chine. Ensuite, la capacité soudaine de puissances plus modestes comme des acteurs non-étatiques, tels les groupes terroristes, de développer des technologies de haut niveau.

C’est d’ailleurs ce qui explique que l’autonomie des systèmes d’armes se trouve au cœur d’une nouvelle course aux armements.

M. Claude de Ganay, co-rapporteur. Nous n’avons pas le temps de passer en revue ici l’ensemble des stratégies conduites par tel ou tel État. Nous notons simplement que les États-Unis, la Chine et la Russie se trouvent en avance, tant d’un point de vue technologique qu’opérationnel.

À titre d’exemple, les États-Unis développent depuis plusieurs années des systèmes autonomes, à l’instar du bâtiment Sea Hunter (projection d’image), navire autonome transocéanique de 60 mètres, dédié à la lutte anti sous-marine et capable de naviguer dans les eaux internationales en s’adaptant de manière autonome aux règles de navigation en vigueur.

M. Fabien Gouttefarde, co-rapporteur. La Chine, quant à elle, semble en passe de se substituer à la Russie comme premier compétiteur des États-Unis. La Chine a notamment présenté un sous-marin « autonome » HSU 001, de relative petite taille, qui lui permettrait de mailler les océans (projection d’image).

Ces deux puissances ont pour particularité de pouvoir s’appuyer sur une industrie civile du numérique robuste et à la pointe de la recherche technologique.

M. Claude de Ganay, co-rapporteur. La Russie n’est pas en reste. Elle se démarque par sa résolution à tester sans tarder des systèmes plus automatisés qu’autonomes, sur le terrain, en opérations, afin de recueillir des retours d’expériences rapides lui permettant de compenser de moindres capacités d’investissement.

Parmi les différents projets initiés par la Russie, la plateforme russe MARKER (projection d’image) fonctionne en mode « follow the leader » et est équipée de drones dits kamikaze. En d’autres termes, le petit char qui accompagne le soldat le suit et réplique l’usage que le soldat fait du feu : le soldat tire, le robot tire vers la même cible. Ce système existe déjà, a été éprouvé et devrait être intégré aux unités russes dès 2021. Selon nos informations, il aurait été testé en Syrie dans des opérations de lutte contre des poches islamistes.

Dans ce contexte, la France et l’Europe ne peuvent demeurer sans agir.

M. Fabien Gouttefarde, co-rapporteur. Comme vous le savez, chers collègues, nous disposons de nombreux atouts : des chercheurs et des instituts de recherches de renommée mondiales, une industrie de défense robuste et éprouvée. De même, nous avons engagé un travail important en faveur de l’intelligence artificielle de défense. Au-delà de notre stratégie nationale, adoptée en septembre dernier, nombre de nos partenaires se sont engagés en faveur du développement de l’intelligence artificielle de défense, et la grande direction générale de la défense, de l’industrie et de l’espace de la Commission européenne s’est saisie du sujet.

Toutefois, il nous faut aller plus loin, et veiller à ce que le débat sur les SALA ne parasite pas les efforts engagés.

M. Claude de Ganay, co-rapporteur. Au niveau national, nous préconisons d’abord d’accroître nos efforts de recherches et d’améliorer les relations entre les laboratoires et les acteurs industriels. Il s’agit d’une vieille antienne, qui ne concerne d’ailleurs pas que le domaine de la défense.

Nous pensons également nécessaire d’investir deux domaines scientifiques stratégiques pour éviter le décrochage technologique : en amont, les systèmes de collecte et de traitement des données ; et en aval, la modélisation et l’évolution des algorithmes d’apprentissage.

Deuxièmement, il nous faut également veiller à mieux accompagner le développement des pépites nationales du secteur de la robotique, qui font l’objet d’appétits voraces de la part de nos compétiteurs.

Troisièmement, l’éventualité de voir des puissances étrangères développer des systèmes autonomes ne respectant pas les principes du droit international humanitaire ne peut être écartée. Cela doit nous inciter à maintenir nos efforts de veille et de recherche en matière d’intelligence artificielle, afin d’apprécier au mieux les performances des autres puissances, d’imaginer des scénarios de conflits crédibles et d’adapter nos systèmes de défense, à l’instar de ce que la direction générale de l’armement réalise dans le domaine de la défense nucléaire, radiologique, bactériologique et chimique.

M. Fabien Gouttefarde, co-rapporteur. Au niveau européen, il nous faut avancer dans deux directions. D’abord, sur ce sujet comme sur d’autres, parvenir à adopter une position européenne commune, qui nous permettra de ne pas avancer en ordre dispersé sur la scène internationale, et de demeurer capable de rivaliser face au trio composé des États-Unis, de la Russie et de la Chine. Les pays européens sont en effet très dispersés sur cette question. Rappelons à ce sujet que le Parlement européen a adopté, en septembre 2018, une résolution plutôt restrictive sur la question des SALA. Ensuite, alors que les contours réglementaires du Fonds européen de défense sont encore en discussion, il convient de veiller à ce que la question des SALA ne nous empêche pas de conduire des activités de recherche dans le domaine de l’autonomie des systèmes d’armes. En l’état, la rédaction de l’article 11 du projet de règlement respecte cet objectif, mais il convient de demeurer vigilant.

M. Claude de Ganay, co-rapporteur. En conclusion, nous rappellerons simplement que si nul ne peut nier que la robotique sera amenée à jouer un plus grand rôle sur les théâtres d’opération – c’est d’ailleurs déjà en partie le cas – cela ne signifie pas que l’on assistera à l’émergence de Terminator. La France s’oppose farouchement au développement de SALA, entendus comme des armes pleinement autonomes, et nous ne pouvons que soutenir cette position.

M. Fabien Gouttefarde, co-rapporteur. Il nous faut toutefois demeurer pragmatiques, et ne pas nous lier les mains en nous interdisant de conduire des projets de recherche en matière de robotique et d’autonomie. Il en va du maintien de la position stratégique de la France et de l’Europe sur la scène internationale.

Nous vous proposerons d’ailleurs de vous joindre à nous en vue du dépôt, sur le Bureau de notre Assemblée, d’une proposition de résolution en ce sens, qui synthétise nos préconisations.

Voilà, chers collègues, ce que nous retenons de nos travaux. Nous nous tenons à votre disposition pour répondre à vos questions. Avant de conclure, je tenais à remercier mon co-rapporteur pour sa bonne humeur éternelle ; cela fut un réel plaisir de travailler à ses côtés.

M. Claude de Ganay, co-rapporteur. Il en va évidemment de même pour moi !

Mme la présidente Françoise Dumas. Un grand merci, chers collègues, pour ce très beau travail, des plus innovants, qui nous amène à réfléchir à plusieurs niveaux. Votre travail porte sur des questions que nous avons peu l’habitude d’aborder dans notre commission et je suis convaincue de son utilité pour nous permettre de penser les nouvelles conflictualités et l’exigence de respecter les principes éthiques et moraux qui sont les nôtres pour, aussi, préserver la paix.

M. Jean-Philippe Ardouin. L’avènement d’intelligences dites artificielles pose notamment la question de leur fiabilité et du degré de développement technologique futur qu’il est évidemment difficile d’anticiper. Au stade actuel de développement de ces technologies, se pose nécessairement la question de l’intérêt et de la dangerosité de ces systèmes d’armes létaux autonomes. Selon vous, les SALA représentent-ils une opportunité pour les puissances occidentales, souvent critiquées pour les risques qu’elles font courir à leurs soldats sur les théâtres d’opérations extérieures, ou sont-ils dangereux, à terme, pour la sécurité mondiale ?

M. Charles de la Verpillière. Je félicite les deux rapporteurs pour leur excellent travail. Pour ma part, j’ai beaucoup appris sur ce sujet, sur lequel je partais de zéro ou presque. Je souscris pleinement à vos conclusions, dont trois ont retenu mon attention. D’abord vous proposez de poursuivre les recherches et de développer des capacités industrielles et technologiques françaises et européennes dans ce domaine. Ensuite, vous préconisez de poursuivre les négociations diplomatiques dans le cadre de la CCAC et d’essayer de faire aboutir la proposition franco-allemande. Enfin, sur le fond, vous estimez que ces SALA ne devraient jamais être totalement autonomes pour que l’homme puisse toujours intervenir, ce qui pose la question de la capacité de discrimination. Je suis totalement en accord avec vous.

M. Jean Lassalle. Je ne vais pas paraphraser mon collègue mais je m’associe aussi à vos propositions. Alors même que nous ne disposions pas des mêmes moyens de communication, Hiroshima et Nagasaki ont causé un effet de sidération tel qu’on a longtemps pensé que de tels actes ne seraient jamais reproduits. Cela a d’ailleurs forgé le concept de dissuasion : on pensait qu’on allait se tenir par la peur ; cela a marché, tant mieux. Mais la dimension que vous nous faites découvrir fait froid dans le dos, mes chers collègues. On se demande jusqu’à quel moment on va pouvoir raisonner sans expérience réelle, de terrain, pour inventer l’équivalent de la force de dissuasion. Nous voyons bien comment évolue le monde et l’Homme, dans sa formation, dans l’absence de barrière opposée à ses instincts pervers et violents. Pendant des années, on m’a expliqué qu’on ne pourrait plus connaître de manifestations violentes sur la voie publique parce qu’il n’y avait plus de mineurs, ni de paysans. On a vu ce que ça donnait depuis trois ans ! Je ne crois rien de tout cela.

Vous avez parlé du fait qu’il faudrait à tout prix empêcher la fuite des cerveaux, retenir nos chercheurs. Nous faisons exactement le contraire depuis une vingtaine d’années. J’en connais – alors peut-être pas aussi calibrés que ceux que vous évoquez puisqu’ils sont à mon niveau (sourires) ! On les laisse partir ! On ne fait rien pour les encourager lorsqu’ils ont une idée ! Souvenez-vous comment nous avons perdu la carte à puce et tous ses prolongements ! Il n’est pas nécessaire de remonter à la Rome antique !

Je me demande donc si la recherche fondamentale n’est pas la priorité, avec la recherche appliquée que nous ne pratiquons plus que sporadiquement. Elle devrait être décrétée au plus haut niveau et un budget devrait lui être associé. Il faudrait ensuite cesser de donner à ceux qui détiennent le capital aujourd’hui, au monde de la finance internationale, la possibilité d’exploiter ce que l’intelligence artificielle peut donner de meilleur. Sans quoi je crains fort qu’il ne faille passer par une expérience dont je ne mesure même pas les conséquences en termes de déshumanisation !

M. Thomas Gassilloud. Je voudrais moi aussi féliciter nos deux rapporteurs. Leurs travaux sont autant nécessaires qu’urgents puisque les SALA posent d’immenses questions technologiques, commerciales, juridiques, diplomatiques et bien sûr éthiques. Un exemple illustre bien cette nécessité. Je veux parler du débat manqué il y a une dizaine d’années sur le recours aux drones, qui a finalement privé notre pays d’une orientation claire, causant un retard industriel préjudiciable à nos intérêts et qu’il va falloir rattraper.

Ce débat sur les SALA a donc une véritable utilité. Il est essentiel de bien poser les termes du débat pour ne pas laisser prospérer des thèses inexactes. Je remercie les deux rapporteurs de leur effort sémantique pour bien distinguer l’autonomie de l’automatisation – présente dans nos armées depuis bien longtemps –, d’avoir pris en compte l’existant et d’avoir ouvert leur réflexion à tout type d’acteur, jusqu’aux philosophes.

Les bénéfices opérationnels des SALA sont évidents, notamment pour tenir compte de l’enjeu de la masse. Une régulation internationale est nécessaire mais nous devons nous préparer au pire alors que nous assistons jour après jour au délitement du multilatéralisme.

Je souhaite partager avec vous deux craintes et une proposition. Ma première crainte, c’est que les robots autonomes n’abaissent le seuil de déclenchement des conflits. Aujourd’hui, un État hésite à s’attaquer à un autre État parce qu’il met en jeu des vies humaines, celles de ses soldats. Ne craignez-vous pas un développement des conflits, ceux-ci étant rendus plus acceptables du point de vue des opinions publiques des États qui les mèneront ? Ma deuxième crainte concerne les entreprises de services de sécurité et de défense (ESSD) qu’on appelait autrefois les sociétés militaires privées. Environ cinquante pour cent du budget de l’armée américaine finance des prestations externalisées. Certaines ESSD maîtrisent des drones armés d’ores et déjà. Ne craignez-vous pas que ces ESSD n’acquièrent une puissance voisine voire supérieure à celle des États ? Enfin, j’en terminerai avec une proposition : l’intelligence artificielle étant par essence une technologie duale, ne faudrait-il pas investir massivement dans la robotique civile pour que notre pays soit capable d’en faire un usage militaire en cas de besoin, et si la réglementation internationale venait à évoluer ?

M. André Chassaigne. Ce rapport est passionnant et nous bouscule beaucoup. Il s’agit de questions éthiques importantes ; peut-on confier à une machine la décision de donner la vie ou la mort ? Chacun d’entre nous a vu ces films où des opérateurs rentrent le soir dans leur famille, jouent avec leurs enfants, alors qu’ils ont eu des décisions terribles à prendre, parfois au dernier moment, en découvrant ensuite que des enfants jouaient à côté de la cible qu’ils ont décidé de frapper. Il pourrait être tentant de confier ces décisions à des machines avec un niveau d’autonomie jamais atteint, permettant, à la dernière seconde, de prendre une décision que l’humain n’aurait pas à prendre. Je mesure toute la gravité de ces questions.

La position de la France, si je l’ai bien comprise, est de demander un cadre international, en visant en particulier le niveau d’autonomie. Il s’agit de savoir qui donne les ordres : un chef militaire, un simple soldat qui, équipé de drones « kamikazes », de ce qu’on appelle aussi une « artillerie de poche » pourrait, de sa propre initiative, décider d’une frappe, ou directement la machine et son programme. Ma question porte sur les onze principes adoptés en novembre 2019 par la CCAC, qui prévoient notamment de soumettre les SALA au droit international humanitaire. Ces principes sont-ils opposables ? Qu’attendons-nous de plus d’un traité international ?

M. Fabien Gouttefarde, co-rapporteur. En réponse à Jean-Philippe Ardouin, je rappellerai que parmi les raisons qui nous ont amenés, Claude de Ganay et moi, à vouloir travailler sur la question des SALA, se trouvent les déclarations de nos partenaires et compétiteurs stratégiques. Je pense en particulier aux déclarations d’un chef d’état-major russe, qui a affirmé que son objectif était de soustraire au maximum le combattant au champ de bataille pour lui substituer des unités robotisées. Les hauts responsables du ministère de la Défense américain ont réagi en indiquant qu’il ne serait pas éthique, dans ces conditions, qu’ils opposent à des robots des soldats en chair et en os sur le champ de bataille.

Dans les années 2000, la Chine parlait de forces « informatisées ». Aujourd’hui, elle évoque plus volontiers des forces « intelligentisées » – excusez ce barbarisme ! – c’est-à-dire qu’elle intègre la dimension de l’intelligence artificielle à chaque développement technologique. Le risque nous paraît donc celui d’un décrochage technologique de l’Europe. J’aime à reprendre cette citation, que j’ai beaucoup opposé aux personnes que nous avons entendues : « il faut prendre garde à ne pas continuer à améliorer la bougie pendant que d’autres inventent l’électricité » ! C’est la philosophie qui traverse notre rapport.

M. Claude de Ganay, co-rapporteur. Charles de la Verpillière a parfaitement compris et résumé notre propos. Je l’en félicite ! Une fois n’est pas coutume ! (Sourires) L’enjeu de garder l’homme dans la boucle est en effet au cœur de l’intégration homme-machine.

M. Fabien Gouttefarde, co-rapporteur. Cher Jean Lassalle, vous avez évoqué la dissuasion nucléaire et vous interrogez sur l’avenir de la dissuasion dans un monde où on aurait déshumanisé le champ de bataille. Je retiens de votre intervention la dimension éthique. Vous vous demandez à quoi ressembleront les conflits futurs sans expérience sensible de la guerre. C’est en effet une question fondamentale. Le président Chassaigne l’a évoqué avec le film Good Kill : on y voit un opérateur qui prend plus de risques en rentrant chez lui en voiture le soir qu’en faisant la guerre dans la journée. Les théoriciens de la guerre, parmi lesquels des penseurs antiques, chinois ou plus proche de nous, Clausewitz, disaient qu’un conflit était un affrontement des volontés et que dès lors que la peur était installée chez l’adversaire, vous aviez gagné la guerre. Face à une armée composée en grande partie de robots, un nouveau paradigme semble survenir. Cette question est aussi traitée dans notre rapport.

Thomas Gassilloud a fait part de deux craintes.

Sur le risque que les robots autonomes abaissent le seuil de déclenchement des conflits, il me paraîtrait constitué à partir du moment où le conflit n’opposerait que des machines. Cette crainte n’a pas forcément lieu d’être dans le cadre de conflits asymétriques ou même dans le cadre de conflits symétriques, dès lors que les SALA pourraient infliger des pertes humaines sur le champ de bataille. Les drones armés ont d’ailleurs suscité le même questionnement. Pour ma part, je perçois plutôt un risque d’extension du champ territorial de la conflictualité. Les services secrets américains sont intervenus plus facilement au-dessus du Yémen, du Pakistan – des États qui ne sont pas officiellement en guerre avec les États-Unis – du fait de la facilité d’usage des drones. L’envoi de F16 dotés de pilotes n’aurait pas été envisagé aussi facilement.

Vos craintes concernant les ESSD sont déjà concevables aujourd’hui, indépendamment de la question des SALA. Des sociétés comme l’entreprise russe Kalachnikov développent déjà des armes susceptibles d’être employées par des ESSD. La particularité des SALA tient à l’importance de l’intelligence artificielle et, ce faisant, des données. Pour qu’un drone autonome aille frapper une cible, il faut lui avoir appris à reconnaître la cible, ce qui nécessite des données en très grande quantité. Or, qui détient un tel volume de données si ce n’est des entreprises civiles telles que les GAFAM : Google, Apple, Facebook, Amazon, Microsoft ?

M. Claude de Ganay, co-rapporteur. Si la question se pose pour les ESSD, elle se pose aussi, cher Thomas Gassilloud, pour les groupes terroristes.

En outre, nous ne sommes pas tant convaincus du bénéfice opérationnel des SALA que de celui des SALSA, autrement dit des systèmes d’armes létaux semi-autonomes, particulièrement intéressants d’un point de vue défensif face à des essaims de drones ou des armes hypervéloces. Sur l’abaissement du seuil de déclenchement des conflits, il ne faut pas oublier la responsabilité politique des États.

M. Fabien Gouttefarde, co-rapporteur. Monsieur le président Chassaigne, vous nous avez interrogé sur l’opposabilité des onze principes et l’application du droit international humanitaire aux SALA. Vous l’avez rappelé : les onze principes constituent un document politique et non juridiquement contraignant. Toutefois, votre question porte en fait sur la création de la normativité internationale : comment crée-t-on une norme internationale contraignante ? À ce jour, nous n’en sommes qu’au stade du lancement d’un processus politique. Néanmoins, les principes s’appuient sur des normes existantes et la coutume internationale. C’est ainsi qu’en rappelant que le droit international humanitaire s’applique aux SALA, le premier des onze principes ne fait que rappeler que le droit international humanitaire s’applique en tous temps et tous lieux. En outre, je vous rappelle que l’ensemble des États parties à la CCAC, soit 121 pays, ont adopté ces onze principes ; nous assistons donc aux prémices d’un mouvement qui, nous l’espérons, conduira à passer d’une forme molle du droit – la soft law – à un droit plus dur, formalisé dans un traité.

M. Claude de Ganay, co-rapporteur. De manière complémentaire, j’ajouterai que la Cour internationale de justice, dans un avis consultatif de 1996, a d’ailleurs confirmé que la nouveauté d’une arme ne peut être invoquée en soutien d’une quelconque dérogation aux principes et règles du droit international humanitaire.

M. Jacques Marilossian. Mes chers collègues, merci pour vos présentations et vos premières réponses. Nos amis sénateurs Ronan Le Gleut et Hélène Conway-Mouret ont publié le 15 juillet un document consacré au système de combat aérien du futur, le SCAF ; et, du point de vue éthico-juridique, un aspect fait débat. Le NGF, le Next Generation Fighter, aura un pilote mais pourra aussi être piloté à distance et, vous le savez, l’avion sera accompagné de drones subordonnés, les « remote carriers » – en français : les effecteurs déportés –, qui auront des missions de frappe, de leurrage, de surveillance, d’évaluation des dégâts et bien sûr, de combat. Dans le cadre d’opérations dans des espaces contestés, la fragilité de la liaison de données, notamment satellite, pourrait entraîner un piratage ou un brouillage de ces fameux drones, qui deviendraient incontrôlables. Une solution pour contourner cette difficulté de liaison à longue distance serait d’envisager un drone totalement autonome et donc non dépendant de la liaison de données ; et là, nous retrouvons le fameux débat éthico-juridique sur les SALA pour lequel nous n’avons pas de cadre international pour l’instant. Dans la continuité de votre mission, pensez-vous qu’on pourra disposer de ces fameux drones, ces fameux « remote carriers », totalement autonomes s’ils sont limités à un usage non létal comme le leurrage, la surveillance ou le percement des défenses antiaériennes ?

M. Christophe Blanchet. Messieurs les rapporteurs, vous avez indiqué dans vos propositions qu’il fallait être à la fois en veille et en recherche. Cela m’inspire deux questions : pendant combien de temps devons-nous être en veille et combien de temps avons-nous devant nous ? Et, pendant combien de temps devons-nous être en recherche avant d’être au niveau des autres ? Quand on entend le président Poutine dire que celui qui deviendra leader dans le domaine de l’intelligence artificielle sera le maître du monde et qu’en même temps, il fait savoir qu’il refuse toute interdiction, moratoire ou régulation sur les SALA, qu’en est-il ? Dans l’édition en ligne du Journal du Dimanche, vous indiquez, hier, que si l’Union européenne venait à se soumettre seule à un moratoire, elle accuserait un retard capacitaire irrattrapable. De quel retard parlons-nous, pour savoir si l’on doit encore en rester à une stratégie d’éthique ?

M. Thibaut Bazin. Merci à nos deux collègues pour ce travail très intéressant, qui pose, comme vous l’avez dit, à la fois des enjeux éthiques et des enjeux humains. La technologie peut évoluer dans les prochaines années. En fonction des définitions que l’on peut retenir des SALA, j’aurais quatre questions. La première est relative à notre doctrine : est-ce qu’il faut la faire évoluer sur le sujet ? La deuxième porte sur notre législation : est-ce qu’il faut appréhender les SALA avant même qu’ils existent, sous une forme ou une autre ? Cela concerne particulièrement les questions de responsabilité. Je pense qu’il faut élargir la réflexion et ne pas en rester à la dimension militaire, mais plutôt considérer l’usage civil des SALA, par d’autres puissances mais aussi par des organisations plus ou moins formalisées. Finalement, un ennemi ne pourrait-il pas bénéficier de l’intelligence artificielle et l’utiliser d’une manière ou d’une autre ? J’en viens à ma quatrième question : finalement, les sociétés militaires privées, qui peuvent être liées au monde de la donnée, ne sont a priori pas françaises aujourd’hui, elles ne sont même pas européennes. Est-ce qu’il n’y a pas, dans la continuité de nos échanges d’hier et de la semaine dernière, un enjeu de souveraineté pour pouvoir faire émerger, en France et en Europe, des capacités et des savoir-faire en termes de SALA ?

M. Jean-Michel Jacques. Merci aux deux co-rapporteurs pour leur travail très précieux et qui soulève beaucoup de questionnements. L’homme est un loup pour l’homme. Nous le savons, en tout cas j’en suis persuadé. Il n’y a qu’à regarder notre histoire. Ne serait-ce qu’en pensant au nazisme, vous vous souvenez de ce qu’a pu faire une telle doctrine : exterminer des gens. La bombe atomique n’a pas été tirée par un pays totalitaire, c’était les États-Unis. Moralement et éthiquement, les bombardements de populations civiles pour faire infléchir un adversaire, qui ont aussi été pratiqués par l’Occident – par les forces Alliées –, posent beaucoup de questions. L’issue de tout ce que je vous raconte a quand même été le tribunal de Nuremberg, qui a posé un certain nombre de règles mais après les faits. Je vous remercie pour votre démarche parce que vous suscitez l’envie de poser les questions en amont, avant que les SALA ne voient le jour.

Mais au fond de moi, j’ai bien peur qu’un jour des SALA soient une réalité, et ce d’autant plus facilement que nous sommes face à des groupes terroristes. Des régimes inspirés de pensées totalitaires peuvent revenir à tout moment, de façon hybride ou cachée, et pourront faire usage de SALA. Je rejoins vos recommandations : il faut absolument, pour ne pas décrocher sur le plan stratégique, continuer la recherche et le développement dans ce domaine. J’en viens à ma question. Ne devrions-nous pas, pour justifier cette recherche et ce développement et ne pas décrocher sur le plan stratégique, utiliser des SANA, c’est-à-dire non pas des armes létales mais de neutralisation ? En ce sens, l’aboutissement ne serait pas forcément la mort mais la neutralisation physique de l’ennemi. C’est une façon détournée mais ouverte de maintenir un certain niveau et de conserver la possibilité de faire face à des ennemis potentiels, qui auront certainement un jour de tels moyens. C’est une question qui peut s’inscrire dans le plan de relance : ce sont des activités duales qui peuvent être utilisées dans le domaine civil.

Mme Sereine Mauborgne. Ma question porte sur l’encadrement juridique des SALA. La France a remporté à Genève un succès diplomatique certain, en faisant reconnaître par la communauté internationale onze principes sur les SALA. Pouvez-vous nous en dire davantage sur ce nouvel instrument ?

Plus largement, dans le fond, comment légiférer sur un sujet qui est encore loin d’être stabilisé, ne serait-ce que parce que l’intelligence artificielle constitue une technologie encore très évolutive ? Finalement, les SALA ne seront-ils pas un sujet pour la prochaine révision de nos lois de bioéthique, dans cinq ans ?

M. Jean-Louis Thiériot. Merci, chers collègues, pour vos analyses, qui sont aussi stimulantes au plan intellectuel qu’inquiétantes au plan stratégique. Je partage en effet le pessimisme de notre excellent collègue Jean-Michel Jacques : un jour où l’autre, même si c’est à craindre, ces armes seront une réalité.

Cette perspective est d’autant plus vraisemblable que l’on assiste aujourd’hui à un mouvement de démantèlement des grands cadres internationaux de régulation des armements : le traité FNI n’est plus, le dispositif de ciel ouvert non plus, et le traité START arrive à échéance en 2021 sans qu’un nouveau traité de régulation des armes nucléaires stratégiques ne soit en voie de conclusion. Si la communauté internationale n’arrive pas à trouver un accord pour un tel sujet, a fortiori, on peut être pessimiste s’agissant des SALA.

Ma question porte donc sur les initiatives juridiques que nous pouvons prendre, sachant que la vigilance s’impose, que nous devons être prêts et que nous ne saurions laisser à des compétiteurs stratégiques une avance dans ce domaine. Un spécialiste du jus in bello, c’est-à-dire du droit international humanitaire, M. Jean-Baptiste Jeangène Vilmer, disait récemment que le seul instrument possible en la matière était probablement un code de bonne pratique, de même nature par exemple que la convention de Montreux sur les sociétés militaires privées : il ne s’agit pas de droit contraignant en tant que tel, mais d’éléments d’interprétation du droit international humanitaire existant à l’usage des cours qui pourraient être amenées à connaître de cas d’emploi des SALA. Les onze principes dont nous parlions pourraient constituer la base d’un tel code. Que pensez-vous de cette option ?

Mme Séverine Gipson. Je vous remercie de votre présentation complète des SALA ; vous nous avez exposé toutes leurs fonctions possibles, que l’intelligence artificielle accroît beaucoup. Le sujet est au cœur des réflexions actuelles dans les études militaires, et j’ai moi-même présenté à l’Institut des hautes études de la défense nationale un rapport sur les SALA et la place de l’humain dans les guerres du futur. Je m’interroge sur l’articulation, qui n’est pas évidente, entre l’emploi de SALA sur le champ de bataille et l’esprit guerrier : comment les soldats doivent-ils se préparer à l’arrivée de systèmes d’armes avec lesquelles le rapport entre l’homme et la machine se trouve profondément modifié ? Quel serait l’impact des SALA sur l’esprit guerrier de nos militaires ? Faut-il désormais que nos soldats apprennent à faire la guerre dans un contexte déshumanisé ?

Mme Carole Bureau-Bonnard. Merci, Messieurs les rapporteurs, de votre éclairante présentation. Ma question porte sur la communication faite autour des SALA et le rôle de la France en la matière. Vous l’avez dit, la France a un rôle actif d’alerte et de plaidoyer, mais ne faudrait-il pas en parler encore davantage, notamment avec nos amis européens partenaires ? En particulier, pensez-vous que ce soit là un sujet de discussions à mettre à l’ordre du jour de l’initiative européenne d’intervention ?

Mme Patricia Mirallès. Je suis tout à fait d’accord avec nos collègues Jean-Michel Jacques et Jean-Louis Thiériot : nous ne devons pas laisser passer le train, une fois de plus : mettons-nous au contraire en mesure de le conduire.

M. Olivier Becht. Une réflexion dont vous excuserez qu’elle ne soit peut-être pas tout à fait politiquement correcte : à chaque fois que l’on a inventé un système d’armes, on s’est interrogé sur la moralité de son emploi. Tel a été le cas, par exemple, dès l’invention du fusil à poudre noire, dont on n’admettait alors qu’il ne pouvait guère être employé d’une façon conforme tant aux codes nobles de l’honneur au combat que pour effrayer les chevaux… On sait ce qu’il en est aujourd’hui, où les fusils les plus rapides tirent 1 000 coups par minute. Aujourd’hui, alors que de nouveaux systèmes d’armes sont concevables, on se pose de nouveau les mêmes questions de moralité.

Et, de nouveau, les faits sont les mêmes : à la guerre, l’ascendant tient à la vitesse d’exécution des ordres, et l’intelligence artificielle sera déterminante pour celle-ci. Avec notre collègue Thomas Gassilloud, nous l’avions déjà souligné dans le rapport que nous vous avons présenté sur les enjeux de la numérisation des armées, s’agissant par exemple du lancement de leurres par le Rafale. En effet, le lancement de ces leurres est d’ores et déjà automatique, et c’est bien normal : quand un missile est tiré vers l’avion, le salut tient à la rapidité avec laquelle on détecte la menace et l’on lance ces leurres ; or il est évident que la machine est plus rapide pour ce faire que ne l’est le cerveau humain.

Les mêmes causes produisant les mêmes effets, si l’état des techniques permet de lancer non seulement des leurres, mais aussi un missile visant l’agresseur, ne nous trompons pas : on le fera !

Il en va de même des systèmes plus ou moins autonomes : est-ce souhaitable ? Assurément non. Mais est-ce évitable ? Hélas, pas non plus, car qui s’en priverait perdrait le combat. Il ne s’agit pas seulement d’un enjeu industriel mais tout simplement stratégique et opérationnel. Est-ce dangereux pour l’humanité ? La question est d’ordre plus philosophique, mais gardons à l’esprit que tout dépendra de la façon dont la machine est programmée par l’humain. D’ailleurs, dans le fond, si la machine est véritablement intelligente, peut-être sera-t-elle-même moins dangereuse que l’humain, dont notre collègue Jean-Michel Jacques nous rappelait fort justement que son intelligence ne l’empêche pas de faire la guerre pour se détruire…

M. Jean Lassalle. Si je puis me permettre, en complément de ma précédente intervention, une parenthèse « Bisounours ». J’aimerais souligner combien les généraux de l’Antiquité avaient raison quand ils disaient que le véritable vainqueur est celui qui remporte la bataille des esprits. D’une certaine façon, il en va de même dans le sport, ou dans les élections ‒ j’en sais quelque chose ! Restent aussi, je vous le concède, quelques questions de moyens financiers dans les ressorts de la victoire. Je n’ai perdu qu’une seule élection mais de manière assez radicale !

Si l’on porte le regard dans le temps long, si l’on sonde profondément le cœur de l’homme ‒ après tout, il était un peu un fauve, il a su devenir un peu plus humain… ‒, bref, si l’on plonge dans les racines de notre histoire, je crois qu’un pays comme la France est des mieux placés pour démontrer, suivant une logique complexe mais imparable, qu’il y a plus d’avantages à la paix qu’à la guerre.

Je me le disais, par exemple, en réécoutant les discours de John Fitzgerald Kennedy, auquel je me suis beaucoup intéressé : il a tout simplement su éviter l’anéantissement de l’Europe ‒ en vérité, l’URSS et les États-Unis ne se seraient pas complètement anéantis eux-mêmes : c’est nous qui aurions fait les plus grands frais d’un conflit entre eux. Dans un de ses discours, où il désavoue d’ailleurs totalement son père, le président Kennedy parle bien des ressources de notre intelligence et de l’intérêt qu’il y a à en orienter les énergies vers d’autres conquêtes que celles de la guerre, en premier lieu celle de la Lune. Un grand pays comme le nôtre, fort de sa tradition universaliste, ne pourrait-il pas engager un combat sublime en faveur de la paix, et de l’emploi des énergies au service de l’homme plutôt que de la guerre ? À l’heure où une large part de l’humanité meurt de faim, on pourrait orienter les ressources de notre intelligence, et donc nos recherches, vers d’autres buts que la guerre ‒ pour trop souvent inexorable qu’elle soit ‒, et tendre ces ressources vers des objectifs autrement plus humains.

Mme Françoise Dumas, présidente. Voilà un débat profond, et peut-être plus large que prévu ; les rapporteurs y répondront, j’en suis sûr, de façon précise.

M. Fabien Gouttefarde, co-rapporteur. Pour répondre à Mme Mirallès ainsi qu’à MM. Thiériot, Jacques et Becht, je dirais que notre travail repose sur un paradoxe et qu’il essaie de trouver une ligne de crête. En effet, les SALA entendus suivant la définition pure et parfaite qu’en propose la France ‒ une arme qui s’octroie ses propres normes ‒ n’existe pas et a peu de chance d’exister, ne serait-ce que parce qu’une telle arme pourrait se retourner contre son concepteur, ce qui constitue un risque inacceptable du point de vue opérationnel.

Mais nous sommes persuadés que l’autonomie des armes va façonner la conflictualité de demain. Or, dans l’autonomie, il y a des stades, et un vrai continuum. Au dernier salon du Bourget, on voyait par exemple une bombe planante israélienne appelée Spice 250, d’une portée de 100 kilomètres : en vol, elle compare ce qu’observent ses capteurs avec une base de données embarquée de 300 cibles environ, modélisées en trois dimensions, et possède une capacité de reconnaissance automatique des cibles doublée d’un dispositif d’acquisition automatique ; ainsi, au cas où elle perdrait sa cible principale, elle peut se diriger seule vers une cible secondaire. Elle a déjà été utilisée en Syrie. Nous avons posé la question à nos interlocuteurs de savoir si l’on pouvait, dans ce cas, parler ou non d’intelligence artificielle : les réponses divergeaient. Ainsi, la ligne de partage entre autonomie et automatisation est d’ores et déjà complexe.

Vous avez d’ailleurs raison, cher Jean-Michel Jacques : nous sommes, dans le fond, dans une tradition militaire occidentale, où un commandement clairement identifié suit des règles d’engagement strictes ; toutes choses dont ne s’embarrasseraient pas un groupe terroriste ou une armée non-conventionnelle…

M. Jean-Michel Jacques. Ou encore un régime totalitaire !

M. Fabien Gouttefarde, co-rapporteur. Exactement. Quant au code de Montreux, Monsieur Thiériot, il se trouve qu’avant d’être élu député, j’ai fait partie de l’équipe chargée de sa négociation pour la partie française. Il s’agit d’une forme de soft law, de coutume, et les discussions de Genève sur les onze principes vont tout à fait dans le même sens. C’est donc bien dans cette voie que les discussions internationales actuelles sont engagées ; la France, en outre, ne verrait pas d’un mauvais œil des instruments juridiques un peu plus contraignants, élaborés sur la base de ces onze principes.

M. Claude de Ganay, co-rapporteur. En cela, et comment pourrais-je ne pas le regretter un peu, nous sommes vraiment dans un rapport « en même temps » !

Monsieur Bazin, s’agissant de la législation en vigueur susceptible de s’appliquer aux SALA, on en revient toujours à des règles juridiques de responsabilité, pénale ou civile, du fabricant, ainsi qu’aux règles de responsabilité des États ; mais ce droit n’est bien entendu pas adapté aux SALA. C’est pourquoi certains, comme Maître Bensoussan, proposent de doter les robots d’une personnalité juridique, ce qui ouvre la voie à des longs débats, y compris autour du transhumanisme ‒ faudrait-il reconnaître à des robots la possibilité de sentir, d’aimer ?

Vous évoquiez la recherche ; je tiens à souligner que la France a la chance de posséder des centres de recherche de haut niveau, comme l’INRIA ou le CNRS. Quant à notre base industrielle et technologique de défense, le magnifique rapport de nos collègues Benjamin Griveaux et Jean-Louis Thiériot que nous avons examiné hier a confirmé l’excellence de nos industries ‒ je pense à Thales, MBDA, Dassault ou d’autres, par exemple ‒ dans les technologies les plus modernes, et l’autonomie en fait partie. Nous sommes donc tout à fait d’accord avec vous.

M. Fabien Gouttefarde, co-rapporteur. Pour revenir à la question de M. Marilossian concernant le SCAF, l’armée de l’air s’est interrogée sur l’intérêt et la possibilité d’un avion non-habité, et a exclu cette possibilité. L’aéronef principal de ce système sera habité, mais entouré de divers autres appareils, parmi lesquels des drones et des remote carriers. On touche là à ce qui ressemblerait le plus à des armes autonomes. D’ailleurs, comme vous l’avez bien dit, l’un des aspects de cette réflexion capacitaire tient à ce que pour éviter les interceptions, il faudra minimiser, voire couper, les liaisons entre l’arrière et l’effecteur, ce qui suppose une certaine autonomie de ce dernier.

Un autre aspect tient à la distinction entre moyens défensifs et moyens offensifs. Olivier Becht a ainsi pris des exemples de moyens autonomes à finalité défensive existant déjà, et l’on pourrait citer aussi les systèmes de défense anti-missiles de type Iron Dome. En la matière, l’autonomisation des armes va vraisemblablement devenir de plus en plus nécessaire avec l’arrivée, sur le champ de bataille, d’armes hypervéloces : face à de telles menaces, l’homme ne peut plus être dans la boucle, au risque d’être anéanti.

Il faut aussi distinguer le degré d’autonomie envisageable pour les armes en fonction du milieu dans lequel elles seront employées. En effet, les milieux homogènes et inhabités se prêtent le plus à des armes autonomes : tel est le cas de l’air, ou du fond des mers. Mais il sera beaucoup moins aisé de confier à un système autonome la faculté de délivrer un tir létal à terre, dans un milieu plus complexe et plus habité, en particulier en milieu urbain.

M. Claude de Ganay, co-rapporteur. Le président Becht a souligné à juste titre que l’on s’est toujours posé la question de la moralité des armes nouvelles ; pour citer un exemple qui ne vous sera pas étranger, rappelons que le deuxième concile du Latran, en 1139, avait banni les arbalètes, considérées comme « perfides ». Un léger point de divergence entre nos vues, s’agissant des exemples que vous citiez, réside peut-être dans ce que nous tenons beaucoup à distinguer autonomie et automatisation.

M. Fabien Gouttefarde, co-rapporteur. Monsieur Blanchet, je reconnais dans votre question la marque de vos centres d’intérêt personnels ! Il est vrai qu’il ne faut pas, pour une puissance comme la nôtre, être trop sur la défensive devant les SALA. Certains États, au premier rang desquels l’Autriche, tiennent une posture très ferme, davantage que la nôtre, plaidant non seulement contre tout développement en matière de SALA, mais aussi contre toute recherche. De nombreuses organisations non gouvernementales vont également en ce sens. À la différence de cette position, nous plaidons pour des investissements nous permettant d’éviter un décrochage dans le domaine de l’intelligence artificielle. D’autres freins apparaissent d’ailleurs, et à cet égard, vous avez entendu hier que le Fonds européen de défense serait doté non pas des 13 milliards d’euros attendus, mais de sept seulement, ce qui constitue une déception. Nous pouvons toujours nous réjouir du fait qu’il s’agit de sept milliards de plus, mais c’est aussi six milliards en moins pour la recherche et la préparation de l’avenir. En outre, il me semble important d’insister sur le fait qu’en aucun cas nous ne devrons transiger avec les questions éthiques.

Madame Mauborgne, parmi les onze principes directeurs adoptés concernant les SALA, on relèvera par exemple l’applicabilité du droit international humanitaire, le maintien d’une responsabilité humaine, une obligation de rendre des comptes, ou encore un examen de conformité des armes ‒ rappelons que tout armement est soumis à un tel examen, conduit par la direction des affaires juridiques du ministère des Armées, à chaque stade de sa conception et de son développement ‒, la prise en compte des risques cyber dans la conception des armes, ou encore l’interdiction du développement d’armes à forme humaine ‒ c’est-à-dire humanoïdes. Quant à la prochaine loi bioéthique, je ne sais pas de quoi elle traitera, dans cinq ans, mais à une échéance bien plus rapprochée, nous pourrons débattre des SALA en séance publique à l’occasion de l’examen de la proposition de résolution que nous soumettrons sans tarder à votre cosignature.

M. Claude de Ganay, co-rapporteur. Madame Bureau-Bonnard, nous sommes tout à fait d’accord avec vous : il y a beaucoup à faire sur la scène internationale, y compris autour de M. Josep Borrell et de ses services. Il y a aujourd’hui des divergences entre les pays dits « désarmeurs », comme l’Autriche, et des puissances plus modérées, comme la France, l’Allemagne ou l’Espagne. Il y a une ligne de crête à trouver pour refuser le développement d’armes autonomes, sans pour autant renoncer à la recherche sur l’autonomie.

M. Fabien Gouttefarde, co-rapporteur. De manière complémentaire, s’agissant de la communication, j’attire votre attention sur le fait que dès lors qu’il est question de SALA, chacun pense à des robots tueurs ou à la figure de Terminator. D’ailleurs, l’an dernier, j’avais proposé au journal Le Monde une tribune sur les SALA ; elle avait été acceptée et publiée mais le journal s’était laissé le choix de la photo l’illustrant, retenant une image de Terminator, avec son œil rouge. Notre rapport a donc aussi une dimension pédagogique.

M. Claude de Ganay, co-rapporteur. Pas plus tard que ce matin, sur France Inter, le mot SALA n’a pas été prononcé alors qu’il était question de notre rapport ! Il n’était question que de robots tueurs.

M. Fabien Gouttefarde, co-rapporteur. Je n’oublie pas la question de Séverine Gipson sur l’esprit guerrier. Elle est difficile car elle oblige à conduire des réflexions sur un changement de doctrine. Préparer nos soldats à l’éventualité de se trouver face à des machines constitue un défi de premier ordre et les Américains eux-mêmes, je l’ai dit, considèrent qu’il serait peu éthique d’envoyer des soldats face à une armée de robots. Toutefois, il me semble que dès aujourd’hui, nos aviateurs, que vous connaissez bien chère Séverine, doivent se préparer à des opérations d’entrée en premier dans des environnements contestés, face à des systèmes de déni d’accès de plus en plus performants, à l’instar des systèmes S-400 russes. D’une certaine manière, ils doivent déjà se préparer à se trouver face à des machines.

M. Christophe Lejeune. Bravo à nos rapporteurs pour ce travail des plus utiles. Si nous sommes tous des humains sur terre, je ne suis pas persuadé que tous les humains partagent la même philosophie. Le rapport à la vie n’est pas le même selon les cultures et, au fil des ans, nous sommes moins prêts à payer le prix du sang. Les sacrifices consentis par la France pendant la Première Guerre mondiale ne seraient sans doute plus acceptés aujourd’hui. Doit également être pris en compte le rapport du faible au fort, comme pour la dissuasion, notamment si l’on oppose par exemple la Chine à Israël, avec un rapport de population de l’ordre de 150. Même avec un niveau technologique important, le poids de la population est déterminant. J’en viens à ma question : qu’en est-il de l’importance des satellites pour le développement des SALA ? Le quintuplement annoncé du nombre de satellites n’est-il pas la première marque de cette évolution stratégique ?

M. Jean-Jacques Ferrara. Chers collègues, toutes mes félicitations pour votre rapport. Vous préconisez de poursuivre les discussions sur les SALA dans le cadre de la Convention sur certaines armes classiques. J’aurai deux questions. D’une part, a-t-il déjà été envisagé de déplacer le débat au sein d’une autre enceinte onusienne, comme le Comité des droits de l’homme ? D’autre part, quelle est selon vous la probabilité de voir le débat sur les SALA basculer dans un processus ad hoc ?

Mme Florence Morlighem. Messieurs les rapporteurs, votre exposé m’a rappelé les manifestations des employés de Google, en 2018, s’opposant au développement d’outils d’intelligence artificielle au profit du Pentagone. Comment analysez-vous le rôle des salariés dans les débats sur le développement de tels systèmes d’armes, surtout au sein d’entreprises privés, qui investissent fortement dans le domaine de l’intelligence artificielle. Vous avez-vous-même relevé que les GAFAM étaient à la pointe des avancées en la matière.

M. Fabien Gouttefarde, co-rapporteur. En réponse à Jean-Jacques Ferrara, deux autres types d’enceintes pourraient accueillir le débat sur les SALA, qui se tient depuis 2013 au sein de la CCAC, à l’initiative de la France. D’abord, comme vous l’avez cité, le Comité des droits de l’homme. Je rappelle à ce titre que M. Christof Heyns, membre de ce comité et rapporteur spécial sur les exécutions extrajudiciaires, sommaires ou arbitraires, s’est prononcé en faveur d’un moratoire sur les SALA. Dans ce contexte, certains pays souhaiteraient que le débat sur les SALA soit déporté vers cette enceinte, qui serait moins favorable au maintien de la recherche et, in fine, à la position française. Le principal risque serait d’exclure des discussions les puissances les moins favorables à la fixation d’un cadre contraignant, comme les États-Unis, la Chine ou la Russie. Ensuite, l’alternative serait la création d’une enceinte ad hoc, comme ce fut le cas pour le Traité d’interdiction des armes nucléaires (TIAN) ou des Conventions d’Ottawa ou d’Oslo. Les membres de la campagne « to stop killer robots » promeuvent une telle solution, avec le soutien de certains États, qui conduirait de facto à ne pas inclure dans les discussions les grandes puissances militaires que j’évoquais à l’instant.

M. Claude de Ganay, co-rapporteur. Merci à Christophe Lejeune d’avoir rejoint l’une de nos préoccupations, à savoir l’inclusion d’une réflexion d’ordre quasi philosophique et culturel. En effet, nos travaux ont confirmé que l’exigence du maintien de l’homme au cœur de la conduite de la guerre relève d’une conception très occidentale de l’affrontement, que l’on retrouve du reste chez Clausewitz avec la description de la guerre comme d’un affrontement de volontés. Nous n’avons pas vraiment abordé la question satellitaire, sans doute faute de temps en raison de la crise sanitaire. Nous n’avons ainsi pas pu nous rendre en Israël, pourtant très en avance. Les liaisons satellitaires constituent déjà un enjeu de première importance, ne serait-ce que pour le Rafale. Je ne vois qu’une seule solution, Madame la présidente : confier un deuxième rapport aux mêmes rapporteurs pour aller plus loin ! (Sourires.)

M. Fabien Gouttefarde, co-rapporteur. Enfin, Madame Morlighem, nous avons évidemment suivi le mouvement de fronde d’une partie des salariés des GAFAMI qui refusaient de travailler pour l’industrie de défense et de voir les données des applications sur lesquelles ils travaillaient transmises au Pentagone. Le projet Maven avait notamment cristallisé l’attention. Je répondrai à votre question de deux manières. Tout d’abord, à ce stade, les entreprises françaises ne sont pas très inquiètes car elles travaillent sur deux segments de données différents : les données civiles et les données militaires qui pourraient servir aux SALA. De manière concrète, les milliers de données récoltées par un pod de Rafale restent au sein de la communauté de défense et sont déconnectées des questions civiles. Il convient donc de traiter et d’exploiter ces données, dans l’objectif de rendre l’intelligence artificielle toujours plus robuste, fiable et explicable. Pour autant, il est vrai que dans le cadre de nos auditions, certains de nos interlocuteurs nous ont confirmé que chez Google ou autre, une partie des salariés refusaient de travailler au bénéfice de la défense, ce qui n’est pas sans poser de sérieuses difficultés. Il est donc indispensable de sans cesse expliquer la finalité des recherches conduites.

M. Claude de Ganay, co-rapporteur. Chers collègues, merci de votre attention et comme j’ai le sentiment que vous avez apprécié notre rapport, je n’ai guère de doute quant à votre assentiment pour cosigner la proposition de résolution que nous vous ferons parvenir dans les prochains jours !

Mme la présidente Françoise Dumas. Il nous revient maintenant de voter pour autoriser la publication de l’intégralité de votre texte.

La commission de la Défense nationale et des forces armées autorise à l’unanimité le dépôt du rapport d’information sur les systèmes d’armes létaux autonomes en vue de sa publication.

Mme la présidente Françoise Dumas. Le vote unanime montre bien à quel point la qualité de vos travaux était à la hauteur de nos espérances.

Les questions éthiques qui se posent en matière de SALA se posent à tous les niveaux, chez les industriels comme au sein de la population. Nous devons toujours progresser pour diffuser notre conception de l’humanité au service de la paix. Il est de notre devoir de continuer à affirmer notre position sur la scène internationale et, dans ce cadre, vos travaux nous permettent d’approfondir nos réflexions sur les conflictualités de demain.

* *

La séance est levée à onze heures vingt.

* *

Membres présents ou excusés

Présents. - M. Jean-Philippe Ardouin, M. Stéphane Baudu, M. Thibault Bazin, M. Olivier Becht, M. Christophe Blanchet, M. Jean-Jacques Bridey, Mme Carole Bureau-Bonnard, M. Philippe Chalumeau, M. André Chassaigne, Mme Françoise Dumas, M. Jean-Jacques Ferrara, M. Claude de Ganay, M. Thomas Gassilloud, Mme Séverine Gipson, M. Fabien Gouttefarde, M. Jean-Michel Jacques, M. Jean Lassalle, M. Christophe Lejeune, M. Jacques Marilossian, Mme Sereine Mauborgne, M. Nicolas Meizonnet, M. Philippe Meyer, Mme Monica Michel, Mme Patricia Mirallès, Mme Florence Morlighem, Mme Josy Poueyto, Mme Nathalie Serre, M. Jean-Louis Thiériot, M. Pierre Venteau, M. Charles de la Verpillière

Excusés. - M. Florian Bachelier, M. Xavier Batut, M. Sylvain Brial, M. Alexis Corbière, M. Olivier Faure, M. Yannick Favennec Becot, M. Richard Ferrand, M. Stanislas Guerini, M. Christian Jacob, Mme Manuéla Kéclard-Mondésir, M. Jean-Christophe Lagarde, M. Jean-Charles Larsonneur, M. Gilles Le Gendre, M. Franck Marlin, M. Philippe Michel-Kleisbauer, Mme Natalia Pouzyreff, M. Bernard Reynès, M. Gwendal Rouillard, M. Joachim Son-Forget, M. Aurélien Taché