— 1 —

« Cette mission est trop importante pour moi,

je ne puis tolérer que vous la mettiez en péril. »

L’intelligence artificielle Hal 9000 à Dave, son commandant humain,

2001, l’Odyssée de l’espace

Stanley Kubrick, 1968.

« C’est une terrible loi du genre : on ne « neutralisera »

pas plus l’emploi de l’IA dans les applications militaires

que l’on a « désinventé » la bombe atomique après Hiroshima,

ni jadis les carreaux d’arbalète, pourtant interdits en 1139 par le deuxième concile du Latran. Seules les armes se dépassent entre elles »

M. Louis Gautier,

ancien secrétaire général de la défense et de la sécurité nationale.

introduction

« J’ai réfléchi à notre problème, Greg. Dave possède un curieux arrière-plan psychologique pour un robot. Il exerce une autorité absolue sur les six subsidiaires qui dépendent de lui. Il possède sur eux le droit de vie et de mort et cela doit influer sur sa mentalité. Imaginez qu’il estime nécessaire de donner plus d’éclat à son pouvoir pour satisfaire son orgueil.

- Précisez votre pensée.

- Supposez qu’il soit pris d’une crise de militarisme. Supposez qu’il soit en train de former une armée. Supposez qu’il les entraîne à des manœuvres militaires. Supposez...

- Supposons que vous alliez vous mettre la tête sous le robinet. Vous devez avoir des cauchemars en technicolor. Vous postulez une aberration majeure du cerveau positronique. Si votre analyse était correcte, Dave devrait enfreindre la Première Loi de la Robotique ; un robot ne peut nuire à un être humain ni laisser cet être humain exposé au danger. Le type d’attitude militariste et dominatrice que vous lui imputez doit avoir comme corollaire logique la suprématie sur les humains.

- Soit. Comment pouvez-vous savoir que ce n’est pas de cela justement qu’il s’agit ?

- Parce qu’un robot doté d’un tel cerveau, primo, n’aurait jamais quitté l’usine, et, secundo, aurait été repéré immédiatement, dans le cas contraire. J’ai testé Dave, vous savez ».

Les fantasmes suscités par l’émergence et le règne des robots tueurs ne sont pas nouveaux, comme en témoigne cet extrait de Les Robots, recueil de nouvelles d’Isaac Asimov publié en 1950. La science-fiction met depuis longtemps en scène des figures de robots tueurs, et il n’est pas anodin que l’Agence de l’innovation de défense (AID) vienne de constituer une Red Team, composée d’auteurs de science-fiction, afin d’imaginer des scénarios disruptifs et de préparer les forces armées à l’émergence de nouvelles technologies.

Entre immortalité, transhumanisme et scénarios apocalyptiques de fin du monde, l’intelligence artificielle fait aujourd’hui l’objet d’espoirs, de craintes et de fantasmes en tous genres. Après les deux « hivers » des années 1970 et 1990, les performances de l’intelligence artificielle s’étant révélées décevantes, la discipline est en plein renouveau depuis le début de la décennie. La progression des algorithmes d’apprentissage automatique ainsi que l’accroissement des quantités de données disponibles, des capacités de stockage et des puissances de calcul sont autant de progrès techniques qui ont suscité un certain regain d’intérêt des scientifiques et des pouvoirs publics pour une matière apparue dès le milieu des années 1950.

La défense est l’un des multiples domaines d’application de l’intelligence artificielle. Il s’agit même de l’un des quatre domaines prioritaires identifiés par le rapport visant à « Donner un sens à l’intelligence artificielle » de notre collègue M. Cédric Villani, député de l’Essonne et lauréat de la médaille Fields, aux côtés des transports, de la santé et de l’environnement. Dans cette perspective, le ministère des Armées a initié une réflexion dans le cadre de la « Task Force IA », constituée en avril 2019, qui a abouti en septembre 2019 à la publication d’une stratégie nationale intitulée « L’intelligence artificielle au service de la défense ». Cette initiative est à replacer dans un contexte mondial que d’aucuns qualifient de nouvelle course aux armements : les États-Unis, la Chine et la Russie ne cachent plus leurs ambitions en matière d’intelligence artificielle de défense, devenue un nouveau front d’affrontement entre grandes puissances.

Technologie à fort potentiel, l’intelligence artificielle fait naître des peurs, parfois irrationnelles, fondées sur la crainte de l’exercice des fonctions létales par la machine. Souvent caricaturée par la figure de Terminator, l’intelligence artificielle de défense cristallise les fantasmes autour de la notion de « robot tueur ». Si la question des systèmes d’armes létaux autonomes (SALA) ne peut être déconnectée de celle de l’intelligence artificielle, c’est bien sur cette première question que porte le présent rapport.

Créée en novembre 2019, la présente mission d’information a ainsi vocation à étudier de manière spécifique les enjeux posés par les SALA, souvent présentés sous la seule forme d’un robot tueur humanoïde, et de compléter ainsi les travaux déjà menés par la commission de la Défense nationale et des forces armées sur la numérisation des armées ([1]).

Au terme de leurs auditions, les rapporteurs estiment que malgré les craintes exprimées ici ou là, les SALA, dès lors qu’ils sont entendus comme des systèmes d’armes létaux pleinement autonomes, ne revêtent pour l’heure aucun intérêt pour les forces. Nulle armée au monde ne souhaite compter dans ses rangs « Rambo ou Terminator ». Pour autant, l’intelligence artificielle, composante clef de l’autonomie, constitue bien, quant à elle, un « virage technologique » que la France ne saurait manquer, au risque d’accuser le même retard stratégique et opérationnel que celui qu’elle a connu, par le passé, s’agissant des drones aériens.

L’enjeu du présent rapport consiste donc à aborder la question des SALA de manière objective, en faisant d’abord œuvre de pédagogie pour distinguer le mythe de la réalité. D’autre part, il s’agit aussi pour les rapporteurs de veiller à ce que le débat sur les SALA, quoique légitime au regard des défis posés par l’essor de l’autonomie dans les systèmes d’armes létaux, ne parasite pas les efforts consentis en matière d’intelligence artificielle de défense en général.

La première partie du rapport est consacrée à l’objet même des SALA. Le débat autour des SALA résulte pour l’essentiel d’une confusion entre l’autonomie et l’automatisation, c’est-à-dire une action programmée à l’avance. L’autonomie, du grec autos et nomos qui signifient respectivement « soi-même » et « règle », désignerait ainsi la capacité, pour un système, de s’assigner sa propre mission. Au cours des auditions, les rapporteurs se sont vus tout à la fois indiquer que les SALA existaient déjà, qu’ils n’existaient pas et ne pourraient pas exister, eu égard à l’état actuel des connaissances techniques, ou encore qu’ils n’existaient pas mais pourraient voir le jour à moyen terme. À l’issue des auditions, les rapporteurs partagent ce dernier point de vue, et c’est précisément la perspective de l’irruption prochaine de systèmes de plus en plus autonomes qui irrigue le présent rapport.

La deuxième partie porte sur les enjeux éthiques et juridiques soulevés par l’essor de l’autonomie des systèmes d’armes et l’éventuel développement des SALA, et ce faisant, sur leur encadrement international dans une logique de maîtrise des armements. L’emploi de SALA sur le champ de bataille pourrait bouleverser la nature des conflits armés et radicalement modifier les rapports de l’homme à la guerre. Sans remettre en cause la pertinence des principes du droit international humanitaire (DIH), qui fait l’objet d’un consensus parmi les États, l’emploi de SALA compliquerait leur respect. La France se distingue par ses contributions au débat en défendant une position que les rapporteurs jugent « réaliste », préférant un encadrement effectif et efficace à une interdiction préventive, qui serait vaine au regard de l’inexistence des SALA.

La troisième partie, enfin, souligne la nécessité pour la France de ne pas laisser le débat sur les SALA parasiter ses efforts dans le domaine de l’intelligence artificielle de défense. En effet, en l’absence de définition rigoureuse des SALA et d’un encadrement international au juste niveau, c’est le développement de l’intelligence artificielle en général qui peut être remis en cause. Par ailleurs, les grandes puissances militaires se sont lancées dans une nouvelle course aux armements, faisant courir à la France et à l’Europe le risque d’un déclassement stratégique, technologique et industriel. Dans ce contexte, la France n’est pas démunie et dispose d’atouts indéniables, d’autant qu’elle a établi une stratégie ambitieuse en matière d’intelligence artificielle de défense ; il s’agit désormais de conforter les actions entreprises par le développement de synergies à l’échelle européenne. Sans faire de concession sur ses exigences éthiques, la France a les capacités d’incarner une voie originale, fidèle à ses valeurs.

Durant près de sept mois, vos rapporteurs ont mené une trentaine d’auditions, se sont rendus à Bruxelles et à Washington et ont poursuivi leurs travaux à distance, malgré les mesures de confinement prises pour juguler la crise sanitaire. Ils ont ainsi rencontré les principaux acteurs institutionnels français et internationaux engagés dans le cadre des négociations internationales sur les SALA et ont eu à cœur de traduire la diversité et la multiplicité des enjeux associés aux SALA ; c’est pourquoi, ils ont également tenu à rencontrer des chercheurs en sciences humaines et en robotique, des opérationnels, des juristes, des philosophes, des ingénieurs et des représentants de la société civile. Lors de ces auditions, les rapporteurs ont pu entendre les divers arguments des parties prenantes au débat et identifier en conséquence les principaux points d’attention.

Au terme de ce travail, ils se proposent d’identifier quelques pistes pour appréhender avec sérénité le débat sur les armes létales autonomes, dans le respect du DIH et des principes éthiques avec lesquels la France ne saurait transiger.

I. Comprendre le débat sur les systèmes d’armes létaux autonomes : Distinguer le mythe de la réalité

Les SALA sont source de fantasmes, cristallisés autour de l’image du « robot tueur », médiatique et symbolique de l’exclusion de l’homme du champ de bataille au profit de machines plus ou moins humanoïdes, plus ou moins autonomes, plus ou moins armées, mais toujours dangereuses et susceptibles d’échapper au contrôle humain et de se retourner, in fine, contre leurs concepteurs. Les craintes exprimées à l’encontre des robots tueurs, pour partie légitimes, se nourrissent également de la science-fiction, de la culture populaire et des réminiscences de mythologies anciennes ancrées dans nos imaginaires collectifs : de la figure du Golem à HAL 9000, le supercalculateur de 2001 ou l’Odyssée de l’espace au robot T-800, plus connu sous le nom de « Terminator ».

Cet imaginaire contribue à entretenir la confusion autour de la définition des SALA, alors même qu’il s’agit d’un objet complexe à définir. Ainsi que l’a relevé M. Jean-Baptiste Jeangène Vilmer, directeur de l’Institut de recherche stratégique de l’école militaire (IRSEM), lors de son audition par les rapporteurs, « l’une des principales difficultés dans le débat sur les SALA tient au défi terminologique que représente leur définition ».

C’est pourquoi, avant de s’intéresser aux défis soulevés par le développement et l’éventuel emploi de tels systèmes, les rapporteurs ont d’abord souhaité apporter des éléments de réponse à une question relativement simple en apparence, à savoir : « qu’est-ce qu’un SALA ? ».

A. leS SALA : stade ultime de l’autonomisation des systèmes d’armes

1. Les SALA font l’objet d’un débat sémantique autour de la notion d’autonomie

Le terme de « robot tueur » est sensationnaliste. Toutefois, son emploi et sa popularité révèlent, en creux, le fait qu’en l’état actuel des choses, aucune définition des SALA ne fasse autorité, ni ne soit universellement partagée. En effet, force est de constater que plusieurs définitions coexistent, et que la confusion sémantique qui prévaut nuit à une approche rationnelle du débat.

De manière schématique, les rapporteurs ont été amenés, à l’issue de leurs travaux, à distinguer deux grands types de définitions :

– d’une part, les définitions extensives, regroupant sous l’acronyme « SALA » l’ensemble des systèmes d’armes robotisés dotés d’une capacité létale, quel que soit leur niveau d’autonomie. Ces définitions conduisent à inclure sous la dénomination de SALA tant des systèmes téléopérés, tels les drones aériens employés par les forces françaises au Sahel, que des systèmes automatiques ou automatisés, employés par les forces depuis des décennies. Ce type de définition a les faveurs de la plupart des acteurs de la société civile, et notamment des organisations non gouvernementales regroupées sous la bannière de la campagne « Stop Killer Robots » ;

– d’autre part, une définition plus restrictive, centrée sur la notion d’autonomie, entendue comme la capacité pour un robot de se fixer ses propres règles et de fonctionner indépendamment d’un autre agent, qu’il s’agisse d’un être humain ou d’une autre machine ([2]). Une telle définition a les faveurs des grandes puissances militaires, dont la France.

Dans ce contexte, les rapporteurs ont fait leur, la définition exposée par M. Jean-Baptiste Jeangène Vilmer, présentée comme communément admise sur la scène internationale, et selon laquelle les SALA sont des systèmes d’armes capables de choisir et d’engager seuls une cible, sans intervention humaine, dans un environnement changeant.

2. La recherche de l’autonomie des systèmes d’armes n’est pas nouvelle

La recherche d’une plus grande autonomie des systèmes d’armes n’est pas nouvelle, ce qui a pu participer à une certaine confusion entre systèmes autonomes et systèmes automatisés. Du reste, certains systèmes purement automatiques pourraient être considérés comme autonomes, à l’instar des mines ou d’autres systèmes de piégeage – une fois posée, une mine se déclenche seule – ou d’une large gamme de systèmes de protection terrestre existants.

Il est également éclairant de relever que le programme de frappe dans la profondeur SCALP EG/Storm Shadow, initié dans les années 1990, avait vocation à produire un « Système de croisière conventionnel autonome à longue portée ». Il s’agit pourtant d’un missile relativement classique, qui combine une portée élevée, de l’ordre de 400 kilomètres, assurant la sécurité de la plateforme de lancement, avec une certaine furtivité permettant de rester inaperçu des défenses adverses. Le SCALP EG/Storm Shadow équipe les Tornado et les Eurofighter Typhoon de la Royal Air Force ainsi que les Mirage 2000 et les Rafale de l’armée de l’air et de la marine françaises. Système d’armes de grande précision, il n’est en rien pleinement autonome, mais répond à un fonctionnement automatisé.

3. L’autonomie doit être appréhendée comme un continuum

La focalisation des débats autour de la notion d’autonomie s’explique par le fait qu’elle est susceptible d’être abordée de manière évolutive et que, pour se positionner dans le débat sur les SALA, les parties prenantes peuvent se fonder sur différents niveaux d’autonomie.

Auditionné par les rapporteurs, M. Thierry Berthier, chercheur associé au centre de recherche des écoles de Saint-Cyr (CREC), a défini six niveaux d’automatisation applicables aux systèmes d’armes :

– L0 : système armé pleinement téléopéré ;

– L1 : système armé dupliquant automatiquement l’action de l’opérateur ;

– L2 : système armé semi-autonome en déplacement et en détection de cibles ;

– L3 : système armé autonome soumis à autorisation de tir ;

– L4 : système armé autonome sous tutelle humaine ;

– L5 : système armé autonome sans tutelle humaine.

De la même manière, M. Gérard de Boisboissel, secrétaire général de la chaire de cyberdéfense et de cybersécurité des écoles de Saint-Cyr, propose une distinction entre systèmes d’armes létaux semi-autonomes (SALSA) et systèmes d’armes létaux autonomes (SALA), soulignant de fait l’existence d’une graduation de l’autonomie. Selon ce schéma, les systèmes de niveaux L2, L3 et L4 proposés par M. Thierry Berthier seraient différentes formes, plus ou moins poussées, de SALSA, tandis qu’un SALA correspondrait au seul niveau L5, c’est-à-dire un système sans tutelle humaine.

Une telle typologie s’avère plus précise que celle reposant sur la « place de l’homme dans la boucle », sous-entendu de décision, et qui distingue les systèmes dits « man in the loop » (drones téléopérés), des systèmes « man on the loop » (missiles supervisés mais dotés d’une certaine autonomie, à l’instar des SCALP capables d’aller s’écraser dans une zone pré-définie s’ils n’atteignent pas la cible initialement définie) et des systèmes « man out of the loop » (un « vrai » SALA en théorie).

Quoi qu’il en soit, ainsi que l’a souligné M. Jean-Baptiste Jeangène Vilmer lors de son audition, « l’autonomie n’est pas un escalier à trois marches, mais un continuum ». La notion de continuum permet en effet d’aborder l’autonomie de manière plus précise. Dans un article paru en 2015 sur l’autonomie des robots, Mme Catherine Teissier définit le continuum comme « allant de situations où l’homme prend toutes les décisions jusqu’aux situations où un grand nombre de fonctions sont déléguées au robot, l’homme conservant le plus souvent la possibilité d’intervenir » ([3]).

L’existence de différents stades d’autonomie explique pourquoi, dans le cadre du débat sur les SALA, certaines parties prenantes retiennent une définition large de l’autonomie, incluant des systèmes placés sous la supervision d’un opérateur humain.

Pour remédier à ces difficultés, chercheurs et personnels du ministère des Armées préconisent d’aborder la question de l’autonomie sous l’angle des différents modules fonctionnels qui composent les systèmes d’armes, considérant que le développement de leur autonomie générale se fait par paliers fonctionnels. Devant les rapporteurs, le colonel Pierre Quéant, chef de la cellule de l’innovation et de la transformation numérique de l’état-major de l’armée de l’air, a précisément invité à découper la notion d’autonomie en grandes fonctions afin d’affiner la lecture des différents stades de l’autonomie.

Une telle position s’inscrit d’ailleurs tout à fait dans la doctrine française, qui invite en effet à caractériser les systèmes d’armes en fonction du degré d’automatisation, entendue comme la simple programmation de machines, et d’autonomisation de chacune de leurs fonctions (navigation, observation, analyse de la situation, pointage des armements, aide à la décision de tir, décision de tir...). Le concept exploratoire interarmées portant sur « l’emploi de l’intelligence artificielle et des systèmes automatisés » invite même à éviter le recours à l’expression de « système autonome », au motif qu’elle serait source de confusion. Enfin, pour le Centre interarmées de concepts, de doctrines et d’expérimentations (CICDE), dont les rapporteurs ont reçu les responsables, il serait plus juste de parler de systèmes automatisés semi-autonomes et de systèmes automatisés pleinement autonomes.

Les six niveaux d’automatisation des systèmes armés

Niveaux d’automatisation du système	L0 Système armé pleinement téléopéré	L1 Système armé dupliquant automatique-ment l’action de l’opérateur	L2 Système semi-autonome en déplacement et en détection de cibles	L3 Système armé autonome soumis à autorisation de tir	L4 Système armé autonome sous tutelle humaine	L5 Système armé sans tutelle humaine
Opérateur humain associé au système	L’opérateur humain téléopère à distance le système à l’aide d’une interface de pilotage déportée	L’opérateur humain est augmenté par un système qui l’assiste en dupliquant automatique-ment ses actions	L’opérateur humain supervise le système en lui fournissant un plan de route et des indications de cibles	L’opérateur humain n’intervient que pour donner l’autorisa-tion d’ouvrir le feu sur une cible proposée par le système	L’opérateur humain peut désactiver et reprendre le contrôle du système pleinement autonome	L’opérateur humain n’a pas la possibilité de reprendre le contrôle du système pleinement autonome
Composante mobile-traction du système	Les déplacements du système sont strictement téléopérés par l’opérateur humain	La composante de traction peut suivre et reproduire les déplacements du superviseur humain via ses capteurs	Le système choisit le meilleur chemin en fonction des indications de localisation fournies par l’opérateur	Les déplacements sont décidés par le système en fonction de sa perception du terrain et de ses objectifs de mission	Les déplace-ments sont décidés par le système en fonction de sa perception du terrain et de ses objectifs de mission	Les déplace-ments sont décidés par le système en fonction de sa perception du terrain et de ses objectifs de mission
Composante de détection du système	Les détecteurs du système renvoient des informations à l’opérateur	Les capteurs du système détectent les objets que l’opérateur a détecté	Les capteurs du système détectent automatique-ment les objets cibles potentielles	Les capteurs détectent et reconnais-sent les objets de manière autonome	Les capteurs détectent et reconnais-sent les objets de manière autonome	Les capteurs détectent et reconnais-sent les objets de manière autonome
Composante de reconnaissance et d’acquisition de cibles	La reconnais-sance et l’acquisition des cibles sont exclusive-ment réalisées par l’opérateur humain	L’acquisition des cibles est identique à celle de l’opérateur humain via le système de visée son arme connectée à celui du système	Le système suggère des objets comme cibles potentielles à l’opérateur humain qui définit les cibles à prendre en compte	L’acquisi-tion de cibles s’effectue de manière automatique ou dirigée via les capteurs du système et ses capacités de reconnais-sance	L’acquisi-tion de cibles s’effectue de manière automatique via les capteurs du système et ses capacités de reconnais-sance et d’analyse	L’acquisi-tion de cibles s’effectue de manière automatique via les capteurs du système et ses capacités de reconnais-sance et d’analyse
Composante armée du système	Les commandes de tirs du système sont exclusive-ment actionnées par l’opérateur humain	Le système ouvre le feu sur une cible si et seulement si l’opérateur ouvre le feu sur cette cible	Le système ouvre le feu sur la cible après autorisation du superviseur humain	Le système propose une cible et ouvre le feu après autorisation du superviseur humain	Le système décide de l’ouverture du feu sur la cible qu’il a sélectionné mais peut être désactivé par son superviseur	Le système décide de l’ouverture du feu sur la cible qu’il a sélectionnée sans possibilité de désactiva-tion (sauf destruction)

Source : Thierry Berthier, « Systèmes armés semi-autonomes : que peut apporter l’autonomie ? ». Revue de la défense nationale (mai 2019).

Aux yeux des rapporteurs, il ne fait guère de doute que seul le niveau L5 de cette grille de lecture correspond aux SALA : un système au sein duquel même la décision de tir est confiée à la machine, et dont l’humain ne peut reprendre le contrôle qu’en procédant à la destruction physique du système.

Si, pour la plupart des spécialistes, la pleine autonomie relève encore de la science-fiction, d’importants progrès ont d’ores et déjà été réalisés aux niveaux inférieurs, jusqu’au niveau L4.

Ainsi que l’a exposé aux rapporteurs M. Thierry Berthier, les trois premiers niveaux correspondent à des technologies globalement bien maîtrisées par l’ensemble des puissances militaires, voire des acteurs non étatiques. En revanche, les niveaux supérieurs se situent, aujourd’hui, à « l’état de l’art des progrès en intelligence artificielle et en robotique et s’appliquent à des démonstrateurs développés dans le cadre de programmes de recherche » ([4]), à l’instar du navire américain Sea Hunter ou du robot terrestre russe Plateforme-M‑([5]).

4. Les progrès technologiques laissent entrevoir l’émergence de systèmes de plus en plus autonomes

La question des SALA et, plus largement, celle du renforcement de la place de l’autonomie dans les systèmes d’armes sont intimement liées à la révolution des systèmes d’apprentissage et à leur application aux systèmes d’armes soit, en d’autres termes, à l’essor de l’intelligence artificielle de défense.

L’intelligence artificielle n’est pas un concept nouveau. Elle a connu ses premières heures de gloire en 1956, lorsqu’un collège d’experts en mathématiques réunis sur le campus de l’université américaine de Dartmouth s’est fixé pour objectif d’imiter la cognition humaine avec des machines.

À l’issue des travaux de la commission d’enrichissement de la langue française, le Journal officiel la définit comme un « champ interdisciplinaire théorique et pratique qui a pour objet la compréhension de mécanismes de la cognition et de la réflexion, et leur imitation par un dispositif matériel et logiciel, à des fins d’assistance ou de substitution à des activités humaines ». L’application de cette recherche interdisciplinaire à la robotique a permis de développer des systèmes automatisés, capables d’évoluer dans des milieux complexes, au sein desquels ils peuvent faire appel à de « l’auto-apprentissage », qui se distingue de la simple mémorisation, grâce à des algorithmes.

De manière schématique, il est possible d’identifier deux générations de technologies au sein de ce champ de recherche.

Dans un premier temps, les technologies employées sont entièrement programmées. Il s’agit de systèmes-experts, également appelés systèmes-machines, qui ont donné naissance aux armements actuellement utilisés. Cette première génération de l’intelligence artificielle repose sur des technologies informatiques relativement classiques, et des applications modélisées, programmées et complètement prédictives. Par exemple, les missiles de croisière sont programmés en amont et les acteurs opérationnels disposent d’une expertise technique leur permettant de maîtriser ces instruments.

Puis, dans un second temps, les systèmes d’apprentissage, conçus il y a plusieurs décennies, ont connu un renouveau grâce aux progrès réalisés dans les domaines des capacités de calcul, de la transmission, du stockage et du traitement de données (Big data) et des algorithmes fonctionnant à partir de réseaux de neurones profonds.

Si les systèmes d’apprentissage connaissent une pleine révolution, M. Guillaume Prunier, directeur général délégué de l’Institut national de recherche en sciences et technologies du numérique (Inria), a relevé lors de son audition que dans de nombreux domaines, les systèmes-experts restent encore plus performants que l’apprentissage et que, de manière générale, ils s’inscrivent en parfaite complémentarité des systèmes d’apprentissage.

Les progrès réalisés dans le domaine de l’intelligence artificielle permettent aujourd’hui de confier à une machine la réalisation de fonctions dites cognitives, telles la reconnaissance, la classification, l’apprentissage et la décision. L’approfondissement de ces systèmes permettra de franchir les prochains paliers vers l’apparition d’armes totalement autonomes : tout SALA devrait s’appuyer sur les technologies d’apprentissage machine pour s’adapter à des configurations non prévues par sa programmation. Le Comité international de la Croix Rouge (CICR) précise d’ailleurs que le passage d’un système d’armes « automatisé » à un système d’armes « autonome » signifiera deux choses : « une capacité d’apprentissage et d’adaptation » et une « intelligence artificielle » ([6]).

B. Malgré les incertitudes, le développement de systèmes d’armes létaux DE PLUS EN PLUS AUTONOMES ne fait guère de doute

1. Terminator sur le champ de bataille : le fantasme d’un robot tueur

a. L’image d’un robot humanoïde hors de contrôle, à l’origine de peurs peu rationnelles

Les progrès technologiques accomplis ces dernières années dans le domaine de l’intelligence artificielle ont ravivé les craintes d’une transcription dans la réalité de scénarios jusqu’alors cantonnés à des œuvres littéraires ou cinématographiques de science-fiction. C’est d’ailleurs ce qui a amené la ministre des Armées, Mme Florence Parly, à proclamer que « Terminator ne défilera pas sur les Champs-Élysées » ([7]).

La crainte d’un robot humanoïde trouve son origine dans le concept même d’intelligence artificielle. En effet, l’emploi du mot « intelligence » entretient la confusion autour de l’émergence d’une machine dotée d’une intelligence comparable à l’intelligence humaine, qui serait donc dotée d’une conscience et d’une liberté d’action pleine et entière. Face à ce biais transhumaniste, il convient tout d’abord de procéder à une démythification de l’inclusion de l’autonomie dans les systèmes d’armes.

Comme le souligne l’ingénieur général de l’armement Patrick Bezombes, « l’association du qualificatif “autonome” à des technologies informatiques est à ce jour un contresens, de même que tout programmeur sait bien qu’une machine ne décide pas et ne fait qu’exécuter une suite d’instructions informatiques programmées [...]. Nous avons commis collectivement (le monde scientifique, le monde industriel, les médias...) l’erreur d’un choix sémantique et terminologique portant à la confusion en calquant sur le monde matériel des caractéristiques du monde vivant : apprentissage, intelligence, autonomie... [...] nous devons désormais en assumer les conséquences et gérer les fantasmes que ces choix génèrent, car nous nous retrouvons désormais dans la situation d’un enfant à qui on a raconté des histoires de Frankenstein et dont on s’étonne qu’il fasse des cauchemars »([8]). Pour autant, les progrès fulgurants de l’intelligence artificielle produisent aujourd’hui des résultats stupéfiants, à tel point que la nouvelle version du système d’intelligence artificielle spécialisé dans le jeu de go, appelé AlphaGo 2.0, est en mesure d’apprendre les règles du jeu et de battre n’importe quel adversaire, sans avoir été programmé au préalable.

En outre, de telles craintes conduisent à fausser le débat et à concentrer l’attention de la société sur un sujet qui, au fond, ne constitue pas tant une nouveauté au regard des développements plus larges de la numérisation des armées. Devant les rapporteurs, M. David Bertolotti, directeur des affaires stratégiques, de sécurité et du désarmement du ministère de l’Europe et des affaires étrangères, a d’ailleurs relevé que « les craintes exprimées par la société se concentrent ainsi sur l’autonomie – façon Terminator – des systèmes d’armes, alors même qu’il est techniquement possible de robotiser massivement les champs de bataille par de la simple programmation ».

b. Au-delà de l’autonomie, la crainte d’une déshumanisation du champ de bataille, confortée par les postures de certaines grandes puissances

Pour M. David Bertolotti, le grand public ne serait pas tant effrayé par l’automatisation ou l’autonomisation de la guerre que par sa déshumanisation, surtout en Occident. L’image du robot tueur renvoie en effet à un affrontement de machines incontrôlées, alors que l’éthique occidentale de la guerre la réserve à une élite, chevaleresque, respectée car elle peut faire preuve d’humanité et met sa propre vie en jeu lorsqu’elle part au combat. Dans cette perspective, l’affrontement oppose deux adversaires faisant chacun acte de courage, et partageant le même risque : le combat n’est loyal que si chacun d’entre eux peut y perdre la vie. Malgré la massification et la mécanisation des conflits débutées dès avant les guerres industrielles, l’image du soldat comme figure supérieure continue d’irriguer l’imaginaire collectif, notamment depuis la clôture d’une période plutôt antimilitariste ouverte avec les conflits de décolonisation. Le concept même du métier des armes demeure ainsi fortement ancré dans les armées occidentales, et le brutal remplacement des hommes par des robots est jugé par beaucoup comme un pas infranchissable.

Dans ce contexte, la crainte d’une déshumanisation du champ de bataille traduit une méconnaissance manifeste du fonctionnement de l’intelligence artificielle et de son statut au regard de l’intelligence humaine. Lors de son audition, M. Éric Trappier, président du groupement des industries françaises aéronautiques et spatiales (GIFAS), invitait ainsi à « ne pas se tromper de débat », soulignant que si la machine effectue un choix, elle ne le fait qu’au regard d’une grille de tri programmée. Par exemple, les trajectoires des systèmes sont calculées par la machine, qui est simplement nourrie d’algorithmes d’intelligence artificielle pour lui permettre de traiter plus d’informations. Ainsi, pour M. Éric Trappier, « dans les règles qui ont été fixées, la machine ne décide jamais toute seule. Si elle décide seule, c’est parce que c’est une décision qui résulte de la programmation par l’humain. Il peut toujours y avoir une défaillance mais cela ne correspond pas au fonctionnement normal. Il n’est en aucun cas question d’un Terminator qui décide de se passer de l’humain ».

Toutefois, cette crainte s’explique aussi par l’expression de positions fortes et, aux yeux des rapporteurs, plutôt inquiétantes, de la part de grandes puissances militaires. C’est ainsi, par exemple, que les États-Unis ou la Russie ont annoncé la mise en service de systèmes d’armes qualifiés « d’autonomes ». Comme l’a rappelé aux rapporteurs M. Thierry Berthier, le général Valeri Guérassimov, chef d’état-major des forces armées de la Fédération de Russie et vice-ministre russe de la Défense a déclaré, dès 2016, que la Russie cherchait à développer des unités de combat robotisées capables d’intervenir sur toutes les zones de crises. Aussi, la Russie a annoncé que des plateformes « autonomes » assureraient la surveillance de ses sites de missiles nucléaires en 2019. L’entreprise russe Kalachnikov a par ailleurs annoncé, le 10 juillet 2017, qu’elle s’engageait dans la production de drones de combat « autonomes », dotés de capacités d’apprentissage par réseaux de neurones, à même de reconnaître des cibles et de prendre des décisions autonomes dont celle de l’engagement.

En réponse à la déclaration de son homologue, le général Mark Milley, chef d’état-major des armées américaines, estimait, en 2017, que les robots autonomes déferleraient sur les champs de bataille beaucoup plus rapidement qu’imaginé, ajoutant que « les systèmes armés autonomes vont changer en profondeur le caractère fondamental de la guerre ». Toutefois, il ne s’agit pas de la première incursion américaine dans le domaine de l’autonomie des systèmes d’armes létaux, un document de l’armée de l’air américaine ayant évoqué, dès mai 2009, l’éventualité de passer du contrôle direct du système (« man in the loop ») à un mode supervisé (« man on the loop »).

2. À ce jour, les SALA n’existent pas

a. Les systèmes d’armes létaux automatisés existent depuis longtemps

Le recours à des systèmes d’armes de plus en plus automatisés et capables d’agir en se reconfigurant de manière autonome, est une réalité totalement indépendante des développements de l’intelligence artificielle ou de SALA. Comme l’a rappelé aux rapporteurs M. Gérard de Boisboissel, les automates sont prédictibles et non adaptatifs. Il est donc possible de prévoir le comportement d’un système automatique, car l’exécution de ses algorithmes amène à des comportements prédictibles. Ce faisant, le chef militaire imagine précisément le comportement d’une machine face à une situation donnée. À l’inverse, avec un système semi-autonome, l’effet final demandé est prévisible, mais la façon dont le système va se comporter ne l’est pas, tandis qu’un système autonome agit, lui, seul.

Le SIOP (Single Integrated Operational Plan) stratégique américain des années 1960 et les générations de système d’exploitation navale des informations tactiques (système de combat SENIT) qui ont armé nos bateaux depuis cette même période en sont de bons exemples. Ces derniers, dans leur fonction de défense anti-missiles, peuvent être basculés en mode automatique, et réagissent en une fraction de seconde. Ils réaffectent les armes et les cibles en fonction de l’évolution de la menace et font feu selon des séquences optimisées et recalculées en permanence.

De la même manière, pour M. Emmanuel Chiva, directeur de l’AID, les « systèmes intelligents » existent déjà et sont en cours de développement, comme en témoigne les « remote carriers » du système de combat aérien du futur (SCAF). Ceux-ci pourront réassigner des cibles, avec l’autorisation du pilote.

b. Les systèmes présentés comme autonomes le sont rarement pleinement

Au cours de leurs travaux, les rapporteurs ont souhaité comprendre si des systèmes actuellement déployés sur les théâtres d’opérations ou considérés comme étant en état de l’être pouvaient s’apparenter à des SALA.

Un certain nombre de systèmes existants sont parfois présentés comme autonomes, à l’instar des plateformes SGR-A1, développées en Corée du Sud par Samsung Tech et déployées de manière opérationnelle sur la frontière entre les deux Corées, ou l’Iron Dome israélien qui protège le ciel de Tel-Aviv ([9]).

En outre, comme l’a indiqué aux rapporteurs Mme Caroline Brandao, responsable de la diffusion du DIH à la Croix Rouge française, certains acteurs considèrent que des armes autonomes existent déjà. C’est notamment le cas de M. Vincent Boulanin, qui a réalisé pour le compte du Stockholm International Peace Research Institute (SIPRI), une cartographie des systèmes d’armes qu’il considère comme autonomes.

Pour autant, la plupart des spécialistes considèrent, de façon quasi-unanime, que les systèmes existants relèvent de la simple programmation, et qu’ils ne sont en rien pleinement autonomes. Tout au plus seraient-ils dotés d’une forme d’autonomie pour certaines de leurs fonctions, mais en aucun cas celle de tir.

De manière plus précise, M. Jean-Baptiste Jeangène Vilmer a indiqué aux rapporteurs que ce qui constituerait bel et bien l’élément de rupture conceptuelle serait la capacité à s’adapter à un environnement changeant. En l’absence d’un tel paramètre, il demeure tout à fait possible de s’en tenir à une automatisation et une programmation des systèmes. Ainsi, les plateformes SGR-‑A1 sont dotées d’une capacité de détection et de tir automatique et peuvent déclencher un tir, sans intervention humaine. Toutefois, la décision de tir ne peut être prise que si un certain nombre de paramètres sont respectés, selon une grille de lecture programmée en amont et dont la machine ne peut s’affranchir. En outre, la mobilité constitue également l’un des critères tacitement reconnus, ce qui exclut d’office ce système, tourelle automatique et fixe. De même, l’Iron Dome ou le système PHALANX ([10]) de la marine américaine répondent systématiquement et automatiquement à une menace connue, et ne peuvent s’adapter à une modification de leur environnement.

Le robot OPTIO X20 de Nexter : un robot téléopéré

Lors du salon Eurosatory de 2018, Nexter a dévoilé le robot OPTIO X20, qui est composé d’une plateforme avec un canon téléopéré de 20 mm. La décision de tir de ce robot est téléopérée, ce qui signifie que son déclenchement se fait en direct et à distance et, comme pour tous les soldats, en fonction d’une chaîne de commandement hiérarchique.

Le robot OPTIO X20, d’un poids d’une à une tonne et demie, est actuellement utilisé à des fins d’expérimentation et d’évaluation. L’objectif poursuivi est de décharger le soldat des contraintes de la mobilité. Les déplacements du robot seraient automatisés mais, une fois son point d’arrivée atteint, ou à n’importe quel moment de la boucle SDRI (surveillance, détection, reconnaissance et identification), si le robot détecte ou identifie quelque chose, le contrôle est transféré à l’humain.

3. Pour les forces, un système d’armes létal pleinement autonome ne présente aucun intérêt opérationnel

a. Le développement de l’intelligence artificielle est envisagé comme une aide au soldat humain

L’apport de l’intelligence artificielle de défense a été maintes fois commenté, notamment dans le cadre des travaux du ministère des Armées ayant conduit à la publication de la stratégie pour une intelligence artificielle au service de la défense. Sans revenir sur l’ensemble des applications qui y sont détaillées, il convient de rappeler que, pour les forces, la recherche de l’autonomie poursuit plusieurs objectifs, allant de la protection du soldat, par son éloignement des théâtres et des zones de combat, à l’amélioration des performances opérationnelles, grâce à une plus grande endurance ou encore un accroissement de la précision, de la réactivité ou des trajectoires d’un système d’armes.

De ce point de vue, l’intelligence artificielle de défense est davantage perçue comme un moyen d’atteindre des gains capacitaires significatifs dans des domaines d’application très divers. Il s’agit, d’une part, d’assister l’humain et d’améliorer le processus de prise de décision qui, in fine, reste du ressort du commandement humain, grâce à des capacités d’analyse plus rapides et plus pertinentes. D’autre part, l’emploi de l’intelligence artificielle vise à épargner le soldat humain des tâches les plus dangereuses, répétitives et fastidieuses, ou de mieux le protéger grâce à des capacités d’autoprotection ou de protection déportée accrue.

D’une certaine manière, alors que d’aucuns craignent l’émergence d’un Terminator, les bénéfices de l’intelligence artificielle de défense seraient davantage à rechercher, si l’on retient l’univers cinématographique, dans les aventures d’Iron Man, soldat augmenté bénéficiant de l’appui d’un système d’intelligence artificielle.

b. « Ni Rambo, ni Terminator » : tout système d’armes létal doit s’intégrer dans une chaîne de commandement dont le respect est consubstantiel aux armées

Lors de leur audition, les représentants de la direction générale des relations internationales et de la stratégie (DGRIS) du ministère des Armées ont rappelé aux rapporteurs combien, « malgré tout, pour toutes les puissances militaires, le respect de la chaîne hiérarchique constitue un principe immuable, aucun État ne pouvant se permettre de voir un système d’armes échapper à son contrôle. » Allant dans le même sens, M. Thierry Berthier a rappelé aux rapporteurs qu’« aucun chef militaire de n’importe quelle armée au monde n’accepterait de ne pas avoir le contrôle sur une machine qu’il a à sa disposition, c’est-à-dire la possibilité de décider et d’encadrer les objectifs qui lui sont assignés ». Les seuls contextes d’emploi imaginés à ce jour par les spécialistes sont, d’une part, une action terroriste et, d’autre part, le retrait d’un territoire par des forces armées, qui laisseraient derrière elles des systèmes d’armes létaux pleinement autonomes afin de ralentir l’avancée des troupes ennemies, à la manière des champs de mines. Ce faisant, les forces concernées se placeraient en dehors de tout cadre légal, à l’instar des armes de destruction massive, qui ne discriminent pas leurs cibles.

En somme, les forces ne souhaiteraient compter dans leurs rangs ni Rambo, soldat humain agissant de manière totalement indépendante, au mépris des règles d’engagement fixées par le commandement, ni Terminator, une machine pleinement autonome.

Le chef militaire se doit donc de pouvoir reprendre la main sur une machine à tout moment, afin de lui donner de nouveaux ordres, d’annuler des ordres précédents ou encore de fixer de nouvelles règles. Il y a là une règle fondamentale de l’engagement militaire.

S’il est envisageable que le chef militaire puisse déléguer à une machine une partie de la conduite de la mission, conformément aux ordres établis, en aucun cas la décision de tir ne pourrait être confiée à un système autonome. Le chef militaire serait alors dans l’incapacité d’évaluer la menace, et de mettre en balance sa connaissance du milieu et des règles d’engagement, ainsi que de la situation tactique d’ensemble. Tout au plus, pourrait-il basculer un système robotique armé en mode semi-automatique.

Processus décisionnel du chef militaire POUR BASCULER UN système ROBOTIQUE ARMé EN MODE DE TIR SEMI-AUTOMATIQUE

Source : Gérard de Boisboissel.

Le développement des SALA est ainsi associé à une perte de contrôle, alors même que le chef militaire engage sa responsabilité en donnant l’ordre de tirer. C’est d’ailleurs pour cette raison que nombre de spécialistes estiment que les SALA n’existeront jamais et, selon M. Raja Chatila, professeur de robotique, d’intelligence artificielle et d’éthique à l’Institut des systèmes intelligents et de robotique du Centre national de la recherche scientifique (ISIR-CNRS) et à l’Université Pierre et Marie Curie, ce serait « faire insulte aux militaires » que de penser que des SALA pourraient leur être substitués.

4. Le débat sur les SALA s’inscrit néanmoins dans le cadre plus large du renforcement de l’autonomie, même partielle, des systèmes d’armes

a. Des systèmes d’armes létaux plus autonomes verront sans conteste le jour dans un avenir proche

i. L’apparition progressive de systèmes toujours plus autonomes

Pour nombre de spécialistes, l’apparition de systèmes d’armes létaux plus autonomes est inéluctable. Ainsi, pour M. Gérard de Boisboissel « il semble tout à fait inéluctable que des systèmes d’armes létaux ayant une certaine forme d’autonomie supervisée pour la décision de tir verront le jour dans les prochaines décennies car ils offrent tout simplement les avantages suivants sur le plan défensif : ils sont plus rapides que l’homme sur le plan de la réactivité et du traitement de la menace ; ils permettent de faire face à des attaques saturantes ; ils peuvent opérer de manière permanente, avec une grande constance, là où l’homme est sujet à la fatigue et à l’inattention ».

Leur apparition sera néanmoins graduelle, à mesure de l’apparition de nouvelles menaces, à l’instar de la saturation des espaces aériens par des essaims de robots dotés d’une certaine « intelligence collective ».

D’une certaine manière, il n’y a qu’un pas entre les ballets de drones mis en œuvre par la Chine lors d’événements festifs et le lancement d’une attaque coordonnée. L’accroissement de l’autonomie des systèmes automatiques actuellement déployés permettra de répondre plus efficacement aux menaces de demain, avec davantage de rapidité que ne pourrait le faire l’intelligence humaine. Il s’agira sans doute d’une évolution nécessaire face à des menaces saturantes qui risquent de submerger les défenses, des meutes de robots offensifs ou des systèmes qui développeront des stratégies de trajectoires non prévisibles, grâce à l’emport d’une intelligence artificielle sur des missiles.

De la même manière, d’aucuns jugent probable le développement de fonctions de neutralisation embarquées sur ces robots, afin de lutter par exemple contre des mines ou des engins explosifs improvisés. M. Gérard de Boisboissel prédit également l’apparition de systèmes de surveillance équipés de moyens létaux ou de drones autonomes de chasse anti sous-marins et de surface.

Sur le plan offensif, la délégation à un système autonome d’une fonction létale sera sans doute plus limitée, pour les raisons exposées ci-dessus, même s’il est probable qu’apparaissent des robots de destruction qui, à la manière d’un robot-kamikaze, auraient pour mission de détruire une cible identifiée ou un bâtiment pour faciliter l’accès à d’autres éléments. Ce type de robots pourrait ainsi être intégré dans les futurs systèmes de systèmes, tel le SCAF, au sein duquel des drones d’accompagnement – les « remote carriers » – accompagneront la plateforme habitée. Le pilote aura ainsi sans doute la possibilité d’actionner des systèmes semi-autonomes, chargés de le protéger ou d’attirer à eux les tirs des dispositifs de déni d’accès, face à des systèmes de plus en plus performants, tels les successeurs des S-400. Des dispositifs similaires verront également le jour dans les domaines du combat naval ou sous-marin.

ii. Le développement de l’autonomie variera selon les milieux

Les milieux homogènes tels que les espaces aérien, maritime et sous-marin sont propices au développement rapide de systèmes autonomes. Il s’agit de milieux relativement homogènes et inhospitaliers pour l’homme, au sein desquels une capacité renforcée d’action en autonomie présente un intérêt opérationnel certain : coupure des communications dans le cadre des opérations aériennes d’entrée en premier ; impossibilité de maintenir une liaison de communication dans les grandes profondeurs.

À l’inverse, le milieu terrestre est moins propice à la généralisation de systèmes autonomes. D’une part, le milieu terrestre est marqué par sa grande hétérogénéité, en raison des variations de terrain et des divers obstacles susceptibles d’être rencontrés. Dans ce contexte, la moindre mobilité d’un robot autonome constituerait son principal point de faiblesse. D’autre part, demain plus qu’aujourd’hui, les combats terrestres se tiendront dans des zones denses, habitées, où se côtoient civils et combattants, et où il paraît difficile de déléguer la décision de tir à un robot autonome, à moins de ne disposer que d’une capacité de neutralisation non létale. C’est notamment le cas du robot armé SNIBOT ([11]) et de ses algorithmes d’exclusion des zones vitales humaines : le robot neutralise mais ne tue pas. Pour toutes ces raisons, il est peu réaliste d’envisager que des robots se substituent totalement aux soldats, dont l’immense majorité est composée de fantassins.

b. Le débat sur les SALA doit donc être abordé de manière prospective

Aux yeux de M. Jean-Baptiste Jeangène Vilmer, les systèmes d’armes létaux autonomes marquent l’heure d’une troisième révolution militaire dans l’histoire des relations internationales, après l’invention de la poudre à canon – qui a accompagné la colonisation et entraîné la domination de l’Occident sur le reste du monde – et celle de l’arme atomique – dont l’apparition a structuré la conflictualité dans la seconde moitié du XXe siècle. À l’avenir, il faut s’attendre à ce que l’essor de l’autonomie dans les systèmes d’armes et, partant, de systèmes d’armes létaux autonomes, façonne la conflictualité. Pour M. Gérard de Boisboissel, « c’est même plus que cela, car pour la première fois dans l’histoire, la technologie peut remplacer l’homme sur le champ de bataille ».

S’il n’appartient pas aux rapporteurs de prendre partie dans ce débat, il leur semble que la question essentielle ne porte pas sur la « potentialité » de l’entrée en service d’armes pleinement autonomes, qui présentent peu d’intérêt opérationnel, mais plutôt sur l’utilisation d’armes relativement autonomes, qui peuvent, quant à elles, constituer un outil de supériorité stratégique. Or, l’essor de systèmes dotés de toujours plus d’autonomie, qui apparaît inéluctable, soulève d’abord des enjeux d’ordres éthiques et juridiques, alors que le développement de l’autonomie des systèmes d’armes bouleverse l’art de la guerre et constitue un défi de premier ordre pour la pleine application du DIH.

C’est d’ailleurs à l’aune de ces enjeux que doit être appréhendée la question de leur encadrement international.

II. Les enjeux éthiques et juridiques : LES SALA au cœur de discussions internationales sur la régulation des systèmes d’armes

Aux yeux des rapporteurs, sans même se focaliser sur la notion de « pleine autonomie », l’inclusion progressive de segments autonomes dans les systèmes suscite à elle seule des interrogations d’ordres philosophique, éthique, social et juridique. L’émergence de l’autonomie dans les systèmes d’armes et son renforcement progressif s’accompagnent d’une modification de la place de l’humain dans les combats, après des siècles d’affrontements « où il fallait des poitrines à opposer à d’autres poitrines » ([12]) ; il s’agit là d’un changement profond de l’art de la guerre.

Source : Mosaïque de la bataille d’Issos opposant Alexandre le Grand à Darius III, maison du Faune, Pompéi.

Dès lors, quand bien même le développement de SALA s’avérerait hypothétique, il convient de ne pas retarder les discussions relatives à leur encadrement au regard des principes éthiques et juridiques du DIH. En effet, le développement d’armes létales toujours plus autonomes interroge les grands principes du DIH et leur application, alors que des discussions ont été engagées dès 2013 dans le cadre genevois de la Convention sur certaines armes classiques (CCAC). Il soulève également des questions en matière d’engagement de responsabilité, des plus délicates en l’absence de conscience et de libre arbitre.

Ces questionnements ne sont plus l’affaire des seuls spécialistes, et il n’est d’ailleurs pas anodin qu’au cours des dernières années, les SALA aient fait l’objet d’une attention grandissante de la part de juristes, d’universitaires, de scientifiques, de journalistes, de citoyens et de certains de nos collègues députés.

Dans ce contexte, alors que les grandes puissances militaires sont opposées à une interdiction préventive des SALA, tandis que les autres parties cherchent à extraire ce débat de la CCAC, il est important de parvenir à établir un cadre normatif.

A. L’accroissement de l’autonomie de systèmes d’armes létaux S’accompagne de questionnements éthiques et juridiques

Si les SALA et l’apparition de robots tueurs pleinement autonomes demeurent pour l’heure largement du ressort de la science-fiction, l’éventualité d’un changement de paradigme s’agissant de la place de l’homme dans la guerre soulève des questionnements d’ordres juridique et éthique.

1. L’autonomisation des systèmes d’armes interroge le rapport à la guerre

L’autonomisation des systèmes d’armes bouscule et interroge les fondements de l’« art de la guerre », qui, pour Sun Tsu, repose en grande partie sur une dimension psychologique, grâce à laquelle il est possible d’obtenir la soumission de l’adversaire. Près de vingt-cinq siècles plus tard, Carl von Clausewitz définit lui aussi la guerre comme « un acte de violence dont l’objectif est de contraindre l’adversaire à exécuter notre volonté ». Selon lui, la guerre est donc intrinsèquement humaine, à la croisée de facteurs politiques, idéologiques, stratégiques et sociaux. La guerre est ainsi « la continuation de la politique par d’autres moyens » et la victoire sur le champ de bataille n’est consacrée que si elle permet de modifier le rapport de force politique.

Extrait de De la guerre, de Carl von Clausewitz

Chapitre III : « Les grandeurs morales »

Les grandeurs morales doivent être comptées au nombre des plus importants facteurs de la guerre. Elles en sont les esprits vitaux et en pénètrent tout l’élément. Elles ont la plus grande affinité avec la puissance de volonté qui met en mouvement et dirige la masse entière des forces, et, comme cette volonté est elle-même une grandeur morale, elles s’y attachent et font corps avec elle. Elles échappent à toute la sagesse des livres parce qu’elles ne se peuvent ni chiffrer ni classer ; elles demandent à être vues et senties.

L’esprit et les qualités morales de l’armée, du général en chef et du gouvernement, les dispositions des provinces dans lesquelles la guerre doit être portée, l’effet moral d’une victoire ou d’une défaite sont des grandeurs très diverses de nature, et, comme telles, exercent des influences très variables sur la situation et sur le but à atteindre.

Bien qu’il soit difficile, impossible même, de formuler des règles pour les grandeurs morales, elles sont du nombre des éléments dont la guerre se constitue, et ressortissent, par suite, à la théorie de l’art de la guerre. Celle-ci, bien qu’elles échappent à ses prescriptions, les doit donc signaler à l’esprit et en faire comprendre l’extrême valeur, ainsi que la nécessité absolue de les faire entrer dans tous les calculs.

En agissant de la sorte, la théorie fait œuvre d’intelligence et condamne, de prime abord, quiconque a la folle pensée de ne baser ses combinaisons que sur les forces matérielles seules. Nous ne saurions le dire trop haut, en effet, c’est une pauvre philosophie que celle qui, d’après l’ancienne méthode, niant la puissance des grandeurs morales, crie à l’exception lorsqu’elles manifestent leur action, et cherche, alors, à expliquer ce résultat par de prétendus procédés scientifiques. En dernier ressort cette vaine philosophie en appelle, parfois même, au génie qu’elle place, alors, au-dessus de toutes les règles, donnant ainsi à entendre que, lorsqu’elles sont faites par les sots, les règles, elles-mêmes, ne sont que des sottises.

Dans ce contexte, l’irruption des SALA sur le champ de bataille et leur généralisation progressive auraient pour conséquence que « la guerre existerait toujours mais le guerrier aurait disparu » ([13]).

a. Le combat entre l’homme et la machine : un non-sens moral ?

Dépourvus d’émotion et de sensibilité, les SALA, comme tout robot ou machine, ne connaîtraient ni haine, ni peur, ni compassion. L’emploi des SALA sur le champ de bataille induirait donc le transfert de la décision de tir d’un humain à un opérateur dénué de sensibilité et, ce faisant, une reconfiguration du rapport à la guerre. Auditionné par les rapporteurs, M. Julien Ancelin, docteur en droit et chercheur en programme post doctoral à l’Université de Bordeaux, considère ainsi que les SALA s’inscrivent dans une dynamique de réduction du « coût de l’usage de la force armée », posant la question d’un combat « insensé ».

i. Du point de vue de la morale

La délégation de la décision de tir à un système autonome pose d’abord question au regard de la morale, entendue comme un ensemble de règles de nature subjective et relatives au bien, au mal, au juste et à l’injuste. De ce point de vue, l’homme est seul capable d’apprécier le caractère moral d’une action, au regard de valeurs subjectives non universelles. Dès lors, faire des SALA des sujets moraux – les moraliser, en somme – supposerait de pouvoir transcrire en algorithmes les principes moraux et les jugements subjectifs sur lesquels ils se fondent.

Il y a là une aporie puisqu’en aucun cas, comme le rappelle M. Dominique Lambert, membre de l’Académie royale de Belgique, professeur de philosophie à l’Université de Namur et chercheur associé au CREC, « une machine autonome ne peut juger, car, pour juger, il faut interpréter et aussi s’abstenir d’appliquer les règles ou même les transgresser pour sauver l’esprit des règles et des valeurs » défendues ([14]) .

Les militaires sont les premiers à partager ce constat, éprouvant quotidiennement, en opérations, le caractère fondamentalement humain de la guerre et de la décision de donner la mort. D’ailleurs, les rapporteurs ont relevé avec intérêt le fait qu’au sein des états-majors, les officiers actuellement en charge de ces questions appartiennent à une génération qui a été intensément déployée et confrontée directement à ces considérations éthiques sur les théâtres d’opérations.

Le colonel Loïc Rullière, chef du bureau « plans » de l’état-major de l’armée de l’air, a d’ailleurs exposé aux rapporteurs sa conviction selon laquelle il serait erroné de considérer que la décision d’engager une frappe létale puisse reposer sur des règles mathématiques alors qu’elle relève d’un « choix quantique et, au fond, humain ». In fine, hors affrontement frontal et direct, la décision de déclencher un tir ou non repose sur un ensemble de paramètres relevant de l’intelligence humaine, non « codables » par des outils numériques incapables de procéder à une appréciation globale d’une situation.

ii. Du point de vue de la dignité

Pour le Rapporteur spécial des Nations Unies sur les exécutions extrajudiciaires, sommaires ou arbitraires, M. Christof Heyns, « la mort par algorithme signifie que les hommes sont considérés comme de simples cibles et non comme des êtres à part entière, alors qu’ils pourraient connaître un autre sort. Ils sont ainsi placés dans une position où l’appel à l’humanité de l’autre n’est pas possible » ([15]). Dans cette perspective, c’est le principe même de dignité humaine, en vertu duquel aucun être humain ne doit être tué par une machine autonome et des responsabilités doivent être clairement établies, qui est menacé ([16]). Pour M. Julien Ancelin, le recours aux SALA soulève une question quant à la capacité de la société à assurer le respect, par une machine, du principe de dignité humaine, dont l’essence lui est – par définition – inconnue ([17]).

b. Les questionnements éthiques non résolus

D’après le CICR, un système n’est éthique que s’il est placé sous contrôle humain. Dès lors, les SALA ne pourraient pas, par nature, satisfaire les grands principes éthiques qui structurent la guerre ([18]). Plus précisément, le potentiel recours aux SALA suscite des questionnements éthiques relatifs au fait de donner à une machine un « permis de tuer ».

i. L’effet « boîte noire » : comprendre le fonctionnement de l’intelligence artificielle

L’explicabilité de l’intelligence artificielle constitue l’un de ses principaux défis et revêt une importance particulière dès lors qu’est envisagé de déléguer la décision de donner la mort à une machine. Il n’est d’ailleurs pas anodin que la Defense Advanced Research Projects Agency (DARPA) ait lancé, dès août 2016, un programme spécifique : Explainable AI. Pour M. Dominique Lambert, l’explicabilité de l’intelligence artificielle, c’est-à-dire la capacité de reconstituer et de comprendre la chaîne de raisonnement ayant conduit à une décision, constitue une condition sine qua non de la confiance accordée par les militaires comme la société dans les systèmes d’armes ([19]).

Or, les SALA, tout comme la plupart des programmes reposant sur l’intelligence artificielle, n’échappent pas à l’effet « boîte noire », c’est-à-dire l’apparition « comme par magie » d’un résultat, sans qu’il soit possible de démontrer ou de reproduire le processus sous-jacent. Plus concrètement, l’intelligence artificielle permet d’effectuer tant de calculs que pour l’homme, la reconstitution d’un processus de décision apparaît insurmontable. À titre de comparaison, les rapporteurs rappellent d’ailleurs que le système d’intelligence artificielle AlphaGo qui a battu le champion du monde de jeu de go a effectué dix-sept mouvements que ses programmateurs ne pouvaient pas expliquer. Comme l’a indiqué aux rapporteurs non sans malice un de leurs interlocuteurs, « aujourd’hui, on utilise même l’intelligence artificielle pour comprendre le fonctionnement de l’intelligence artificielle ».

Quoi qu’il en soit, l’absence de compréhension du processus de décision signifie, d’une part, qu’il est impossible de suivre les raisonnements du système d’armes en temps réel ; et, d’autre part, que les problèmes analysés et les solutions retenues ne peuvent être directement contrôlés ([20]).

Une telle situation est particulièrement problématique dès lors qu’il est question de la chose militaire, a fortiori lorsqu’il s’agit d’une décision à caractère létal.

En outre, comme l’a relevé M. Raja Chatila lors de son audition, la fiabilité du processus de décision est au cœur des interrogations, le chef militaire devant pouvoir être assuré que la machine agira de manière constante et selon un raisonnement stable et permanent. S’il y a là un enjeu pour l’intelligence artificielle de défense dans son ensemble, les SALA seraient concernés au premier chef du fait de leur capacité, théorique, à redéfinir leurs objectifs sans supervision humaine. Leur emploi non maîtrisé pourrait ainsi conduire à ce que le chef n’ait plus la main sur la machine, alors incapable de respecter l’intention profonde de l’autorité humaine et le sens donné à son action. Comme le souligne le professeur, « les machines ne comprennent pas le monde parce qu’elles n’y habitent pas ».

D’une certaine manière, le débat sur les SALA pourrait être réduit à un arbitrage entre performance et explicabilité, selon le degré d’acceptation de perte de contrôle par la société, déterminé par la criticité du système. En d’autres termes, il s’agit donc de déterminer jusqu’où la performance d’un système peut être sacrifiée au prix de la compréhension de son fonctionnement.

Par ailleurs, soixante-dix ans après la parution de l’article « Computing Machinery and Intelligence », dans lequel Alan Turing se demandait si les machines pouvaient penser, force est de constater qu’en l’état actuel des capacités techniques, les machines demeurent dépendantes d’algorithmes et de modèles pré-entrainés. En conséquence, les machines, même autonomes, présentent des biais et des limites constitutifs de l’écriture de tout programme informatique, ce qui pose une certaine difficulté dès lors qu’une machine est dotée d’une capacité létale. De manière plus précise, les biais cognitifs humains introduits dans la programmation d’un SALA pourraient, selon M. Dominique Lambert, conduire à « des exclusions ou à de graves cécités » hautement problématiques. C’est d’ailleurs cette même fragilité qui avait conduit l’entreprise Microsoft à mettre en sommeil son chatbot Tay, devenu raciste et misogyne en l’espace de quelques heures en raison des questions qui lui étaient adressées.

La stratégie française relative à l’intelligence artificielle de défense évoque très directement ces enjeux, en relevant que les techniques d’apprentissage présentent des risques de biais involontaires, en particulier lorsque les données d’apprentissage ne sont pas représentatives, citant ainsi l’exemple d’un biais ethnique dans des données de populations.

Ainsi que l’a précisé aux rapporteurs M. Emmanuel Chiva, il demeurera toutefois impossible de parvenir à expliquer l’ensemble du processus – il conviendrait de pouvoir expliquer l’enchaînement de décisions prises par un réseau de milliards de neurones – même s’il demeure possible, en théorie, de retranscrire les enchaînements numériques. Dans ce contexte, la direction générale de l’armement (DGA) a engagé, en lien avec plusieurs industriels, une réflexion ayant abouti à la rédaction d’un guide de spécification des systèmes à base d’intelligence artificielle, qui repose sur l’identification d’un niveau de risque acceptable autorisant de recourir à l’intelligence artificielle pour certaines fonctions.

Si l’on peut raisonnablement penser que l’intelligence artificielle poussera à déléguer davantage de fonctions à un système informatique, il est peu probable que les fonctions critiques ou létales le soient.

ii. La place de l’humain dans un contexte de déshumanisation

Paradoxalement, la déshumanisation de la guerre proviendrait d’une « humanisation » de la machine. Pour M. Hubert Faes, doyen de la faculté de philosophie de l’Institut catholique de Paris, la déshumanisation du champ de bataille ne tiendrait ainsi pas au fait qu’un « pouvoir de vie ou de mort sur les hommes » soit donné à des machines autonomes mais serait plutôt la conséquence de nos propres faiblesses conceptuelles, l’homme croyant se rassurer en faisant de la machine sa simple prolongation ([21]).

Plus généralement, le caractère éthique d’un système doit être apprécié au regard du contexte et de son emploi – et non limité au seul système en tant que tel – ; l’humain, et en particulier le chef militaire, joue à ce titre un rôle clé dans la façon d’employer et de définir les règles d’engagement des systèmes autonomes en opération. Comme le rappelle notre collègue Cédric Villani, dans un article intitulé « Les enjeux de l’IA pour la défense de demain », l’éthique est « bien plus qu’une simple réflexion personnelle ou collective encadrant des valeurs et des principes » mais un « moteur de l’action du militaire » qui se fonde sur une « humanité enseignée et partagée ». L’éthique des conflits armés s’apprécie ainsi au regard des dilemmes internes et des situations que doivent résoudre les militaires, en tant qu’êtres humains.

L’emploi de SALA procéderait à une reconfiguration du rapport à la conflictualité. En augmentant la distance entre l’opérateur militaire et la cible, non plus seulement d’un point de vue kilométrique mais également d’un point de vue moral et juridique, les conditions du rapport à l’usage de la force létale seraient fondamentalement modifiées.

C’est d’ailleurs ce qu’a indiqué aux rapporteurs M. Julien Ancelin, soulignant que la déshumanisation se traduirait avant tout par une distanciation de l’humain à l’altérité. Jusqu’alors, la décision d’engager le tir était prise par un humain – il s’agit donc d’une décision positive – ; avec les SALA, les systèmes d’armes prendraient eux-mêmes les choix qui incombent à ce jour aux militaires. L’emploi éventuel de SALA sur le champ de bataille témoignerait donc d’un changement radical des rapports de l’humain à la guerre, d’une part, et des rapports entre humains dans la guerre, d’autre part. Dans un tel contexte, l’application du DIH, sous-tendu par des considérations d’humanité, doit faire l’objet d’une attention particulière.

2. L’autonomisation des systèmes d’armes face au droit des conflits armés

Le droit des conflits armés, plus communément appelé droit international humanitaire, constitue une branche spécifique du droit international public. Les règles du droit des conflits armés constituent une protection, tant pour les forces armées que pour les populations civiles.

Dans le cadre de leurs travaux, les rapporteurs ont souhaité retenir une définition large du DIH, regroupant deux corpus juridiques : le droit dit de Genève et le droit dit de « La Haye ». Quant au droit de la maîtrise des armements, parfois inclus dans le DIH, les rapporteurs l’ont abordé séparément en raison des dynamiques particulières qui y sont associées s’agissant de la régulation de systèmes d’armes.

Le droit des conflits armés et le droit international humanitaire (DIH)

Le droit des conflits armés est une branche spécifique du droit international public, que le ministère des Armées définit comme étant composé du droit de la guerre, du droit de la maîtrise des armements et du droit humanitaire :

- le droit de la guerre, aussi appelé « droit de La Haye », définit les règles applicables au combat, telles que l’interdiction de la perfidie ou l’interdiction de déclarer qu’il ne sera pas fait de quartier, et vise à protéger les combattants des effets les plus meurtriers de la guerre ;

- le droit de la maîtrise des armements vise à interdire, limiter ou réglementer l’emploi de certaines armes ou munitions ; il est à distinguer des instruments internationaux relatifs au désarmement ;

- le droit humanitaire vise à protéger toutes les victimes de la guerre, qu’il s’agisse des combattants hors du combat ou des populations civiles. Au sens strict, le DIH est composé des quatre conventions de Genève du 12 août 1949 et des deux protocoles additionnels du 8 juin 1977.

Présenté comme un synonyme du droit des conflits armés ou du droit de la guerre, le DIH est une notion partagée et préférée par de nombreuses organisations internationales, à l’instar du CICR. Dans cette perspective, le DIH est défini comme un ensemble de règles applicables dans les situations de conflits armés et visant à limiter les effets de ces derniers.

Outre les quatre conventions de Genève du 12 août 1949 et les deux protocoles additionnels du 8 juin 1977, le DIH inclut donc le droit de la guerre, tel que défini par les conventions de La Haye, dont les conventions du 18 octobre 1907 concernant les lois et coutumes de la guerre sur terre et la pratique de la guerre maritime.

Le droit de la maîtrise des armements regroupe les conventions internationales interdisant, limitant ou réglementant l’emploi de certaines armes et munitions. À ce titre, sont interdites les armes biologiques (convention sur l’interdiction des armes biologiques du 12 avril 1972) et les armes chimiques (convention sur l’interdiction des armes chimiques du 13 janvier 1993).

Ainsi que l’a souligné lors de son audition M. Yann Hwang, représentant permanent de la France auprès de la Conférence du désarmement à Genève, l’application du DIH « ne fait pas débat, aucun État ne remettant en cause les principes du DIH ni l’obligation pour tout système d’armes de le respecter ».

Toutefois, ce constat n’exclut pas l’existence de difficultés, notamment au regard de l’aspect létal des SALA et de l’encadrement juridique des développements technologiques. Ainsi, pour M. David Bertolotti, c’est non seulement au regard de l’applicabilité du DIH, mais également au regard du droit de la maîtrise des armements, que doivent être abordés les SALA.

D’une part, la faculté donnée à des systèmes d’armes de déclencher un tir de manière autonome bouscule l’application et l’applicabilité du DIH, qui repose sur la place centrale de l’homme dans le combat ; le critère de la létalité est, à ce titre, déterminant. D’autre part, le développement de l’automatisation s’opère dans un contexte relativement peu encadré : le vide juridique dans lequel semblent se trouver les SALA s’impose alors comme une problématique du droit de la maîtrise des armements, dans l’objectif de fixer des limites aux développements actuels de l’automatisation.

a. L’application du droit international humanitaire, enjeu de premier ordre

i. Le droit international humanitaire vise à protéger les victimes de la guerre

Le DIH est constitué d’un ensemble de règles applicables dans les situations de conflits armés et visant à limiter les effets de ces derniers. Son objectif est de protéger les personnes qui ne participent pas ou plus aux combats et d’encadrer les moyens et les méthodes de la guerre.

Le cœur du DIH est formé par les quatre conventions de Genève du 12 août 1949, qui lient cent quatre-vingt-seize États. L’objectif de ces quatre conventions consiste à protéger les populations civiles et les combattants mis hors de combat :

– Convention (I) de Genève pour l’amélioration du sort des blessés et des malades dans les forces armées en campagne : protège les soldats blessés ou malades sur le terrain en temps de guerre et prévoit la protection du personnel sanitaire et religieux ainsi que des unités et moyens de transport sanitaire ;

– Convention (II) de Genève pour l’amélioration du sort des blessés, des malades et des naufragés des forces armées sur mer : protège les militaires blessés, malades ou naufragés en mer en temps de guerre et comprend des dispositions spéciales de protection pour les navires-hôpitaux, et les moyens de transport sanitaire sur mer, entre autres ;

– Convention (III) de Genève relative au traitement des prisonniers de guerre : protège les prisonniers de guerre. Elle a notamment permis d’élargir les catégories de personnes habilitées à se réclamer de la qualité de prisonnier de guerre, en comparaison au régime précédemment applicable en vertu de la convention relative au traitement des prisonniers de guerre du 27 juillet 1929, et de définir plus précisément les conditions et le régime de captivité ;

– Convention (IV) de Genève relative à la protection des personnes civiles en temps de guerre : protège les civils, notamment en territoire occupé. Conséquence directe de la Seconde Guerre mondiale, cette convention constitue le premier traité du droit des conflits armés destiné à la protection des personnes civiles.

Les quatre conventions de Genève s’appliquent uniquement aux conflits armés internationaux. Toutefois, l’article 3, commun aux quatre conventions de Genève, permet de couvrir les conflits non internationaux, et établit des règles fondamentales applicables aux conflits ne présentant pas un caractère international qui n’acceptent aucune dérogation.

Article 3 commun aux quatre conventions de Genève

En cas de conflit armé ne présentant pas un caractère international et surgissant sur le territoire de l’une des Hautes Parties contractantes, chacune des Parties au conflit sera tenue d’appliquer au moins les dispositions suivantes :

1. Les personnes qui ne participent pas directement aux hostilités, y compris les membres de forces armées qui ont déposé les armes et les personnes qui ont été mises hors de combat par maladie, blessure, détention, ou pour toute autre cause, seront, en toutes circonstances, traitées avec humanité, sans aucune distinction de caractère défavorable basée sur la race, la couleur, la religion ou la croyance, le sexe, la naissance ou la fortune, ou tout autre critère analogue.

À cet effet, sont et demeurent prohibés, en tout temps et en tout lieu, à l’égard des personnes mentionnées ci-dessus :

a. les atteintes portées à la vie et à l’intégrité corporelle, notamment le meurtre sous toutes ses formes, les mutilations, les traitements cruels, tortures et supplices ;

b. les prises d’otages ;

c. les atteintes à la dignité des personnes, notamment les traitements humiliants et dégradants ;

d. les condamnations prononcées et les exécutions effectuées sans un jugement préalable, rendu par un tribunal régulièrement constitué, assorti des garanties judiciaires reconnues comme indispensables par les peuples civilisés.

2. Les blessés et les malades seront recueillis et soignés.

Un organisme humanitaire impartial, tel que le Comité international de la Croix Rouge, pourra offrir ses services aux Parties au conflit.

Les Parties au conflit s’efforceront, d’autre part, de mettre en vigueur par voie d’accords spéciaux tout ou partie des autres dispositions de la présente Convention.

L’application des dispositions qui précèdent n’aura pas d’effet sur le statut juridique des Parties au conflit.

Les conventions de Genève ont été complétées par trois protocoles qui répondent à un besoin d’adaptation de la notion de conflit armé après la Seconde Guerre mondiale.

– Protocole additionnel (I) relatif à la protection des victimes des conflits armés internationaux, 8 juin 1977, qui renforce la protection et les garanties apportées par les quatre conventions de Genève. Il apporte plusieurs innovations, telles que la reconnaissance du caractère de conflit armé international aux conflits armés dans lesquels les peuples luttent contre la domination coloniale et l’occupation étrangère et contre les régimes racistes, et plusieurs extensions du champ d’application de la protection des conventions de Genève ;

– Protocole additionnel (II) relatif à la protection des victimes des conflits armés non internationaux, 8 juin 1977, qui permet de faire appliquer les règles du droit des conflits armés dans les guerres internes. Jusqu’à son adoption, l’article 3 commun aux quatre conventions de Genève était la seule disposition traitant des conflits non internationaux ;

– Protocole additionnel (III) relatif à l’adoption d’un signe distinctif additionnel, 8 décembre 2005, qui consacre l’emblème du « cristal rouge », qui s’ajoute à ceux de la croix rouge et du croissant rouge.

Outre les quatre conventions de Genève, le DIH est également composé du droit dit de « La Haye », qui constitue le droit de la guerre au sens strict du terme, c’est-à-dire des conventions de La Haye, dont l’objectif consiste à définir des règles applicables au combat et de protéger les combattants des effets les plus meurtriers de la guerre. Les conventions et déclarations de La Haye du 29 juillet 1899 portent sur les droits et coutumes de la guerre ainsi que sur le règlement pacifique des conflits internationaux. Les conventions de La Haye du 18 octobre 1907 complètent les premières conventions. Elles portent, entre autres, sur :

– le règlement pacifique des conflits internationaux (convention I) ;

– l’ouverture des hostilités (convention III) ;

– les lois et les coutumes de la guerre (convention IV) ;

– les droits et devoirs des puissances et des personnes neutres en cas de guerre sur terre (convention V) ;

– les droits et devoirs des puissances neutres en cas de guerre maritime (convention XIII).

ii. Le droit international humanitaire repose sur cinq principes cardinaux

Gardien de l’application du DIH, le CICR fait état de cinq principes fondamentaux qui constituent un « dénominateur commun » ([22]), accepté par la grande majorité des États.

● Le principe de distinction, qui impose aux belligérants de distinguer les combattants et la population civile, ainsi que les biens civils et les objectifs militaires, est issu de l’article 48 du premier protocole additionnel aux conventions de Genève, en vertu duquel « en vue d’assurer le respect et la protection de la population civile et des biens de caractère civil, les Parties au conflit doivent en tout temps faire la distinction entre la population civile et les combattants ainsi qu’entre les biens de caractère civil et les objectifs militaires et, par conséquence, ne diriger leurs opérations que contre des objectifs militaires ».

● Le principe d’humanité, qui vise à alléger et, dans la mesure du possible, éviter les maux superflus engendrés par le recours à la force trouve une traduction dans le choix des moyens et des méthodes de combat, qui doivent non seulement respecter les normes du DIH mais également limiter les effets néfastes du recours à la force.

● Le principe de discrimination, également connu sous le nom de principe de précaution, intervient lorsqu’une opération militaire présente des risques pour les populations civiles. En vertu de l’article 57, alinéa 1 du premier protocole additionnel aux conventions de Genève, « les opérations militaires doivent être conduites en veillant constamment à épargner la population civile, les personnes civiles et les biens de caractère civil ».

● Le principe de proportionnalité complète le principe de précaution. Si, après avoir pris l’ensemble des précautions nécessaires, il s’avère que des pertes et des dommages civils sont inévitables au regard de l’objectif poursuivi, alors les moyens militaires doivent être proportionnels à l’effet militaire recherché. Le principe de proportionnalité trouve son fondement juridique à l’article 51, alinéa 5b du premier protocole additionnel aux conventions de Genève, en vertu duquel sont interdites « les attaques dont on peut attendre qu’elles causent incidemment des pertes en vies humaines dans la population civile, des blessures aux personnes civiles, des dommages aux biens de caractère civil, ou une combinaison de ces pertes et dommages, qui seraient excessifs par rapport à l’avantage militaire concret et direct attendu ».

● Le principe d’interdiction des maux superflus et des souffrances inutiles rejoint le principe de proportionnalité et s’applique avant tout aux parties prenantes d’un conflit. Il constitue une règle fondamentale, inscrite à l’article 35, alinéa 3 du premier protocole additionnel aux conventions de Genève : « il est interdit d’utiliser des méthodes ou moyens de guerre qui sont conçus pour causer, ou dont on peut attendre qu’ils causeront, des dommages étendus, durables et graves à l’environnement naturel ». La notion d’« environnement naturel » fait l’objet d’une interprétation large par le CICR ([23]) et comprend l’ensemble du milieu biologique dans lequel vivent les populations, y compris les biens indispensables à la survie des populations civiles ainsi que les éléments biologiques et climatiques qui les entourent.

iii. Les SALA remettent en cause l’applicabilité des principes du droit international humanitaire

Les machines ne connaissent ni les lois, ni les coutumes ; elles ne connaissent que les programmes. Si certaines règles de droit peuvent être programmées et appliquées par une machine – les exemples du Sea Hunter ou des voitures autonomes sont à ce sujet éclairants – la complexité du DIH et son caractère éminemment subjectif rendent sa programmation illusoire.

Compte tenu de la complexité des situations et des corpus juridiques, et de la place significative de l’interprétation et du jugement subjectifs dans le raisonnement juridique, les rapporteurs soulignent les difficultés liées à la traduction mathématique des principes du DIH et de leur appropriation par les SALA. Ce champ reste éminemment humain, comme l’explique M. Raja Chatila, pour qui il n’est pas possible de numériser ou de traduire les lois du DIH par un algorithme car elles reposent « intrinsèquement sur l’intuition et le discernement humains ».

La question de l’applicabilité du DIH aux SALA rejoint celle de la déshumanisation du champ de bataille et, plus particulièrement, de la fonction de tir, alors que le DIH a été conçu en vue d’« humaniser la guerre », comme en témoigne le titre des travaux menés par le CICR à l’occasion de son 150ème‑ anniversaire, en 2014.

À titre d’exemple, les doutes quant à la capacité d’un SALA à distinguer un civil d’un combattant interrogent directement la capacité à respecter le principe de distinction. Il est vrai que ce principe est également mis à mal par les combattants « humains » contemporains. La perception des SALA, reposant uniquement sur des algorithmes préalablement élaborés, risque d’être inadaptée et difficilement modélisable. De même, le respect par les SALA du principe d’humanité semble difficile au regard de leur incompatibilité avec la notion de dignité humaine. Le principe de proportionnalité et le principe d’interdiction des maux superflus et des souffrances inutiles n’échappent pas non plus aux difficultés de modélisation par des algorithmes dans la mesure où ils reposent sur un jugement qui demande une interprétation et une évaluation fine du contexte. En théorie, les technologies de pointe, capables de surpasser les capacités humaines, pourraient permettre de réduire les souffrances et les dégâts causés à l’ennemi et aux victimes collatérales. Ainsi que l’a expliqué Mme Caroline Brandao aux rapporteurs, les nouvelles technologies, l’intelligence artificielle et l’autonomie pourraient permettre d’améliorer le respect du DIH ; elles ne doivent donc pas faire l’objet d’un rejet a priori, alors même qu’elles pourraient avoir un impact positif.

b. L’engagement de la responsabilité pénale internationale pour des violations du droit international humanitaire imputables aux SALA pourrait susciter des difficultés

Le droit n’est pas entièrement dépourvu face aux SALA mais il apparaît certainement insuffisant au regard de l’impossibilité, en l’état actuel, d’attribuer une responsabilité à des machines. Le droit de la responsabilité, qui n’est pas intangible, pourrait donc faire l’objet d’adaptations à la marge.

i. En théorie, certains instruments traditionnels pourraient être invoqués afin d’engager la responsabilité des SALA

Ainsi que l’a expliqué M. David Bertolotti aux rapporteurs, « il convient de reconnaître la possibilité d’engager la responsabilité » des SALA puisque la force juridique des principes fondamentaux du DIH repose en grande partie sur la possibilité, en cas de violation, de mettre en jeu la responsabilité pénale des individus en cause.

C’est ainsi que M. Julian Fernandez, professeur de droit public à l’université Paris II Panthéon-Assas et directeur du Centre Thucydide, soutient qu’il serait possible d’engager, par analogie, la responsabilité pénale ou civile des SALA ([24]). Trois types de responsabilité pourraient ainsi être appliqués.

● S’agissant de la responsabilité pénale militaire, l’article 28 du Statut de Rome de la Cour pénale internationale (CPI) organise la responsabilité pénale des chefs militaires et autres supérieurs hiérarchiques lorsqu’ils n’ont pas pris « toutes les mesures nécessaires et raisonnables » pour empêcher des violations du DIH. Dès lors, cette règle pourrait être appliquée aux actes imputables aux SALA.

Article 28 du Statut de Rome de la Cour pénale internationale : Responsabilité des chefs militaires et autre supérieurs hiérarchiques

Outre les autres motifs de responsabilité pénale au regard du présent Statut pour des crimes relevant de la compétence de la Cour :

a) Un chef militaire ou une personne faisant effectivement fonction de chef militaire est pénalement responsable des crimes relevant de la compétence de la Cour commis par des forces placées sous son commandement et son contrôle effectifs, ou sous son autorité et son contrôle effectifs, selon le cas, lorsqu’il ou elle n’a pas exercé le contrôle qui convenait sur ces forces dans les cas où :

i) Ce chef militaire ou cette personne savait, ou, en raison des circonstances, aurait dû savoir, que ces forces commettaient ou allaient commettre ces crimes ; et

ii) Ce chef militaire ou cette personne n’a pas pris toutes les mesures nécessaires et raisonnables qui étaient en son pouvoir pour en empêcher ou en réprimer l’exécution ou pour en référer aux autorités compétentes aux fins d’enquête et de poursuites ;

b) En ce qui concerne les relations entre supérieur hiérarchique et subordonnés non décrites au paragraphe a), le supérieur hiérarchique est pénalement responsable des crimes relevant de la compétence de la Cour commis par des subordonnés placés sous son autorité et son contrôle effectifs, lorsqu’il ou elle n’a pas exercé le contrôle qui convenait sur ces subordonnés dans les cas où :

i) Le supérieur hiérarchique savait que ces subordonnés commettaient ou allaient commettre ces crimes ou a délibérément négligé de tenir compte d’informations qui l’indiquaient clairement ;

ii Ces crimes étaient liés à des activités relevant de sa responsabilité et de son contrôle effectif ; et

iii) Le supérieur hiérarchique n’a pas pris toutes les mesures nécessaires et raisonnables qui étaient en son pouvoir pour en empêcher ou en réprimer l’exécution ou pour en référer aux autorités compétentes aux fins d’enquête et de poursuites.

● S’agissant de la responsabilité civile, les producteurs, fabricants ou programmateurs pourraient être tenus pour responsables en vertu du principe de responsabilité du fait de produits défectueux, conformément aux dispositions du code civil.

Article 1245 du code civil : Le producteur est responsable du dommage causé par un défaut de son produit, qu’il soit ou non lié par un contrat avec la victime.

Article 1245-1 du code civil : Les dispositions du présent chapitre s’appliquent à la réparation du dommage qui résulte d’une atteinte à la personne.

Elles s’appliquent également à la réparation du dommage supérieur à un montant déterminé par décret, qui résulte d’une atteinte à un bien autre que le produit défectueux lui-même.

Article 1245-2 du code civil : Est un produit tout bien meuble, même s’il est incorporé dans un immeuble, y compris les produits du sol, de l’élevage, de la chasse et de la pêche. L’électricité est considérée comme un produit.

● La responsabilité des États pourrait, quant à elle, être engagée dès lors que les SALA à l’origine des violations du DIH auraient été activés par une personne morale ou physique exerçant des prérogatives de puissance publique. En vertu des articles 1, 4 et 7 des projets d’articles sur la responsabilité de l’État pour fait internationalement illicite, adoptés par la Commission du droit international des Nations Unies en 2001, tout manquement au respect du DIH par un SALA pourrait entraîner la responsabilité de l’État concerné.

Projet d’articles sur la responsabilité de l’État pour fait internationalement illicite et commentaires y relatifs

Article 1 : Responsabilité de l’État pour fait internationalement illicite

Tout fait internationalement illicite de l’État engage sa responsabilité internationale.

Article 4 : Comportement des organes de l’État

1. Le comportement de tout organe de l’État est considéré comme un fait de l’État d’après le droit international, que cet organe exerce des fonctions législative, exécutive, judiciaire ou autres, quelle que soit la position qu’il occupe dans l’organisation de l’État, et quelle que soit sa nature en tant qu’organe du gouvernement central ou d’une collectivité territoriale de l’État.

2. Un organe comprend toute personne ou entité qui a ce statut d’après le droit interne de l’État.

Article 7 : Excès de pouvoir ou comportement contraire aux instructions

Le comportement d’un organe de l’État ou d’une personne ou entité habilitée à l’exercice de prérogatives de puissance publique est considérée comme un fait de l’État d’après le droit international si cet organe, cette personne ou cette entité agit en cette qualité, même s’il outrepasse sa compétence ou contrevient à ses instructions.

ii. L’application pratique des instruments traditionnels resterait toutefois complexe

L’engagement de la responsabilité pénale est traditionnellement soumis à deux conditions : l’existence d’un acte criminel (actus reus) et l’intention de commettre cet acte (mens rea). Dans le cas des SALA, si les rapporteurs estiment qu’il serait possible de démontrer l’existence d’un acte criminel, le mens rea risquerait de ne pouvoir être prouvé en raison de l’absence de conscience propre des SALA leur empêchant d’exprimer une intention ([25]).

En outre, l’engagement de la responsabilité pénale se heurte à des limites de différents ordres :

– quand bien même la responsabilité d’un SALA serait admise, la définition des critères d’identification et leur importance ne semble pas évidente ;

– des doutes subsistent quant à la possibilité d’opposer des violations du DIH à des civils ne prenant pas part au conflit armé ;

– la finalité d’une action en responsabilité n’est pas claire dans la mesure où d’éventuelles sanctions ne produiront pas d’effet dissuasif pour le futur.

L’autonomie en l’absence de libre arbitre, caractéristique des SALA, constitue donc la principale limite à l’application des normes existantes. S’agissant par exemple de la responsabilité pénale ou disciplinaire indirecte des supérieurs hiérarchiques, elle ne peut être engagée, en vertu de l’article 86-2 du premier protocole additionnel aux conventions de Genève, que « s’ils avaient ou possédaient des informations leur permettant de conclure, dans les circonstances du moment, que [le] subordonné allait commettre une […] infraction » aux Conventions ou au protocole I et « s’ils n’ont pas pris toutes les mesures pratiquement possibles en leur pouvoir pour empêcher ou réprimer cette infraction ». En l’état actuel du droit, pour qu’une responsabilité indirecte du commandement puisse être engagée, le SALA devrait donc communiquer ses intentions à une personne en amont de l’infraction en cause. Dès lors, si le système d’armes en cause s’avère véritablement autonome, reconnaître la responsabilité du commandement militaire reviendrait à admettre une responsabilité indirecte de ce dernier.

L’application pratique de l’engagement de la responsabilité fait l’objet de débats et met en lumière des conceptions divergentes du droit de la responsabilité. Pour Maître Alain Bensoussan, les difficultés qu’impliquent l’autonomie des SALA ainsi que le vide juridique qui les entoure appelleraient à les doter d’une personnalité juridique et morale de nature à engager leur responsabilité. À l’inverse, M. Dominique Lambert souligne qu’une telle proposition souffre du fait que la responsabilité juridique consiste en la capacité de répondre de ses actes ([26]). Dans cette perspective, Mme Mireille Delmas-Marty, professeure honoraire au Collège de France, estime que les machines, même autonomes, ne peuvent émettre des jugements ni interpréter le contexte de leurs actions. Les SALA ne seraient donc intrinsèquement pas en mesure de répondre de leurs actes, ni d’être punis.

Dans le rapport de la Conférence internationale de la Croix Rouge et du Croissant Rouge de 2019 sur les défis posés au DIH, le CICR considère que dans la mesure où les armes et les algorithmes ont été conçus par des hommes, la responsabilité ne peut être diluée en cas de non-conformité avec le DIH : « ce sont les humains, et non les machines, qui se conforment à ces règles et les mettent en œuvre, et ce sont les humains qui sont redevables pour les violations commises. Quel que soit le programme informatique, la machine ou le système d’armes utilisé, les individus et les parties aux conflits restent responsables de leurs effets » ([27]).

c. En matière de droit de la maîtrise des armements, aucune règle spécifique aux SALA n’a été définie

Bien que les SALA ne fassent l’objet d’aucune norme spécifique les concernant, ils n’en sont pas moins réputés respecter les principes du DIH au regard des normes qui régissent l’introduction de nouvelles armes.

i. Le droit de la maîtrise des armements vise à interdire, limiter ou réglementer l’emploi de certaines armes et munitions

Le droit de la maîtrise des armements regroupe les conventions internationales interdisant, limitant ou réglementant l’emploi de certaines armes et munitions. En ce sens, il est distinct du désarmement, dans la mesure où contrairement à ce dernier, le droit de la maîtrise des armements n’a pas nécessairement pour objet l’interdiction totale d’un type d’armes. En somme, il s’agit donc de limiter, de contrôler et non d’interdire les armes, et de s’assurer que, ce faisant, l’on ne s’affaiblisse pas face à ses partenaires ou adversaires stratégiques.

principaux traités, conventions et accords de maîtrise des armements concernent tous les types d’armements : conventionnels, bactériologiques, chimiques ou nucléaires

Conventions	Date de signature	Date d’entrée en vigueur
Convention sur l’interdiction de la mise au point, de la fabrication et du stockage des armes bactériologiques ou à toxines et sur leur destruction	12 avril 1972	26 mars 1975
Convention sur l’interdiction ou la limitation de l’emploi de certaines armes classiques qui peuvent être considérées comme produisant des effets traumatiques excessifs ou comme frappant sans discrimination (CCAC)	10 octobre 1980	2 décembre 1983
Convention sur l’interdiction de la mise au point, de la fabrication, du stockage et de l’emploi des armes chimiques et sur leur destruction (CIAC)	13 janvier 1993	29 avril 1997
Convention sur l’interdiction de l’emploi, du stockage, de la production et du transfert des mines antipersonnel et sur leur destruction (dite « convention d’Ottawa »)	3 décembre 1997	1er mars 1999
Convention sur les armes à sous-munitions	3 décembre 2008	1er août 2010

ii. À ce jour, les SALA ne sont pas encadrés par des règles spécifiques du droit de la maîtrise des armements

Le droit de la maîtrise des armements n’a pas formellement défini de règles permettant d’encadrer l’utilisation ou le fonctionnement des SALA. Néanmoins, le développement et l’emploi potentiels de SALA doivent respecter les normes du DIH en vigueur. Mme Claire Legras, directrice des affaires juridiques du ministère des Armées, a insisté sur le fait que le DIH n’était pas obsolète et qu’au sein des forces armées, et a fortiori au sein des forces armées françaises qui sont animées d’un « légalisme profond », nul ne contestait la nécessité de faire respecter le DIH.

Le DIH est d’autant plus pertinent qu’il est réputé applicable, même aux armes nouvelles. Dans un avis consultatif du 8 juillet 1996, la Cour internationale de justice, statuant sur la licéité de la menace ou de l’emploi d’armes nucléaires, a estimé que la nouveauté d’une arme ne pouvait être invoquée en soutien d’une quelconque dérogation aux principes et règles établis du droit humanitaire applicable dans les conflits armés : « une telle conclusion méconnaîtrait la nature intrinsèquement humanitaire des principes juridiques en jeu, qui imprègnent tout le droit des conflits armés et s’appliquent à toutes les formes de guerre et à toutes les armes, celles du passé, comme celles du présent et de l’avenir ».

Bien que les SALA ne soient pas spécifiquement encadrés par des règles spécifiques du droit de la maîtrise des armements, ils n’en demeurent pas moins régis par certaines dispositions du DIH. L’article 36, alinéa 1 du premier protocole additionnel aux conventions de Genève est, à ce titre, un instrument particulièrement pertinent.

L’examen de la licéité des nouvelles armes et des nouveaux moyens et méthodes de guerre

L’article 36 du premier protocole additionnel aux conventions de Genève oblige chaque État partie à déterminer si l’emploi de toute nouvelle arme ainsi que de tout nouveau moyen ou méthode de guerre qu’il étudie, met au point, se procure ou adopte serait interdit, dans certaines circonstances ou en toutes circonstances, par le droit international.

Dans le contexte de l’évolution rapide des nouvelles technologies, l’examen de licéité revêt une importance particulière.

Toutefois, l’article 36 du premier protocole additionnel aux conventions de Genève ne précise pas comment doit être conduit l’examen de la licéité des armes, moyens et méthodes de guerre. Dans la pratique, cet examen est fondé sur des interprétations du texte de l’article 36.

Source : CICR, Guide de l’examen de la licéité des nouvelles armes et des nouveaux moyens et méthodes de guerre (janvier 2006).

L’article 36, alinéa 1 du premier protocole additionnel aux conventions de Genève exige des parties qu’elles déterminent si l’emploi « d’une nouvelle arme, de nouveaux moyens ou d’une nouvelle méthode de guerre » serait interdit « dans certaines circonstances ou en toutes circonstances, par les dispositions » du DIH. Dès lors, l’éventuel emploi des SALA devrait, en théorie, se confronter aux règles du DIH régissant la conduite des conflits armés. Cependant, selon Mme Caroline Brandao, cet article constitue la pierre d’achoppement de l’application du DIH aux SALA puisqu’aucune disposition ne précise comment réaliser l’examen de la licéité. Il est donc impossible d’en assurer le suivi en raison de la confidentialité invoquée par les États.

En France, le ministère des Armées a remis à plat les procédures internes relatives à l’examen de la licéité des armes ; une instruction a été communiquée en 2019 afin d’expliquer sa mise en application.

Le champ d’application de l’article 36 du premier protocole additionnel est interprété largement dans les phases en amont. Concrètement, cela signifie qu’avant tout engagement contractuel ou financier, la direction générale de l’armement (DGA) et l’état-major des armées (EMA) intègrent une analyse de licéité qui vise à déterminer si le système ne présente pas de fonctions susceptibles d’être contraires aux grands principes du droit international humanitaire ou aux interdictions conventionnelles spécifiques. Dans ce cadre, la DGA et l’EMA se laissent la possibilité de conduire un nouvel examen en cas de changement des circonstances de droit ou de fait.

L’examen de licéité est très poussé sur les phases en amont, puis, la DGA et l’EMA mettent en place une fiche qui a vocation à suivre le système tout au long de son développement. La DAJ est associée à ce processus mais limite son intervention en cas de doute sérieux. Pour Mme Claire Legras, « un système purement autonome ne passerait même pas le premier stade de l’examen de licéité », tel qu’il est conçu par la France.

Plus globalement, le CICR milite en faveur de l’élaboration d’un texte spécifique aux SALA, dans lequel les États s’emploieraient à fixer des limites clairement définies à l’autonomie des systèmes d’armes au regard du DIH et des préoccupations éthiques. Pour Mme Caroline Brandao, « il s’agit d’anticiper leur développement de manière prospective afin de s’assurer que, le cas échéant, le droit international permettra d’encadrer leur développement et leur emploi ».

B. La convention sur certaines armes classiques : cadre international de négociations sur les SALA

La Convention sur l’interdiction ou la limitation de l’emploi de certaines armes classiques qui peuvent être considérées comme produisant des effets traumatiques excessifs ou comme frappant sans discrimination du 10 octobre 1980, plus connue sous le simple nom de Convention sur certaines armes classiques (CCAC), constitue le cadre international de négociations sur les SALA. Le Secrétaire général des Nations Unies en est dépositaire.

Elle a pour objet la régulation des systèmes d’armes au regard du DIH et réunit en son sein les grandes puissances engagées dans le processus de réflexion sur les SALA. Depuis le lancement des négociations internationales sur les SALA en 2013 à l’initiative de la France, le format des discussions a été adapté et a permis d’aboutir à des résultats concrets.

1. La Convention sur certaines armes classiques, enceinte historique de maîtrise des armements au regard du droit international humanitaire

Adoptée en 1980, la CCAC est un instrument international visant à faire respecter l’application du DIH aux armements, et notamment des principes de discrimination et de proportionnalité. Les diplomates auditionnés par les rapporteurs ont souligné l’importance de cette institution « éprouvée ».

a. La régulation des systèmes d’armes : raison d’être de la Convention sur certaines armes classiques

La Convention a pour but d’interdire ou de limiter l’emploi de certains types particuliers d’armes qui sont réputés infliger des souffrances inutiles ou injustifiables aux combattants, ou frapper sans discrimination les civils. Elle vise donc à protéger les combattants contre les souffrances qui pourraient leur être infligées dans une mesure plus large que nécessaire pour atteindre un objectif militaire légitime ainsi que les civils contre les effets des armes utilisées dans un conflit armé.

Afin d’en garantir la souplesse future, le texte de la Convention originelle, adoptée le 10 octobre 1980, est entré en vigueur le 2 décembre 1981 sous la forme d’une convention-cadre, à laquelle ont été annexés des protocoles. Toutes les dispositions relatives aux interdictions ou restrictions de l’emploi de certains types particuliers d’armes font l’objet des Protocoles annexés à la Convention.

Protocoles additionnels à la Convention sur certaines armes classiques (CCAC)

Les trois protocoles initiaux sont :

- le Protocole I relatif aux éclats non localisables ;

- le Protocole II sur l’interdiction ou la limitation de l’emploi, des mines, pièges et autres dispositifs ;

- le Protocole III sur l’interdiction ou la limitation de l’emploi des armes incendiaires.

Le Protocole IV relatif aux armes à laser aveuglantes a été négocié et adopté le 13 octobre 1995, lors de la première Conférence des Parties chargée de l’examen de la Convention et est entré en vigueur le 30 juillet 1998.

Le plus récent des Protocoles annexés à la Convention, le Protocole V relatif aux restes explosifs de guerre, a été adopté le 28 novembre 2003 et est entré en vigueur le 12 novembre 2006.

Si, à l’origine, la Convention du 10 octobre 1980, ainsi que les trois premiers protocoles, ne s’appliquaient qu’aux seuls conflits armés internationaux, leur champ d’application a été progressivement étendu à tous les types de conflits armés : lors de la première Conférence d’examen des États parties en 1996, le Protocole II a été modifié de façon à être applicable aussi aux conflits armés non internationaux ; puis, une autre étape a été franchie à l’occasion de la deuxième Conférence d’examen de 2001 avec l’extension des autres protocoles en vigueur aux conflits armés non internationaux. Désormais, les règles de la Convention sont donc applicables dans toutes les situations de conflits armés.

b. Une enceinte regroupant l’ensemble des parties prenantes

La CCAC est une enceinte à vocation universelle. Sa raison d’être tient à l’adoption, par un maximum d’États possibles, d’instruments de maîtrise des armements.

i. 121 États parties à la Convention

121 États sont désormais parties à la Convention, contre 50 à l’origine. Cinq signataires ne l’ont pas encore ratifiée : l’Afghanistan, l’Égypte, le Nigeria, le Soudan et le Vietnam.

Chaque année, les États parties à la Convention se réunissent lors d’une réunion des États parties à la Convention, également connue sous le nom de « Conférence d’examen ». Ces rencontres visent à examiner l’état et le fonctionnement de la Convention et de ses protocoles ainsi qu’à étudier le travail réalisé par le Groupe d’experts gouvernementaux. Le Groupe d’experts gouvernementaux est le corps d’experts affilié à la CCAC, chargé de négocier un nouveau protocole ou d’étudier une arme ou un problème spécifique. Le mandat du Groupe d’experts gouvernementaux est déterminé lors des réunions des États parties à la Convention.

La France est très impliquée au sein de la CCAC, enceinte qui présente, selon M. David Bertolotti, des avantages non négligeables : un fonctionnement par adjonction de protocoles complémentaires qui permet d’envisager l’édiction de normes spécifiques adaptées aux nouveaux armements ; un mécanisme institutionnel jugé robuste.

ii. La participation de la société civile

Ainsi que l’a expliqué M. Yann Hwang aux rapporteurs, les réunions des États parties à la Convention sont publiques. Les organisations internationales ou non gouvernementales intéressées peuvent y participer en tant qu’observatrices et prendre la parole. Amnesty International, Handicap international ou encore Human Rights Watch font partie des organisations non gouvernementales actives à la CCAC. Le CICR, en tant que « gardien du temple du DIH », occupe une place spécifique sein de la CCAC.

Le Comité international de la Croix Rouge (CICR), « gardien du temple du DIH »

En 1843, après s’être rendu sur le champ de bataille de Solferino (24 juin 1859), Henry Dunant décide de fonder le Comité international de secours aux blessés avec quatre autres personnalités suisses (Gustave Moynier, Guillaume-Henri Dufour, Louis Appia et Théodore Maunoir). Ce dernier prendra l’appellation de « Comité international de la Croix Rouge » en 1875.

Aujourd’hui, le CICR constitue un des trois piliers du mouvement de la Croix Rouge, aux côtés de la Fédération des sociétés de la Croix Rouge et du Croissant Rouge et des 180 sociétés nationales. Lors de la Conférence des délégués de Séville de 1997, le rôle du CICR a été précisé et affirmé : le CICR est l’organe fondateur et directeur du mouvement. À ce titre, il est chargé d’activités opérationnelles auprès des victimes de conflits armés, de la défense et de la diffusion du DIH ainsi que de la préservation des principes fondamentaux du mouvement. Son action repose sur sept principes que sont l’humanité, l’impartialité, la neutralité, l’indépendance, le volontariat, l’unité et l’universalité.

Le CICR est une organisation sui generis mandatée par la communauté internationale. À cet effet, le CICR bénéfice d’un statut juridique international distinct de celui des organisations non gouvernementales et comparable à celui d’organisations internationales intergouvernementales telles que l’Organisation des Nations Unies (ONU). Indépendant des États, le CICR est constitué sous la forme d’une association de droit suisse. Une protection juridique et, dans certains États, une immunité, lui sont assurées.

Source : Moetai Brotherson et Jean-François Mbaye, Rapport d’information n°2484 sur le droit international humanitaire à l’épreuve des conflits (décembre 2019).

2. Depuis 2013, les discussions sur les SALA avancent dans un sens considéré favorablement par la France

Le débat sur les SALA s’inscrit dans la dynamique du contrôle conventionnel des armements au sein de la CCAC. Ainsi que l’a rappelé M. David Bertolotti, en matière de maîtrise des armements, pour qu’un encadrement international soit effectif et crédible, il doit engager, autant que possible, l’ensemble des États susceptibles de développer ces systèmes. À l’initiative de la France, de premières discussions ont été engagées dès 2013, et trois réunions informelles d’experts se sont tenues à Genève entre 2014 et 2016.

Puis, à partir de 2017, un Groupe d’experts gouvernementaux (GGE) a été mandaté dans le cadre de la CCAC afin de définir et d’encadrer les SALA ([28]). D’aucuns considèrent qu’une telle évolution constitue une avancée majeure puisque certains pays, à l’instar de la Russie ou des États-Unis, refusaient, jusqu’alors, de discuter des SALA de manière formelle.

a. La France, puissance motrice des discussions

La France a été à l’initiative de l’inscription des SALA à l’ordre du jour de la CCAC en 2013, et a reçu le soutien de l’Allemagne à partir de 2014. Ainsi que l’a indiqué aux rapporteurs M. David Bertolotti, la France a déployé, s’agissant des SALA, une « diplomatie active », parvenant à jouer un rôle majeur dans les débats menés à la CCAC.

Si la France a fait le choix, à compter de 2013, de privilégier une approche multilatérale en introduisant le sujet au sein de la CCAC, c’est d’abord parce qu’elle constitue l’échelon le plus pertinent pour aborder la question. Ainsi que l’a exposé la délégation française lors du débat général au sein du GGE en 2016, « les réunions d’experts et d’États qui se sont tenues [depuis 2013] ont permis de confirmer que la CCAC était le cadre pertinent pour discuter des SALA. En effet, elle permet de réunir les diverses expertises nécessaires, et garantit une approche équilibrée entre nécessités de défense et préoccupations humanitaires » ([29]).

Pour la France, il s’agit de veiller à ce que les discussions au sein de la CCAC permettent de « saisir l’objet », c’est-à-dire d’en obtenir une définition communément acceptée, d’identifier les enjeux qui accompagnent l’émergence de systèmes autonomes et, in fine, de parvenir à l’élaboration d’un cadre de régulation ou d’en définir les conditions.

Les points d’intérêt défendus par la France

Le terme « SALA » présente un double enjeu terminologique qui porte sur la létalité et l’autonomie :

Alors que certains États souhaitent élargir le champ des discussions au-delà des systèmes d’armes létaux, la France considère que la létalité constitue un critère déterminant. En l’absence d’un tel critère, les régulations pourraient empêcher de recourir à l’intelligence artificielle de défense, dans son ensemble.

La notion d’autonomie est, pour la France, primordiale puisque sans cette dernière, on tomberait dans le champ des armes qui disposent d’une simple automatisation et donc d’armes existantes. La pleine autonomie, telle qu’elle est comprise par la France, signifie que le système d’armes pourrait s’assigner des objectifs, modifier en cours de mission et sans validation humaine le cadre et l’objet de sa mission et qu’il ne répondrait à aucune supervision humaine ou subordination à une chaîne de commandement. La France considère que c’est sur ce point en particulier que devrait porter un encadrement normatif et opérationnel négocié dans un cadre multilatéral.

b. La progressive formalisation des négociations au travers d’un groupe d’experts gouvernementaux

D’abord informelles, les réunions du GGE ont été formalisées à partir de 2017. Cette démarche a permis d’ancrer les négociations dans le temps et d’institutionnaliser des rencontres en vue d’avancées concrètes.

i. 2013-2017 : des discussions informelles

Sur proposition de la France, la réunion des Hautes Parties contractantes à la CCAC a mandaté, en novembre 2013, une réunion informelle d’experts sur les SALA qui s’est tenue à Genève du 13 au 16 mai 2014. Réunissant environ 400 experts de toutes nationalités, la réunion était présidée par le représentant permanent de la France auprès de la Conférence du désarmement, M. Jean-Hugues Simon-Michel. Cette réunion a permis un premier échange au niveau international sur les enjeux éthiques, juridiques et opérationnels soulevés par le développement de nouvelles technologies dans le domaine de l’armement.

À l’occasion de la réunion d’experts sur les SALA qui s’est tenue du 13 au 17 avril 2015, le représentant de la France auprès de la Conférence du désarmement a souligné, lors de son intervention, qu’il était « crucial » de s’accorder « sur le périmètre de ce sujet, avant d’examiner quelles en seraient les implications éventuelles ». Il a également présenté les points d’intérêts pour la France, à savoir : la question de la caractérisation des SALA, les notions d’autonomie et de « contrôle humain significatif », les enjeux posés par le développement et l’utilisation de ces systèmes, les enjeux éthiques et juridiques.

Du 11 au 15 avril 2016, une troisième réunion d’experts sur les SALA s’est tenue au sein de la CCAC. À cette occasion, la France a présidé la session de travail sur la cartographie des développements dans le domaine de l’autonomie.

Bilan de l’action de la France lors de la troisième réunion d’experts sur les SALA

Dans le cadre de la présidence de la session de travail sur la cartographie des développements des SALA, la France a soumis trois documents de travail :

- une cartographie des développements techniques dans laquelle elle rappelle, d’une part, que les SALA n’existent pas à ce jour et, d’autre part, que « les progrès effectués dans le domaine de l’acquisition et du traitement de l’information ne permettent […] pas à ce jour d’envisager de basculer d’un rôle d’aide à la décision automatisé (« human in the loop ») à un rôle de prise de décision autonome du ciblage et de l’ouverture de feu (« human off the loop ») » ;

- un document sur le cadre juridique d’un éventuel développement et usage opérationnel d’un futur SALA dans lequel elle précise que « les règles existantes du DIH sont applicables aux SALA et obligent les États à vérifier leur conformité au DIH avant de les développer ou de les employer » et que la France « n’envisagerait de développer ou d’employer des SALA, que si ces systèmes démontraient leur parfaite conformité au droit international » ;

- un document en anglais sur la caractérisation des SALA dans lequel la France propose quatre caractéristiques : autonomie complète ; différenciation des systèmes automatiques opérés à distance ; absence totale de supervision humaine, aussi bien dans la communication que dans le contrôle ; capacité d’adaptation ne nécessitant aucune intervention humaine ou validation.

L’objectif du document relatif à la caractérisation des SALA est d’orienter les débats sur la définition des SALA afin de créer les conditions d’un approfondissement des négociations internationales.

ii. Depuis 2017 : la formalisation des travaux au sein du Groupe d’experts gouvernementaux

L’année 2017 a été marquée par la tenue, du 13 au 17 novembre, de la première session du GGE sur les SALA dans le cadre de la CCAC. Ainsi que l’a expliqué M. Jean-Baptiste Jeangène Vilmer, ce groupe d’experts réunit, une fois par an et durant cinq jours, des délégations de plus de 90 États parties à la CCAC ainsi que des acteurs de la société civile.

À cette occasion, la France et l’Allemagne ont soumis un document de travail invitant le GGE à adopter plusieurs propositions qui portent sur l’adoption d’une définition de travail des SALA et d’une déclaration politique du GGE, la mise en œuvre de mécanismes permettant d’améliorer la transparence et la confiance entre les États. Ce document propose également d’envisager l’adoption d’un code de conduite politiquement contraignant et de créer, au sein de la CCAC, un comité consultatif d’experts techniques.

Du 9 au 13 avril 2018, le GGE a poursuivi les travaux sur les SALA et dans ce cadre, le sujet de l’interaction homme-machine a fait l’objet d’une attention particulière. Depuis 2017, la formalisation des travaux au sein du GGE a permis des avancées majeures dans les discussions, comme en témoigne l’adoption des onze principes directeurs sur les technologies émergentes dans le domaine des SALA en 2019.

c. L’adoption de onze principes directeurs, un pas décisif franchi à l’initiative de la France

Après deux années d’intenses négociations au sein du GGE, onze principes directeurs sur les technologies émergentes dans le domaine des SALA ont été adoptés en 2019. Leur endossement par consensus par les 121 États parties à la CCAC, constitue, aux yeux de M. Yann Hwang, une réelle réussite de la diplomatie française, dont on ne peut que regretter la faible médiatisation. Ces onze principes pourraient en effet constituer la « base d’un futur instrument international ».

Onze principes directeurs affirmés par le GEG sur les technologies émergentes dans le domaine des SALA

1) Le droit international humanitaire continue de s’appliquer pleinement à tous les systèmes d’armes, y compris à la mise au point et à l’utilisation potentielles de systèmes d’armes létaux autonomes ;

2) La responsabilité humaine dans les décisions relatives à l’emploi de systèmes d’armes doit être maintenue car l’obligation de rendre des comptes ne peut pas être transférée à des machines. Ce principe devrait être pris en considération dans l’ensemble du cycle de vie du système d’armes ;

3) L’interaction homme-machine, qui peut prendre diverses formes et s’appliquer à différents stades du cycle de vie d’une arme, devrait permettre de faire en sorte que l’utilisation potentielle de systèmes d’armes basés sur les technologies émergentes dans le domaine des systèmes d’armes létaux autonomes soit conforme au droit international applicable et en particulier au droit international humanitaire. Pour déterminer la qualité et le degré de l’interaction homme-machine, il conviendrait de prendre en compte un certain nombre de facteurs tels que le contexte opérationnel ainsi que les caractéristiques et les capacités du système d’armes dans son ensemble ;

4) L’obligation de rendre des comptes s’agissant de la mise au point, du déploiement et de l’emploi de tout nouveau système d’armes relevant de la Convention doit être garantie conformément au droit international applicable, notamment en veillant à ce que ces systèmes soient utilisés dans le cadre d’une chaîne humaine responsable de commandement et de contrôle ;

5) Conformément aux obligations qui incombent aux États en vertu du droit international, il convient, lors de l’étude, de la mise au point, de l’acquisition ou de l’adoption d’une nouvelle arme, d’un nouveau vecteur ou d’une nouvelle méthode de guerre, de déterminer si l’emploi de cette arme, de ce vecteur ou de cette méthode serait, en certaines circonstances ou en toutes circonstances, interdit par le droit international ;

6) Lors de la mise au point ou de l’acquisition de nouveaux systèmes d’armes basés sur des technologies émergentes dans le domaine des systèmes d’armes létaux autonomes, il conviendrait de prendre en considération la sécurité physique, les garanties non physiques appropriées (notamment la cybersécurité contre le piratage informatique ou le vol de données), le risque d’acquisition de ces systèmes par des groupes terroristes et le risque de prolifération ;

7) L’évaluation des risques et les mesures d’atténuation devraient faire partie du cycle de conception, de mise au point, de test et de déploiement des technologies émergentes dans tous les systèmes d’armes ;

8) L’utilisation des technologies émergentes dans le domaine des systèmes d’armes létaux autonomes devrait être envisagée dans le cadre du respect du droit international humanitaire et des autres obligations juridiques internationales applicables ;

9) Lors de l’élaboration d’éventuelles mesures stratégiques, il ne faudrait pas considérer les technologies émergentes dans le domaine des systèmes d’armes létaux autonomes comme étant dotées d’attributs humains ;

10) Les discussions et les éventuelles mesures stratégiques prises dans le contexte de la Convention ne devraient pas entraver les progrès s’agissant des utilisations pacifiques des technologies autonomes intelligentes ni l’accès à ces utilisations ;

11) La Convention offre un cadre approprié pour traiter la question des technologies émergentes dans le domaine des systèmes d’armes létaux autonomes dans le cadre des objectifs et des buts de la Convention, qui tend à établir un équilibre entre nécessité militaire et considérations humanitaires.

La dernière réunion du GGE s’est tenue les 20 et 21 août 2019 et, à cette occasion, le GGE a été mandaté pour développer un cadre normatif et opérationnel aux onze principes à horizon 2020-2021. La crise sanitaire a eu pour conséquence de reporter, a priori en août, la réunion du GGE prévue en juin 2020. La conférence d’examen de la CCAC est, quant à elle, prévue en 2021.

De l’avis de M. David Bertolotti, « ces résultats tangibles montrent que l’approche retenue était la bonne et qu’elle mériterait d’être approfondie ». C’est le sens du mandat confié au GGE.

C. Conforter la Convention sur certaines armes classiques comme lieu de discussion

La CCAC constitue, aux yeux des rapporteurs, l’échelon le plus pertinent pour aborder la question des SALA : c’est pourquoi il convient de conforter le processus diplomatique international en son sein. Malgré les reports liés à la crise sanitaire, les prochaines échéances s’annoncent déterminantes. Les attentes de la France en la matière sont particulièrement hautes puisqu’il s’agit désormais de faire avancer les négociations vers une mise en pratique opérationnelle des principes adoptés par le GGE.

1. L’avenir en pointillé des négociations internationales

a. Les faiblesses du processus actuel

Les faiblesses du processus actuel tiennent à l’absence, recherchée ou non, de compréhension commune de l’objet en cause. Cette situation résulte aussi bien de la difficulté qu’impliquent les enjeux technologiques associés aux SALA, que d’une forme de « noyade » dans les débats sémantiques.

i. Un sujet technique

Pour M. Étienne de Durand, délégué chargé de la prospective au sein de la DGRIS, les faiblesses du débat tiennent à l’omniprésence d’aspects techniques complexes, mais essentiels à la compréhension du sujet. Le degré de technicité requis explique la tentation forte de déplacer le débat de la limitation et de la non-prolifération vers un débat sur l’interdiction. La faiblesse inhérente à la logique de maîtrise des armements relève de l’impossibilité d’imposer un contrôle aux États.

ii. Des définitions instrumentalisées

Pour M. Jean-Baptiste Jeangène Vilmer, l’une des principales difficultés dans le débat sur les SALA tient au défi linguistique, qu’il qualifie même de « guerre sémantique ». En l’état actuel des débats, « certains acteurs entretiennent une ambiguïté dans le choix des termes afin de biaiser le débat ». Dans cette perspective, l’emploi d’appellations comme « robot tueurs » effraie tout autant qu’elle conduit à remettre en cause l’emploi de capacités actuellement largement employées.

Ainsi que l’a expliqué l’ingénieur en chef de l’armement Emmanuel Bresson, conseiller cyber, intelligence artificielle et technologies de ruptures au sein du département stratégies de défense de la direction stratégie de défense, prospective et contre-prolifération à la DGRIS, les débats internationaux se heurtent à un manque de consensus récurrent s’agissant des questions sémantiques et réglementaires. En l’absence de définition communément admise des SALA, certains acteurs souhaitent élargir le champ des discussions au-delà des systèmes d’armes létaux autonomes, pour y inclure les systèmes automatisés ou téléopérés. Or, une acceptation large des termes de létalité et d’autonomie pourrait conduire à l’interdiction de systèmes existants, sur lesquels la France, comme d’autres, fait reposer une partie de son système défensif.

L’absence de définition n’est pas inédite dans l’histoire des négociations internationales et, ainsi que l’a relevé M. David Bertolotti, dans une telle situation, « il est d’usage d’approcher le sujet d’une autre manière ». De même, le CICR considère que l’absence de définition ne constitue pas un problème susceptible de justifier l’absence ou le report des négociations. C’est le sens de la focalisation sur la caractérisation de l’interaction homme-machine. Si la France considère qu’il s’agit d’un point essentiel, en particulier dans la mesure où cet enjeu n’implique pas forcément de définir ce qu’est un SALA, cette position n’est pas partagée par l’ensemble des parties prenantes.

b. Des parties prenantes désunies

Si l’existence de divergences entre États est une constante des négociations internationales auxquels les diplomates sont rompus, les différents interlocuteurs auditionnés par les rapporteurs ont mis en lumière la spécificité du débat sur les SALA, à savoir la présence remarquée, parfois qualifiée d’« agressive » de représentants de la société civile.

i. La pression de la société civile

La société civile, représentée par les organisations non gouvernementales, est très présente et très active dans le débat sur les SALA. Pour Mme Claire Legras l’importance de la société civile est telle que cette dernière se trouve désormais au cœur d’un « débat très hystérisé ». Cela tient notamment au cadre institutionnel puisque, comme l’a expliqué M. Yann Hwang aux rapporteurs, les organisations non gouvernementales peuvent prendre la parole lors des sessions de la CCAC, bien qu’elles ne participent pas au processus décisionnel. Deux acteurs sont, à ce titre, particulièrement importants.

● Le CICR, d’une part, est très écouté au sein de la CCAC. De manière générale, les principales préoccupations du CICR portent sur le contrôle humain « de bout en bout » et le respect du DIH. Pour le CICR, les onze principes directeurs constituent une étape « intéressante et importante, notamment en ce qu’ils témoignent d’un consensus sur l’applicabilité du DIH, sur la nécessité de maintenir la responsabilité humaine dans les décisions relatives à l’emploi de systèmes d’armes, et sur une interaction humain-machine qui soit conforme au DIH ». Les onze principes sont un « bon début » mais, ainsi que l’a expliqué Mme Kathleen Lawand, directrice de l’unité « Armes » du CICR, ce dernier regrette qu’ils ne revêtent pas un caractère normatif, ni ne permettent d’identifier des normes afin de limiter le développement et l’emploi des armes autonomes de manière concrète. La position du CICR à ce sujet a été exposée dans le rapport de la 33ème Conférence Internationale de la Croix Rouge et du Croissant Rouge en décembre 2019.

● La campagne « Stop Killer Robots », d’autre part, est une coalition composée de 160 organisations non gouvernementales et associations, parmi lesquelles Human Rights Watch et Amnesty International.

La Campagne « Stop Killer Robots »

La Campagne « Stop Killer Robots » (Campagne contre les Robots Tueurs sous son appellation française) est une coalition de 160 organisations non gouvernementales, présentes dans 66 pays. Les organisations membres de la Campagne en France sont Handicap International, Human Rights Watch, L’Observatoire des armements et Sciences Citoyennes. Amnesty International fait partie de la Campagne internationale mais elle ne fait pas formellement partie de la Campagne en France.

La Campagne en France est coordonnée par le bureau de Human Rights Watch en France, et s’appuie sur l’expertise et les contributions de chacun de ses membres. Les différents membres de la campagne se rencontrent régulièrement pour discuter de la stratégie et des activités à mettre en place de manière commune.

Les membres de la Campagne ont été particulièrement actifs en 2018 et début 2019, autour de la publication d’une note intitulée « Pourquoi la France doit s’opposer au développement des robots tueurs » qui a donné lieu, à une conférence de presse et une table-ronde organisée par Sciences Citoyennes, à différentes interviews dans les médias, la publication d’une tribune, la participation des membres de la Campagne à différents événements et colloques, ainsi qu’à différentes réunions avec les autorités françaises. Une importante activité sur les réseaux sociaux a également été déployée pour amplifier la Campagne.

Pour les représentants de la Campagne, seul un traité international d’interdiction serait à même de répondre à la menace des SALA de manière crédible. Dès lors, ils regrettent que la France se contente de déclarations politiques, jugées « insuffisantes pour s’opposer de manière effective au développement des armes entièrement autonomes ». Ils estiment que les discours de la ministre des Armées et du Président de la République affichant la volonté de ne pas franchir la ligne rouge consistant à confier le pouvoir de tuer à une machine ne trouve pas de traduction crédible et effective dans la voie poursuivie par la France.

Si la Campagne juge positivement l’élaboration d’une déclaration politique, elle estime qu’elle ne constitue qu’une étape qui est « en soi insuffisante pour faire face à la menace que [les SALA] représentent ». Ainsi que l’a expliqué Mme Bénédicte Jeannerod, directrice de Human Rights Watch France, les principes directeurs adoptés par les États parties à la CCAC en 2018 et 2019 ne constituent pas, selon les membres de la Campagne, une réponse appropriée aux préoccupations soulevées par l’accroissement de l’autonomie.

Les rapporteurs notent également que plusieurs de leurs interlocuteurs ont attiré leur attention sur le rôle des GAFAM ([30]) qui essaieraient de détourner l’attention des populations de leurs propres applications, très contestées par les défenseurs des libertés civiles, par l’intermédiaire du financement des campagnes prônant l’interdiction pleine et entière des SALA.

ii. Des positions nationales divergentes

À Genève, les États sont classés par les commentateurs en plusieurs groupes, selon le niveau d’encadrement des SALA qu’ils appellent de leurs vœux. Plusieurs classifications ont ainsi été proposées lors des auditions, opposant les États « modérés » aux États « radicaux » et plaçant d’autres États, tantôt la Russie tantôt la Chine, en dehors de toute classification.

De manière schématique, les auditions font apparaître trois groupes distincts.

● Le premier groupe est constitué des États traditionnellement proches du mouvement des non-alignés ou considérés comme des États « désarmeurs ». Ceux-ci prônent l’adoption immédiate d’un instrument juridique contraignant qui interdirait les SALA de manière préventive. Parmi ces États, figurent notamment l’Autriche, le Mexique ou encore le Venezuela. Plus généralement, ce premier groupe réunit une vingtaine d’États, parmi lesquels de nombreux États d’Amérique latine, et plus largement des pays qui ne disposent pas des capacités technologiques et industrielles pour le développement de tels systèmes. La position de ce groupe rejoint celles des organisations non gouvernementales, dont celles participant à la campagne « Stop Killer Robots ».

● Le deuxième groupe comprend les États-Unis et certains de leurs partenaires proches, très réticents à tout engagement en faveur de l’établissement d’un quelconque cadre dans le domaine des SALA. Si ces États reconnaissent les défis humanitaires que peut faire naître le développement de systèmes autonomes, ils refusent de se « lier les mains » et de contraindre leurs programmes capacitaires futurs en adoptant un quelconque instrument dans ce domaine.

● Le troisième groupe, composé notamment de l’Allemagne, du Japon, du Royaume-Uni et de la France, essaie de définir une position médiane. Ces États promeuvent une exploration approfondie des tenants et aboutissants de cette question et ont proposé un engagement de nature politique permettant d’assurer un plein respect du DIH. Ces États plaident en faveur du maintien des négociations au sein de la CCAC, afin de produire des normes ou, à tout le moins, des principes.

De manière plus générale, à l’exception de quelques États tenant des positions radicales en matière de désarmement, le groupe des pays européens apparaît plus modéré que les autres États, et susceptible de se rassembler autour des positions du couple franco-allemand. Il convient également de noter que les positions défendues par les pays européens, et en particulier la France, rejoignent celles de divers pays asiatiques, à l’instar du Japon, quand bien même ils disposeraient d’un écosystème technologique robuste et allant en matière d’intelligence artificielle.

Selon les interlocuteurs, les positionnements respectifs de la Chine et de la Russie varient.

● La Chine propose d’interdire l’emploi des SALA mais pas les recherches permettant leur développement. Elle pose comme préalable à toute poursuite des discussions l’acceptation d’une définition commune des SALA. Pour M. Jean-Baptiste Jeangène Vilmer, « la position chinoise doit être appréhendée avec prudence » dans la mesure où la Chine n’a jamais indiqué s’interdire de conduire des activités de production, de conception et de développement de systèmes autonomes.

● La Russie semble opter pour l’obstruction, dans la mesure où elle a, à plusieurs reprises, tenté de limiter le nombre de jours consacrés au débat sur les SALA en arguant qu’il s’agissait d’un « non sujet ». Ainsi que le souligne M. Jean-Baptiste Jeangène Vilmer, une telle attitude renforce les velléités de délocalisations du débat en dehors du cadre de la CCAC, au risque de « biaiser encore un peu plus la discussion sur les SALA ».

c. La tentation d’un processus ad hoc

Afin de pallier les faiblesses du processus conduit au sein de la CCAC, certains États, appuyés en cela par la société civile, ont fait part de leur volonté d’exporter le débat en dehors du cadre de la CCAC.

La proposition de certains États, à l’instar de la Suisse, de l’Égypte ou de l’Irlande, invitant à retirer le critère de létalité s’inscrit dans cette démarche. Elle vise à exporter le débat vers d’autres enceintes, comme le Comité des droits de l’Homme des Nations Unies, ou vers un cadre a priori plus favorable à une interdiction préventive.

i. Les expériences passées

Ainsi que l’a rappelé M. Yann Hwang, la logique du contrôle des armements consiste, pour un pays, à accepter de se contraindre à condition que les autres parties en fassent autant. Concrètement, il s’agit de limiter, de contrôler – et non d’interdire –, et de s’assurer, ce faisant, de l’absence d’un éventuel affaiblissement stratégique. Or, force est de constater que dans le domaine du droit du désarmement, la tendance actuelle est plutôt celle d’interdictions ou de limitations d’emploi unilatérales, au motif que tel ou tel système d’armes poserait intrinsèquement problème, le plus souvent pour des raisons humanitaires.

C’est dans cette perspective que s’inscrivent la Convention d’Ottawa sur l’interdiction de l’emploi, du stockage, de la production et du transfert des mines antipersonnel et sur leur destruction du 3 décembre 1997 et la Convention d’Oslo sur les armes à sous-munitions du 3 décembre 2008.

Convention d’Ottawa sur l’interdiction de l’emploi, du stockage, de la production et du transfert des mines antipersonnel et sur leur destruction du 3 décembre 1997

La Convention d’Ottawa du 3 décembre 1997 fixe une norme d’interdiction totale des mines anti-personnel. L’article premier de cette convention en interdit l’emploi, la mise au point, la production, le stockage et le transfert. Dans le cadre des négociations qui ont abouti à cette convention, plus de 1400 organisations non gouvernementales se sont regroupées au sein d’un réseau intitulé « Campagne internationale pour interdire les mines ». Avec l’appui du CICR, des Nations unies et de gouvernements, la « Campagne internationale pour interdire les mines » a contribué à sensibiliser le public sur l’incidence des mines antipersonnel sur les civils, suscitant ainsi le soutien de la communauté internationale. La Convention d’Ottawa du 3 décembre 1997 compte 164 États parties mais sa portée est limitée dans la mesure où les principaux pays détenteurs de munitions anti-personnel n’y ont pas adhéré. C’est notamment le cas des États-Unis, de la Russie, du Pakistan et de l’Inde.

La Convention d’Ottawa du 3 décembre 1997 n’est pas le seul instrument de régulation de l’usage des mines antipersonnel puisque la CCAC comprend des dispositions concernant l’usage de tous types de mines terrestres. Plus précisément, deux de ses protocoles additionnels, le Protocole II et le Protocole V à la CCAC, portent sur la lutte contre les mines et les restes explosifs de guerre. Le Protocole additionnel II pose des restrictions générales relatives à l’emploi des mines terrestres, antipersonnel ou antivéhicule, tandis que le Protocole additionnel V vise à réduire les risques inhérents aux munitions non explosées ou abandonnées à l’issue des conflits armés. S’il est vrai que la CCAC ne compte que 121 États parties (contre 164 pour la Convention d’Ottawa), sa portée est résolument plus étendue puisqu’elle concerne les grandes puissances détentrices de munitions antipersonnel.

Convention d’Oslo sur les armes à sous-munitions du 3 décembre 2008

La Convention d’Oslo s’inscrit dans la même dynamique de désarmement que la Convention d’Ottawa du 3 décembre 1997. Il s’agit d’un instrument international interdisant l’utilisation, la production, le stockage et le transfert de toutes les armes à sous-munitions. En vertu de l’article 2 de ladite convention, répondent à l’appellation « armes à sous-munitions » toute « munition classique conçue pour disperser ou libérer des sous-munitions explosives dont chacune pèse moins de 20 kilogrammes, et [qui] comprend ces sous-munitions explosives ».

En 2019, 106 États étaient parties à la Convention d’Oslo sur les armes à sous-munitions. Toutefois, force est de constater que la plupart des grands pays détenteurs ou producteurs d’armes à sous-munitions refusent d’adhérer à cette convention. Il s’agit notamment des États-Unis, de la Russie, de l’Inde, d’Israël, du Pakistan, de la Chine ou encore de la Corée du Sud.

S’agissant des SALA, la France estime qu’il pourrait potentiellement s’agir de systèmes dont l’impact sur les équilibres stratégiques serait significatif, et que l’acceptation d’une éventuelle contrainte devrait répondre à un engagement pris dans un cadre multilatéral qui poserait des contraintes similaires aux parties et en particulier aux autres puissances militaires, au premier rang desquelles les États-Unis, la Russie et la Chine. Dès lors, il n’est pas envisageable de prendre des engagements unilatéraux en la matière. La France considère donc que le maintien des discussions au sein de la CCAC est essentiel.

Ainsi que l’a souligné Mme Claire Legras, le Traité d’interdiction des armes nucléaires (TIAN) du 7 juillet 2017 représente un « contre-modèle ».

Traité d’interdiction des armes nucléaires (TIAN) du 7 juillet 2017

Le Traité d’interdiction des armes nucléaires du 7 juillet 2017 est un traité international des Nations Unies pour la négociation d’un instrument juridiquement contraignant visant à interdire les armes nucléaires en vue de leur élimination complète. La France n’a pas signé ce traité.

Ce traité est l’aboutissement du processus de « l’initiative humanitaire », porté par la « Campagne internationale pour l’abolition des armes nucléaires » qui regroupe environ 468 organisations non gouvernementales.

ii. Les motivations en matière de SALA

La tentation de déplacer le débat dans le cadre d’un processus ad hoc est particulièrement vive parmi les acteurs associatifs et les organisations non gouvernementales. Leur principale motivation repose sur la volonté d’aboutir à un instrument juridique contraignant à court terme. La Campagne « Stop Killer Robots », par exemple, plaide en faveur de négociations dans des forums, y compris à travers un processus indépendant lancé et dirigé par des États alignés. Pour Mme Bénédicte Jeannerod, la tradition de consensus de la CCAC amoindrit les chances de produire un protocole « et encore moins un protocole qui établisse une norme internationale solide ». En ce sens, « la voie la plus efficace et la plus efficiente vers un traité fort […] nécessitera probablement de sortir de la CCAC ». La Campagne « Stop Killer Robots » envisage plusieurs pistes d’élaboration d’un traité, à l’Assemblée générale des Nations Unies ou dans le cadre d’un processus indépendant similaire à ceux des conventions d’Ottawa et d’Oslo. Renoncer à une procédure de négociation basée sur le consensus permettrait d’aller « plus vite et de viser plus haut ».

Mme Kathleen Lawand a précisé que le CICR était « agnostique » en ce qui concerne le processus de négociation préférable. Qu’il s’agisse de négociations dans le cadre de la CCAC ou d’un processus ad hoc, le CICR considère qu’il est surtout important que ce processus soit effectif et qu’il aboutisse relativement rapidement à des résultats concrets.

2. La poursuite des négociations multilatérales, seule voie souhaitable

Les rapporteurs appellent de leurs vœux l’adoption d’une déclaration politique solennelle ou d’une résolution à l’issue de la Conférence d’examen de la CCAC, qui devrait avoir lieu en 2021. Pour les rapporteurs, la poursuite des négociations multilatérales dans le cadre de la CCAC constitue la seule voie souhaitable et réaliste dans la mesure où, en l’état actuel du multilatéralisme, la réouverture des conventions de Genève apparaît difficilement envisageable. La création du DIH est d’origine coutumière et dans le cas des SALA, le fait que les États se saisissent du sujet pour en déduire des bonnes pratiques serait d’ailleurs, selon Mme Claire Legras, « une bonne manière de procéder ».

a. Les risques en cas d’échec des négociations au sein de la Convention sur certaines armes classiques

L’échec des négociations au sein de la CCAC conduirait au maintien de fait du vide juridique entourant les SALA à l’échelle internationale et pourrait provenir aussi bien d’un arrêt des négociations au sein même de la CCAC que d’un accord obtenu des suites d’un processus ad hoc. Sans soutien des grandes puissances militaires à un éventuel traité d’interdiction, les SALA pourraient tout de même bénéficier d’une existence de facto.

i. Un accord sans grandes puissances militaires

Dans le cadre du débat sur les SALA, seule une approche multilatérale, à l’instar de celle promue par la France, permettra d’impliquer les grandes puissances engagées dans le développement de l’intelligence artificielle de défense et donc potentiellement concernées par les SALA. Afin d’empêcher le développement anarchique des SALA, des principes communément partagés doivent être définis et les États doivent tous se plier aux mêmes règles. Si une réglementation additionnelle venait à être adoptée dans le cadre d’un processus ad hoc, il faudrait être assuré de son respect par l’ensemble des puissances militaires concernées, ce qui parait irréaliste au regard du contexte politique et stratégique actuel. Par ailleurs, Mme Claire Legras juge que le principe d’une interdiction préventive à l’endroit des seuls États ne permettrait pas forcément d’empêcher l’émergence de SALA puisque les groupes terroristes, qui ne seraient tenus par aucune obligation, pourraient y recourir, déterrant ainsi l’incitation des puissances militaires à adhérer à tout type de processus ad hoc.

Pour un certain nombre de commentateurs, les États « désarmeurs » n’ont pas le souci de l’universalité ou du réalisme dont sont imprégnées les puissances militaires. Cela explique la raison pour laquelle ils souhaitent reproduire la démarche ayant abouti au TIAN ou aux conventions d’Ottawa du 3 décembre 1997 et d’Oslo du 3 décembre 2008.

Or, l’expérience montre que la plupart des grandes puissances concernées n’adhèrent pas à de telles initiatives :

– s’agissant de la Convention d’Ottawa, les principaux détenteurs de munitions antipersonnel que sont les États-Unis, la Russie, le Pakistan ou l’Inde n’ont pas adhéré au texte ;

– s’agissant de la Convention d’Oslo, ni les États-Unis, ni la Russie, ni l’Inde, Israël, le Pakistan, la Chine ou encore la Corée du Sud n’y ont adhéré.

C’est pourquoi, pour qu’une régulation internationale soit efficace, il faut « absolument que toutes les puissances militaires concernées soient à bord », comme l’a indiqué aux rapporteurs M. Yann Hwang.

ii. Un arrêt des discussions

En l’état actuel du multilatéralisme, un arrêt des discussions n’est pas à exclure. Afin d’éviter un tel scénario, la France milite en faveur d’engagements politiques. Si l’adoption par consensus des onze principes directeurs pour encadrer le développement et l’usage des systèmes d’armes autonomes témoigne d’une volonté partagée des États de se saisir du sujet, la consolidation de cette initiative reste nécessaire.

En outre, il convient de se méfier d’une confusion entre éthique et humanitaire, au sens du DIH. En matière d’éthique, la question qui se pose est celle de savoir si l’intelligence artificielle de défense marque une rupture dans l’histoire des systèmes d’armes, ou si elle s’inscrit dans la continuité de l’histoire des armements. Selon l’ambassadeur Yann Hwang, les SALA s’inscrivent dans un continuum qui vise, pour un État, à projeter sa puissance et réduire ses vulnérabilités. Il s’agit en fait de savoir si l’apparition de ces systèmes d’armes s’accompagne d’un changement de nature, ou simplement de degré. Les mêmes types de questions se sont posés au moment de l’apparition des drones et de leur armement.

b. Un engagement international semble à portée de main

L’engagement international qu’appellent de leurs vœux les rapporteurs semble non seulement souhaitable mais également possible. En poursuivant son action diplomatique volontariste, appuyée en cela par l’Allemagne et par un nombre croissant d’États, la France semble en mesure de contribuer à faire aboutir les négociations lancées en 2013.

i. Le couple franco-allemand joue un rôle moteur

Depuis 2017, le couple franco-allemand joue un rôle moteur dans les discussions. Outre l’élaboration commune d’un document de travail remis lors de la première réunion du GGE, les délégations française et allemande auprès de la Conférence du désarmement ont organisé un événement parallèle intitulé « Pistes pour réguler les SALA ». Par ailleurs, la France et l’Allemagne ont publié une déclaration conjointe sur l’évolution des travaux sur les SALA au sein de la CCAC reprenant les propositions énoncées dans le document de travail susmentionné.

En 2018, la France et l’Allemagne ont organisé un atelier intitulé « développer des réponses politiques possibles aux SALA » qui a regroupé des experts du monde associatif et des représentants étatiques. À l’occasion de la réunion du GGE qui s’est tenue du 27 au 31 août 2018, la France et l’Allemagne se sont, une nouvelle fois, exprimées conjointement en appuyant notamment l’idée d’une déclaration politique sur les SALA ([31]).

En 2019, la France et l’Allemagne ont été à l’initiative d’une « déclaration sur les SALA », ouverte à endossement lors de l’événement « Alliance pour le multilatéralisme » et reprenant les onze principes directeurs pour encadrer le développement et l’usage des systèmes d’armes autonomes.

Ainsi que l’a souligné M. Yann Hwang, « pour l’heure, en termes normatifs, la seule proposition structurée est la proposition franco-allemande ». Ce faisant, l’objectif consiste donc à capitaliser et valoriser ces onze principes à l’occasion de la conférence d’examen de la CCAC. Dès lors, les rapporteurs ont souhaité souligner l’importance de cette action conjointe qui mérite d’être renforcée.

Il apparaît donc nécessaire de rallier l’Europe à la position franco-allemande au sujet des SALA, sans quoi celle-ci n’a que peu de chances d’aboutir. La convergence des positions des États membres autour d’un « bloc européen » apparaît d’autant plus urgente que l’Union européenne a récemment adopté une stratégie européenne d’intelligence artificielle ([32]).

ii. Un engagement politique assorti d’un examen régulier des développements technologiques est envisageable

La cartographie des développements techniques, un des trois documents de travail soumis par la France à l’occasion de la troisième réunion d’experts sur les SALA, indique que « les progrès effectués dans le domaine de l’acquisition et du traitement de l’information ne permettent […] pas à ce jour d’envisager de basculer d’un rôle d’aide à la décision automatisé (« human in the loop ») à un rôle de prise de décision autonome du ciblage et de l’ouverture de feu (« human off the loop ») ».

Pour M. Yann Hwang, ce constat est toujours valable aujourd’hui, dans la mesure où il n’exclut pas le développement futur d’armes pleinement autonomes. C’est pourquoi la France maintient son engagement en faveur d’engagements politiques, assortis d’une procédure régulière d’examen des développements technologiques. Plus précisément, la France promeut l’idée d’un débat contradictoire annuel entre experts, afin de permettre à l’ensemble des États parties d’échanger sur les évolutions technologiques en la matière.

Comme l’ont souligné de nombreux interlocuteurs, si les SALA sont un enjeu de prospective, ils n’en demeurent pas moins déjà pleinement ancrés dans le présent. En effet, les éléments sous-jacents que sont l’autonomisation des systèmes d’armes, l’intelligence artificielle ou encore la robotique sont d’ores et déjà une réalité pour les forces armées. Aux yeux des rapporteurs, il serait donc dangereux de permettre aux États de développer des SALA de manière incontrôlée, voire anarchique, au risque de se retrouver un jour confronté à l’emploi de ces armes. En revanche, il serait tout aussi dangereux de procéder à une interdiction préventive qui risquerait de priver la France des apports de l’intelligence artificielle ou de l’autonomie. Ce double constat est au cœur des préoccupations de la France.

En somme, en aucun cas le débat sur les SALA ne doit parasiter les efforts entrepris par la France dans le domaine de l’intelligence artificielle de défense, au risque d’un déclassement stratégie, technologique et industriel.

— 1 —

III. Le débat sur les SALA ne doit pas parasiter les efforts entrepris dans le domaine de l’autonomie des systèmes d’armes, au risque d’un déclassement technologique, industriel et stratégique

La quête de l’autonomie des systèmes d’armes est indissociable de l’essor de l’intelligence artificielle de défense, qui fait l’objet d’une compétition mondiale marquée. De manière concomitante, la relative démocratisation des technologies numériques ouvre la voie à une recomposition du paysage stratégique.

Dans ce contexte, il est à craindre que le débat sur les SALA soit instrumentalisé dans le but de parasiter les efforts entrepris dans le domaine de l’intelligence artificielle par certains États, en premier lieu desquels la France et ses partenaires européens.

Alors que les discussions internationales soulignent les divergences d’appréciation des questionnements éthiques, selon une logique quasi continentale, l’un des principaux risques est de voir l’Europe, plus encline en ce domaine, se lier les mains, pendant que des acteurs moins scrupuleux poursuivraient leurs efforts. Elle prendrait alors le risque d’un déclassement technologique, industriel et stratégique.

A. L’Autonomie porte en elle un changement de paradigme qui explique qu’elle fasse l’objet d’une compétition internationale marquée

1. L’autonomie des systèmes d’armes rebat les cartes des équilibres stratégiques

L’accroissement de l’autonomie des systèmes d’armes s’inscrit dans le cadre plus large de l’essor de l’intelligence artificielle de défense, dont les bénéfices opérationnels ne sont plus à démontrer. Dès à présent, les machines se montrent plus réactives que l’humain, et plus précises dans l’exercice de certaines fonctions. Comme l’a indiqué aux rapporteurs M. Gérard de Boisboissel : un homme réagit en quelques secondes, la machine en quelques milli secondes, voire moins ; un tireur humain qui bouge, respire et tremble, est moins précis qu’une machine qui ne bouge pas, ne respire pas, ne tremble pas ; la machine est capable d’opérer avec constance sur des temps très longs, voire 24 heures sur 24, là où l’homme est limité par la fatigue et l’inattention. Ainsi, en 2016, le colonel Gene Lee, formateur au sein de l’US Air force, a perdu tous les combats aériens qu’il a menés en simulation face à Alpha, un programme informatique doté d’intelligence artificielle.

Plus largement, le développement de systèmes de plus en plus autonomes, au cœur des futurs systèmes de systèmes – tel le SCAF – s’accompagnera d’un changement de paradigme dans la conduite de la guerre, avec l’émergence de l’« hyperwar » ([33]) , théorisée par le général américain John Allen en 2019. Selon M. Gérard de Boisboissel, il faut ainsi s’attendre à ce que « la guerre de haute intensité du futur se joue à un niveau d’hyperréactivité et d’hyperadaptation des moyens technologiques déployés. Cette hyperguerre positionnera le chef militaire dans le rôle d’un « Mission commander » qui coordonnera les différents systèmes robotisés qu’il aura à sa disposition, tout en leur délégant une certaine forme d’autonomie pour une réactivité en temps réel. »

Pour M. Gérard de Boisboissel, l’apparition de cette nouvelle forme de conflit soulève des enjeux de divers ordres, qu’il convient de ne pas négliger :

– premièrement, il est indispensable, selon lui, d’anticiper les effets de l’hyperguerre et son éventuelle matérialisation dans le cadre de conflits symétriques. Il est en effet probable que les pays les plus avancés dans les technologies d’intelligence artificielle tentent d’imposer leur suprématie par le biais d’armes de grande précision, réactives et rapides, saturantes et omniprésentes, dotées d’une forme d’autonomie. Il convient ainsi de se préparer à des affrontements de quelques dizaines de secondes destinés à faire plier les systèmes de défense : missiles hypervéloces capables d’adapter leur trajectoire en temps réel, drones aériens et sous-marins pénétrant l’espace national de manière saturante, notamment sous la forme d’essaims de robots plus ou moins autonomes ;

– deuxièmement, face à ces menaces, il conviendra d’adapter la doctrine d’emploi des systèmes existants pour pouvoir contrer des attaques « hyperrapides », mais également adapter nos capacités, à ce stade insuffisantes tant en nombre que d’un point de vue technologique, pour endiguer des attaques saturantes. La délégation à des robots de certaines fonctions de réponse est, de ce point de vue, une nécessité, ce qui suppose d’équiper les forces de systèmes plus « hyperréactifs », plus autonomes, afin d’être en avance sur nos ennemis ou, a minima, à leur niveau.

L’essor de cette hyperguerre participera à la recomposition du paysage stratégique, selon deux dynamiques : d’une part, du fait de la montée en puissance rapide et continue de la Chine dans le domaine des technologies de l’informatique, l’affrontement traditionnel entre la Russie et les États-Unis tend à se transformer progressivement en une lutte sino-américaine, sans que la Russie ne soit pour autant marginalisée ; d’autre part, des puissances plus modestes comme des acteurs non-étatiques, tels les groupes terroristes, semblent soudainement capables de développer des technologies de haut niveau. Ainsi, la stratégie française d’intelligence artificielle de défense relève qu’un certain nombre de puissances estiment que la hiérarchie militaire qui prévalait jusqu’alors peut être modifiée à leur avantage, en raison d’une forme de nivellement des positions stratégiques, tandis que d’autres acteurs sont susceptibles de « rentrer dans le jeu », par l’acquisition de technologies qui, pour complexes qu’elles soient, voient leur coût se réduire et devenir progressivement accessibles.

Une véritable nouvelle course aux armements semble donc engagée.

2. L’autonomie des systèmes d’armes se trouve au cœur d’une nouvelle course aux armements

La dualité des applications de l’intelligence artificielle a conduit la plupart des États à se doter d’un document stratégique en la matière, avec une accélération certaine au cours des années 2017 et 2018.

Source : Stratégie du ministère des Armées sur l’intelligence artificielle.

Si ces différentes stratégies portent sur l’intelligence artificielle en général, elles incluent pour la plupart un volet relatif à ses applications dans le domaine de la défense. L’intelligence artificielle de défense fait donc l’objet d’une nouvelle course aux armements, dont l’un des volets est la recherche d’une plus grande autonomie. S’il est parfois complexe d’évaluer la crédibilité des feuilles de route publiées par certains pays, quelques grandes tendances se dégagent. Il ressort des auditions menées par les rapporteurs que les États-Unis et la Chine dominent cette nouvelle course aux armements. L’avance technologique de ces deux pays s’explique notamment par leur capacité à s’appuyer sur une industrie civile du numérique puissante, à la pointe des avancées technologiques, à même de nourrir le développement d’applications militaires. Quant à la Russie, elle multiplie les projets et n’hésite pas à les expérimenter sur les théâtres d’opérations. Plus en retrait, se trouve un ensemble plus hétérogène de pays dits d’un deuxième cercle. Comme le relève le document stratégique français, « la compétition pour acquérir les ressources nécessaires au développement de l’IA est déjà amorcée et devrait s’accentuer ».

a. Les États-Unis, leader quasi incontesté

Aux États-Unis, des relations fructueuses ont été nouées entre le monde civil et le monde militaire, et ce malgré les réserves exprimées par certains employés des GAFAM de travailler au bénéfice du Pentagone. De ce point de vue, le projet MAVEN d’exploitation et de reconnaissance d’images a concentré l’attention, en raison des nombreuses manifestations organisées par les salariés. La DARPA, l’agence du Pentagone chargée de la recherche et développement des nouvelles technologies destinées à un usage militaire joue un rôle fondamental dans la stimulation de la recherche technologique et le soutien aux activités industrielles. Celle-ci a notamment lancé, dès 2016, un programme de recherche sur l’explicabilité de l’intelligence artificielle. La même année était créée une instance spécifique de dialogue entre le Pentagone et les entreprises civiles du numérique – le Defense innovation board (DIB) – afin de fluidifier les échanges entre les mondes civils et militaires, aujourd’hui centrés sur le développement d’applications non létales.

De manière plus globale, la Pentagone a créé en son sein une structure interarmées dédiée au développement de l’intelligence artificielle de défense – le Joint artificial intelligence center (JAIC) – dont l’objectif est d’accélérer le développement des applications militaires reposant sur l’intelligence artificielle, dans toutes ses composantes.

S’appuyant sur les travaux du DIB et du JAIC, le Pentagone a adopté, en février 2020, cinq principes éthiques devant prévaloir dans le développement de l’intelligence artificielle de défense ([34]). À cette occasion, le lieutenant-général Jack Shanahan, directeur du JAIC, a souligné qu’au regard de la complexité des enjeux soulevés par l’intelligence artificielle de défense, le Pentagone « devait au peuple américain et à l’ensemble des femmes et des hommes sous l’uniforme l’adoption de principes éthiques propres à l’intelligence artificielle de défense qui reflètent les valeurs de notre [les États-Unis] pays, celles d’une société ouverte ».

Toutefois, les États-Unis ne s’interdisent pas de développer, voire d’employer des systèmes d’armes autonomes, y compris létaux. Plusieurs des interlocuteurs rencontrés par les rapporteurs aux États-Unis ont ainsi résumé la position américaine quant au développement d’armes autonomes : « si l’emploi de systèmes autonomes peut contribuer à épargner une seule vie d’un soldat américain, alors la question de leur développement ne se pose pas, d’autant que ce qui ne serait pas éthique serait d’envoyer un groupe de combat formé de soldats américains face à une unité robotisée ennemie ».

Les États-Unis développent ainsi depuis plusieurs années des systèmes autonomes, à l’instar du bâtiment Sea Hunter, navire autonome transocéanique de 60 mètres, dédié à la lutte anti sous-marine et capable de naviguer dans les eaux internationales en s’adaptant de manière autonome aux règles de navigation en vigueur. Ce navire a ainsi effectué l’an dernier un premier trajet de 4 500 kilomètres entre Hawaï et la ville de San Diego, sur la côte ouest. Plus récemment, le Pentagone a lancé la production du programme LUSV (Large unmanned surface vehicle), un navire de 90 mètres et de 2 000 tonnes, au coût unitaire de 620 millions de dollars, destiné à effectuer des missions répondant à la grille de lecture des « 3-D », soit dirty (sale), dull (ennuyeuse), dangerous (dangereuse). Non armés, à ce jour, ces bâtiments pourraient tout à fait l’être, et se rapprocher ainsi progressivement de la définition d’un SALA. Plusieurs programmes aériens et terrestres sont également en cours de développement, témoignant de la recherche tous azimuts des États-Unis en matière d’intelligence artificielle de défense.

Sea Hunter LUSV

b. L’inexorable montée en puissance de la Chine

La Chine semble en passe de se substituer à la Russie comme premier compétiteur des États-Unis. Selon M. Thierry Berthier, la Chine a pour ambition d’occuper une position de leader dans le domaine des systèmes autonomes armés, et notamment de recourir à des systèmes robotisés pour assurer la couverture et le contrôle des océans. Si la Chine peut également s’appuyer sur un écosystème numérique robuste, au travers des BATX ([35]) elle dispose également d’un double avantage.

D’une part, comme le relève le document stratégique français sur l’intelligence artificielle de défense, « la Chine peut en effet disposer d’une capacité de pilotage plus ferme des acteurs privés et leur prescrire de coopérer avec la sphère publique, y compris militaire ». Une telle pratique repose ainsi sur le concept de « civil-military fusion », dont l’objectif est de « maximiser les transferts entre les différents pôles (recherche, industrie, État, armées) ». Or, ainsi que le relève M. Kai-Fu Lee dans son ouvrage intitulé « IA, la plus grande mutation de l’histoire », « quand tous les investisseurs, entrepreneurs et décideurs publics de Chine concentrent leurs efforts sur une seule industrie, ils peuvent faire trembler la terre ». Grâce à des investissements sans précédent, la Chine parvient ainsi à « couper dans les virages » selon l’expression de M. Eric Trappier, et inquiète par la vitesse de ses progrès.

D’autre part, la Chine est en mesure d’exploiter les données générées par son milliard de citoyens, et ainsi progresser plus rapidement que les autres pays dans le domaine des systèmes d’apprentissage.

Deux centres de recherche dédiés à l’étude de la robotique et de l’intelligence artificielle militaire ont été créés, en 2018, au sein du ministère de la défense. De nombreux véhicules sans pilote et équipés d’armements, le plus souvent de petit calibre, ont été développés. Cependant, il ne s’agit pas de systèmes autonomes en ce qui concerne l’ouverture du feu.

La Chine pâtit de son manque d’expérience de terrain, ce qui constitue un frein à l’élaboration d’une doctrine d’emploi, même si une utilisation frontalière, voire sur le territoire chinois, n’est pas à exclure. Quoiqu’il en soit, les salons militaires sont l’occasion de présenter des modèles de robots ou de drones en évolution constante, de plus en plus autonomes, parfois armés ou encore programmables pour des « attaques-suicides autonomes ».

Dans le domaine aérien, les drones armés et les essaims de drones font l’objet de nombreux efforts de développement et d’expérimentations. Dans le domaine naval, la Chine a notamment présenté un sous-marin « autonome » HSU 001, de relative petite taille, qui lui permettrait de mailler les océans.

HSU001

c. La Russie, un acteur pionnier sur le terrain

Si, en l’état actuel des choses, la plupart des spécialistes s’accordent sur le fait que la Russie ne se situe pas au même niveau d’avancées technologiques que les États-Unis ou la Chine, elle se démarque par sa résolution à tester sans tarder des systèmes plus automatisés qu’autonomes sur le terrain, en opérations, afin de recueillir des retours d’expériences rapides lui permettant de compenser de moindres capacités d’investissement.

La détermination de la Russie en matière d’intelligence artificielle n’est toutefois guère en doute, alors que Vladimir Poutine a lui-même déclaré que le leader en intelligence artificielle « serait le maître du monde ».

Si la Russie n’a pas publié de stratégie officielle sur l’intelligence artificielle de défense, il s’agit d’un sujet considéré comme extrêmement important pour les forces armées, et des réflexions sont lancées au plus haut niveau. En outre, il ressort des différentes annonces faites par les autorités russes que la recherche en la matière s’organise autour des quelques grands axes, parmi lesquels la formation d’un consortium technologique militaro-industriel d’intelligence artificielle et de big data, l’acquisition d’une expertise de haut niveau en automatisation des systèmes en cycle court, la mise en place d’un centre national de l’intelligence artificielle militaire, l’organisation de wargames en intelligence artificielle ou encore le renforcement de la coopération sino-russe.

La recherche d’une plus grande autonomie constitue l’un des premiers objectifs des forces russes, afin de parvenir, à terme, selon M. Thierry Berthier « à retirer le soldat russe de la zone immédiate de conflictualité en le remplaçant par des systèmes robotisés », forcément autonomes.

Parmi les différents projets initiés par la Russie, la plateforme russe MARKER fonctionne en mode « follow the leader » et est équipée de drones dits kamikaze. En d’autres termes, le petit char qui accompagne le soldat le suit et réplique l’usage que le soldat fait du feu : le soldat tire, le robot tire vers la même cible. Ce système existe déjà, a été éprouvé et devrait être intégré aux unités russes dès 2021. Selon les informations recueillies par les rapporteurs, il aurait été testé en Syrie dans des opérations de lutte contre des poches islamistes.

Plateforme MARKER

Pour les forces russes, le théâtre syrien constitue un lieu d’expérimentation, sorte de laboratoire d’essai permettant de tester les nouveaux matériels en conditions opérationnelles. M. Joël Morillon, directeur général délégué du groupe Nexter, a ainsi indiqué aux rapporteurs que la Russie ne « s’interdisait rien », comme en témoigne, du reste, le déploiement de chars URAN-9, largement automatisés, sur ce même théâtre.

URAN-9

De l’avis des spécialistes, le déploiement de ces systèmes robotisés n’a pas été un succès opérationnel, mais témoigne de la volonté de la Russie d’avancer à marche forcée dans le domaine de la robotisation du champ de bataille.

d. Derrière ce trio de tête, un cercle d’États dynamiques

La stratégie française sur l’intelligence artificielle au service de la défense regroupe au sein d’un deuxième cercle un groupe de pays disposant de « certains atouts mais sans masse critique suffisante » : la France, l’Allemagne, le Royaume-Uni, le Japon, la Corée du sud, Singapour, Israël et le Canada.

De manière plus précise, ces États disposent de capacités technologiques et industrielles leur permettant de développer des systèmes très automatisés voire autonomes, même si leur approche de l’intelligence artificielle de défense peut diverger.

● À titre d’exemple, la République de Corée a ainsi travaillé à l’élaboration d’un document stratégique basé sur le concept de « smart defense innovation », présentant l’intelligence artificielle et la robotisation comme des moyens de juguler les effets de la diminution des effectifs due à la crise démographique qui touche le pays. Dans cette perspective, un document dédié à l’autonomie et publié par une agence de la DAPA (Defense Acquisition Program Administration), équivalent de la DGA, considère que la suprématie technologique constituera un facteur déterminant des conflits futurs, évoquant notamment le rôle spécifique de capteurs autonomes « dronisés » et de robots ou de drones coopérant avec l’homme. Il convient d’ailleurs de noter que selon le KARCFI (Korea Army Research Center for Future & Innovation, institut de recherche militaire sur la préparation de l’avenir et l’innovation), la constitution d’unités mêlant combattants humains et armes autonomes pourrait advenir, tandis qu’une unité déployée au front et composée entièrement de systèmes d’armes autonomes pour la surveillance et l’alerte est envisagée. Si la Corée du Sud est parfois présentée comme pionnière dans le domaine des armements autonomes en raison du déploiement de la plateforme de tir SGR-A1, la population semble réticente face à de tels développements, comme en témoignent les pétitions lancées en 2018 pour empêcher le KAIST (Korea Advanced Institute of Science and Technology) de travailler sur les SALA dans le cadre des recherches sur l’intelligence artificielle de défense.

● Au Japon, la revue stratégique de 2018 identifie l’intelligence artificielle comme un facteur de supériorité décisionnelle face à des adversaires potentiels (Chine, Corée du Nord). Le gouvernement voit principalement, un intérêt défensif à la robotisation et l’intelligence artificielle de défense, mettant en outre l’accent sur des aspects non létaux : protection du soldat, gestion administrative, applications au champ cyber.

● De même, si, en Israël, aucune stratégie officielle n’a été rendue publique, un plan national dédié à l’intelligence artificielle pourrait bientôt être présenté. Comprenant un volet relatif au secteur de la défense, ce plan s’inspirerait du plan de développement de la cyberdéfense, qui a fait d’Israël une nation de référence en la matière. De manière plus générale, l’approche israélienne se fonde sur le concept américain de « qualitative military edge », qui vise à maintenir une avance qualitative et quantitative sur les adversaires. Cet objectif, couplé au plan de modernisation de l’armée, tend à accroître la capacité létale de Tsahal et les SALA, s’ils contribuent à cette supériorité militaire, pourraient probablement être intégrés dans la doctrine tactique.

● Au Canada, une stratégie nationale de défense intitulée « Protection, Sécurité, Engagement » évoque très succinctement la question des SALA, mentionnant la nécessité d’un contrôle convenable de la part de l’humain. Industriels et centres de recherche canadiens mènent des projets sur l’intelligence artificielle et l’autonomie, le contrôle humain restant un critère dès lors que l’utilisation pourrait être militaire et impliquer une fonction létale.

● En Europe, si le Royaume-Uni n’a pas publié de stratégie générale en matière de robotisation du champ de bataille, les feuilles de route technologiques présentées par le ministère de la Défense, en particulier celle de septembre 2019 intitulée Defence Technology Framework, font clairement état de la volonté de favoriser le développement des systèmes autonomes et de la robotique. De nombreux travaux sont menés par les industriels de la défense en matière d’autonomie, d’automatisation, de robotique et d’intelligence artificielle, aussi bien dans les domaines navals que terrestres ou aéronautiques. Par exemple, pour la Royal Navy, les systèmes non-habités constituent une évolution majeure à venir. De même, BAE systems travaille depuis plusieurs années sur des concepts de chars du futur, autour d’un véhicule de combat autonome (Ironclad) soutenu et évoluant en collaboration avec des petits véhicules aériens et terrestres autonomes.

● En Allemagne, un document de pilotage stratégique intitulé « Intelligence artificielle – Emploi au sein du domaine du ministère fédéral de la Défense » a été publié par le ministère de la Défense en décembre 2019. L’Allemagne rejette l’emploi d’une intelligence artificielle « forte » létale, où la décision de l’emploi de la force n’appartiendrait plus à l’homme. Ce point a notamment été mis en avant dans l’accord de coalition du gouvernement allemand. L’Allemagne semble se réserver néanmoins le droit d’étudier via des tiers les effets des SALA à des fins de sécurité nationale, et des fonctions autonomes partielles ne sont pas pour autant exclues des systèmes futurs, à l’instar du SCAF.

B. La France a adopté une stratégie ambitieuse, qui doit être confortée.

1. La France n’est pas dépourvue d’atouts sur la scène internationale

Lors de son audition, M. Éric Trappier, a regretté la tendance nationale à « l’autoflagellation ». En effet, la France dispose de sérieux atouts pour se montrer compétitive d’un point de vue technique, et compenser en partie le retard financier évident sur les États-Unis ou la Chine par la qualité de ses ingénieurs et de ses chercheurs. Ainsi, pour M. Emmanuel Chiva, « la France ne souffre pas de lacunes, ni d’un retard en matière d’intelligence artificielle ».

La France peut notamment s’appuyer sur la reconnaissance internationale de l’école française de mathématiques ainsi que, plus largement, la qualité de son expertise dans les domaines de l’informatique, du calcul, du développement de logiciels. Elle bénéficie également des travaux et de l’aura de structures comme l’Inria et le Centre national de la recherche scientifique (CNRS), même si nous ne sommes pas en mesure de rivaliser avec les acteurs américains ou chinois en matière de deep learning.

En outre, la France dispose d’une base industrielle et technologique de défense robuste, avec des acteurs de premier plan sur les plans national, européen et international.

2. « L’intelligence artificielle au service de la défense », une stratégie ambitieuse

Dans la foulée des travaux généralistes conduits en France sur l’intelligence artificielle, et notamment du rapport de notre collègue M. Cédric Villani, qui visait à « donner un sens à l’intelligence artificielle », Mme Florence Parly, ministre des Armées, a constitué une mission chargée d’élaborer une stratégie et une feuille de route propre à l’intelligence artificielle de défense, qui a abouti à la publication, en septembre 2019, de la stratégie française sur l’intelligence artificielle au service de la défense.

Lancés en septembre 2018 sous la conduite d’une Task force dédiée, ces travaux ont été menés durant une année, adoptant une approche transverse associant l’immense majorité des acteurs de la Défense, parmi lesquels les états-majors, premiers concernés par les applications opérationnelles de l’intelligence artificielle, la DGA, l’AID, l’inspection générale des armées, le contrôle général, le secrétariat général pour l’administration, la direction des affaires juridiques, ou encore les acteurs du renseignement comme la direction du renseignement militaire (DRM) et la direction générale de la sécurité extérieure (DGSE).

Les travaux de cette Task Force se sont initialement concentrés sur l’établissement d’un état des lieux des avancées entreprises dans le domaine de l’intelligence artificielle ainsi que des attentes du ministère des Armées en matière d’intelligence artificielle de Défense. Rapidement, la Task force a relevé l’importance d’ouvrir un chantier de réflexion sur l’éthique, qui a abouti à la préconisation de doter le ministère des Armées d’un comité d’éthique, qui a finalement vu le jour en janvier 2020.

Le comité d’éthique du ministère des Armées

Chargé de conseiller la ministre sur les implications éthiques du recours à certains systèmes, ce comité n’a pas pour unique mission de s’intéresser aux enjeux éthiques relatifs à l’intelligence artificielle de défense, ses compétences couvrant l’ensemble du spectre technologique et de l’innovation de défense.

Présidé par Bernard Pêcheur, ce comité est composé de 18 personnalités issues des armées mais aussi de personnalités qualifiées extérieures, nommées par la ministre des Armées, pour un mandat de trois ans, renouvelable une fois.

Deux grands sujets à forts enjeux ont été proposés pour initier les travaux du comité d’éthique : le « soldat augmenté », et les systèmes d’armes autonomes.

Source : Ministère des Armées.

La seconde mesure phare issue de ce rapport est la mise en place d’une cellule de coordination de l’intelligence artificielle de défense (CCIAD), installée au sein de l’AID. La CCIAD, composée d’une équipe restreinte, a pour objectif de diffuser une culture de l’intelligence artificielle et de favoriser le partage de compétences au sein des armées, des services du ministère et des états-majors.

De manière plus globale, la stratégie française s’appuie sur quatre principes directeurs : conserver la liberté d’action et l’interopérabilité avec nos alliés ; s’appuyer sur une intelligence artificielle de confiance, maîtrisée et responsable ; maintenir la résilience et l’évolutivité des systèmes ; préserver un cœur de souveraineté – et identifie sept axes d’effort prioritaires – six axes opérationnels et un complémentaire – qui résultent des attentes opérationnelles exprimées par les armées, et font écho au discours sur l’intelligence artificielle et la Défense de la ministre à l’Inria, le 5 avril 2019 :

– l’aide à la décision et à la planification car les chefs militaires doivent pouvoir bénéficier des meilleures informations dans des temps toujours plus contraints pour décider vite et juste, afin d’éviter toute surprise ou méprise, et en utilisant l’ensemble des données mises à leur disposition ;

– le renseignement, gage majeur d’autonomie stratégique, car les moyens de recueil d’information fournissent des volumes de données conséquents ;

– le combat collaboratif, car la connexion déjà effective des systèmes entre eux ne cessera de croître ;

– la robotique, car les robots permettront de concentrer l’emploi des ressources humaines sur les tâches les plus sensibles ;

– le cyber, car la guerre silencieuse qui se joue sur les réseaux exige toujours plus de capacité d’anticipation et de réactivité ;

– la logistique, la maintenance et le soutien qui constituent des domaines qui se développent dans le domaine civil, l’intelligence artificielle devant permettre de mieux prévoir l’allocation optimale des ressources et de gagner en efficacité ;

– le domaine de l’administration, qui inclut la santé des personnels.

Pour donner corps à cette stratégie, un effort financier conséquent est consenti dans le cadre de la programmation. La loi de programmation militaire en cours prévoit ainsi un investissement significatif de 700 millions d’euros sur la durée de la programmation soit, en moyenne, 100 millions d’euros consacrés annuellement à l’intelligence artificielle – à hauteur de 60 % pour des études et 40 % pour des programmes d’équipement, et ce hors captation des technologies civiles duales. La contribution du ministère des Armées représente ainsi environ 20 % de l’effort consacré par la France à la stratégie nationale en matière d’intelligence artificielle, alors que son poids dans le budget de l’État n’est que de 13 %.

Les programmes en cours ou à venir reposant sur de l’intelligence artificielle

Trois programmes de combat collaboratif accordent une large part à l’intelligence artificielle :

- SCORPION : les applications de l’intelligence artificielle apporteront à ce programme des capacités en termes de situations tactiques amies et ennemies, de protection collaborative, de fusion multi-capteurs et d’optimisation des itinéraires de combat.

- SLAM-F : ce programme bénéficiera de la détection automatique de mines dans des images sonar ou encore de la mise en œuvre des drones sous-marins et de surface avec des capacités de guidage et d’évitement d’obstacle.

- SCAF : la gestion assistée des capteurs et des effecteurs, la connectivité intelligente, la coopération entre aéronefs habités et drones au sein de groupes aux performances améliorées sont prévues dans la palette de ce programme.

Au-delà de ces grands programmes emblématiques, une multitude de projets intégrant l’intelligence artificielle sont en cours de développement au sein du ministère. Tout le spectre des activités est concerné, que ce soit de la maintenance prédictive pour les flottes les plus modernes dont le standard F4 du Rafale ou les frégates FTI, la tenue de situation tactique améliorée et unifiée au sein de la force aéromaritime grâce à la veille collaborative navale ou le recrutement optimisé grâce au logiciel interarmées SPARTA. La cyber-défense et le renseignement bénéficieront également des apports de l’intelligence artificielle, par la détection automatique d’anomalies sur les réseaux et dans les connexions informatiques, la compression intelligente de données et la détection assistée d’objets dans des images satellite.

En parallèle, des études sont déjà lancées afin d’éclairer les applications de l’intelligence artificielle à plus long terme. Le projet « Man Machine Teaming » (MMT) examine comment tirer parti des techniques d’intelligence artificielle pour la future aviation de combat en termes d’interactions homme-machine, de traitements des capteurs et de la collaboration avion-drone.

Source : Direction générale de l’armement.

3. Des pistes pour aller plus loin

La stratégie publiée en septembre 2019 identifie plusieurs axes d’action afin de ne pas perdre la bataille technologique et industrielle de l’intelligence artificielle de défense, notamment dans le domaine de la recherche des ressources humaines. Si, pour nombre des interlocuteurs des rapporteurs, la France n’a pas à rougir, plusieurs actions pourraient être entreprises afin de conforter les orientations déjà prises.

a. Le pilotage de la recherche, sa stimulation et sa valorisation

La stratégie du ministère des Armées pointe les lacunes de la France dès lors qu’il convient de transformer les résultats obtenus en recherche fondamentale en applications industrielles. Ce constat est ancien et ne concerne pas que le monde de la défense. Il s’explique notamment par la relative faiblesse des liens entre les laboratoires universitaires de recherche et les acteurs industriels, d’autant qu’une carrière académique se fonde aujourd’hui sur le nombre de publications d’un chercheur, et non sur le développement de partenariats industriels.

Le secteur de la défense pâtit, en outre, d’un désavantage comparatif supplémentaire, dans la mesure où certains chercheurs indiquent que travailler avec des industriels de la défense peut encore être mal perçu dans certains milieux universitaires.

En conséquence, les rapporteurs estiment que l’examen du projet de loi de programmation pluriannuelle de la recherche, présenté en Conseil des ministres le 22 juillet, pourrait être l’occasion de valoriser davantage la recherche appliquée dans les cursus universitaires, en l’intégrant dans le processus de reconnaissance et de notation des chercheurs.

En outre, les rapporteurs estiment que, dès lors que la recherche scientifique concerne des enjeux de souveraineté, l’un des principaux enjeux porte sur le retour d’un État stratège. Pour M. Guillaume Prunier, directeur général délégué de l’Inria, la logique d’appels à projets qui prévaut encore à ce jour ne permet pas de mettre en œuvre efficacement une stratégie cohérente et pose particulièrement question dans les cas où la sélection des projets se fait par des jurys internationaux. Ces jurys peuvent se montrer peu sensibles aux questions de souveraineté, et même avoir des intérêts contraires aux intérêts souverains de la France ou de l’Europe.

Le cas des trois instituts interdisciplinaires d’intelligence artificielle (3IA) est assez représentatif de cette déviance puisqu’aucune des activités financées dans le cadre de l’appel à projet n’a porté sur la défense, et il aura fallu attendre que le ministère des Armées finance quatre chaires en dehors des « 3IA » pour que la trajectoire soit rectifiée.

En accroissant le rôle de l’État dans la définition des objets de recherche, ce dernier pourrait également s’assurer que l’ensemble des champs de la robotisation et de l’autonomie soient explorés, et non pas seulement l’apprentissage profond de systèmes d’apprentissage. Il en va ainsi de la simulation, la data science, des systèmes embarqués, du logiciel ou des statistiques ; les frontières entre ces différents domaines demeurent relativement floues et il convient de tous les explorer pour ne pas être dépassé. Les rapporteurs notent d’ailleurs que le ministère des Armées finance dorénavant un grand nombre de thèses annuellement et oriente les recherches et choisit des thèmes d’intérêt, pas uniquement d’ordre militaire, pour faire appel aux laboratoires. C’est notamment le cas des domaines de l’intelligence artificielle, du quantique, du spatial ou de la robotique.

Par ailleurs, les travaux des rapporteurs ont mis en lumière la nécessité d’investir deux domaines scientifiques stratégiques pour éviter le décrochage technologique : en amont, les systèmes de collecte et de traitement des données ; et en aval, la modélisation et l’évolution des algorithmes d’apprentissage.

Lors de son audition, M. Guillaume Prunier a ainsi souligné qu’il y avait encore beaucoup à faire en matière d’apprentissage des algorithmes, surtout en mathématiques « pures » alors que l’approfondissement des systèmes automatiques ou des systèmes de simulation et d’apprentissage est conditionné au développement des mathématiques fondamentales. Par ailleurs, les spécialistes considèrent que le déploiement de systèmes les plus autonomes dépendra du calendrier des progrès réalisés dans les domaines de la vision artificielle et de l’apprentissage-machine.

Outre l’appui aux politiques publiques de sécurité et de défense, les implications éthiques liées à l’emploi du numérique doivent également constituer un enjeu prioritaire pour la recherche. Dans ce contexte, les rapporteurs se félicitent de l’investissement d’Inria dans la revitalisation de l’initiative « Transalgo » sur la transparence des algorithmes.

b. L’accompagnement industriel des pépites nationales du secteur de la robotique

Les travaux des rapporteurs ont mis en lumière une relative faiblesse de la France dans l’accompagnement industriel des solutions technologiques prometteuses, une fois la validation du principe acté ou les prototypes testés. Plusieurs interlocuteurs des rapporteurs ont ainsi pointé le risque de rachat par des groupes étrangers de technologies développées sur le sol français. Il a ainsi pu être évoqué le cas de l’entreprise Shark Robotics, dont le robot Colossus a été employé dans la lutte contre l’incendie ayant ravagé une partie de Notre-Dame de Paris. En avril 2019, l’entreprise a présenté au salon des forces spéciales Sofins un robot « mule » appelé Barakuda, capable de transporter jusqu’à une tonne de matériel sur n’importe quel terrain et disposant d’une autonomie supérieure à tout ce qui existe en l’état sur le marché. Il s’agit donc d’une véritable pépite stratégique, qui doit faire l’objet d’une attention particulière face aux appétits, parfois voraces, de nos compétiteurs internationaux.

Dans ce cadre, les rapporteurs estiment que la France pourrait utilement travailler à la constitution d’une filière française robuste de robotique de défense, associant tout à la fois les grands acteurs industriels que des start-ups et PME innovantes.

Une organisation en filière permettrait de faciliter l’identification des nouvelles pépites par l’AID et la DGA, et de constituer des plateformes d’intégration de solutions technologiques essentielles au renforcement des plus petits acteurs.

En outre, afin de stimuler l’activité industrielle, les rapporteurs sont favorables à un accroissement du nombre de challenges ou de concours centrés sur la robotique.

Lors de son audition, M. Thierry Berthier a ainsi appelé de ses vœux la création d’un Challenge français international de robotique terrestre, doté d’un million d’euros de récompense et ouvrant la voie à des mécanismes de soutien et d’intégration à un programme de recherche et de développement national pour les équipes victorieuses. Une telle proposition est à rapprocher des challenges MALIN (maîtrise de la localisation indoor) et DEFALS (Détection de Falsification) lancés par l’AID. Co-organisée et financée par la DGA et l’Agence nationale de recherche, MALIN prend la forme d’une compétition technique d’une durée de trois ans, visant à identifier des solutions de géolocalisation en l’absence de signal GPS dans des environnements difficiles. Les six équipes participantes, réunissant industriels et laboratoires académiques, s’affrontent régulièrement à l’occasion d’épreuves de difficulté croissante, l’objectif étant de les faire progresser en mesurant précisément leurs performances et en identifiant leurs points forts et leurs points faibles.

c. La veille stratégique

Plusieurs acteurs, au premier rang desquels les services de renseignement, assurent d’ores et déjà un suivi au plus près des développements technologiques, industriels et stratégiques de nos compétiteurs.

L’éventualité de voir des puissances étrangères développer des systèmes autonomes ne respectant pas les principes du DIH ne peut être écartée, et doit nous inciter à maintenir nos efforts de veille et de recherche en matière d’intelligence artificielle afin d’apprécier au mieux les performances des autres puissances, d’imaginer des scénarios de conflits crédibles et d’adapter nos systèmes de défense, à l’instar de ce que la DGA réalise dans le domaine de la défense nucléaire, radiologique, bactériologique, chimique (NRBC).

C. La nécessité de franchir le palier européen

Pour les rapporteurs, il ne fait guère de doute que c’est à l’échelle européenne que se joue l’autonomie stratégique nationale et européenne dans le domaine du numérique et, par conséquent, dans celui de l’intelligence artificielle de défense. Les enjeux dépassent en effet largement la sphère nationale.

En premier lieu, alors que les progrès de l’intelligence artificielle, et notamment des systèmes d’apprentissage, sont conditionnés à la capacité de collecte et d’exploitation du plus grand nombre de données possible, l’Europe ne parviendra à rivaliser avec les États-Unis et la Chine que si elle se présente unie, faute de quoi elle sera reléguée.

En deuxième lieu, l’ampleur des investissements nécessaires pour franchir ce nouveau pas technologique impose de mutualiser une partie des financements, afin de pleinement bénéficier d’économies d’échelle. En agissant de manière morcelée, l’Europe ne pourra que constater jour après jour le creusement de l’écart qui la séparera de ses compétiteurs.

En troisième lieu, alors que les États membres disposent, individuellement, d’acteurs industriels de premier plan dans le secteur de la défense, il est indispensable de poursuivre les efforts engagés en faveur de la constitution d’une base industrielle et technologique européenne plus intégrée, d’autant plus que l’Europe ne dispose pas (comme la Chine ou les États-Unis), d’une industrie civile du numérique aussi développée.

De ce point de vue, rappelons que la France travaille déjà à des programmes communs intégrant de l’intelligence artificielle avec l’Allemagne, l’Espagne et le Royaume-Uni, et d’autres pourraient suivre d’ici 2025. En somme, de nombreux programmes majeurs, tels le MGCS (Main ground combat system), le SLAMF (système de lutte anti-mines du futur), le SCAF ou le Space Situation Awareness, nous lient déjà de fait, et constituent des opportunités d’affermir une position européenne partagée sur les enjeux d’intelligence artificielle, à même de conforter la cohérence stratégique de l’Union européenne. Sur la scène internationale, l’Union européenne pâtit en effet encore trop de sa dispersion, qui limite sa « force de frappe » face à des compétiteurs se jouant de nos rivalités internes.

Dès lors, l’adoption d’une position commune, cohérente et pragmatique, est plus que jamais une nécessité.

1. Pour l’heure l’Europe avance en ordre dispersé

Lors de son audition, M. David Bertolotti a souligné que l’engagement de l’Union européenne sur la question des SALA devait être considéré au prisme de deux niveaux : le niveau des États membres et le niveau du Parlement européen. La France, en tant qu’État, ne partage pas la position du Parlement européen qui promeut une interdiction préventive des SALA.

● S’agissant de l’Union européenne en tant que telle, des groupes de travail permettent, au sein du Conseil, d’échanger sur les questions de désarmement et de prolifération et, parfois, de dégager des positions communes aux États membres. Malgré les disparités, l’Union européenne est souvent parvenue à assurer une certaine convergence entre les États membres, et ainsi à présenter un front uni dans les grandes enceintes internationales. Toutefois, l’atteinte d’une position consensuelle suppose généralement d’éviter les « sujets qui fâchent », parmi lesquels figurent les SALA.

En effet, aucun consensus n’a pu être dégagé parmi les États membres en la matière. Certains se prononcent en faveur d’une interdiction préventive, d’autres, comme la France, y sont opposés. À Bruxelles, les représentants du service européen pour l’action extérieure ont d’ailleurs indiqué aux rapporteurs que l’un des objectifs du Haut représentant de l’Union pour les affaires étrangères et la politique de sécurité était de parvenir à un rapprochement des positions des États membres sur le sujet.

● De manière plus précise, l’Autriche, parfois présentée comme le fer de lance des États dits « désarmeurs », a proposé, en août 2018, la mise en place d’un instrument juridiquement contraignant pour imposer un « contrôle humain substantiel » dans les fonctions critiques des SALA. De même, en Finlande, le programme politique du nouveau gouvernement de coalition affirme sa volonté de « faire progresser la régulation mondiale sur les SALA, [avec comme] objectif d’interdire le développement et la production de systèmes d’armes basés sur l’intelligence artificielle ». L’autonomie dans les systèmes y est perçue comme une évolution inévitable, modifiant la relation homme-machine, qui impose de veiller au respect du DIH.

En Italie, un sondage européen YouGov réalisé en 2019 relève que 75% des Italiens sont pour l’interdiction des SALA. L’Italie participe activement aux travaux de la CCAC sur les SALA et considère qu’il s’agit du meilleur forum pour avancer sur le sujet. Pour les autorités italiennes, le contrôle humain est un élément fondamental pour s’assurer du respect du DIH par d’éventuels systèmes d’armes létaux autonomes, tant au stade de la conception que de leur éventuel emploi.

De son côté, l’Espagne a effectué une déclaration, dans le cadre du débat sur la résolution 73/22 de l’Assemblée générale des Nations Unies, en 2018, dans laquelle elle réaffirme: l’absence, au sein de ses forces, de systèmes létaux dans lesquels la décision de tirer ne peut être imputée à un individu, la prééminence du DIH, et l’assurance que ses soldats gardent la possibilité de l’appliquer, le caractère strictement défensif de ses systèmes d’autoprotection, la nécessité d’avoir un contrôle humain significatif sur l’usage des armes et leurs effets, afin de s’assurer que l’usage d’une arme se justifie éthiquement et légalement et, enfin, l’obligation d’un examen de licéité pour tout nouveau système d’armes. La réflexion des forces armées espagnoles en matière d’autonomie ne porte d’ailleurs pas sur des fonctions létales, mais sur des scénarios de reconnaissance, de guerre électronique et cyber, de défense anti-aérienne et de convois autonomes, notamment logistiques.

● En Estonie, Lituanie et Lettonie, qui comptent de nombreux acteurs industriels dans les secteurs de la robotique, la CCAC est considérée comme l’enceinte légitime pour la poursuite des discussions sur les SALA.

Malgré certaines divergences, les États membres partagent un socle de valeurs qui les conduit tous à s’opposer à l’émergence de systèmes d’armes létaux pleinement autonomes, et à considérer comme indépassable l’exigence d’un contrôle humain des fonctions létales. Dès lors, les rapporteurs sont confiants dans la capacité de l’Union européenne à parvenir à dégager une position commune, d’autant que le couple franco-allemand agit comme un véritable moteur depuis le lancement des discussions.

● De son côté, le Parlement européen a adopté, le 12 septembre 2018, une proposition de résolution invitant à l’adoption d’un « instrument juridiquement contraignant qui interdise les systèmes d’armes létales autonomes », invitant à la définition d’une « position commune sur les systèmes d’armes létales autonomes qui garantisse un véritable contrôle humain sur les fonctions critiques des systèmes d’armes, y compris pendant le déploiement, ainsi qu’à parler d’une seule voix dans les enceintes concernées » et soulignant notamment l’importance « d’empêcher la mise au point et la production de tout système d’armes létales autonome dont les fonctions critiques, telles que le choix et l’attaque des cibles, sont dénuées de contrôle humain ».

Pour les rapporteurs, cette résolution appelle deux commentaires :

– d’une part, ils soutiennent tout à fait l’appel à la définition d’une position commune, seule à même de renforcer le poids de l’Europe dans les discussions internationales et de permettre le franchissement d’une étape supplémentaire à Genève. En outre, la garantie d’un véritable contrôle humain sur les fonctions critiques des systèmes d’armes, au premier rang desquels la fonction létale, rejoint parfaitement leur position et celle de la France ;

– d’autre part, ils sont davantage réservés sur le principe d’une interdiction préventive des SALA. En effet, ils estiment que l’interdiction proposée pourrait conduire à fragiliser les efforts engagés jusqu’alors dans le domaine de l’intelligence artificielle de défense, en conduisant notamment à interdire le financement de programmes qui pourraient ne pas poursuivre un tel objectif de manière exclusive.

2. Les modalités de fonctionnement du Fonds européen de défense mériteraient d’être précisées

Le Fonds européen de défense constitue, de fait, un troisième niveau d’analyse. Pour la première fois, des fonds significatifs européens vont être alloués à la défense, offrant une opportunité de consolider les efforts européens dans le domaine de la défense. Les modalités de fonctionnement du Fonds européen de défense sont encore en cours de discussion. En revanche, le Conseil européen qui s’est achevé le 21 juillet, a fixé le montant de sa dotation à 7,014 milliards d’euros, loin des 13 milliards espérés. Il s’agit toutefois d’une annonce notable pour le financement de la base industrielle et technologique de défense européenne.

S’agissant des SALA, les rapporteurs relèvent qu’en l’état actuel des discussions, le projet de règlement encadrant le fonctionnement du Fonds européen de défense précise, en son article 11, qu’« afin de garantir que l’Union et ses États membres respectent leurs obligations internationales lors de la mise en œuvre du présent règlement, les actions relatives aux produits ou aux technologies dont l’utilisation, le développement ou la production sont interdits par le droit international ne devraient pas être soutenues financièrement par le Fonds. À cet égard, l’éligibilité des actions liées à de nouveaux produits ou technologies se rapportant à la défense devrait également être subordonnée à l’évolution du droit international. Les actions en faveur du développement d’armes létales autonomes sans la possibilité d’un contrôle humain significatif sur les décisions de sélection et d’engagement prises à l’encontre d’êtres humains ne devraient pas non plus pouvoir bénéficier d’un soutien financier du Fonds, sans préjudice de la possibilité de financer des actions visant à mettre au point des systèmes d’alerte rapide et des contre-mesures à des fins défensives. »

La formulation retenue à ce stade témoigne de la complexité à concilier l’exclusion du financement de systèmes pleinement autonomes et le soutien aux activités de recherche et aux développements technologiques dans le domaine de l’autonomie. Pour les rapporteurs, elle ne pose néanmoins pas de difficulté en tant que telle, dès lors qu’elle n’aboutira pas à exclure des financements européens des programmes de recherche technologique et de développement industriel dans le domaine de l’autonomie des systèmes d’armes. Il en va de la capacité de l’Europe à conserver sa souveraineté et son indépendance stratégique.

Conclusion : Quel chemin suivre ?

Nul ne peut nier que la robotique sera amenée à jouer un plus grand rôle sur les théâtres d’opérations – c’est d’ailleurs déjà en partie le cas – ce qui ne signifie pas que l’on assistera à l’émergence de Terminator. À ce titre, la position de la France est très claire, et repose sur trois grands principes définis dans la stratégie du ministère des Armées sur l’intelligence artificielle au service de la défense :

– le respect du droit international en vigueur, et en particulier le DIH ;

– une interaction homme-machine permettant de superviser et de contrôler suffisamment tout système d’armes, grâce à la définition d’un niveau de contrôle humain suffisant ;

– la permanence de la responsabilité du commandement humain, seul responsable légitime pour définir et valider les règles de fonctionnement, d’emploi et d’engagement des systèmes d’armes.

La France n’autorisera pas une machine à s’assigner une mission ou à modifier une mission qui lui a été confiée. De ce point de vue, les rapporteurs sont farouchement opposés au développement de systèmes d’armes létaux pleinement autonomes et c’est dans cette perspective qu’ils appellent de leurs vœux la poursuite des négociations internationales dans un cadre multilatéral, au sein de la CCAC, à Genève.

En revanche, une telle position ne doit pas conduire la France ni l’Europe à se lier les mains s’agissant de l’intelligence artificielle de défense, et à s’interdire de soutenir des projets de recherche en matière de robotique et d’autonomie.

La robotisation du champ de bataille est d’ores et déjà une réalité, et ne cessera de se renforcer à mesure des progrès réalisés dans le domaine de l’autonomie. Il faut au contraire approfondir les efforts engagés dans le cadre de la stratégie nationale pour une intelligence artificielle de défense, au risque d’un déclassement stratégique.

— 1 —

TRAVAUX DE LA commission

La commission procède à l’examen du rapport de la mission d’information sur les systèmes d’armes létaux autonomes au cours de sa réunion du mercredi 22 juillet 2020.

Mme la présidente Françoise Dumas. Chers collègues, nous sommes réunis ce matin pour procéder à l’examen des conclusions de la mission d’information sur les systèmes d’armes létaux autonomes, les SALA, avec comme co-rapporteurs Fabien Gouttefarde et Claude de Ganay, une mission, vous vous en souvenez sans doute, créée à l’automne 2019.

L’émergence de « robots tueurs » suscite nombre de peurs et fantasmes dans la société, ce qui a conduit la ministre des Armées à déclarer, à l’occasion de son discours sur l’intelligence artificielle de défense, en avril 2019, que « Terminator ne défilera pas sur les Champs-Élysées le 14 juillet. »

Aujourd’hui, nous comptons donc sur nos rapporteurs pour nous éclairer sur cette question épineuse, aux confins des développements de l’intelligence artificielle de défense, nous aider à faire la distinction entre le mythe et la réalité et nous en présenter les enjeux éthiques et juridiques.

Avant de leur laisser la parole, je tiens à les remercier d’avoir réussi à présenter leurs conclusions avant l’été, alors que leurs travaux ont été perturbés par les mesures de confinement mises en place pour endiguer la propagation de l’épidémie de COVID-19.

Sans plus tarder, je laisse la parole à Fabien Gouttefarde.

M. Fabien Gouttefarde, co-rapporteur. Madame la présidente, chers collègues, nous devons d’abord vous avouer que lorsque nous avons débuté nos travaux, Claude de Ganay et moi avons parfois été confrontés à un certain scepticisme de la part de plusieurs de nos interlocuteurs : au fond, nous disaient-ils, pourquoi travailler sur un objet – les systèmes d’armes létaux autonomes – inexistant à ce jour, et qui pourrait ne jamais voir le jour ?

Dans le même temps, faisant preuve d’un enthousiasme diamétralement contraire, d’autres relevaient l’importance de se pencher sur cette question, les SALA étant considérés par certains comme la marque d’une troisième révolution dans l’histoire des systèmes d’armes, après l’invention de la poudre à canon et celle de l’arme atomique.

Loin de nous déconcerter, cette contradiction a, au contraire, conforté notre envie de creuser davantage le sujet. D’ailleurs, plusieurs raisons justifient, selon nous, que la représentation nationale s’intéresse à la question.

M. Claude de Ganay, co-rapporteur. Premièrement, nous ne pouvons ignorer les inquiétudes d’une partie de la société quant au renforcement de la robotisation du champ de bataille, cristallisées autour de la question des « robots tueurs ».

Deuxièmement, si l’image des « robots-tueurs », façon Terminator, est sensationnaliste et médiatique, elle nourrit nombre de fantasmes et de craintes irrationnelles. Pourtant, le débat mérite une approche aussi objective et rationnelle que possible.

Troisièmement, le renforcement de l’autonomie des systèmes d’armes, permis par les spectaculaires progrès en intelligence artificielle réalisés ces dernières années, interroge notre rapport à la guerre et, ce faisant, les grands principes du droit international des conflits.

Quatrièmement, des discussions internationales se tiennent à Genève depuis sept ans sur les SALA, presque dans l’indifférence générale, alors que la France y joue un rôle moteur et a remporté de notables succès diplomatiques.

Cinquièmement, enfin, la recherche de « toujours-plus-d’autonomie » fait l’objet d’une nouvelle course aux armements, à même de recomposer le paysage stratégique, et la France et l’Europe ne doivent pas rester en dehors de cette nouvelle bataille. Nous reviendrons en détail sur chacun de ces points, qui constituent la trame de notre rapport.

M. Fabien Gouttefarde, co-rapporteur. Pour mener à bien nos travaux, nous avons entendu les principaux acteurs institutionnels français et internationaux engagés dans le cadre des négociations internationales sur les SALA, mais également des chercheurs en sciences humaines et en robotique, des représentants des états-majors et des acteurs industriels, des juristes, des philosophes, des ingénieurs et des représentants des grandes organisations non gouvernementales internationales.

Ce regard panoptique nous semblait nécessaire pour aborder un sujet qui touche, en fait, à l’humanisme et à la place de l’homme face à la machine.

M. Claude de Ganay, co-rapporteur. Nous nous sommes également rendus à Washington, afin d’échanger avec des représentants du Pentagone et du Département d’État, mais également nos homologues, ainsi que des chercheurs et les responsables de la campagne internationale « To Stop Killer Robots ».

À Bruxelles, nous avons notamment rencontré les équipes de Josep Borrell, et si le confinement a eu raison de notre projet de déplacement à Genève, nous avons quand même auditionné, en visioconférence, notre ambassadeur auprès de la Conférence du désarmement et les représentants du Comité international de la Croix Rouge, gardien du temple du droit international humanitaire : le DIH.

Ce large tour d’horizon nous a permis de mieux comprendre les enjeux d’une question qui, à elle seule, illustre les problématiques de l’intelligence artificielle de défense.

M. Fabien Gouttefarde, co-rapporteur. Avant d’aller plus loin, il nous paraît essentiel de rappeler que notre rapport ne porte pas sur l’intelligence artificielle de défense dans son ensemble. Notre commission a déjà abordé cette question, dans le cadre du rapport de nos collègues Olivier Becht et Thomas Gassilloud sur la numérisation des armées, et le ministère des Armées a publié, en septembre dernier, une stratégie ambitieuse en la matière.

Les développements de l’intelligence artificielle sont bien entendus consubstantiels de la crainte de voir les SALA envahir les champs de bataille, mais ce sont à ces seuls objets que nous avons tenu à circonscrire nos travaux, conformément au mandat qui nous a été donné par la commission.

M. Claude de Ganay, co-rapporteur. Venons-en donc au cœur de notre sujet. Les premières questions qui se posent sont d’apparence plutôt simples : qu’est-ce qu’un SALA ? De quoi parle-t-on ?

Y répondre n’est pas aussi aisé que l’on pourrait le penser.

Les SALA font en effet l’objet d’un affrontement sémantique assez marqué, auquel prennent part les États bien sûr, mais également un certain nombre d’acteurs de la société civile, qu’il s’agisse du CICR ou de grandes organisations non gouvernementales.

Si le critère de la létalité ne semble pas, au fond, faire réellement débat – pour être qualifié de SALA, un système d’arme doit être doté de la capacité de tuer –, le point principal d’achoppement porte sur l’autonomie desdits systèmes d’armes.

M. Fabien Gouttefarde, co-rapporteur. L’autonomie peut d’abord être entendue comme la capacité d’un système à se fixer ses propres règles. Du moins, telle est la définition qu’une rapide étude étymologique nous invite à retenir : l’autonomie est en effet issue du grec « autos », soi-même, et « nomos », lois. En ce sens, l’autonomie est nécessairement « pleine » ou « entière ». C’est cette définition que retiennent la plupart des grandes puissances militaires, dont la France.

Toutefois, certaines voix adoptent une définition plus extensive de l’autonomie, plus proche, en fait, de la notion d’automatisation. Pour les partisans de cette approche, un système serait autonome dès lors qu’il le serait partiellement. C’est la position défendue par certains États ainsi que par une large part de la société civile. Pour eux, les drones peuvent ainsi être considérés comme des SALA.

Au terme de nos travaux, nous pensons qu’il faut mieux distinguer les choses.

En effet, ainsi que plusieurs de nos interlocuteurs nous y ont invités, nous sommes convaincus de la nécessité de ne pas aborder l’autonomie de manière monolithique, mais comme un continuum, composée de plusieurs stades. On retrouve ainsi les distinctions classiques entre des notions bien connues : l’homme « dans » la boucle, sous-entendu « de décision » ; l’homme « sur » la boucle et l’homme « hors » de la boucle.

M. Claude de Ganay, co-rapporteur. De manière plus fine, certains chercheurs proposent de distinguer différents niveaux d’autonomie, allant de systèmes téléopérés ou répliquant l’action d’un opérateur, à des systèmes semi-autonomes, c’est-à-dire dotés de capacités d’autonomie pour certaines fonctions jusqu’à, enfin, la pleine autonomie. M. Thierry Berthier, chercheur au centre de recherche des écoles de Saint-Cyr, a ainsi bâti une grille de lecture composée de six niveaux, allant de L0, pour un système téléopéré, à L5 pour un système pleinement autonome.

M. Fabien Gouttefarde, co-rapporteur. Du fait de ces différentes approches, des systèmes autonomes et des systèmes automatisés sont parfois confondus, et certains tentent donc d’intégrer des armes existantes, comme certains missiles ou des drones, dans le champ des SALA.

La confusion tient également au fait que la recherche de l’autonomie des systèmes d’armes est ancienne et que les industriels comme les forces elles-mêmes ont pu contribuer à l’entretenir. Pensons simplement au fait que l’acronyme du missile SCALP, bien connu dans nos forces, signifie : « Système de croisière conventionnel autonome à longue portée ».

De notre point de vue, il convient clairement d’affirmer que si l’autonomie doit être appréhendée comme un continuum, ne doivent pas être considérés comme des SALA l’ensemble des systèmes d’armes létaux dotés d’autonomie, mais simplement ceux pleinement autonomes.

M. Claude de Ganay, co-rapporteur. En d’autres termes, un SALA, c’est : un système d’arme capable de choisir et d’engager seul une cible, sans intervention humaine, dans un environnement changeant, un système dont l’humain ne peut reprendre le contrôle qu’en procédant à sa destruction physique.

M. Fabien Gouttefarde, co-rapporteur. Dans ces conditions, il ne fait guère de doute que les SALA n’existent pas aujourd’hui.

Les systèmes d’armes présentés comme tels, à l’instar par exemple des plateformes SGR-A1, développées en Corée du Sud par Samsung Tech, et déployées de manière opérationnelle sur la frontière entre les deux Corées – peut-être avez-vous vu des reportages –, ou du « Dôme de fer » israélien qui protège le ciel de Tel-Aviv, ne s’apparentent qu’à des systèmes automatisés, programmés, conçus pour répondre à un seul type de menace.

En revanche, d’un point de vue strictement technologique, de tels systèmes pourraient voir le jour grâce aux récents progrès de l’intelligence artificielle et de son application aux systèmes de défense.

M. Claude de Ganay, co-rapporteur. Sans revenir en détail sur l’histoire de l’intelligence artificielle ni ses récents développements, quelques rappels nous semblent nécessaires afin d’appréhender le débat sur les SALA. L’intelligence artificielle n’est pas un concept nouveau. Elle a connu ses premières heures de gloire en 1956, lorsqu’un collège d’experts en mathématiques réunis sur le campus de l’université américaine de Dartmouth s’est fixé pour objectif d’imiter la cognition humaine avec des machines.

De manière schématique, il est possible d’identifier deux générations de technologies au sein de ce champ de recherche.

Puis, dans un second temps, les systèmes d’apprentissage, dits aussi machine learning, conçus il y a plusieurs décennies, ont connu un renouveau grâce aux progrès réalisés dans les domaines des capacités de calcul, du traitement de données massives – le Big data – et des algorithmes fonctionnant à partir de réseaux de neurones profonds.

Le CICR considère d’ailleurs que le passage d’un système d’armes « automatisé » à un système d’armes « autonome » impliquera une capacité d’apprentissage et d’adaptation et une « intelligence artificielle ».

M. Fabien Gouttefarde, co-rapporteur. Si la conception et le développement d’armes létales totalement autonomes sont donc technologiquement envisageables, leur emploi opérationnel l’est moins.

Ainsi que nous l’ont rappelé la plupart de nos interlocuteurs, tout système d’arme, qui plus est létal, doit s’intégrer dans une chaîne de commandement dont le respect est consubstantiel aux armées. Le chef militaire se doit donc de pouvoir reprendre la main sur une machine à tout moment, afin de lui donner de nouveaux ordres, d’annuler des ordres précédents ou encore de fixer de nouvelles règles opérationnelles. Il y a là une règle fondamentale de l’engagement militaire.

S’il est envisageable que le chef militaire puisse déléguer à une machine une partie de la conduite de la mission, conformément aux ordres établis, en aucun cas la décision de tir ne pourrait être confiée à un système autonome. Le chef militaire serait alors dans l’impossibilité d’évaluer la menace, et de mettre en balance sa connaissance du milieu et des règles d’engagement, ainsi que de la situation tactique d’ensemble.

Le développement des SALA est ainsi associé à une perte de contrôle, alors même que le chef militaire engage sa responsabilité en donnant l’ordre de tirer. Certains de nos interlocuteurs ont ainsi résumé le débat de manière lapidaire : pour les armées, françaises comme étrangères, c’est « ni Rambo, cet humain laissé à lui-même, ni Terminator, robot humanoïde totalement autonome ».

C’est d’ailleurs pour cette raison que nombre de spécialistes estiment que les SALA n’existeront jamais.

M. Claude de Ganay, co-rapporteur. Alors, si les SALA n’existent pas et n’existeront jamais, pourquoi s’y intéresser ? Les choses sont évidemment plus complexes.

D’abord, si les SALA constituent le stade ultime de l’autonomisation des systèmes d’armes, l’inclusion progressive de segments autonomes dans les systèmes d’armes suscite à elle seule des interrogations d’ordre philosophique, éthique, social et juridique.

L’émergence de l’autonomie dans les systèmes d’armes et son renforcement progressif s’accompagnent d’une modification de la place de l’humain dans les combats, après des siècles d’affrontements « où il fallait des poitrines à opposer à d’autres poitrines » selon l’expression bien connue de M. Jacques Chirac.

Ensuite, la quête de l’autonomie des systèmes d’armes est indissociable de l’essor de l’intelligence artificielle de défense, qui fait l’objet d’une compétition mondiale marquée.

Il est donc indispensable de veiller à ce que le débat sur les SALA ne parasite pas les efforts engagés en faveur de l’intelligence artificielle de défense, au risque d’un triple déclassement : technologique, industriel et stratégique.

M. Fabien Gouttefarde, co-rapporteur. Revenons d’abord sur les implications éthiques et juridiques de l’éventuel développement des SALA. Du point de vue éthique, plusieurs questions fondamentales se posent : en premier lieu, celle de la délégation à une machine de la décision de tirer pour tuer. D’aucuns considèrent qu’un tel transfert touche directement au principe de dignité humaine.

En deuxième lieu, alors que la décision fait appel à la morale, vouloir faire des SALA des sujets moraux – les humaniser, en somme – supposerait de transcrire en algorithmes les principes moraux et les jugements subjectifs sur lesquels ils se fondent. Ce qui est très difficile, voire impossible.

M. Claude de Ganay, co-rapporteur. En troisième lieu, l’intelligence artificielle comporte toujours une « part d’ombre », la fameuse « boîte noire » de l’intelligence artificielle, qui empêche l’opérateur de reconstituer le processus de prise de décision de la machine.

Rappelons à ce titre que le système d’intelligence artificielle qui a battu le champion du monde du jeu de go a effectué dix-sept mouvements que ses programmateurs ne pouvaient pas expliquer. Une telle situation pose de sérieuses difficultés dès lors qu’il serait envisagé de déléguer à une intelligence artificielle la décision de tirer pour tuer.

En quatrième lieu, les techniques d’apprentissage présentent des risques de biais involontaires, en particulier lorsque les données d’apprentissage ne sont pas représentatives. Citons ainsi l’exemple d’un biais ethnique dans des données de populations.

De manière générale, le renforcement de l’autonomie des systèmes d’armes bouscule la place de l’homme dans la guerre. En heurtant ainsi directement la question de déshumanisation du champ de bataille, la question des SALA percute directement les grands principes du droit international des conflits.

M. Fabien Gouttefarde, co-rapporteur. Ainsi, au-delà des questionnements éthiques, ce sont les conséquences juridiques du développement et de l’emploi des SALA qu’il convient d’interroger. Dans le cadre de nos travaux, nous avons retenu une définition large du droit international des conflits, intégrant à la fois le droit international humanitaire – droit de Genève et droit de la Haye – et le droit de la maîtrise des armements.

Nous ne reviendrons pas en détail ici sur ces deux grands champs du droit international public, mais pourrons répondre à vos éventuelles questions.

De manière schématique, le droit international humanitaire est constitué d’un ensemble de règles applicables dans les situations de conflit armé et visant à limiter les effets de ces derniers. Son objectif est de protéger les personnes qui ne participent pas ou plus aux combats et d’encadrer les moyens et les méthodes de la guerre.

Le DIH repose sur cinq grands principes unanimement acceptés sur la scène internationale : principe de distinction, entre civils et combattants, principe d’humanité, principe de discrimination, principe de proportionnalité et principe d’interdiction des maux superflus et des souffrances inutiles.

Ces principes sont déjà parfois mis à mal par des combattants humains contemporains. En outre, certains considèrent que l’amélioration des techniques de guerre permet de mieux les appliquer, grâce, par exemple, à une meilleure précision. Toutefois, le respect de ces principes par des machines suscite de sérieux questionnements de même que, plus largement, capacité à engager la responsabilité d’une machine. C’est à l’aune de ces questions que doit être envisagé le débat international sur la régulation des SALA et leur potentielle interdiction.

À ce jour, les SALA ne sont pas spécifiquement encadrés par des règles spécifiques du droit de la maîtrise des armements.

M. Claude de Ganay, co-rapporteur. C’est pourquoi des discussions ont été engagées à Genève, dès 2013 et l’initiative de la France, dans le cadre de la Convention du 10 octobre 1980 sur l’interdiction ou la limitation de l’emploi de certaines armes classiques qui peuvent être considérées comme produisant des effets traumatiques excessifs ou comme frappant sans discrimination, plus connue sous le simple nom de Convention sur certaines armes classiques : la CCAC.

Après une première phase de réunions informelles, un Groupe d’experts gouvernementaux, dit GGE, a été mandaté en 2017 afin de définir et d’encadrer les SALA. D’aucuns considèrent qu’une telle évolution constitue une avancée majeure puisque certains pays, à l’instar de la Russie ou des États-Unis, refusaient, jusqu’alors, de discuter des SALA de manière formelle.

M. Fabien Gouttefarde, co-rapporteur. Pour la France, ce premier succès diplomatique assez important a été conforté à l’automne dernière, avec l’adoption de onze principes directeurs sur les technologies émergentes dans le domaine des SALA. De l’avis de nombre de commentateurs, il s’agit d’un grand pas en avant, qui pourrait constituer la base d’un traité international.

Pour l’heure, les discussions sont suspendues, la réunion du GGE prévue en juin 2020 ayant été annulée puis reportée en août, avant la prochaine étape majeure : la conférence d’examen de la CCAC prévue en 2021.

Nous nous félicitons du rôle majeur joué par la France dans le débat international sur les SALA, appuyée en cela par l’Allemagne dès 2014. Toutefois, il nous faut à ce stade apporter quelques précisions, voire des mises en garde.

Premièrement, les discussions internationales apparaissent relativement tendues, et opposent plusieurs groupes de pays : un groupe de pays dits « désarmeurs », un groupe réunissant les États-Unis et leurs proches, très réticents à tout engagement en faveur de l’établissement d’un quelconque cadre dans le domaine des SALA, et enfin, un groupe modéré, animé par la France et l’Allemagne.

La Russie et la Chine occupent quant à elles des places spécifiques, avec des positions changeantes et peu cohérentes, si ce n’est pas leur rejet de tout cadre contraignant empêchant la poursuite des recherches dans le domaine de l’autonomie.

En deuxième lieu, les discussions internationales font l’objet d’une vive attention de la part de la société civile, et en particulier des membres de la campagne « To Stop Killer Robots », comme Human Rights Watch, Handicap international ou Amnesty. Proches des États dits « désarmeurs », ces acteurs jugent les travaux de la CCAC trop timides, et militent pour la mise en place d’un processus ad hoc.

À nos yeux, c’est bien dans le cadre multilatéral de la CCAC que doivent se poursuivre les discussions car il s’agit de l’unique moyen d’associer les grandes puissances militaires que sont les États-Unis, la Russie et la Chine.

En outre, nous estimons qu’il serait fort dommageable de stopper un processus qui a porté ses premiers fruits, alors qu’un accord international semble à portée de main dans le cadre de cette instance rattachée à l’Organisation des Nations Unies.

Nous soutenons en cela pleinement la position franco-allemande, qui vise à aboutir à un fort engagement politique, assorti d’une procédure régulière d’examen des développements technologiques réalisés par chaque pays.

M. Claude de Ganay, co-rapporteur. Si nous estimons qu’il est nécessaire de poursuivre les discussions au sein de la CCAC, c’est aussi car nous craignons que le débat sur les SALA ne vienne parasiter les efforts entrepris par la France et l’Europe en matière d’intelligence artificielle de défense, conduisant de fait à notre déclassement stratégique.

Le développement de systèmes de plus en plus autonomes est en effet inéluctable.

Dès à présent, les machines se montrent plus réactives que l’humain, et plus précises dans l’exercice de certaines fonctions : un homme réagit en quelques secondes, la machine en quelques millisecondes, voire moins ; un tireur humain qui bouge, respire et tremble, est moins précis qu’une machine qui ne bouge pas, ne respire pas, ne tremble pas ; la machine est capable d’opérer avec constance sur des temps très longs, voire vingt-quatre heures sur vingt-quatre, là où l’homme est limité par la fatigue et l’inattention.

Ainsi, en 2016, le colonel Gene Lee, formateur au sein de l’US Air force, a perdu tous les combats aériens qu’il a menés en simulation face à Alpha, un programme informatique doté d’intelligence artificielle. Nous ne reviendrons pas ici sur les bénéfices opérationnels, tant offensifs que défensifs, que porte en elle l’intelligence artificielle de défense et, ce faisant, l’autonomie plus poussée des systèmes d’armes.

M. Fabien Gouttefarde, co-rapporteur. Rappelons simplement que nous sommes à l’aube de l’hyperwar, théorisée l’an dernier par le général américain John Allen. L’essor de cette « hyperguerre » participera à la recomposition du paysage stratégique, selon deux dynamiques. D’abord, une montée en puissance continue de la Chine. Ensuite, la capacité soudaine de puissances plus modestes comme des acteurs non-étatiques, tels les groupes terroristes, de développer des technologies de haut niveau.

C’est d’ailleurs ce qui explique que l’autonomie des systèmes d’armes se trouve au cœur d’une nouvelle course aux armements.

M. Claude de Ganay, co-rapporteur. Nous n’avons pas le temps de passer en revue ici l’ensemble des stratégies conduites par tel ou tel État. Nous notons simplement que les États-Unis, la Chine et la Russie se trouvent en avance, tant d’un point de vue technologique qu’opérationnel.

À titre d’exemple, les États-Unis développent depuis plusieurs années des systèmes autonomes, à l’instar du bâtiment Sea Hunter (projection d’image), navire autonome transocéanique de 60 mètres, dédié à la lutte anti sous-marine et capable de naviguer dans les eaux internationales en s’adaptant de manière autonome aux règles de navigation en vigueur.

M. Fabien Gouttefarde, co-rapporteur. La Chine, quant à elle, semble en passe de se substituer à la Russie comme premier compétiteur des États-Unis. La Chine a notamment présenté un sous-marin « autonome » HSU 001, de relative petite taille, qui lui permettrait de mailler les océans (projection d’image).

Ces deux puissances ont pour particularité de pouvoir s’appuyer sur une industrie civile du numérique robuste et à la pointe de la recherche technologique.

M. Claude de Ganay, co-rapporteur. La Russie n’est pas en reste. Elle se démarque par sa résolution à tester sans tarder des systèmes plus automatisés qu’autonomes, sur le terrain, en opérations, afin de recueillir des retours d’expériences rapides lui permettant de compenser de moindres capacités d’investissement.

Parmi les différents projets initiés par la Russie, la plateforme russe MARKER (projection d’image) fonctionne en mode « follow the leader » et est équipée de drones dits kamikaze. En d’autres termes, le petit char qui accompagne le soldat le suit et réplique l’usage que le soldat fait du feu : le soldat tire, le robot tire vers la même cible. Ce système existe déjà, a été éprouvé et devrait être intégré aux unités russes dès 2021. Selon nos informations, il aurait été testé en Syrie dans des opérations de lutte contre des poches islamistes.

Dans ce contexte, la France et l’Europe ne peuvent demeurer sans agir.

M. Fabien Gouttefarde, co-rapporteur. Comme vous le savez, chers collègues, nous disposons de nombreux atouts : des chercheurs et des instituts de recherches de renommée mondiales, une industrie de défense robuste et éprouvée. De même, nous avons engagé un travail important en faveur de l’intelligence artificielle de défense. Au-delà de notre stratégie nationale, adoptée en septembre dernier, nombre de nos partenaires se sont engagés en faveur du développement de l’intelligence artificielle de défense, et la grande direction générale de la défense, de l’industrie et de l’espace de la Commission européenne s’est saisie du sujet.

Toutefois, il nous faut aller plus loin, et veiller à ce que le débat sur les SALA ne parasite pas les efforts engagés.

M. Claude de Ganay, co-rapporteur. Au niveau national, nous préconisons d’abord d’accroître nos efforts de recherches et d’améliorer les relations entre les laboratoires et les acteurs industriels. Il s’agit d’une vieille antienne, qui ne concerne d’ailleurs pas que le domaine de la défense.

Nous pensons également nécessaire d’investir deux domaines scientifiques stratégiques pour éviter le décrochage technologique : en amont, les systèmes de collecte et de traitement des données ; et en aval, la modélisation et l’évolution des algorithmes d’apprentissage.

Deuxièmement, il nous faut également veiller à mieux accompagner le développement des pépites nationales du secteur de la robotique, qui font l’objet d’appétits voraces de la part de nos compétiteurs.

Troisièmement, l’éventualité de voir des puissances étrangères développer des systèmes autonomes ne respectant pas les principes du droit international humanitaire ne peut être écartée. Cela doit nous inciter à maintenir nos efforts de veille et de recherche en matière d’intelligence artificielle, afin d’apprécier au mieux les performances des autres puissances, d’imaginer des scénarios de conflits crédibles et d’adapter nos systèmes de défense, à l’instar de ce que la direction générale de l’armement réalise dans le domaine de la défense nucléaire, radiologique, bactériologique et chimique.

M. Fabien Gouttefarde, co-rapporteur. Au niveau européen, il nous faut avancer dans deux directions. D’abord, sur ce sujet comme sur d’autres, parvenir à adopter une position européenne commune, qui nous permettra de ne pas avancer en ordre dispersé sur la scène internationale, et de demeurer capable de rivaliser face au trio composé des États-Unis, de la Russie et de la Chine. Les pays européens sont en effet très dispersés sur cette question. Rappelons à ce sujet que le Parlement européen a adopté, en septembre 2018, une résolution plutôt restrictive sur la question des SALA. Ensuite, alors que les contours réglementaires du Fonds européen de défense sont encore en discussion, il convient de veiller à ce que la question des SALA ne nous empêche pas de conduire des activités de recherche dans le domaine de l’autonomie des systèmes d’armes. En l’état, la rédaction de l’article 11 du projet de règlement respecte cet objectif, mais il convient de demeurer vigilant.

M. Claude de Ganay, co-rapporteur. En conclusion, nous rappellerons simplement que si nul ne peut nier que la robotique sera amenée à jouer un plus grand rôle sur les théâtres d’opération – c’est d’ailleurs déjà en partie le cas – cela ne signifie pas que l’on assistera à l’émergence de Terminator. La France s’oppose farouchement au développement de SALA, entendus comme des armes pleinement autonomes, et nous ne pouvons que soutenir cette position.

M. Fabien Gouttefarde, co-rapporteur. Il nous faut toutefois demeurer pragmatiques, et ne pas nous lier les mains en nous interdisant de conduire des projets de recherche en matière de robotique et d’autonomie. Il en va du maintien de la position stratégique de la France et de l’Europe sur la scène internationale.

Nous vous proposerons d’ailleurs de vous joindre à nous en vue du dépôt, sur le Bureau de notre Assemblée, d’une proposition de résolution en ce sens, qui synthétise nos préconisations.

Voilà, chers collègues, ce que nous retenons de nos travaux. Nous nous tenons à votre disposition pour répondre à vos questions. Avant de conclure, je tenais à remercier mon co-rapporteur pour sa bonne humeur éternelle ; cela fut un réel plaisir de travailler à ses côtés.

M. Claude de Ganay, co-rapporteur. Il en va évidemment de même pour moi !

Mme la présidente Françoise Dumas. Un grand merci, chers collègues, pour ce très beau travail, des plus innovants, qui nous amène à réfléchir à plusieurs niveaux. Votre travail porte sur des questions que nous avons peu l’habitude d’aborder dans notre commission et je suis convaincue de son utilité pour nous permettre de penser les nouvelles conflictualités et l’exigence de respecter les principes éthiques et moraux qui sont les nôtres pour, aussi, préserver la paix.

M. Jean-Philippe Ardouin. L’avènement d’intelligences dites artificielles pose notamment la question de leur fiabilité et du degré de développement technologique futur qu’il est évidemment difficile d’anticiper. Au stade actuel de développement de ces technologies, se pose nécessairement la question de l’intérêt et de la dangerosité de ces systèmes d’armes létaux autonomes. Selon vous, les SALA représentent-ils une opportunité pour les puissances occidentales, souvent critiquées pour les risques qu’elles font courir à leurs soldats sur les théâtres d’opérations extérieures, ou sont-ils dangereux, à terme, pour la sécurité mondiale ?

M. Charles de la Verpillière. Je félicite les deux rapporteurs pour leur excellent travail. Pour ma part, j’ai beaucoup appris sur ce sujet, sur lequel je partais de zéro ou presque. Je souscris pleinement à vos conclusions, dont trois ont retenu mon attention. D’abord vous proposez de poursuivre les recherches et de développer des capacités industrielles et technologiques françaises et européennes dans ce domaine. Ensuite, vous préconisez de poursuivre les négociations diplomatiques dans le cadre de la CCAC et d’essayer de faire aboutir la proposition franco-allemande. Enfin, sur le fond, vous estimez que ces SALA ne devraient jamais être totalement autonomes pour que l’homme puisse toujours intervenir, ce qui pose la question de la capacité de discrimination. Je suis totalement en accord avec vous.

M. Jean Lassalle. Je ne vais pas paraphraser mon collègue mais je m’associe aussi à vos propositions. Alors même que nous ne disposions pas des mêmes moyens de communication, Hiroshima et Nagasaki ont causé un effet de sidération tel qu’on a longtemps pensé que de tels actes ne seraient jamais reproduits. Cela a d’ailleurs forgé le concept de dissuasion : on pensait qu’on allait se tenir par la peur ; cela a marché, tant mieux. Mais la dimension que vous nous faites découvrir fait froid dans le dos, mes chers collègues. On se demande jusqu’à quel moment on va pouvoir raisonner sans expérience réelle, de terrain, pour inventer l’équivalent de la force de dissuasion. Nous voyons bien comment évolue le monde et l’Homme, dans sa formation, dans l’absence de barrière opposée à ses instincts pervers et violents. Pendant des années, on m’a expliqué qu’on ne pourrait plus connaître de manifestations violentes sur la voie publique parce qu’il n’y avait plus de mineurs, ni de paysans. On a vu ce que ça donnait depuis trois ans ! Je ne crois rien de tout cela.

Vous avez parlé du fait qu’il faudrait à tout prix empêcher la fuite des cerveaux, retenir nos chercheurs. Nous faisons exactement le contraire depuis une vingtaine d’années. J’en connais – alors peut-être pas aussi calibrés que ceux que vous évoquez puisqu’ils sont à mon niveau (sourires) ! On les laisse partir ! On ne fait rien pour les encourager lorsqu’ils ont une idée ! Souvenez-vous comment nous avons perdu la carte à puce et tous ses prolongements ! Il n’est pas nécessaire de remonter à la Rome antique !

Je me demande donc si la recherche fondamentale n’est pas la priorité, avec la recherche appliquée que nous ne pratiquons plus que sporadiquement. Elle devrait être décrétée au plus haut niveau et un budget devrait lui être associé. Il faudrait ensuite cesser de donner à ceux qui détiennent le capital aujourd’hui, au monde de la finance internationale, la possibilité d’exploiter ce que l’intelligence artificielle peut donner de meilleur. Sans quoi je crains fort qu’il ne faille passer par une expérience dont je ne mesure même pas les conséquences en termes de déshumanisation !

M. Thomas Gassilloud. Je voudrais moi aussi féliciter nos deux rapporteurs. Leurs travaux sont autant nécessaires qu’urgents puisque les SALA posent d’immenses questions technologiques, commerciales, juridiques, diplomatiques et bien sûr éthiques. Un exemple illustre bien cette nécessité. Je veux parler du débat manqué il y a une dizaine d’années sur le recours aux drones, qui a finalement privé notre pays d’une orientation claire, causant un retard industriel préjudiciable à nos intérêts et qu’il va falloir rattraper.

Ce débat sur les SALA a donc une véritable utilité. Il est essentiel de bien poser les termes du débat pour ne pas laisser prospérer des thèses inexactes. Je remercie les deux rapporteurs de leur effort sémantique pour bien distinguer l’autonomie de l’automatisation – présente dans nos armées depuis bien longtemps –, d’avoir pris en compte l’existant et d’avoir ouvert leur réflexion à tout type d’acteur, jusqu’aux philosophes.

Les bénéfices opérationnels des SALA sont évidents, notamment pour tenir compte de l’enjeu de la masse. Une régulation internationale est nécessaire mais nous devons nous préparer au pire alors que nous assistons jour après jour au délitement du multilatéralisme.

Je souhaite partager avec vous deux craintes et une proposition. Ma première crainte, c’est que les robots autonomes n’abaissent le seuil de déclenchement des conflits. Aujourd’hui, un État hésite à s’attaquer à un autre État parce qu’il met en jeu des vies humaines, celles de ses soldats. Ne craignez-vous pas un développement des conflits, ceux-ci étant rendus plus acceptables du point de vue des opinions publiques des États qui les mèneront ? Ma deuxième crainte concerne les entreprises de services de sécurité et de défense (ESSD) qu’on appelait autrefois les sociétés militaires privées. Environ cinquante pour cent du budget de l’armée américaine finance des prestations externalisées. Certaines ESSD maîtrisent des drones armés d’ores et déjà. Ne craignez-vous pas que ces ESSD n’acquièrent une puissance voisine voire supérieure à celle des États ? Enfin, j’en terminerai avec une proposition : l’intelligence artificielle étant par essence une technologie duale, ne faudrait-il pas investir massivement dans la robotique civile pour que notre pays soit capable d’en faire un usage militaire en cas de besoin, et si la réglementation internationale venait à évoluer ?

M. André Chassaigne. Ce rapport est passionnant et nous bouscule beaucoup. Il s’agit de questions éthiques importantes ; peut-on confier à une machine la décision de donner la vie ou la mort ? Chacun d’entre nous a vu ces films où des opérateurs rentrent le soir dans leur famille, jouent avec leurs enfants, alors qu’ils ont eu des décisions terribles à prendre, parfois au dernier moment, en découvrant ensuite que des enfants jouaient à côté de la cible qu’ils ont décidé de frapper. Il pourrait être tentant de confier ces décisions à des machines avec un niveau d’autonomie jamais atteint, permettant, à la dernière seconde, de prendre une décision que l’humain n’aurait pas à prendre. Je mesure toute la gravité de ces questions.

La position de la France, si je l’ai bien comprise, est de demander un cadre international, en visant en particulier le niveau d’autonomie. Il s’agit de savoir qui donne les ordres : un chef militaire, un simple soldat qui, équipé de drones « kamikazes », de ce qu’on appelle aussi une « artillerie de poche » pourrait, de sa propre initiative, décider d’une frappe, ou directement la machine et son programme. Ma question porte sur les onze principes adoptés en novembre 2019 par la CCAC, qui prévoient notamment de soumettre les SALA au droit international humanitaire. Ces principes sont-ils opposables ? Qu’attendons-nous de plus d’un traité international ?

M. Fabien Gouttefarde, co-rapporteur. En réponse à Jean-Philippe Ardouin, je rappellerai que parmi les raisons qui nous ont amenés, Claude de Ganay et moi, à vouloir travailler sur la question des SALA, se trouvent les déclarations de nos partenaires et compétiteurs stratégiques. Je pense en particulier aux déclarations d’un chef d’état-major russe, qui a affirmé que son objectif était de soustraire au maximum le combattant au champ de bataille pour lui substituer des unités robotisées. Les hauts responsables du ministère de la Défense américain ont réagi en indiquant qu’il ne serait pas éthique, dans ces conditions, qu’ils opposent à des robots des soldats en chair et en os sur le champ de bataille.

Dans les années 2000, la Chine parlait de forces « informatisées ». Aujourd’hui, elle évoque plus volontiers des forces « intelligentisées » – excusez ce barbarisme ! – c’est-à-dire qu’elle intègre la dimension de l’intelligence artificielle à chaque développement technologique. Le risque nous paraît donc celui d’un décrochage technologique de l’Europe. J’aime à reprendre cette citation, que j’ai beaucoup opposé aux personnes que nous avons entendues : « il faut prendre garde à ne pas continuer à améliorer la bougie pendant que d’autres inventent l’électricité » ! C’est la philosophie qui traverse notre rapport.

M. Claude de Ganay, co-rapporteur. Charles de la Verpillière a parfaitement compris et résumé notre propos. Je l’en félicite ! Une fois n’est pas coutume ! (Sourires) L’enjeu de garder l’homme dans la boucle est en effet au cœur de l’intégration homme-machine.

M. Fabien Gouttefarde, co-rapporteur. Cher Jean Lassalle, vous avez évoqué la dissuasion nucléaire et vous interrogez sur l’avenir de la dissuasion dans un monde où on aurait déshumanisé le champ de bataille. Je retiens de votre intervention la dimension éthique. Vous vous demandez à quoi ressembleront les conflits futurs sans expérience sensible de la guerre. C’est en effet une question fondamentale. Le président Chassaigne l’a évoqué avec le film Good Kill : on y voit un opérateur qui prend plus de risques en rentrant chez lui en voiture le soir qu’en faisant la guerre dans la journée. Les théoriciens de la guerre, parmi lesquels des penseurs antiques, chinois ou plus proche de nous, Clausewitz, disaient qu’un conflit était un affrontement des volontés et que dès lors que la peur était installée chez l’adversaire, vous aviez gagné la guerre. Face à une armée composée en grande partie de robots, un nouveau paradigme semble survenir. Cette question est aussi traitée dans notre rapport.

Thomas Gassilloud a fait part de deux craintes.

Sur le risque que les robots autonomes abaissent le seuil de déclenchement des conflits, il me paraîtrait constitué à partir du moment où le conflit n’opposerait que des machines. Cette crainte n’a pas forcément lieu d’être dans le cadre de conflits asymétriques ou même dans le cadre de conflits symétriques, dès lors que les SALA pourraient infliger des pertes humaines sur le champ de bataille. Les drones armés ont d’ailleurs suscité le même questionnement. Pour ma part, je perçois plutôt un risque d’extension du champ territorial de la conflictualité. Les services secrets américains sont intervenus plus facilement au-dessus du Yémen, du Pakistan – des États qui ne sont pas officiellement en guerre avec les États-Unis – du fait de la facilité d’usage des drones. L’envoi de F16 dotés de pilotes n’aurait pas été envisagé aussi facilement.

Vos craintes concernant les ESSD sont déjà concevables aujourd’hui, indépendamment de la question des SALA. Des sociétés comme l’entreprise russe Kalachnikov développent déjà des armes susceptibles d’être employées par des ESSD. La particularité des SALA tient à l’importance de l’intelligence artificielle et, ce faisant, des données. Pour qu’un drone autonome aille frapper une cible, il faut lui avoir appris à reconnaître la cible, ce qui nécessite des données en très grande quantité. Or, qui détient un tel volume de données si ce n’est des entreprises civiles telles que les GAFAM : Google, Apple, Facebook, Amazon, Microsoft ?

M. Claude de Ganay, co-rapporteur. Si la question se pose pour les ESSD, elle se pose aussi, cher Thomas Gassilloud, pour les groupes terroristes.

En outre, nous ne sommes pas tant convaincus du bénéfice opérationnel des SALA que de celui des SALSA, autrement dit des systèmes d’armes létaux semi-autonomes, particulièrement intéressants d’un point de vue défensif face à des essaims de drones ou des armes hypervéloces. Sur l’abaissement du seuil de déclenchement des conflits, il ne faut pas oublier la responsabilité politique des États.

M. Fabien Gouttefarde, co-rapporteur. Monsieur le président Chassaigne, vous nous avez interrogé sur l’opposabilité des onze principes et l’application du droit international humanitaire aux SALA. Vous l’avez rappelé : les onze principes constituent un document politique et non juridiquement contraignant. Toutefois, votre question porte en fait sur la création de la normativité internationale : comment crée-t-on une norme internationale contraignante ? À ce jour, nous n’en sommes qu’au stade du lancement d’un processus politique. Néanmoins, les principes s’appuient sur des normes existantes et la coutume internationale. C’est ainsi qu’en rappelant que le droit international humanitaire s’applique aux SALA, le premier des onze principes ne fait que rappeler que le droit international humanitaire s’applique en tous temps et tous lieux. En outre, je vous rappelle que l’ensemble des États parties à la CCAC, soit 121 pays, ont adopté ces onze principes ; nous assistons donc aux prémices d’un mouvement qui, nous l’espérons, conduira à passer d’une forme molle du droit – la soft law – à un droit plus dur, formalisé dans un traité.

M. Claude de Ganay, co-rapporteur. De manière complémentaire, j’ajouterai que la Cour internationale de justice, dans un avis consultatif de 1996, a d’ailleurs confirmé que la nouveauté d’une arme ne peut être invoquée en soutien d’une quelconque dérogation aux principes et règles du droit international humanitaire.

M. Jacques Marilossian. Mes chers collègues, merci pour vos présentations et vos premières réponses. Nos amis sénateurs Ronan Le Gleut et Hélène Conway-Mouret ont publié le 15 juillet un document consacré au système de combat aérien du futur, le SCAF ; et, du point de vue éthico-juridique, un aspect fait débat. Le NGF, le Next Generation Fighter, aura un pilote mais pourra aussi être piloté à distance et, vous le savez, l’avion sera accompagné de drones subordonnés, les « remote carriers » – en français : les effecteurs déportés –, qui auront des missions de frappe, de leurrage, de surveillance, d’évaluation des dégâts et bien sûr, de combat. Dans le cadre d’opérations dans des espaces contestés, la fragilité de la liaison de données, notamment satellite, pourrait entraîner un piratage ou un brouillage de ces fameux drones, qui deviendraient incontrôlables. Une solution pour contourner cette difficulté de liaison à longue distance serait d’envisager un drone totalement autonome et donc non dépendant de la liaison de données ; et là, nous retrouvons le fameux débat éthico-juridique sur les SALA pour lequel nous n’avons pas de cadre international pour l’instant. Dans la continuité de votre mission, pensez-vous qu’on pourra disposer de ces fameux drones, ces fameux « remote carriers », totalement autonomes s’ils sont limités à un usage non létal comme le leurrage, la surveillance ou le percement des défenses antiaériennes ?

M. Christophe Blanchet. Messieurs les rapporteurs, vous avez indiqué dans vos propositions qu’il fallait être à la fois en veille et en recherche. Cela m’inspire deux questions : pendant combien de temps devons-nous être en veille et combien de temps avons-nous devant nous ? Et, pendant combien de temps devons-nous être en recherche avant d’être au niveau des autres ? Quand on entend le président Poutine dire que celui qui deviendra leader dans le domaine de l’intelligence artificielle sera le maître du monde et qu’en même temps, il fait savoir qu’il refuse toute interdiction, moratoire ou régulation sur les SALA, qu’en est-il ? Dans l’édition en ligne du Journal du Dimanche, vous indiquez, hier, que si l’Union européenne venait à se soumettre seule à un moratoire, elle accuserait un retard capacitaire irrattrapable. De quel retard parlons-nous, pour savoir si l’on doit encore en rester à une stratégie d’éthique ?

M. Thibaut Bazin. Merci à nos deux collègues pour ce travail très intéressant, qui pose, comme vous l’avez dit, à la fois des enjeux éthiques et des enjeux humains. La technologie peut évoluer dans les prochaines années. En fonction des définitions que l’on peut retenir des SALA, j’aurais quatre questions. La première est relative à notre doctrine : est-ce qu’il faut la faire évoluer sur le sujet ? La deuxième porte sur notre législation : est-ce qu’il faut appréhender les SALA avant même qu’ils existent, sous une forme ou une autre ? Cela concerne particulièrement les questions de responsabilité. Je pense qu’il faut élargir la réflexion et ne pas en rester à la dimension militaire, mais plutôt considérer l’usage civil des SALA, par d’autres puissances mais aussi par des organisations plus ou moins formalisées. Finalement, un ennemi ne pourrait-il pas bénéficier de l’intelligence artificielle et l’utiliser d’une manière ou d’une autre ? J’en viens à ma quatrième question : finalement, les sociétés militaires privées, qui peuvent être liées au monde de la donnée, ne sont a priori pas françaises aujourd’hui, elles ne sont même pas européennes. Est-ce qu’il n’y a pas, dans la continuité de nos échanges d’hier et de la semaine dernière, un enjeu de souveraineté pour pouvoir faire émerger, en France et en Europe, des capacités et des savoir-faire en termes de SALA ?

M. Jean-Michel Jacques. Merci aux deux co-rapporteurs pour leur travail très précieux et qui soulève beaucoup de questionnements. L’homme est un loup pour l’homme. Nous le savons, en tout cas j’en suis persuadé. Il n’y a qu’à regarder notre histoire. Ne serait-ce qu’en pensant au nazisme, vous vous souvenez de ce qu’a pu faire une telle doctrine : exterminer des gens. La bombe atomique n’a pas été tirée par un pays totalitaire, c’était les États-Unis. Moralement et éthiquement, les bombardements de populations civiles pour faire infléchir un adversaire, qui ont aussi été pratiqués par l’Occident – par les forces Alliées –, posent beaucoup de questions. L’issue de tout ce que je vous raconte a quand même été le tribunal de Nuremberg, qui a posé un certain nombre de règles mais après les faits. Je vous remercie pour votre démarche parce que vous suscitez l’envie de poser les questions en amont, avant que les SALA ne voient le jour.

Mais au fond de moi, j’ai bien peur qu’un jour des SALA soient une réalité, et ce d’autant plus facilement que nous sommes face à des groupes terroristes. Des régimes inspirés de pensées totalitaires peuvent revenir à tout moment, de façon hybride ou cachée, et pourront faire usage de SALA. Je rejoins vos recommandations : il faut absolument, pour ne pas décrocher sur le plan stratégique, continuer la recherche et le développement dans ce domaine. J’en viens à ma question. Ne devrions-nous pas, pour justifier cette recherche et ce développement et ne pas décrocher sur le plan stratégique, utiliser des SANA, c’est-à-dire non pas des armes létales mais de neutralisation ? En ce sens, l’aboutissement ne serait pas forcément la mort mais la neutralisation physique de l’ennemi. C’est une façon détournée mais ouverte de maintenir un certain niveau et de conserver la possibilité de faire face à des ennemis potentiels, qui auront certainement un jour de tels moyens. C’est une question qui peut s’inscrire dans le plan de relance : ce sont des activités duales qui peuvent être utilisées dans le domaine civil.

Mme Sereine Mauborgne. Ma question porte sur l’encadrement juridique des SALA. La France a remporté à Genève un succès diplomatique certain, en faisant reconnaître par la communauté internationale onze principes sur les SALA. Pouvez-vous nous en dire davantage sur ce nouvel instrument ?

Plus largement, dans le fond, comment légiférer sur un sujet qui est encore loin d’être stabilisé, ne serait-ce que parce que l’intelligence artificielle constitue une technologie encore très évolutive ? Finalement, les SALA ne seront-ils pas un sujet pour la prochaine révision de nos lois de bioéthique, dans cinq ans ?

M. Jean-Louis Thiériot. Merci, chers collègues, pour vos analyses, qui sont aussi stimulantes au plan intellectuel qu’inquiétantes au plan stratégique. Je partage en effet le pessimisme de notre excellent collègue Jean-Michel Jacques : un jour où l’autre, même si c’est à craindre, ces armes seront une réalité.

Cette perspective est d’autant plus vraisemblable que l’on assiste aujourd’hui à un mouvement de démantèlement des grands cadres internationaux de régulation des armements : le traité FNI n’est plus, le dispositif de ciel ouvert non plus, et le traité START arrive à échéance en 2021 sans qu’un nouveau traité de régulation des armes nucléaires stratégiques ne soit en voie de conclusion. Si la communauté internationale n’arrive pas à trouver un accord pour un tel sujet, a fortiori, on peut être pessimiste s’agissant des SALA.

Ma question porte donc sur les initiatives juridiques que nous pouvons prendre, sachant que la vigilance s’impose, que nous devons être prêts et que nous ne saurions laisser à des compétiteurs stratégiques une avance dans ce domaine. Un spécialiste du jus in bello, c’est-à-dire du droit international humanitaire, M. Jean-Baptiste Jeangène Vilmer, disait récemment que le seul instrument possible en la matière était probablement un code de bonne pratique, de même nature par exemple que la convention de Montreux sur les sociétés militaires privées : il ne s’agit pas de droit contraignant en tant que tel, mais d’éléments d’interprétation du droit international humanitaire existant à l’usage des cours qui pourraient être amenées à connaître de cas d’emploi des SALA. Les onze principes dont nous parlions pourraient constituer la base d’un tel code. Que pensez-vous de cette option ?

Mme Séverine Gipson. Je vous remercie de votre présentation complète des SALA ; vous nous avez exposé toutes leurs fonctions possibles, que l’intelligence artificielle accroît beaucoup. Le sujet est au cœur des réflexions actuelles dans les études militaires, et j’ai moi-même présenté à l’Institut des hautes études de la défense nationale un rapport sur les SALA et la place de l’humain dans les guerres du futur. Je m’interroge sur l’articulation, qui n’est pas évidente, entre l’emploi de SALA sur le champ de bataille et l’esprit guerrier : comment les soldats doivent-ils se préparer à l’arrivée de systèmes d’armes avec lesquelles le rapport entre l’homme et la machine se trouve profondément modifié ? Quel serait l’impact des SALA sur l’esprit guerrier de nos militaires ? Faut-il désormais que nos soldats apprennent à faire la guerre dans un contexte déshumanisé ?

Mme Carole Bureau-Bonnard. Merci, Messieurs les rapporteurs, de votre éclairante présentation. Ma question porte sur la communication faite autour des SALA et le rôle de la France en la matière. Vous l’avez dit, la France a un rôle actif d’alerte et de plaidoyer, mais ne faudrait-il pas en parler encore davantage, notamment avec nos amis européens partenaires ? En particulier, pensez-vous que ce soit là un sujet de discussions à mettre à l’ordre du jour de l’initiative européenne d’intervention ?

Mme Patricia Mirallès. Je suis tout à fait d’accord avec nos collègues Jean-Michel Jacques et Jean-Louis Thiériot : nous ne devons pas laisser passer le train, une fois de plus : mettons-nous au contraire en mesure de le conduire.

M. Olivier Becht. Une réflexion dont vous excuserez qu’elle ne soit peut-être pas tout à fait politiquement correcte : à chaque fois que l’on a inventé un système d’armes, on s’est interrogé sur la moralité de son emploi. Tel a été le cas, par exemple, dès l’invention du fusil à poudre noire, dont on n’admettait alors qu’il ne pouvait guère être employé d’une façon conforme tant aux codes nobles de l’honneur au combat que pour effrayer les chevaux… On sait ce qu’il en est aujourd’hui, où les fusils les plus rapides tirent 1 000 coups par minute. Aujourd’hui, alors que de nouveaux systèmes d’armes sont concevables, on se pose de nouveau les mêmes questions de moralité.

Et, de nouveau, les faits sont les mêmes : à la guerre, l’ascendant tient à la vitesse d’exécution des ordres, et l’intelligence artificielle sera déterminante pour celle-ci. Avec notre collègue Thomas Gassilloud, nous l’avions déjà souligné dans le rapport que nous vous avons présenté sur les enjeux de la numérisation des armées, s’agissant par exemple du lancement de leurres par le Rafale. En effet, le lancement de ces leurres est d’ores et déjà automatique, et c’est bien normal : quand un missile est tiré vers l’avion, le salut tient à la rapidité avec laquelle on détecte la menace et l’on lance ces leurres ; or il est évident que la machine est plus rapide pour ce faire que ne l’est le cerveau humain.

Les mêmes causes produisant les mêmes effets, si l’état des techniques permet de lancer non seulement des leurres, mais aussi un missile visant l’agresseur, ne nous trompons pas : on le fera !

Il en va de même des systèmes plus ou moins autonomes : est-ce souhaitable ? Assurément non. Mais est-ce évitable ? Hélas, pas non plus, car qui s’en priverait perdrait le combat. Il ne s’agit pas seulement d’un enjeu industriel mais tout simplement stratégique et opérationnel. Est-ce dangereux pour l’humanité ? La question est d’ordre plus philosophique, mais gardons à l’esprit que tout dépendra de la façon dont la machine est programmée par l’humain. D’ailleurs, dans le fond, si la machine est véritablement intelligente, peut-être sera-t-elle-même moins dangereuse que l’humain, dont notre collègue Jean-Michel Jacques nous rappelait fort justement que son intelligence ne l’empêche pas de faire la guerre pour se détruire…

M. Jean Lassalle. Si je puis me permettre, en complément de ma précédente intervention, une parenthèse « Bisounours ». J’aimerais souligner combien les généraux de l’Antiquité avaient raison quand ils disaient que le véritable vainqueur est celui qui remporte la bataille des esprits. D’une certaine façon, il en va de même dans le sport, ou dans les élections ‒ j’en sais quelque chose ! Restent aussi, je vous le concède, quelques questions de moyens financiers dans les ressorts de la victoire. Je n’ai perdu qu’une seule élection mais de manière assez radicale !

Si l’on porte le regard dans le temps long, si l’on sonde profondément le cœur de l’homme ‒ après tout, il était un peu un fauve, il a su devenir un peu plus humain… ‒, bref, si l’on plonge dans les racines de notre histoire, je crois qu’un pays comme la France est des mieux placés pour démontrer, suivant une logique complexe mais imparable, qu’il y a plus d’avantages à la paix qu’à la guerre.

Je me le disais, par exemple, en réécoutant les discours de John Fitzgerald Kennedy, auquel je me suis beaucoup intéressé : il a tout simplement su éviter l’anéantissement de l’Europe ‒ en vérité, l’URSS et les États-Unis ne se seraient pas complètement anéantis eux-mêmes : c’est nous qui aurions fait les plus grands frais d’un conflit entre eux. Dans un de ses discours, où il désavoue d’ailleurs totalement son père, le président Kennedy parle bien des ressources de notre intelligence et de l’intérêt qu’il y a à en orienter les énergies vers d’autres conquêtes que celles de la guerre, en premier lieu celle de la Lune. Un grand pays comme le nôtre, fort de sa tradition universaliste, ne pourrait-il pas engager un combat sublime en faveur de la paix, et de l’emploi des énergies au service de l’homme plutôt que de la guerre ? À l’heure où une large part de l’humanité meurt de faim, on pourrait orienter les ressources de notre intelligence, et donc nos recherches, vers d’autres buts que la guerre ‒ pour trop souvent inexorable qu’elle soit ‒, et tendre ces ressources vers des objectifs autrement plus humains.

Mme Françoise Dumas, présidente. Voilà un débat profond, et peut-être plus large que prévu ; les rapporteurs y répondront, j’en suis sûr, de façon précise.

M. Fabien Gouttefarde, co-rapporteur. Pour répondre à Mme Mirallès ainsi qu’à MM. Thiériot, Jacques et Becht, je dirais que notre travail repose sur un paradoxe et qu’il essaie de trouver une ligne de crête. En effet, les SALA entendus suivant la définition pure et parfaite qu’en propose la France ‒ une arme qui s’octroie ses propres normes ‒ n’existe pas et a peu de chance d’exister, ne serait-ce que parce qu’une telle arme pourrait se retourner contre son concepteur, ce qui constitue un risque inacceptable du point de vue opérationnel.

Mais nous sommes persuadés que l’autonomie des armes va façonner la conflictualité de demain. Or, dans l’autonomie, il y a des stades, et un vrai continuum. Au dernier salon du Bourget, on voyait par exemple une bombe planante israélienne appelée Spice 250, d’une portée de 100 kilomètres : en vol, elle compare ce qu’observent ses capteurs avec une base de données embarquée de 300 cibles environ, modélisées en trois dimensions, et possède une capacité de reconnaissance automatique des cibles doublée d’un dispositif d’acquisition automatique ; ainsi, au cas où elle perdrait sa cible principale, elle peut se diriger seule vers une cible secondaire. Elle a déjà été utilisée en Syrie. Nous avons posé la question à nos interlocuteurs de savoir si l’on pouvait, dans ce cas, parler ou non d’intelligence artificielle : les réponses divergeaient. Ainsi, la ligne de partage entre autonomie et automatisation est d’ores et déjà complexe.

Vous avez d’ailleurs raison, cher Jean-Michel Jacques : nous sommes, dans le fond, dans une tradition militaire occidentale, où un commandement clairement identifié suit des règles d’engagement strictes ; toutes choses dont ne s’embarrasseraient pas un groupe terroriste ou une armée non-conventionnelle…

M. Jean-Michel Jacques. Ou encore un régime totalitaire !

M. Fabien Gouttefarde, co-rapporteur. Exactement. Quant au code de Montreux, Monsieur Thiériot, il se trouve qu’avant d’être élu député, j’ai fait partie de l’équipe chargée de sa négociation pour la partie française. Il s’agit d’une forme de soft law, de coutume, et les discussions de Genève sur les onze principes vont tout à fait dans le même sens. C’est donc bien dans cette voie que les discussions internationales actuelles sont engagées ; la France, en outre, ne verrait pas d’un mauvais œil des instruments juridiques un peu plus contraignants, élaborés sur la base de ces onze principes.

M. Claude de Ganay, co-rapporteur. En cela, et comment pourrais-je ne pas le regretter un peu, nous sommes vraiment dans un rapport « en même temps » !

Monsieur Bazin, s’agissant de la législation en vigueur susceptible de s’appliquer aux SALA, on en revient toujours à des règles juridiques de responsabilité, pénale ou civile, du fabricant, ainsi qu’aux règles de responsabilité des États ; mais ce droit n’est bien entendu pas adapté aux SALA. C’est pourquoi certains, comme Maître Bensoussan, proposent de doter les robots d’une personnalité juridique, ce qui ouvre la voie à des longs débats, y compris autour du transhumanisme ‒ faudrait-il reconnaître à des robots la possibilité de sentir, d’aimer ?

Vous évoquiez la recherche ; je tiens à souligner que la France a la chance de posséder des centres de recherche de haut niveau, comme l’INRIA ou le CNRS. Quant à notre base industrielle et technologique de défense, le magnifique rapport de nos collègues Benjamin Griveaux et Jean-Louis Thiériot que nous avons examiné hier a confirmé l’excellence de nos industries ‒ je pense à Thales, MBDA, Dassault ou d’autres, par exemple ‒ dans les technologies les plus modernes, et l’autonomie en fait partie. Nous sommes donc tout à fait d’accord avec vous.

M. Fabien Gouttefarde, co-rapporteur. Pour revenir à la question de M. Marilossian concernant le SCAF, l’armée de l’air s’est interrogée sur l’intérêt et la possibilité d’un avion non-habité, et a exclu cette possibilité. L’aéronef principal de ce système sera habité, mais entouré de divers autres appareils, parmi lesquels des drones et des remote carriers. On touche là à ce qui ressemblerait le plus à des armes autonomes. D’ailleurs, comme vous l’avez bien dit, l’un des aspects de cette réflexion capacitaire tient à ce que pour éviter les interceptions, il faudra minimiser, voire couper, les liaisons entre l’arrière et l’effecteur, ce qui suppose une certaine autonomie de ce dernier.

Un autre aspect tient à la distinction entre moyens défensifs et moyens offensifs. Olivier Becht a ainsi pris des exemples de moyens autonomes à finalité défensive existant déjà, et l’on pourrait citer aussi les systèmes de défense anti-missiles de type Iron Dome. En la matière, l’autonomisation des armes va vraisemblablement devenir de plus en plus nécessaire avec l’arrivée, sur le champ de bataille, d’armes hypervéloces : face à de telles menaces, l’homme ne peut plus être dans la boucle, au risque d’être anéanti.

Il faut aussi distinguer le degré d’autonomie envisageable pour les armes en fonction du milieu dans lequel elles seront employées. En effet, les milieux homogènes et inhabités se prêtent le plus à des armes autonomes : tel est le cas de l’air, ou du fond des mers. Mais il sera beaucoup moins aisé de confier à un système autonome la faculté de délivrer un tir létal à terre, dans un milieu plus complexe et plus habité, en particulier en milieu urbain.

M. Claude de Ganay, co-rapporteur. Le président Becht a souligné à juste titre que l’on s’est toujours posé la question de la moralité des armes nouvelles ; pour citer un exemple qui ne vous sera pas étranger, rappelons que le deuxième concile du Latran, en 1139, avait banni les arbalètes, considérées comme « perfides ». Un léger point de divergence entre nos vues, s’agissant des exemples que vous citiez, réside peut-être dans ce que nous tenons beaucoup à distinguer autonomie et automatisation.

M. Fabien Gouttefarde, co-rapporteur. Monsieur Blanchet, je reconnais dans votre question la marque de vos centres d’intérêt personnels ! Il est vrai qu’il ne faut pas, pour une puissance comme la nôtre, être trop sur la défensive devant les SALA. Certains États, au premier rang desquels l’Autriche, tiennent une posture très ferme, davantage que la nôtre, plaidant non seulement contre tout développement en matière de SALA, mais aussi contre toute recherche. De nombreuses organisations non gouvernementales vont également en ce sens. À la différence de cette position, nous plaidons pour des investissements nous permettant d’éviter un décrochage dans le domaine de l’intelligence artificielle. D’autres freins apparaissent d’ailleurs, et à cet égard, vous avez entendu hier que le Fonds européen de défense serait doté non pas des 13 milliards d’euros attendus, mais de sept seulement, ce qui constitue une déception. Nous pouvons toujours nous réjouir du fait qu’il s’agit de sept milliards de plus, mais c’est aussi six milliards en moins pour la recherche et la préparation de l’avenir. En outre, il me semble important d’insister sur le fait qu’en aucun cas nous ne devrons transiger avec les questions éthiques.

Madame Mauborgne, parmi les onze principes directeurs adoptés concernant les SALA, on relèvera par exemple l’applicabilité du droit international humanitaire, le maintien d’une responsabilité humaine, une obligation de rendre des comptes, ou encore un examen de conformité des armes ‒ rappelons que tout armement est soumis à un tel examen, conduit par la direction des affaires juridiques du ministère des Armées, à chaque stade de sa conception et de son développement ‒, la prise en compte des risques cyber dans la conception des armes, ou encore l’interdiction du développement d’armes à forme humaine ‒ c’est-à-dire humanoïdes. Quant à la prochaine loi bioéthique, je ne sais pas de quoi elle traitera, dans cinq ans, mais à une échéance bien plus rapprochée, nous pourrons débattre des SALA en séance publique à l’occasion de l’examen de la proposition de résolution que nous soumettrons sans tarder à votre cosignature.

M. Claude de Ganay, co-rapporteur. Madame Bureau-Bonnard, nous sommes tout à fait d’accord avec vous : il y a beaucoup à faire sur la scène internationale, y compris autour de M. Josep Borrell et de ses services. Il y a aujourd’hui des divergences entre les pays dits « désarmeurs », comme l’Autriche, et des puissances plus modérées, comme la France, l’Allemagne ou l’Espagne. Il y a une ligne de crête à trouver pour refuser le développement d’armes autonomes, sans pour autant renoncer à la recherche sur l’autonomie.

M. Fabien Gouttefarde, co-rapporteur. De manière complémentaire, s’agissant de la communication, j’attire votre attention sur le fait que dès lors qu’il est question de SALA, chacun pense à des robots tueurs ou à la figure de Terminator. D’ailleurs, l’an dernier, j’avais proposé au journal Le Monde une tribune sur les SALA ; elle avait été acceptée et publiée mais le journal s’était laissé le choix de la photo l’illustrant, retenant une image de Terminator, avec son œil rouge. Notre rapport a donc aussi une dimension pédagogique.

M. Claude de Ganay, co-rapporteur. Pas plus tard que ce matin, sur France Inter, le mot SALA n’a pas été prononcé alors qu’il était question de notre rapport ! Il n’était question que de robots tueurs.

M. Fabien Gouttefarde, co-rapporteur. Je n’oublie pas la question de Séverine Gipson sur l’esprit guerrier. Elle est difficile car elle oblige à conduire des réflexions sur un changement de doctrine. Préparer nos soldats à l’éventualité de se trouver face à des machines constitue un défi de premier ordre et les Américains eux-mêmes, je l’ai dit, considèrent qu’il serait peu éthique d’envoyer des soldats face à une armée de robots. Toutefois, il me semble que dès aujourd’hui, nos aviateurs, que vous connaissez bien chère Séverine, doivent se préparer à des opérations d’entrée en premier dans des environnements contestés, face à des systèmes de déni d’accès de plus en plus performants, à l’instar des systèmes S-400 russes. D’une certaine manière, ils doivent déjà se préparer à se trouver face à des machines.

M. Christophe Lejeune. Bravo à nos rapporteurs pour ce travail des plus utiles. Si nous sommes tous des humains sur terre, je ne suis pas persuadé que tous les humains partagent la même philosophie. Le rapport à la vie n’est pas le même selon les cultures et, au fil des ans, nous sommes moins prêts à payer le prix du sang. Les sacrifices consentis par la France pendant la Première Guerre mondiale ne seraient sans doute plus acceptés aujourd’hui. Doit également être pris en compte le rapport du faible au fort, comme pour la dissuasion, notamment si l’on oppose par exemple la Chine à Israël, avec un rapport de population de l’ordre de 150. Même avec un niveau technologique important, le poids de la population est déterminant. J’en viens à ma question : qu’en est-il de l’importance des satellites pour le développement des SALA ? Le quintuplement annoncé du nombre de satellites n’est-il pas la première marque de cette évolution stratégique ?

M. Jean-Jacques Ferrara. Chers collègues, toutes mes félicitations pour votre rapport. Vous préconisez de poursuivre les discussions sur les SALA dans le cadre de la Convention sur certaines armes classiques. J’aurai deux questions. D’une part, a-t-il déjà été envisagé de déplacer le débat au sein d’une autre enceinte onusienne, comme le Comité des droits de l’homme ? D’autre part, quelle est selon vous la probabilité de voir le débat sur les SALA basculer dans un processus ad hoc ?

Mme Florence Morlighem. Messieurs les rapporteurs, votre exposé m’a rappelé les manifestations des employés de Google, en 2018, s’opposant au développement d’outils d’intelligence artificielle au profit du Pentagone. Comment analysez-vous le rôle des salariés dans les débats sur le développement de tels systèmes d’armes, surtout au sein d’entreprises privés, qui investissent fortement dans le domaine de l’intelligence artificielle. Vous avez-vous-même relevé que les GAFAM étaient à la pointe des avancées en la matière.

M. Fabien Gouttefarde, co-rapporteur. En réponse à Jean-Jacques Ferrara, deux autres types d’enceintes pourraient accueillir le débat sur les SALA, qui se tient depuis 2013 au sein de la CCAC, à l’initiative de la France. D’abord, comme vous l’avez cité, le Comité des droits de l’homme. Je rappelle à ce titre que M. Christof Heyns, membre de ce comité et rapporteur spécial sur les exécutions extrajudiciaires, sommaires ou arbitraires, s’est prononcé en faveur d’un moratoire sur les SALA. Dans ce contexte, certains pays souhaiteraient que le débat sur les SALA soit déporté vers cette enceinte, qui serait moins favorable au maintien de la recherche et, in fine, à la position française. Le principal risque serait d’exclure des discussions les puissances les moins favorables à la fixation d’un cadre contraignant, comme les États-Unis, la Chine ou la Russie. Ensuite, l’alternative serait la création d’une enceinte ad hoc, comme ce fut le cas pour le Traité d’interdiction des armes nucléaires (TIAN) ou des Conventions d’Ottawa ou d’Oslo. Les membres de la campagne « to stop killer robots » promeuvent une telle solution, avec le soutien de certains États, qui conduirait de facto à ne pas inclure dans les discussions les grandes puissances militaires que j’évoquais à l’instant.

M. Claude de Ganay, co-rapporteur. Merci à Christophe Lejeune d’avoir rejoint l’une de nos préoccupations, à savoir l’inclusion d’une réflexion d’ordre quasi philosophique et culturel. En effet, nos travaux ont confirmé que l’exigence du maintien de l’homme au cœur de la conduite de la guerre relève d’une conception très occidentale de l’affrontement, que l’on retrouve du reste chez Clausewitz avec la description de la guerre comme d’un affrontement de volontés. Nous n’avons pas vraiment abordé la question satellitaire, sans doute faute de temps en raison de la crise sanitaire. Nous n’avons ainsi pas pu nous rendre en Israël, pourtant très en avance. Les liaisons satellitaires constituent déjà un enjeu de première importance, ne serait-ce que pour le Rafale. Je ne vois qu’une seule solution, Madame la présidente : confier un deuxième rapport aux mêmes rapporteurs pour aller plus loin ! (Sourires.)

M. Fabien Gouttefarde, co-rapporteur. Enfin, Madame Morlighem, nous avons évidemment suivi le mouvement de fronde d’une partie des salariés des GAFAMI qui refusaient de travailler pour l’industrie de défense et de voir les données des applications sur lesquelles ils travaillaient transmises au Pentagone. Le projet Maven avait notamment cristallisé l’attention. Je répondrai à votre question de deux manières. Tout d’abord, à ce stade, les entreprises françaises ne sont pas très inquiètes car elles travaillent sur deux segments de données différents : les données civiles et les données militaires qui pourraient servir aux SALA. De manière concrète, les milliers de données récoltées par un pod de Rafale restent au sein de la communauté de défense et sont déconnectées des questions civiles. Il convient donc de traiter et d’exploiter ces données, dans l’objectif de rendre l’intelligence artificielle toujours plus robuste, fiable et explicable. Pour autant, il est vrai que dans le cadre de nos auditions, certains de nos interlocuteurs nous ont confirmé que chez Google ou autre, une partie des salariés refusaient de travailler au bénéfice de la défense, ce qui n’est pas sans poser de sérieuses difficultés. Il est donc indispensable de sans cesse expliquer la finalité des recherches conduites.

M. Claude de Ganay, co-rapporteur. Chers collègues, merci de votre attention et comme j’ai le sentiment que vous avez apprécié notre rapport, je n’ai guère de doute quant à votre assentiment pour cosigner la proposition de résolution que nous vous ferons parvenir dans les prochains jours !

Mme la présidente Françoise Dumas. Il nous revient maintenant de voter pour autoriser la publication de l’intégralité de votre texte.

La commission de la Défense nationale et des forces armées autorise à l’unanimité le dépôt du rapport d’information sur les systèmes d’armes létaux autonomes en vue de sa publication.

([1]) Olivier Becht et Thomas Gassilloud. Rapport d’information n°996 sur les enjeux de la numérisation des armées (30 mai 2018).

([2]) Walt Truszkowski et al. Autonomous and Autonomic Systems, with Applications to NASA Intelligent Spacecraft Operations and Exploration Systems (juillet 2009).

([3]) Catherine Teissier. « Autonomie des robots : enjeux et perspectives ». Drones et killer robots : faut-il les interdire ? (juin 2015).

([4]) Thierry Berthier. Systèmes armés semi-autonomes : que peut apporter l’autonomie ? Revue de la défense nationale (mai 2019).

([5]) Ces deux systèmes sont présentés plus en détail en troisième partie du rapport.

([6]) Comité international de la Croix Rouge. Rapport de la 31ème Conférence internationale de la Croix Rouge et du Croissant Rouge (2011).

([7]) Discours de Florence Parly, ministre des Armées, sur l’intelligence artificielle de défense, prononcé à Saclay le 5 avril 2019.

([8]) Patrick Bezombes. « Autonomie et respect de la Règle pour les robots militaires. Considérations sémantiques et point de vue de la doctrine interarmées ». Revue de la défense nationale (décembre 2018).

([9]) Système de défense aérienne mobile israélien, développé par la société Rafael Advanced Defense Systems, conçu pour intercepter des roquettes et obus de courte portée, et destiné à protéger le ciel de Tel Aviv.

([10]) Système de défense anti-missile antinavire conçu et fabriqué par General Dynamics, aujourd’hui produit par Raytheon, équipant la plupart des bâtiments de la marine américaine depuis les années 1980.

([11]) Frédéric Gallois. « Autonomie et létalité en robotique militaire ». Revue de la défense nationale (décembre 2018).

([12]) Discours du président Jacques Chirac sur la professionnalisation des armées, prononcé le 22 février 1996.

([13]) Jean-Christophe Noël. «Intelligence artificielle: vers une nouvelle révolution militaire ?». Ifri, (octobre 2018).

([14]) Dominique Lambert. « Ethique et autonomie : la place irréductible de l’humain ». Revue de la défense nationale (mai 2019).

([15]) Christof Heyns. Human Rights and the use of Autonomous Weapons Systems (AWS) (mai 2016). Traduction : « Death by algorithm means that people are treated simply as targets and not as complete and unique human beings, who may, by virtue of that status, meet a different fate. They are placed in a position where an appeal to the humanity of the person on the other side is not possible ».

([16]) Jean-Christophe Noël. «Intelligence artificielle: vers une nouvelle révolution militaire ?». Ifri, (octobre 2018).

([17]) Julien Ancelin. « Les systèmes d’armes létaux autonomes (SALA) : Enjeux juridiques de l’émergence d’un moyen de combat déshumanisé ». La Revue des droits de l’homme (25 octobre 2016).

([18]) Comité international de la Croix Rouge. Ethics and autonomous weapon systems : An ethical basis for human control ? (avril 2018).

([19]) Dominique Lambert. « Ethique et autonomie : la place irréductible de l’humain ». Revue de la défense nationale (mai 2019).

([20]) Jean-Christophe Noël. «Intelligence artificielle: vers une nouvelle révolution militaire ?». Ifri, (octobre 2018).

([21]) Hubert Faes. « Une éthique pour les robots tueurs ? ». Revue d’éthique et de théologie morale (2016).

([22]) Dominique Lambert. « Ethique et autonomie : la place irréductible de l’humain ». Revue de la défense nationale (mai 2019).

([23]) Protocole additionnel aux Conventions de Genève du 12 août 1949 relatif à la protection des victimes des conflits armés internationaux (Protocole I) (8 juin 1977).

([24]) Julien Fernandez. « Les systèmes d’armes létaux autonomes : en avoir (peur) ou pas ? ». Revue de la défense nationale (juin 2016).

([25]) Almodis Peyre. « Les systèmes d’armes létaux autonomes face au droit international, une illicéité déjà constatée ? ». Journal du Centre de Droit International (2018).

([26]) Dominique Lambert. « Ethique et autonomie : la place irréductible de l’humain ». Revue de la défense nationale (mai 2019).

([27]) Comité international de la Croix Rouge. Rapport de la 33ème Conférence internationale de la Croix Rouge et du Croissant Rouge (2019).

([28]) Rapport du Groupe d’experts gouvernementaux sur les systèmes d’armes létaux autonomes sur sa session de 2017.

([29])Mission permanente de la France auprès de la Conférence du désarmement.

([30]) GAFAM est un acronyme désignant Google, Apple, Facebook, Amazon et Microsoft.

([31]) Représentation permanente de la France auprès de la Conférence du désarmement.

([32]) Livre blanc de la Commission européenne sur l’intelligence artificielle (19 février 2020).

([33]) Voir l’interview du général Allen.

([35]) BATX est un acronyme désignant Baidu, Alibaba, Tencent et Xiaomi.