N° 3248

______

ASSEMBLÉE   NATIONALE

CONSTITUTION DU 4 OCTOBRE 1958

QUINZIÈME LÉGISLATURE

 

Enregistré à la Présidence de l’Assemblée nationale le 22 juillet 2020.

RAPPORT DINFORMATION

DÉPOSÉ

en application de larticle 145 du Règlement

PAR LA COMMISSION DE LA DÉFENSE NATIONALE ET DES FORCES ARMÉES

en conclusion des travaux d’une mission d’information (1)

sur les systèmes darmes létaux autonomes

ET PRÉSENTÉ PAR

MM. Claude DE GANAY et Fabien GOUTTEFARDE,

Députés.

——

 

(1)   La composition de cette mission figure au verso de la présente page.

____


La mission dinformation sur les systèmes darmes létaux autonomes est composée de :

 

- MM. Claude de Ganay et Fabien Gouttefarde, rapporteurs ;

- MM. André Chassaigne, Yannick Favennec-Bécot, Jean-Jacques Ferrara, Mme Séverine Gipson, MM. Bastien Lachaud, Philippe Michel-Kleisbauer, Joaquim Pueyo, Joachim Son-Forget et Stéphane Trompille, membres.

 


  1  

SOMMAIRE

___

Pages

introduction

I. Comprendre le débat sur les systèmes darmes létaux autonomes : Distinguer le mythe de la réalité

A. leS SALA : stade ultime de lautonomisation des systèmes darmes

1. Les SALA font lobjet dun débat sémantique autour de la notion dautonomie

2. La recherche de lautonomie des systèmes darmes nest pas nouvelle

3. Lautonomie doit être appréhendée comme un continuum

4. Les progrès technologiques laissent entrevoir lémergence de systèmes de plus en plus autonomes

B. Malgré les incertitudes, le développement de systèmes darmes létaux DE PLUS EN PLUS AUTONOMES ne fait guère de doute

1. Terminator sur le champ de bataille : le fantasme dun robot tueur

a. Limage dun robot humanoïde hors de contrôle, à lorigine de peurs peu rationnelles

b. Au-delà de lautonomie, la crainte dune déshumanisation du champ de bataille, confortée par les postures de certaines grandes puissances

2. À ce jour, les SALA nexistent pas

a. Les systèmes darmes létaux automatisés existent depuis longtemps

b. Les systèmes présentés comme autonomes le sont rarement pleinement

3. Pour les forces, un système darmes létal pleinement autonome ne présente aucun intérêt opérationnel

a. Le développement de lintelligence artificielle est envisagé comme une aide au soldat humain

b. « Ni Rambo, ni Terminator » : tout système darmes létal doit sintégrer dans une chaîne de commandement dont le respect est consubstantiel aux armées

4. Le débat sur les SALA sinscrit néanmoins dans le cadre plus large du renforcement de lautonomie, même partielle, des systèmes darmes

a. Des systèmes darmes létaux plus autonomes verront sans conteste le jour dans un avenir proche

i. Lapparition progressive de systèmes toujours plus autonomes

ii. Le développement de lautonomie variera selon les milieux

b. Le débat sur les SALA doit donc être abordé de manière prospective

II. Les enjeux éthiques et juridiques : LES SALA au cœur de discussions internationales sur la régulation des systèmes darmes

A. Laccroissement de lautonomie de systèmes darmes létaux Saccompagne de questionnements éthiques et juridiques

1. Lautonomisation des systèmes darmes interroge le rapport à la guerre

a. Le combat entre lhomme et la machine : un non-sens moral ?

i. Du point de vue de la morale

ii. Du point de vue de la dignité

b. Les questionnements éthiques non résolus

i. Leffet « boîte noire » : comprendre le fonctionnement de lintelligence artificielle

ii. La place de lhumain dans un contexte de déshumanisation

2. Lautonomisation des systèmes darmes face au droit des conflits armés

a. Lapplication du droit international humanitaire, enjeu de premier ordre

i. Le droit international humanitaire vise à protéger les victimes de la guerre

ii. Le droit international humanitaire repose sur cinq principes cardinaux

iii. Les SALA remettent en cause lapplicabilité des principes du droit international humanitaire

b. Lengagement de la responsabilité pénale internationale pour des violations du droit international humanitaire imputables aux SALA pourrait susciter des difficultés

i. En théorie, certains instruments traditionnels pourraient être invoqués afin dengager la responsabilité des SALA

ii. Lapplication pratique des instruments traditionnels resterait toutefois complexe

c. En matière de droit de la maîtrise des armements, aucune règle spécifique aux SALA na été définie

i. Le droit de la maîtrise des armements vise à interdire, limiter ou réglementer lemploi de certaines armes et munitions

ii. À ce jour, les SALA ne sont pas encadrés par des règles spécifiques du droit de la maîtrise des armements

B. La convention sur certaines armes classiques : cadre international de négociations sur les SALA

1. La Convention sur certaines armes classiques, enceinte historique de maîtrise des armements au regard du droit international humanitaire

a. La régulation des systèmes darmes : raison dêtre de la Convention sur certaines armes classiques

b. Une enceinte regroupant lensemble des parties prenantes

i. 121 États parties à la Convention

ii. La participation de la société civile

2. Depuis 2013, les discussions sur les SALA avancent dans un sens considéré favorablement par la France

a. La France, puissance motrice des discussions

b. La progressive formalisation des négociations au travers dun groupe dexperts gouvernementaux

i. 2013-2017 : des discussions informelles

ii. Depuis 2017 : la formalisation des travaux au sein du Groupe dexperts gouvernementaux

c. Ladoption de onze principes directeurs, un pas décisif franchi à linitiative de la France

C. Conforter la Convention sur certaines armes classiques comme lieu de discussion

1. Lavenir en pointillé des négociations internationales

a. Les faiblesses du processus actuel

i. Un sujet technique

ii. Des définitions instrumentalisées

b. Des parties prenantes désunies

i. La pression de la société civile

ii. Des positions nationales divergentes

c. La tentation dun processus ad hoc

i. Les expériences passées

ii. Les motivations en matière de SALA

2. La poursuite des négociations multilatérales, seule voie souhaitable

a. Les risques en cas déchec des négociations au sein de la Convention sur certaines armes classiques

i. Un accord sans grandes puissances militaires

ii. Un arrêt des discussions

b. Un engagement international semble à portée de main

i. Le couple franco-allemand joue un rôle moteur

ii. Un engagement politique assorti dun examen régulier des développements technologiques est envisageable

III. Le débat sur les SALA ne doit pas parasiter les efforts entrepris dans le domaine de lautonomie des systèmes darmes, au risque dun déclassement technologique, industriel et stratégique

A. LAutonomie porte en elle un changement de paradigme qui explique quelle fasse lobjet dune compétition internationale marquée

1. Lautonomie des systèmes darmes rebat les cartes des équilibres stratégiques

2. Lautonomie des systèmes darmes se trouve au cœur dune nouvelle course aux armements

a. Les États-Unis, leader quasi incontesté

b. Linexorable montée en puissance de la Chine

c. La Russie, un acteur pionnier sur le terrain

d. Derrière ce trio de tête, un cercle dÉtats dynamiques

B. La France a adopté une stratégie ambitieuse, qui doit être confortée.

1. La France nest pas dépourvue datouts sur la scène internationale

2. « Lintelligence artificielle au service de la défense », une stratégie ambitieuse

3. Des pistes pour aller plus loin

a. Le pilotage de la recherche, sa stimulation et sa valorisation

b. Laccompagnement industriel des pépites nationales du secteur de la robotique

c. La veille stratégique

C. La nécessité de franchir le palier européen

1. Pour lheure lEurope avance en ordre dispersé

2. Les modalités de fonctionnement du Fonds européen de défense mériteraient dêtre précisées

Conclusion : Quel chemin suivre ?

proposition de résolution DES RAPPORTEURS

TRAVAUX DE LA commission

annexes

annexe 1 :

contribution de m. Bastien LACHAUD, DÉPUTÉ,

MEMBRE DE la mission dINFORMATION

annexe 2 :

auditions et dÉplacements de la mission dINFORMATION

1. Liste des personnes auditionnées par les co-rapporteurs

2. Déplacements


—  1  —

 


—  1  —

« Cette mission est trop importante pour moi,

je ne puis tolérer que vous la mettiez en péril. »

L’intelligence artificielle Hal 9000 à Dave, son commandant humain,

2001, lOdyssée de lespace

Stanley Kubrick, 1968.

 

-

« Cest une terrible loi du genre : on ne « neutralisera »

pas plus lemploi de lIA dans les applications militaires

que lon a « désinventé » la bombe atomique après Hiroshima,

ni jadis les carreaux darbalète, pourtant interdits en 1139 par le deuxième concile du Latran. Seules les armes se dépassent entre elles » 

M. Louis Gautier,

ancien secrétaire général de la défense et de la sécurité nationale.

   introduction

« Jai réfléchi à notre problème, Greg. Dave possède un curieux arrière-plan psychologique pour un robot. Il exerce une autorité absolue sur les six subsidiaires qui dépendent de lui. Il possède sur eux le droit de vie et de mort et cela doit influer sur sa mentalité. Imaginez quil estime nécessaire de donner plus déclat à son pouvoir pour satisfaire son orgueil.

- Précisez votre pensée.

- Supposez quil soit pris dune crise de militarisme. Supposez quil soit en train de former une armée. Supposez quil les entraîne à des manœuvres militaires. Supposez...

- Supposons que vous alliez vous mettre la tête sous le robinet. Vous devez avoir des cauchemars en technicolor. Vous postulez une aberration majeure du cerveau positronique. Si votre analyse était correcte, Dave devrait enfreindre la Première Loi de la Robotique ; un robot ne peut nuire à un être humain ni laisser cet être humain exposé au danger. Le type dattitude militariste et dominatrice que vous lui imputez doit avoir comme corollaire logique la suprématie sur les humains.

- Soit. Comment pouvez-vous savoir que ce nest pas de cela justement quil sagit ?

- Parce quun robot doté dun tel cerveau, primo, naurait jamais quitté lusine, et, secundo, aurait été repéré immédiatement, dans le cas contraire. Jai testé Dave, vous savez ».

Les fantasmes suscités par l’émergence et le règne des robots tueurs ne sont pas nouveaux, comme en témoigne cet extrait de Les Robots, recueil de nouvelles d’Isaac Asimov publié en 1950. La science-fiction met depuis longtemps en scène des figures de robots tueurs, et il n’est pas anodin que l’Agence de l’innovation de défense (AID) vienne de constituer une Red Team, composée d’auteurs de science-fiction, afin d’imaginer des scénarios disruptifs et de préparer les forces armées à l’émergence de nouvelles technologies.

Entre immortalité, transhumanisme et scénarios apocalyptiques de fin du monde, l’intelligence artificielle fait aujourd’hui l’objet d’espoirs, de craintes et de fantasmes en tous genres. Après les deux « hivers » des années 1970 et 1990, les performances de l’intelligence artificielle s’étant révélées décevantes, la discipline est en plein renouveau depuis le début de la décennie. La progression des algorithmes d’apprentissage automatique ainsi que l’accroissement des quantités de données disponibles, des capacités de stockage et des puissances de calcul sont autant de progrès techniques qui ont suscité un certain regain d’intérêt des scientifiques et des pouvoirs publics pour une matière apparue dès le milieu des années 1950.

La défense est l’un des multiples domaines d’application de l’intelligence artificielle. Il s’agit même de l’un des quatre domaines prioritaires identifiés par le rapport visant à « Donner un sens à l’intelligence artificielle » de notre collègue M. Cédric Villani, député de l’Essonne et lauréat de la médaille Fields, aux côtés des transports, de la santé et de l’environnement. Dans cette perspective, le ministère des Armées a initié une réflexion dans le cadre de la « Task Force IA », constituée en avril 2019, qui a abouti en septembre 2019 à la publication d’une stratégie nationale intitulée « Lintelligence artificielle au service de la défense ». Cette initiative est à replacer dans un contexte mondial que d’aucuns qualifient de nouvelle course aux armements : les États-Unis, la Chine et la Russie ne cachent plus leurs ambitions en matière d’intelligence artificielle de défense, devenue un nouveau front d’affrontement entre grandes puissances.

Technologie à fort potentiel, l’intelligence artificielle fait naître des peurs, parfois irrationnelles, fondées sur la crainte de l’exercice des fonctions létales par la machine. Souvent caricaturée par la figure de Terminator, l’intelligence artificielle de défense cristallise les fantasmes autour de la notion de « robot tueur ». Si la question des systèmes d’armes létaux autonomes (SALA) ne peut être déconnectée de celle de l’intelligence artificielle, c’est bien sur cette première question que porte le présent rapport.

Créée en novembre 2019, la présente mission d’information a ainsi vocation à étudier de manière spécifique les enjeux posés par les SALA, souvent présentés sous la seule forme d’un robot tueur humanoïde, et de compléter ainsi les travaux déjà menés par la commission de la Défense nationale et des forces armées sur la numérisation des armées ([1]).

Au terme de leurs auditions, les rapporteurs estiment que malgré les craintes exprimées ici ou là, les SALA, dès lors qu’ils sont entendus comme des systèmes d’armes létaux pleinement autonomes, ne revêtent pour l’heure aucun intérêt pour les forces. Nulle armée au monde ne souhaite compter dans ses rangs « Rambo ou Terminator ». Pour autant, l’intelligence artificielle, composante clef de l’autonomie, constitue bien, quant à elle, un « virage technologique » que la France ne saurait manquer, au risque d’accuser le même retard stratégique et opérationnel que celui qu’elle a connu, par le passé, s’agissant des drones aériens.

L’enjeu du présent rapport consiste donc à aborder la question des SALA de manière objective, en faisant d’abord œuvre de pédagogie pour distinguer le mythe de la réalité. D’autre part, il s’agit aussi pour les rapporteurs de veiller à ce que le débat sur les SALA, quoique légitime au regard des défis posés par l’essor de l’autonomie dans les systèmes d’armes létaux, ne parasite pas les efforts consentis en matière d’intelligence artificielle de défense en général.

La première partie du rapport est consacrée à l’objet même des SALA. Le débat autour des SALA résulte pour l’essentiel d’une confusion entre l’autonomie et l’automatisation, c’est-à-dire une action programmée à l’avance. L’autonomie, du grec autos et nomos qui signifient respectivement « soi-même » et « règle », désignerait ainsi la capacité, pour un système, de s’assigner sa propre mission. Au cours des auditions, les rapporteurs se sont vus tout à la fois indiquer que les SALA existaient déjà, qu’ils n’existaient pas et ne pourraient pas exister, eu égard à l’état actuel des connaissances techniques, ou encore qu’ils n’existaient pas mais pourraient voir le jour à moyen terme. À l’issue des auditions, les rapporteurs partagent ce dernier point de vue, et c’est précisément la perspective de l’irruption prochaine de systèmes de plus en plus autonomes qui irrigue le présent rapport.

La deuxième partie porte sur les enjeux éthiques et juridiques soulevés par l’essor de l’autonomie des systèmes d’armes et l’éventuel développement des SALA, et ce faisant, sur leur encadrement international dans une logique de maîtrise des armements. L’emploi de SALA sur le champ de bataille pourrait bouleverser la nature des conflits armés et radicalement modifier les rapports de l’homme à la guerre. Sans remettre en cause la pertinence des principes du droit international humanitaire (DIH), qui fait l’objet d’un consensus parmi les États, l’emploi de SALA compliquerait leur respect. La France se distingue par ses contributions au débat en défendant une position que les rapporteurs jugent « réaliste », préférant un encadrement effectif et efficace à une interdiction préventive, qui serait vaine au regard de l’inexistence des SALA.

La troisième partie, enfin, souligne la nécessité pour la France de ne pas laisser le débat sur les SALA parasiter ses efforts dans le domaine de l’intelligence artificielle de défense. En effet, en l’absence de définition rigoureuse des SALA et d’un encadrement international au juste niveau, c’est le développement de l’intelligence artificielle en général qui peut être remis en cause. Par ailleurs, les grandes puissances militaires se sont lancées dans une nouvelle course aux armements, faisant courir à la France et à l’Europe le risque d’un déclassement stratégique, technologique et industriel. Dans ce contexte, la France n’est pas démunie et dispose d’atouts indéniables, d’autant qu’elle a établi une stratégie ambitieuse en matière d’intelligence artificielle de défense ; il s’agit désormais de conforter les actions entreprises par le développement de synergies à l’échelle européenne. Sans faire de concession sur ses exigences éthiques, la France a les capacités d’incarner une voie originale, fidèle à ses valeurs.

Durant près de sept mois, vos rapporteurs ont mené une trentaine d’auditions, se sont rendus à Bruxelles et à Washington et ont poursuivi leurs travaux à distance, malgré les mesures de confinement prises pour juguler la crise sanitaire. Ils ont ainsi rencontré les principaux acteurs institutionnels français et internationaux engagés dans le cadre des négociations internationales sur les SALA et ont eu à cœur de traduire la diversité et la multiplicité des enjeux associés aux SALA ; c’est pourquoi, ils ont également tenu à rencontrer des chercheurs en sciences humaines et en robotique, des opérationnels, des juristes, des philosophes, des ingénieurs et des représentants de la société civile. Lors de ces auditions, les rapporteurs ont pu entendre les divers arguments des parties prenantes au débat et identifier en conséquence les principaux points d’attention.

Au terme de ce travail, ils se proposent d’identifier quelques pistes pour appréhender avec sérénité le débat sur les armes létales autonomes, dans le respect du DIH et des principes éthiques avec lesquels la France ne saurait transiger.


I.   Comprendre le débat sur les systèmes d’armes létaux autonomes : Distinguer le mythe de la réalité

Les SALA sont source de fantasmes, cristallisés autour de l’image du « robot tueur », médiatique et symbolique de l’exclusion de l’homme du champ de bataille au profit de machines plus ou moins humanoïdes, plus ou moins autonomes, plus ou moins armées, mais toujours dangereuses et susceptibles d’échapper au contrôle humain et de se retourner, in fine, contre leurs concepteurs. Les craintes exprimées à l’encontre des robots tueurs, pour partie légitimes, se nourrissent également de la science-fiction, de la culture populaire et des réminiscences de mythologies anciennes ancrées dans nos imaginaires collectifs : de la figure du Golem à HAL 9000, le supercalculateur de 2001 ou l’Odyssée de lespace au robot T-800, plus connu sous le nom de « Terminator ».

Cet imaginaire contribue à entretenir la confusion autour de la définition des SALA, alors même qu’il s’agit d’un objet complexe à définir. Ainsi que l’a relevé M. Jean-Baptiste Jeangène Vilmer, directeur de l’Institut de recherche stratégique de l’école militaire (IRSEM), lors de son audition par les rapporteurs, « lune des principales difficultés dans le débat sur les SALA tient au défi terminologique que représente leur définition ».

C’est pourquoi, avant de s’intéresser aux défis soulevés par le développement et l’éventuel emploi de tels systèmes, les rapporteurs ont d’abord souhaité apporter des éléments de réponse à une question relativement simple en apparence, à savoir : « quest-ce quun SALA ? ».

A.   leS SALA : stade ultime de l’autonomisation des systèmes d’armes

1.   Les SALA font l’objet d’un débat sémantique autour de la notion d’autonomie

Le terme de « robot tueur » est sensationnaliste. Toutefois, son emploi et sa popularité révèlent, en creux, le fait qu’en l’état actuel des choses, aucune définition des SALA ne fasse autorité, ni ne soit universellement partagée. En effet, force est de constater que plusieurs définitions coexistent, et que la confusion sémantique qui prévaut nuit à une approche rationnelle du débat.

De manière schématique, les rapporteurs ont été amenés, à l’issue de leurs travaux, à distinguer deux grands types de définitions :

– d’une part, les définitions extensives, regroupant sous l’acronyme « SALA » l’ensemble des systèmes d’armes robotisés dotés d’une capacité létale, quel que soit leur niveau d’autonomie. Ces définitions conduisent à inclure sous la dénomination de SALA tant des systèmes téléopérés, tels les drones aériens employés par les forces françaises au Sahel, que des systèmes automatiques ou automatisés, employés par les forces depuis des décennies. Ce type de définition a les faveurs de la plupart des acteurs de la société civile, et notamment des organisations non gouvernementales regroupées sous la bannière de la campagne « Stop Killer Robots » ;

– d’autre part, une définition plus restrictive, centrée sur la notion d’autonomie, entendue comme la capacité pour un robot de se fixer ses propres règles et de fonctionner indépendamment d’un autre agent, qu’il s’agisse d’un être humain ou d’une autre machine ([2]). Une telle définition a les faveurs des grandes puissances militaires, dont la France.

Dans ce contexte, les rapporteurs ont fait leur, la définition exposée par M. Jean-Baptiste Jeangène Vilmer, présentée comme communément admise sur la scène internationale, et selon laquelle les SALA sont des systèmes darmes capables de choisir et dengager seuls une cible, sans intervention humaine, dans un environnement changeant.

2.   La recherche de l’autonomie des systèmes d’armes n’est pas nouvelle

La recherche d’une plus grande autonomie des systèmes d’armes n’est pas nouvelle, ce qui a pu participer à une certaine confusion entre systèmes autonomes et systèmes automatisés. Du reste, certains systèmes purement automatiques pourraient être considérés comme autonomes, à l’instar des mines ou d’autres systèmes de piégeage – une fois posée, une mine se déclenche seule – ou d’une large gamme de systèmes de protection terrestre existants.

Il est également éclairant de relever que le programme de frappe dans la profondeur SCALP EG/Storm Shadow, initié dans les années 1990, avait vocation à produire un « Système de croisière conventionnel autonome à longue portée ». Il s’agit pourtant d’un missile relativement classique, qui combine une portée élevée, de l’ordre de 400 kilomètres, assurant la sécurité de la plateforme de lancement, avec une certaine furtivité permettant de rester inaperçu des défenses adverses. Le SCALP EG/Storm Shadow équipe les Tornado et les Eurofighter Typhoon de la Royal Air Force ainsi que les Mirage 2000 et les Rafale de l’armée de l’air et de la marine françaises. Système d’armes de grande précision, il n’est en rien pleinement autonome, mais répond à un fonctionnement automatisé.

3.   L’autonomie doit être appréhendée comme un continuum

La focalisation des débats autour de la notion d’autonomie s’explique par le fait qu’elle est susceptible d’être abordée de manière évolutive et que, pour se positionner dans le débat sur les SALA, les parties prenantes peuvent se fonder sur différents niveaux d’autonomie.

Auditionné par les rapporteurs, M. Thierry Berthier, chercheur associé au centre de recherche des écoles de Saint-Cyr (CREC), a défini six niveaux d’automatisation applicables aux systèmes d’armes :

– L0 : système armé pleinement téléopéré ;

– L1 : système armé dupliquant automatiquement l’action de l’opérateur ;

– L2 : système armé semi-autonome en déplacement et en détection de cibles ;

– L3 : système armé autonome soumis à autorisation de tir ;

– L4 : système armé autonome sous tutelle humaine ;

– L5 : système armé autonome sans tutelle humaine.

De la même manière, M. Gérard de Boisboissel, secrétaire général de la chaire de cyberdéfense et de cybersécurité des écoles de Saint-Cyr, propose une distinction entre systèmes d’armes létaux semi-autonomes (SALSA) et systèmes d’armes létaux autonomes (SALA), soulignant de fait l’existence d’une graduation de l’autonomie. Selon ce schéma, les systèmes de niveaux L2, L3 et L4 proposés par M. Thierry Berthier seraient différentes formes, plus ou moins poussées, de SALSA, tandis qu’un SALA correspondrait au seul niveau L5, c’est-à-dire un système sans tutelle humaine.

Une telle typologie s’avère plus précise que celle reposant sur la « place de l’homme dans la boucle », sous-entendu de décision, et qui distingue les systèmes dits « man in the loop » (drones téléopérés), des systèmes « man on the loop » (missiles supervisés mais dotés d’une certaine autonomie, à l’instar des SCALP capables d’aller s’écraser dans une zone pré-définie s’ils n’atteignent pas la cible initialement définie) et des systèmes « man out of the loop » (un « vrai » SALA en théorie).

Quoi qu’il en soit, ainsi que l’a souligné M. Jean-Baptiste Jeangène Vilmer lors de son audition, « lautonomie nest pas un escalier à trois marches, mais un continuum ». La notion de continuum permet en effet d’aborder l’autonomie de manière plus précise. Dans un article paru en 2015 sur l’autonomie des robots, Mme Catherine Teissier définit le continuum comme « allant de situations où lhomme prend toutes les décisions jusquaux situations où un grand nombre de fonctions sont déléguées au robot, lhomme conservant le plus souvent la possibilité dintervenir » ([3]).

L’existence de différents stades d’autonomie explique pourquoi, dans le cadre du débat sur les SALA, certaines parties prenantes retiennent une définition large de l’autonomie, incluant des systèmes placés sous la supervision d’un opérateur humain.

Pour remédier à ces difficultés, chercheurs et personnels du ministère des Armées préconisent d’aborder la question de l’autonomie sous l’angle des différents modules fonctionnels qui composent les systèmes d’armes, considérant que le développement de leur autonomie générale se fait par paliers fonctionnels. Devant les rapporteurs, le colonel Pierre Quéant, chef de la cellule de l’innovation et de la transformation numérique de l’état-major de l’armée de l’air, a précisément invité à découper la notion d’autonomie en grandes fonctions afin d’affiner la lecture des différents stades de l’autonomie.

Une telle position s’inscrit d’ailleurs tout à fait dans la doctrine française, qui invite en effet à caractériser les systèmes d’armes en fonction du degré d’automatisation, entendue comme la simple programmation de machines, et d’autonomisation de chacune de leurs fonctions (navigation, observation, analyse de la situation, pointage des armements, aide à la décision de tir, décision de tir...). Le concept exploratoire interarmées portant sur « l’emploi de l’intelligence artificielle et des systèmes automatisés » invite même à éviter le recours à l’expression de « système autonome », au motif qu’elle serait source de confusion. Enfin, pour le Centre interarmées de concepts, de doctrines et d’expérimentations (CICDE), dont les rapporteurs ont reçu les responsables, il serait plus juste de parler de systèmes automatisés semi-autonomes et de systèmes automatisés pleinement autonomes.

Les six niveaux d’automatisation des systèmes armés

 

 

Niveaux dautomatisation du système

 

L0

Système armé pleinement téléopéré

 

L1

Système armé dupliquant automatique-ment laction de lopérateur

 

L2

Système semi-autonome en déplacement et en détection de cibles

 

L3

Système armé autonome soumis à autorisation de tir

 

L4

Système armé autonome sous tutelle humaine

 

L5

Système armé sans tutelle humaine

 

Opérateur humain associé au système

L’opérateur humain téléopère à distance le système à l’aide d’une interface de pilotage déportée

L’opérateur humain est augmenté par un système qui l’assiste en dupliquant automatique-ment ses actions

L’opérateur humain supervise le système en lui fournissant un plan de route et des indications de cibles

L’opérateur humain n’intervient que pour donner l’autorisa-tion d’ouvrir le feu sur une cible proposée par le système

L’opérateur humain peut désactiver et reprendre le contrôle du système pleinement autonome

L’opérateur humain n’a pas la possibilité de reprendre le contrôle du système pleinement autonome

 

 

 

 

Composante mobile-traction du système

Les déplacements du système sont strictement téléopérés par l’opérateur humain

La composante de traction peut suivre et reproduire les déplacements du superviseur humain via ses capteurs

Le système choisit le meilleur chemin en fonction des indications de localisation fournies par l’opérateur

Les déplacements sont décidés par le système en fonction de sa perception du terrain et de ses objectifs de mission

Les déplace-ments sont décidés par le système en fonction de sa perception du terrain et de ses objectifs de mission

Les déplace-ments sont décidés par le système en fonction de sa perception du terrain et de ses objectifs de mission

 

Composante de détection du système

Les détecteurs du système renvoient des informations à l’opérateur

Les capteurs du système détectent les objets que l’opérateur a détecté

Les capteurs du système détectent automatique-ment les objets cibles potentielles

Les capteurs détectent et reconnais-sent les objets de manière autonome

Les capteurs détectent et reconnais-sent les objets de manière autonome

Les capteurs détectent et reconnais-sent les objets de manière autonome

 

Composante de reconnaissance et dacquisition de cibles

La reconnais-sance et l’acquisition des cibles sont exclusive-ment réalisées par l’opérateur humain

L’acquisition des cibles est identique à celle de l’opérateur humain via le système de visée son arme connectée à celui du système

Le système suggère des objets comme cibles potentielles à l’opérateur humain qui définit les cibles à prendre en compte

L’acquisi-tion de cibles s’effectue de manière automatique ou dirigée via les capteurs du système et ses capacités de reconnais-sance

L’acquisi-tion de cibles s’effectue de manière automatique via les capteurs du système et ses capacités de reconnais-sance et d’analyse

L’acquisi-tion de cibles s’effectue de manière automatique via les capteurs du système et ses capacités de reconnais-sance et d’analyse

 

Composante armée du système

Les commandes de tirs du système sont exclusive-ment actionnées par l’opérateur humain

Le système ouvre le feu sur une cible si et seulement si l’opérateur ouvre le feu sur cette cible

Le système ouvre le feu sur la cible après autorisation du superviseur humain

Le système propose une cible et ouvre le feu après autorisation du superviseur humain

Le système décide de l’ouverture du feu sur la cible qu’il a sélectionné mais peut être désactivé par son superviseur

Le système décide de l’ouverture du feu sur la cible qu’il a sélectionnée sans possibilité de désactiva-tion

(sauf destruction)

 

Source : Thierry Berthier, « Systèmes armés semi-autonomes : que peut apporter l’autonomie ? ». Revue de la défense nationale (mai 2019).

Aux yeux des rapporteurs, il ne fait guère de doute que seul le niveau L5 de cette grille de lecture correspond aux SALA : un système au sein duquel même la décision de tir est confiée à la machine, et dont l’humain ne peut reprendre le contrôle qu’en procédant à la destruction physique du système.

Si, pour la plupart des spécialistes, la pleine autonomie relève encore de la science-fiction, d’importants progrès ont d’ores et déjà été réalisés aux niveaux inférieurs, jusqu’au niveau L4.

Ainsi que l’a exposé aux rapporteurs M. Thierry Berthier, les trois premiers niveaux correspondent à des technologies globalement bien maîtrisées par l’ensemble des puissances militaires, voire des acteurs non étatiques. En revanche, les niveaux supérieurs se situent, aujourd’hui, à « létat de lart des progrès en intelligence artificielle et en robotique et sappliquent à des démonstrateurs développés dans le cadre de programmes de recherche » ([4]), à l’instar du navire américain Sea Hunter ou du robot terrestre russe Plateforme-M([5]).

4.   Les progrès technologiques laissent entrevoir l’émergence de systèmes de plus en plus autonomes

La question des SALA et, plus largement, celle du renforcement de la place de l’autonomie dans les systèmes d’armes sont intimement liées à la révolution des systèmes d’apprentissage et à leur application aux systèmes d’armes soit, en d’autres termes, à l’essor de l’intelligence artificielle de défense.

L’intelligence artificielle n’est pas un concept nouveau. Elle a connu ses premières heures de gloire en 1956, lorsqu’un collège d’experts en mathématiques réunis sur le campus de l’université américaine de Dartmouth s’est fixé pour objectif d’imiter la cognition humaine avec des machines.

À l’issue des travaux de la commission d’enrichissement de la langue française, le Journal officiel la définit comme un « champ interdisciplinaire théorique et pratique qui a pour objet la compréhension de mécanismes de la cognition et de la réflexion, et leur imitation par un dispositif matériel et logiciel, à des fins dassistance ou de substitution à des activités humaines ». L’application de cette recherche interdisciplinaire à la robotique a permis de développer des systèmes automatisés, capables d’évoluer dans des milieux complexes, au sein desquels ils peuvent faire appel à de « l’auto-apprentissage », qui se distingue de la simple mémorisation, grâce à des algorithmes.

De manière schématique, il est possible d’identifier deux générations de technologies au sein de ce champ de recherche.

Dans un premier temps, les technologies employées sont entièrement programmées. Il s’agit de systèmes-experts, également appelés systèmes-machines, qui ont donné naissance aux armements actuellement utilisés. Cette première génération de l’intelligence artificielle repose sur des technologies informatiques relativement classiques, et des applications modélisées, programmées et complètement prédictives. Par exemple, les missiles de croisière sont programmés en amont et les acteurs opérationnels disposent d’une expertise technique leur permettant de maîtriser ces instruments.

Puis, dans un second temps, les systèmes d’apprentissage, conçus il y a plusieurs décennies, ont connu un renouveau grâce aux progrès réalisés dans les domaines des capacités de calcul, de la transmission, du stockage et du traitement de données (Big data) et des algorithmes fonctionnant à partir de réseaux de neurones profonds.

Si les systèmes d’apprentissage connaissent une pleine révolution, M. Guillaume Prunier, directeur général délégué de l’Institut national de recherche en sciences et technologies du numérique (Inria), a relevé lors de son audition que dans de nombreux domaines, les systèmes-experts restent encore plus performants que l’apprentissage et que, de manière générale, ils s’inscrivent en parfaite complémentarité des systèmes d’apprentissage.

Les progrès réalisés dans le domaine de l’intelligence artificielle permettent aujourd’hui de confier à une machine la réalisation de fonctions dites cognitives, telles la reconnaissance, la classification, l’apprentissage et la décision. L’approfondissement de ces systèmes permettra de franchir les prochains paliers vers l’apparition d’armes totalement autonomes : tout SALA devrait s’appuyer sur les technologies d’apprentissage machine pour s’adapter à des configurations non prévues par sa programmation. Le Comité international de la Croix Rouge (CICR) précise d’ailleurs que le passage d’un système d’armes « automatisé » à un système d’armes « autonome » signifiera deux choses : « une capacité dapprentissage et dadaptation » et une « intelligence artificielle » ([6]).

B.   Malgré les incertitudes, le développement de systèmes d’armes létaux DE PLUS EN PLUS AUTONOMES ne fait guère de doute

1.   Terminator sur le champ de bataille : le fantasme d’un robot tueur

a.   L’image d’un robot humanoïde hors de contrôle, à l’origine de peurs peu rationnelles

Les progrès technologiques accomplis ces dernières années dans le domaine de l’intelligence artificielle ont ravivé les craintes d’une transcription dans la réalité de scénarios jusqu’alors cantonnés à des œuvres littéraires ou cinématographiques de science-fiction. C’est d’ailleurs ce qui a amené la ministre des Armées, Mme Florence Parly, à proclamer que « Terminator ne défilera pas sur les Champs-Élysées » ([7]).

La crainte d’un robot humanoïde trouve son origine dans le concept même d’intelligence artificielle. En effet, l’emploi du mot « intelligence » entretient la confusion autour de l’émergence d’une machine dotée d’une intelligence comparable à l’intelligence humaine, qui serait donc dotée d’une conscience et d’une liberté d’action pleine et entière. Face à ce biais transhumaniste, il convient tout d’abord de procéder à une démythification de l’inclusion de l’autonomie dans les systèmes d’armes.

Comme le souligne l’ingénieur général de larmement Patrick Bezombes, « lassociation du qualificatif “autonome” à des technologies informatiques est à ce jour un contresens, de même que tout programmeur sait bien quune machine ne décide pas et ne fait quexécuter une suite dinstructions informatiques programmées [...]. Nous avons commis collectivement (le monde scientifique, le monde industriel, les médias...) lerreur dun choix sémantique et terminologique portant à la confusion en calquant sur le monde matériel des caractéristiques du monde vivant : apprentissage, intelligence, autonomie... [...] nous devons désormais en assumer les conséquences et gérer les fantasmes que ces choix génèrent, car nous nous retrouvons désormais dans la situation dun enfant à qui on a raconté des histoires de Frankenstein et dont on sétonne quil fasse des cauchemars »([8]). Pour autant, les progrès fulgurants de l’intelligence artificielle produisent aujourd’hui des résultats stupéfiants, à tel point que la nouvelle version du système d’intelligence artificielle spécialisé dans le jeu de go, appelé AlphaGo 2.0, est en mesure d’apprendre les règles du jeu et de battre n’importe quel adversaire, sans avoir été programmé au préalable.

En outre, de telles craintes conduisent à fausser le débat et à concentrer l’attention de la société sur un sujet qui, au fond, ne constitue pas tant une nouveauté au regard des développements plus larges de la numérisation des armées. Devant les rapporteurs, M. David Bertolotti, directeur des affaires stratégiques, de sécurité et du désarmement du ministère de l’Europe et des affaires étrangères, a d’ailleurs relevé que « les craintes exprimées par la société se concentrent ainsi sur lautonomie – façon Terminator – des systèmes darmes, alors même quil est techniquement possible de robotiser massivement les champs de bataille par de la simple programmation ».

b.   Au-delà de l’autonomie, la crainte d’une déshumanisation du champ de bataille, confortée par les postures de certaines grandes puissances

Pour M. David Bertolotti, le grand public ne serait pas tant effrayé par l’automatisation ou l’autonomisation de la guerre que par sa déshumanisation, surtout en Occident. L’image du robot tueur renvoie en effet à un affrontement de machines incontrôlées, alors que l’éthique occidentale de la guerre la réserve à une élite, chevaleresque, respectée car elle peut faire preuve d’humanité et met sa propre vie en jeu lorsqu’elle part au combat. Dans cette perspective, l’affrontement oppose deux adversaires faisant chacun acte de courage, et partageant le même risque : le combat n’est loyal que si chacun d’entre eux peut y perdre la vie. Malgré la massification et la mécanisation des conflits débutées dès avant les guerres industrielles, l’image du soldat comme figure supérieure continue d’irriguer l’imaginaire collectif, notamment depuis la clôture d’une période plutôt antimilitariste ouverte avec les conflits de décolonisation. Le concept même du métier des armes demeure ainsi fortement ancré dans les armées occidentales, et le brutal remplacement des hommes par des robots est jugé par beaucoup comme un pas infranchissable.

Dans ce contexte, la crainte d’une déshumanisation du champ de bataille traduit une méconnaissance manifeste du fonctionnement de l’intelligence artificielle et de son statut au regard de l’intelligence humaine. Lors de son audition, M. Éric Trappier, président du groupement des industries françaises aéronautiques et spatiales (GIFAS), invitait ainsi à « ne pas se tromper de débat », soulignant que si la machine effectue un choix, elle ne le fait qu’au regard d’une grille de tri programmée. Par exemple, les trajectoires des systèmes sont calculées par la machine, qui est simplement nourrie d’algorithmes d’intelligence artificielle pour lui permettre de traiter plus d’informations. Ainsi, pour M. Éric Trappier, « dans les règles qui ont été fixées, la machine ne décide jamais toute seule. Si elle décide seule, cest parce que cest une décision qui résulte de la programmation par lhumain. Il peut toujours y avoir une défaillance mais cela ne correspond pas au fonctionnement normal. Il nest en aucun cas question dun Terminator qui décide de se passer de lhumain ».

Toutefois, cette crainte s’explique aussi par l’expression de positions fortes et, aux yeux des rapporteurs, plutôt inquiétantes, de la part de grandes puissances militaires. C’est ainsi, par exemple, que les États-Unis ou la Russie ont annoncé la mise en service de systèmes d’armes qualifiés « d’autonomes ». Comme l’a rappelé aux rapporteurs M. Thierry Berthier, le général Valeri Guérassimov, chef d’état-major des forces armées de la Fédération de Russie et vice-ministre russe de la Défense a déclaré, dès 2016, que la Russie cherchait à développer des unités de combat robotisées capables d’intervenir sur toutes les zones de crises. Aussi, la Russie a annoncé que des plateformes « autonomes » assureraient la surveillance de ses sites de missiles nucléaires en 2019. L’entreprise russe Kalachnikov a par ailleurs annoncé, le 10 juillet 2017, qu’elle s’engageait dans la production de drones de combat « autonomes », dotés de capacités d’apprentissage par réseaux de neurones, à même de reconnaître des cibles et de prendre des décisions autonomes dont celle de l’engagement.

En réponse à la déclaration de son homologue, le général Mark Milley, chef d’état-major des armées américaines, estimait, en 2017, que les robots autonomes déferleraient sur les champs de bataille beaucoup plus rapidement qu’imaginé, ajoutant que « les systèmes armés autonomes vont changer en profondeur le caractère fondamental de la guerre ». Toutefois, il ne sagit pas de la première incursion américaine dans le domaine de lautonomie des systèmes darmes létaux, un document de larmée de lair américaine ayant évoqué, dès mai 2009, l’éventualité de passer du contrôle direct du système (« man in the loop ») à un mode supervisé (« man on the loop »).

2.   À ce jour, les SALA n’existent pas

a.   Les systèmes darmes létaux automatisés existent depuis longtemps

Le recours à des systèmes d’armes de plus en plus automatisés et capables d’agir en se reconfigurant de manière autonome, est une réalité totalement indépendante des développements de l’intelligence artificielle ou de SALA. Comme l’a rappelé aux rapporteurs M. Gérard de Boisboissel, les automates sont prédictibles et non adaptatifs. Il est donc possible de prévoir le comportement d’un système automatique, car l’exécution de ses algorithmes amène à des comportements prédictibles. Ce faisant, le chef militaire imagine précisément le comportement d’une machine face à une situation donnée. À l’inverse, avec un système semi-autonome, l’effet final demandé est prévisible, mais la façon dont le système va se comporter ne l’est pas, tandis qu’un système autonome agit, lui, seul.

Le SIOP (Single Integrated Operational Plan) stratégique américain des années 1960 et les générations de système d’exploitation navale des informations tactiques (système de combat SENIT) qui ont armé nos bateaux depuis cette même période en sont de bons exemples. Ces derniers, dans leur fonction de défense anti-missiles, peuvent être basculés en mode automatique, et réagissent en une fraction de seconde. Ils réaffectent les armes et les cibles en fonction de l’évolution de la menace et font feu selon des séquences optimisées et recalculées en permanence.

De la même manière, pour M. Emmanuel Chiva, directeur de l’AID, les « systèmes intelligents » existent déjà et sont en cours de développement, comme en témoigne les « remote carriers » du système de combat aérien du futur (SCAF). Ceux-ci pourront réassigner des cibles, avec l’autorisation du pilote.

b.   Les systèmes présentés comme autonomes le sont rarement pleinement

Au cours de leurs travaux, les rapporteurs ont souhaité comprendre si des systèmes actuellement déployés sur les théâtres d’opérations ou considérés comme étant en état de l’être pouvaient s’apparenter à des SALA.

Un certain nombre de systèmes existants sont parfois présentés comme autonomes, à l’instar des plateformes SGR-A1, développées en Corée du Sud par Samsung Tech et déployées de manière opérationnelle sur la frontière entre les deux Corées, ou l’Iron Dome israélien qui protège le ciel de Tel-Aviv ([9]).

En outre, comme la indiqué aux rapporteurs Mme Caroline Brandao, responsable de la diffusion du DIH à la Croix Rouge française, certains acteurs considèrent que des armes autonomes existent déjà. Cest notamment le cas de M. Vincent Boulanin, qui a réalisé pour le compte du Stockholm International Peace Research Institute (SIPRI), une cartographie des systèmes darmes quil considère comme autonomes.

Pour autant, la plupart des spécialistes considèrent, de façon quasi-unanime, que les systèmes existants relèvent de la simple programmation, et quils ne sont en rien pleinement autonomes. Tout au plus seraient-ils dotés dune forme dautonomie pour certaines de leurs fonctions, mais en aucun cas celle de tir.

De manière plus précise, M. Jean-Baptiste Jeangène Vilmer a indiqué aux rapporteurs que ce qui constituerait bel et bien l’élément de rupture conceptuelle serait la capacité à s’adapter à un environnement changeant. En l’absence d’un tel paramètre, il demeure tout à fait possible de s’en tenir à une automatisation et une programmation des systèmes. Ainsi, les plateformes SGR-‑A1 sont dotées d’une capacité de détection et de tir automatique et peuvent déclencher un tir, sans intervention humaine. Toutefois, la décision de tir ne peut être prise que si un certain nombre de paramètres sont respectés, selon une grille de lecture programmée en amont et dont la machine ne peut s’affranchir. En outre, la mobilité constitue également l’un des critères tacitement reconnus, ce qui exclut d’office ce système, tourelle automatique et fixe. De même, lIron Dome ou le système PHALANX ([10]) de la marine américaine répondent systématiquement et automatiquement à une menace connue, et ne peuvent s’adapter à une modification de leur environnement.

Le robot OPTIO X20 de Nexter : un robot téléopéré

Lors du salon Eurosatory de 2018, Nexter a dévoilé le robot OPTIO X20, qui est composé d’une plateforme avec un canon téléopéré de 20 mm. La décision de tir de ce robot est téléopérée, ce qui signifie que son déclenchement se fait en direct et à distance et, comme pour tous les soldats, en fonction d’une chaîne de commandement hiérarchique.

Le robot OPTIO X20, d’un poids d’une à une tonne et demie, est actuellement utilisé à des fins d’expérimentation et d’évaluation. L’objectif poursuivi est de décharger le soldat des contraintes de la mobilité. Les déplacements du robot seraient automatisés mais, une fois son point d’arrivée atteint, ou à n’importe quel moment de la boucle SDRI (surveillance, détection, reconnaissance et identification), si le robot détecte ou identifie quelque chose, le contrôle est transféré à l’humain.

3.   Pour les forces, un système d’armes létal pleinement autonome ne présente aucun intérêt opérationnel

a.   Le développement de l’intelligence artificielle est envisagé comme une aide au soldat humain

L’apport de l’intelligence artificielle de défense a été maintes fois commenté, notamment dans le cadre des travaux du ministère des Armées ayant conduit à la publication de la stratégie pour une intelligence artificielle au service de la défense. Sans revenir sur l’ensemble des applications qui y sont détaillées, il convient de rappeler que, pour les forces, la recherche de l’autonomie poursuit plusieurs objectifs, allant de la protection du soldat, par son éloignement des théâtres et des zones de combat, à l’amélioration des performances opérationnelles, grâce à une plus grande endurance ou encore un accroissement de la précision, de la réactivité ou des trajectoires d’un système d’armes.

De ce point de vue, l’intelligence artificielle de défense est davantage perçue comme un moyen d’atteindre des gains capacitaires significatifs dans des domaines d’application très divers. Il s’agit, d’une part, d’assister l’humain et d’améliorer le processus de prise de décision qui, in fine, reste du ressort du commandement humain, grâce à des capacités d’analyse plus rapides et plus pertinentes. D’autre part, l’emploi de l’intelligence artificielle vise à épargner le soldat humain des tâches les plus dangereuses, répétitives et fastidieuses, ou de mieux le protéger grâce à des capacités d’autoprotection ou de protection déportée accrue.

D’une certaine manière, alors que d’aucuns craignent l’émergence d’un Terminator, les bénéfices de l’intelligence artificielle de défense seraient davantage à rechercher, si l’on retient l’univers cinématographique, dans les aventures d’Iron Man, soldat augmenté bénéficiant de l’appui d’un système d’intelligence artificielle.

b.   « Ni Rambo, ni Terminator » : tout système d’armes létal doit s’intégrer dans une chaîne de commandement dont le respect est consubstantiel aux armées

Lors de leur audition, les représentants de la direction générale des relations internationales et de la stratégie (DGRIS) du ministère des Armées ont rappelé aux rapporteurs combien, « malgré tout, pour toutes les puissances militaires, le respect de la chaîne hiérarchique constitue un principe immuable, aucun État ne pouvant se permettre de voir un système darmes échapper à son contrôle. » Allant dans le même sens, M. Thierry Berthier a rappelé aux rapporteurs qu’« aucun chef militaire de nimporte quelle armée au monde naccepterait de ne pas avoir le contrôle sur une machine quil a à sa disposition, cest-à-dire la possibilité de décider et dencadrer les objectifs qui lui sont assignés ». Les seuls contextes d’emploi imaginés à ce jour par les spécialistes sont, d’une part, une action terroriste et, d’autre part, le retrait d’un territoire par des forces armées, qui laisseraient derrière elles des systèmes d’armes létaux pleinement autonomes afin de ralentir l’avancée des troupes ennemies, à la manière des champs de mines. Ce faisant, les forces concernées se placeraient en dehors de tout cadre légal, à l’instar des armes de destruction massive, qui ne discriminent pas leurs cibles.

En somme, les forces ne souhaiteraient compter dans leurs rangs ni Rambo, soldat humain agissant de manière totalement indépendante, au mépris des règles d’engagement fixées par le commandement, ni Terminator, une machine pleinement autonome.

Le chef militaire se doit donc de pouvoir reprendre la main sur une machine à tout moment, afin de lui donner de nouveaux ordres, d’annuler des ordres précédents ou encore de fixer de nouvelles règles. Il y a là une règle fondamentale de l’engagement militaire.

S’il est envisageable que le chef militaire puisse déléguer à une machine une partie de la conduite de la mission, conformément aux ordres établis, en aucun cas la décision de tir ne pourrait être confiée à un système autonome. Le chef militaire serait alors dans l’incapacité d’évaluer la menace, et de mettre en balance sa connaissance du milieu et des règles d’engagement, ainsi que de la situation tactique d’ensemble. Tout au plus, pourrait-il basculer un système robotique armé en mode semi-automatique.

Processus décisionnel du chef militaire POUR BASCULER UN système ROBOTIQUE ARMé EN MODE DE TIR SEMI-AUTOMATIQUE

 

 

 

 

 

 

 

 

 

Source : Gérard de Boisboissel.

Le développement des SALA est ainsi associé à une perte de contrôle, alors même que le chef militaire engage sa responsabilité en donnant l’ordre de tirer. C’est d’ailleurs pour cette raison que nombre de spécialistes estiment que les SALA n’existeront jamais et, selon M. Raja Chatila, professeur de robotique, d’intelligence artificielle et d’éthique à l’Institut des systèmes intelligents et de robotique du Centre national de la recherche scientifique (ISIR-CNRS) et à l’Université Pierre et Marie Curie, ce serait « faire insulte aux militaires » que de penser que des SALA pourraient leur être substitués.

4.   Le débat sur les SALA s’inscrit néanmoins dans le cadre plus large du renforcement de l’autonomie, même partielle, des systèmes d’armes

a.   Des systèmes darmes létaux plus autonomes verront sans conteste le jour dans un avenir proche

i.   L’apparition progressive de systèmes toujours plus autonomes

Pour nombre de spécialistes, lapparition de systèmes darmes létaux plus autonomes est inéluctable. Ainsi, pour M. Gérard de Boisboissel « il semble tout à fait inéluctable que des systèmes darmes létaux ayant une certaine forme dautonomie supervisée pour la décision de tir verront le jour dans les prochaines décennies car ils offrent tout simplement les avantages suivants sur le plan défensif : ils sont plus rapides que lhomme sur le plan de la réactivité et du traitement de la menace ; ils permettent de faire face à des attaques saturantes ; ils peuvent opérer de manière permanente, avec une grande constance, là où lhomme est sujet à la fatigue et à linattention ».

Leur apparition sera néanmoins graduelle, à mesure de l’apparition de nouvelles menaces, à l’instar de la saturation des espaces aériens par des essaims de robots dotés d’une certaine « intelligence collective ».

D’une certaine manière, il n’y a qu’un pas entre les ballets de drones mis en œuvre par la Chine lors d’événements festifs et le lancement d’une attaque coordonnée. L’accroissement de l’autonomie des systèmes automatiques actuellement déployés permettra de répondre plus efficacement aux menaces de demain, avec davantage de rapidité que ne pourrait le faire l’intelligence humaine. Il s’agira sans doute d’une évolution nécessaire face à des menaces saturantes qui risquent de submerger les défenses, des meutes de robots offensifs ou des systèmes qui développeront des stratégies de trajectoires non prévisibles, grâce à l’emport d’une intelligence artificielle sur des missiles.

De la même manière, d’aucuns jugent probable le développement de fonctions de neutralisation embarquées sur ces robots, afin de lutter par exemple contre des mines ou des engins explosifs improvisés. M. Gérard de Boisboissel prédit également l’apparition de systèmes de surveillance équipés de moyens létaux ou de drones autonomes de chasse anti sous-marins et de surface.

Sur le plan offensif, la délégation à un système autonome d’une fonction létale sera sans doute plus limitée, pour les raisons exposées ci-dessus, même s’il est probable qu’apparaissent des robots de destruction qui, à la manière d’un robot-kamikaze, auraient pour mission de détruire une cible identifiée ou un bâtiment pour faciliter l’accès à d’autres éléments. Ce type de robots pourrait ainsi être intégré dans les futurs systèmes de systèmes, tel le SCAF, au sein duquel des drones d’accompagnement – les « remote carriers » – accompagneront la plateforme habitée. Le pilote aura ainsi sans doute la possibilité d’actionner des systèmes semi-autonomes, chargés de le protéger ou d’attirer à eux les tirs des dispositifs de déni d’accès, face à des systèmes de plus en plus performants, tels les successeurs des S-400. Des dispositifs similaires verront également le jour dans les domaines du combat naval ou sous-marin.

ii.   Le développement de l’autonomie variera selon les milieux

Les milieux homogènes tels que les espaces aérien, maritime et sous-marin sont propices au développement rapide de systèmes autonomes. Il s’agit de milieux relativement homogènes et inhospitaliers pour l’homme, au sein desquels une capacité renforcée d’action en autonomie présente un intérêt opérationnel certain : coupure des communications dans le cadre des opérations aériennes d’entrée en premier ; impossibilité de maintenir une liaison de communication dans les grandes profondeurs.

À l’inverse, le milieu terrestre est moins propice à la généralisation de systèmes autonomes. D’une part, le milieu terrestre est marqué par sa grande hétérogénéité, en raison des variations de terrain et des divers obstacles susceptibles d’être rencontrés. Dans ce contexte, la moindre mobilité d’un robot autonome constituerait son principal point de faiblesse. D’autre part, demain plus qu’aujourd’hui, les combats terrestres se tiendront dans des zones denses, habitées, où se côtoient civils et combattants, et où il paraît difficile de déléguer la décision de tir à un robot autonome, à moins de ne disposer que d’une capacité de neutralisation non létale. C’est notamment le cas du robot armé SNIBOT ([11]) et de ses algorithmes d’exclusion des zones vitales humaines : le robot neutralise mais ne tue pas. Pour toutes ces raisons, il est peu réaliste d’envisager que des robots se substituent totalement aux soldats, dont l’immense majorité est composée de fantassins.

b.   Le débat sur les SALA doit donc être abordé de manière prospective

Aux yeux de M. Jean-Baptiste Jeangène Vilmer, les systèmes d’armes létaux autonomes marquent l’heure d’une troisième révolution militaire dans l’histoire des relations internationales, après l’invention de la poudre à canon – qui a accompagné la colonisation et entraîné la domination de l’Occident sur le reste du monde – et celle de l’arme atomique – dont l’apparition a structuré la conflictualité dans la seconde moitié du XXe siècle. À l’avenir, il faut s’attendre à ce que l’essor de l’autonomie dans les systèmes d’armes et, partant, de systèmes d’armes létaux autonomes, façonne la conflictualité. Pour M. Gérard de Boisboissel, « cest même plus que cela, car pour la première fois dans lhistoire, la technologie peut remplacer lhomme sur le champ de bataille ».

S’il n’appartient pas aux rapporteurs de prendre partie dans ce débat, il leur semble que la question essentielle ne porte pas sur la « potentialité » de l’entrée en service d’armes pleinement autonomes, qui présentent peu d’intérêt opérationnel, mais plutôt sur l’utilisation d’armes relativement autonomes, qui peuvent, quant à elles, constituer un outil de supériorité stratégique. Or, lessor de systèmes dotés de toujours plus dautonomie, qui apparaît inéluctable, soulève dabord des enjeux dordres éthiques et juridiques, alors que le développement de lautonomie des systèmes darmes bouleverse lart de la guerre et constitue un défi de premier ordre pour la pleine application du DIH.

Cest dailleurs à laune de ces enjeux que doit être appréhendée la question de leur encadrement international.


II.   Les enjeux éthiques et juridiques : LES SALA au cœur de discussions internationales sur la régulation des systèmes d’armes

Aux yeux des rapporteurs, sans même se focaliser sur la notion de « pleine autonomie », l’inclusion progressive de segments autonomes dans les systèmes suscite à elle seule des interrogations d’ordres philosophique, éthique, social et juridique. L’émergence de l’autonomie dans les systèmes d’armes et son renforcement progressif s’accompagnent d’une modification de la place de l’humain dans les combats, après des siècles d’affrontements « où il fallait des poitrines à opposer à dautres poitrines » ([12]) ; il s’agit là d’un changement profond de l’art de la guerre.

Source : Mosaïque de la bataille d’Issos opposant Alexandre le Grand à Darius III, maison du Faune, Pompéi.

Dès lors, quand bien même le développement de SALA s’avérerait hypothétique, il convient de ne pas retarder les discussions relatives à leur encadrement au regard des principes éthiques et juridiques du DIH. En effet, le développement d’armes létales toujours plus autonomes interroge les grands principes du DIH et leur application, alors que des discussions ont été engagées dès 2013 dans le cadre genevois de la Convention sur certaines armes classiques (CCAC). Il soulève également des questions en matière d’engagement de responsabilité, des plus délicates en l’absence de conscience et de libre arbitre.

Ces questionnements ne sont plus l’affaire des seuls spécialistes, et il n’est d’ailleurs pas anodin qu’au cours des dernières années, les SALA aient fait l’objet d’une attention grandissante de la part de juristes, d’universitaires, de scientifiques, de journalistes, de citoyens et de certains de nos collègues députés.

Dans ce contexte, alors que les grandes puissances militaires sont opposées à une interdiction préventive des SALA, tandis que les autres parties cherchent à extraire ce débat de la CCAC, il est important de parvenir à établir un cadre normatif.

A.   L’accroissement de l’autonomie de systèmes d’armes létaux S’accompagne de questionnements éthiques et juridiques

Si les SALA et l’apparition de robots tueurs pleinement autonomes demeurent pour l’heure largement du ressort de la science-fiction, l’éventualité d’un changement de paradigme s’agissant de la place de l’homme dans la guerre soulève des questionnements d’ordres juridique et éthique.

1.   L’autonomisation des systèmes d’armes interroge le rapport à la guerre

L’autonomisation des systèmes d’armes bouscule et interroge les fondements de l’« art de la guerre », qui, pour Sun Tsu, repose en grande partie sur une dimension psychologique, grâce à laquelle il est possible d’obtenir la soumission de l’adversaire. Près de vingt-cinq siècles plus tard, Carl von Clausewitz définit lui aussi la guerre comme « un acte de violence dont lobjectif est de contraindre ladversaire à exécuter notre volonté ». Selon lui, la guerre est donc intrinsèquement humaine, à la croisée de facteurs politiques, idéologiques, stratégiques et sociaux. La guerre est ainsi « la continuation de la politique par dautres moyens » et la victoire sur le champ de bataille n’est consacrée que si elle permet de modifier le rapport de force politique.

Extrait de De la guerre, de Carl von Clausewitz

Chapitre III : « Les grandeurs morales »

Les grandeurs morales doivent être comptées au nombre des plus importants facteurs de la guerre. Elles en sont les esprits vitaux et en pénètrent tout l’élément. Elles ont la plus grande affinité avec la puissance de volonté qui met en mouvement et dirige la masse entière des forces, et, comme cette volonté est elle-même une grandeur morale, elles s’y attachent et font corps avec elle. Elles échappent à toute la sagesse des livres parce qu’elles ne se peuvent ni chiffrer ni classer ; elles demandent à être vues et senties.

L’esprit et les qualités morales de l’armée, du général en chef et du gouvernement, les dispositions des provinces dans lesquelles la guerre doit être portée, l’effet moral d’une victoire ou d’une défaite sont des grandeurs très diverses de nature, et, comme telles, exercent des influences très variables sur la situation et sur le but à atteindre.

Bien qu’il soit difficile, impossible même, de formuler des règles pour les grandeurs morales, elles sont du nombre des éléments dont la guerre se constitue, et ressortissent, par suite, à la théorie de l’art de la guerre. Celle-ci, bien qu’elles échappent à ses prescriptions, les doit donc signaler à l’esprit et en faire comprendre l’extrême valeur, ainsi que la nécessité absolue de les faire entrer dans tous les calculs.

En agissant de la sorte, la théorie fait œuvre d’intelligence et condamne, de prime abord, quiconque a la folle pensée de ne baser ses combinaisons que sur les forces matérielles seules. Nous ne saurions le dire trop haut, en effet, c’est une pauvre philosophie que celle qui, d’après l’ancienne méthode, niant la puissance des grandeurs morales, crie à l’exception lorsqu’elles manifestent leur action, et cherche, alors, à expliquer ce résultat par de prétendus procédés scientifiques. En dernier ressort cette vaine philosophie en appelle, parfois même, au génie qu’elle place, alors, au-dessus de toutes les règles, donnant ainsi à entendre que, lorsqu’elles sont faites par les sots, les règles, elles-mêmes, ne sont que des sottises.

Dans ce contexte, l’irruption des SALA sur le champ de bataille et leur généralisation progressive auraient pour conséquence que « la guerre existerait toujours mais le guerrier aurait disparu » ([13]).

a.   Le combat entre l’homme et la machine : un non-sens moral ?

Dépourvus d’émotion et de sensibilité, les SALA, comme tout robot ou machine, ne connaîtraient ni haine, ni peur, ni compassion. L’emploi des SALA sur le champ de bataille induirait donc le transfert de la décision de tir d’un humain à un opérateur dénué de sensibilité et, ce faisant, une reconfiguration du rapport à la guerre. Auditionné par les rapporteurs, M. Julien Ancelin, docteur en droit et chercheur en programme post doctoral à l’Université de Bordeaux, considère ainsi que les SALA s’inscrivent dans une dynamique de réduction du « coût de lusage de la force armée », posant la question d’un combat « insensé ».

i.   Du point de vue de la morale

La délégation de la décision de tir à un système autonome pose d’abord question au regard de la morale, entendue comme un ensemble de règles de nature subjective et relatives au bien, au mal, au juste et à l’injuste. De ce point de vue, l’homme est seul capable d’apprécier le caractère moral d’une action, au regard de valeurs subjectives non universelles. Dès lors, faire des SALA des sujets moraux – les moraliser, en somme – supposerait de pouvoir transcrire en algorithmes les principes moraux et les jugements subjectifs sur lesquels ils se fondent.

Il y a là une aporie puisqu’en aucun cas, comme le rappelle M. Dominique Lambert, membre de l’Académie royale de Belgique, professeur de philosophie à l’Université de Namur et chercheur associé au CREC, « une machine autonome ne peut juger, car, pour juger, il faut interpréter et aussi sabstenir dappliquer les règles ou même les transgresser pour sauver lesprit des règles et des valeurs » défendues ([14]) .

Les militaires sont les premiers à partager ce constat, éprouvant quotidiennement, en opérations, le caractère fondamentalement humain de la guerre et de la décision de donner la mort. D’ailleurs, les rapporteurs ont relevé avec intérêt le fait qu’au sein des états-majors, les officiers actuellement en charge de ces questions appartiennent à une génération qui a été intensément déployée et confrontée directement à ces considérations éthiques sur les théâtres d’opérations.

Le colonel Loïc Rullière, chef du bureau « plans » de l’état-major de l’armée de l’air, a d’ailleurs exposé aux rapporteurs sa conviction selon laquelle il serait erroné de considérer que la décision d’engager une frappe létale puisse reposer sur des règles mathématiques alors qu’elle relève d’un « choix quantique et, au fond, humain ». In fine, hors affrontement frontal et direct, la décision de déclencher un tir ou non repose sur un ensemble de paramètres relevant de l’intelligence humaine, non « codables » par des outils numériques incapables de procéder à une appréciation globale d’une situation.

ii.   Du point de vue de la dignité

Pour le Rapporteur spécial des Nations Unies sur les exécutions extrajudiciaires, sommaires ou arbitraires, M. Christof Heyns, « la mort par algorithme signifie que les hommes sont considérés comme de simples cibles et non comme des êtres à part entière, alors quils pourraient connaître un autre sort. Ils sont ainsi placés dans une position où lappel à lhumanité de lautre nest pas possible » ([15]). Dans cette perspective, c’est le principe même de dignité humaine, en vertu duquel aucun être humain ne doit être tué par une machine autonome et des responsabilités doivent être clairement établies, qui est menacé ([16]). Pour M. Julien Ancelin, le recours aux SALA soulève une question quant à la capacité de la société à assurer le respect, par une machine, du principe de dignité humaine, dont l’essence lui est – par définition – inconnue ([17]).

b.   Les questionnements éthiques non résolus

D’après le CICR, un système n’est éthique que s’il est placé sous contrôle humain. Dès lors, les SALA ne pourraient pas, par nature, satisfaire les grands principes éthiques qui structurent la guerre ([18]). Plus précisément, le potentiel recours aux SALA suscite des questionnements éthiques relatifs au fait de donner à une machine un « permis de tuer ».

i.   L’effet « boîte noire » : comprendre le fonctionnement de l’intelligence artificielle

L’explicabilité de l’intelligence artificielle constitue l’un de ses principaux défis et revêt une importance particulière dès lors qu’est envisagé de déléguer la décision de donner la mort à une machine. Il n’est d’ailleurs pas anodin que la Defense Advanced Research Projects Agency (DARPA) ait lancé, dès août 2016, un programme spécifique : Explainable AI. Pour M. Dominique Lambert, l’explicabilité de l’intelligence artificielle, c’est-à-dire la capacité de reconstituer et de comprendre la chaîne de raisonnement ayant conduit à une décision, constitue une condition sine qua non de la confiance accordée par les militaires comme la société dans les systèmes d’armes ([19]).

Or, les SALA, tout comme la plupart des programmes reposant sur l’intelligence artificielle, n’échappent pas à l’effet « boîte noire », c’est-à-dire l’apparition « comme par magie » d’un résultat, sans qu’il soit possible de démontrer ou de reproduire le processus sous-jacent. Plus concrètement, l’intelligence artificielle permet d’effectuer tant de calculs que pour l’homme, la reconstitution d’un processus de décision apparaît insurmontable. À titre de comparaison, les rapporteurs rappellent d’ailleurs que le système d’intelligence artificielle AlphaGo qui a battu le champion du monde de jeu de go a effectué dix-sept mouvements que ses programmateurs ne pouvaient pas expliquer. Comme l’a indiqué aux rapporteurs non sans malice un de leurs interlocuteurs, « aujourdhui, on utilise même lintelligence artificielle pour comprendre le fonctionnement de lintelligence artificielle ».

Quoi qu’il en soit, l’absence de compréhension du processus de décision signifie, d’une part, qu’il est impossible de suivre les raisonnements du système d’armes en temps réel ; et, d’autre part, que les problèmes analysés et les solutions retenues ne peuvent être directement contrôlés ([20]).

Une telle situation est particulièrement problématique dès lors qu’il est question de la chose militaire, a fortiori lorsqu’il s’agit d’une décision à caractère létal.

En outre, comme l’a relevé M. Raja Chatila lors de son audition, la fiabilité du processus de décision est au cœur des interrogations, le chef militaire devant pouvoir être assuré que la machine agira de manière constante et selon un raisonnement stable et permanent. S’il y a là un enjeu pour l’intelligence artificielle de défense dans son ensemble, les SALA seraient concernés au premier chef du fait de leur capacité, théorique, à redéfinir leurs objectifs sans supervision humaine. Leur emploi non maîtrisé pourrait ainsi conduire à ce que le chef n’ait plus la main sur la machine, alors incapable de respecter l’intention profonde de l’autorité humaine et le sens donné à son action. Comme le souligne le professeur, « les machines ne comprennent pas le monde parce quelles ny habitent pas ».

D’une certaine manière, le débat sur les SALA pourrait être réduit à un arbitrage entre performance et explicabilité, selon le degré d’acceptation de perte de contrôle par la société, déterminé par la criticité du système. En d’autres termes, il s’agit donc de déterminer jusqu’où la performance d’un système peut être sacrifiée au prix de la compréhension de son fonctionnement.

Par ailleurs, soixante-dix ans après la parution de l’article « Computing Machinery and Intelligence », dans lequel Alan Turing se demandait si les machines pouvaient penser, force est de constater qu’en l’état actuel des capacités techniques, les machines demeurent dépendantes d’algorithmes et de modèles pré-entrainés. En conséquence, les machines, même autonomes, présentent des biais et des limites constitutifs de l’écriture de tout programme informatique, ce qui pose une certaine difficulté dès lors qu’une machine est dotée d’une capacité létale. De manière plus précise, les biais cognitifs humains introduits dans la programmation d’un SALA pourraient, selon M. Dominique Lambert, conduire à « des exclusions ou à de graves cécités » hautement problématiques. C’est d’ailleurs cette même fragilité qui avait conduit l’entreprise Microsoft à mettre en sommeil son chatbot Tay, devenu raciste et misogyne en l’espace de quelques heures en raison des questions qui lui