L’émergence possible de systèmes d’armes létaux autonomes (sala) quant à la décision de tir a lancé un débat international sur l’acceptation de telles armes et sur l’éventualité de les interdire ou, tout au moins, la nécessité d’encadrer leur développement. L’enjeu est important pour la souveraineté technologique de la France, car au même moment certains pays comme la Russie1 annoncent officiellement leur intention de développer de tels systèmes, alors que d’autres, plus discrets sur la question, sont déjà engagés dans une compétition mondiale pour une suprématie technologique de défense. C’est tout l’intérêt du rapport d’information n° 3248 du 22 juillet 2020 mené par les députés Claude de Ganay et Fabien Gouttefarde de la Commission de la défense nationale et des forces armées. Dans leur conclusion, ils estiment que « malgré les craintes exprimées ici ou là, les sala, dès lors qu’ils sont entendus comme des systèmes d’armes létaux pleinement autonomes, ne revêtent pour l’heure aucun intérêt pour les forces ».

Convient-il en conséquence d’arrêter toute réflexion sur l’utilisation de systèmes d’armes dotés d’une capacité létale et admettant une certaine forme d’autonomie dans l’activation du feu ? Cet article tend à démontrer au contraire qu’une maîtrise de ces systèmes par un chef militaire sera à terme une nécessité incontournable dans le champ de bataille du futur, tant sur le plan de l’efficacité militaire que celui de la réponse que ce contrôle apporte aux enjeux éthiques et juridiques que pose leur utilisation. Car les systèmes d’armes létaux semi-autonomes (salsa) apportent une réponse aux enjeux posés par l’autonomisation.

• Robotique et révolution des usages militaires

La reprise du conflit du Haut-Karabakh en octobre 2020 a vu dans les premiers temps les forces de l’Azerbaïdjan infliger de lourdes pertes aux Arméniens par leur supériorité aérienne et l’usage de drones armés. Il a été ainsi constaté que les Arméniens possèdent un équipement technologique plus ancien, montrant par là la nécessité dans toute coopération de défense de fournir aux pays soutenus les équipements nécessaires pour conserver une supériorité sur le champ de bataille et ne pas avoir une guerre de retard…

Nouvel outil tactique mis à la disposition des forces armées et du combattant, le robot militaire offre des avantages qui ont déjà été largement étudiés2 et que nous résumerons ici en quelques mots : le déport des capteurs et des effecteurs, en permanence, dans des zones à risque entraîne une meilleure protection du soldat qui se positionne en retrait ; la constance et l’omniprésence de la machine sur le terrain (sous réserve de suffisance énergétique) ; la délégation au robot de tâches répétitives ou spécifiques dans un espace élargi ou son déploiement en avant des unités.

Mais la forme des systèmes militaires, aujourd’hui complexes, évoluera demain vers un ensemble de sous-systèmes répartis dans l’espace, chacun dédié à une fonction ou à une mission spécifique, avec à la clef de meilleures performances et une meilleure protection du système global. Les équipements aériens, marins ou terrestres éclateront en une flottille de plusieurs plateformes robotiques, certaines pilotées et d’autres non. La plateforme pilotée restera la pièce centrale et décisionnelle, entourée d’autres plateformes inhabitées et spécialisées dans certaines fonctions opérationnelles (détection, leurre, neutralisation, guerre électronique…). Un effet vertueux induit sera celui de la réduction des coûts et des temps de développement de ces programmes. Se profile en conséquence une nécessaire révolution dans le déploiement des unités militaires, avec les ajustements organisationnels nécessaires pour les accompagner et les contrôler. La tendance inéluctable est donc au champ de bataille dominé par de tels systèmes, le chef militaire étant le coordonnateur des diverses plateformes robotisées mises à sa disposition.

• L’autonomie, une nécessité pour l’efficacité militaire

Mais pour que ces plateformes robotisées fonctionnent en temps réel avec une efficacité optimale, appréhendent les environnements inconnus, s’adaptent en fonction, et pour décharger le militaire d’un pilotage chronophage et consommateur d’attention cognitive, l’autonomie est indispensable. On pense par exemple au déploiement en essaim, où une intelligence collective est nécessaire pour tout déplacement en un ensemble cohérent.

L’autonomie des systèmes est surtout nécessaire dans le cas d’exécution de fonctions en temps réel, notamment pour conserver un temps d’avance sur la manœuvre ennemie ou tout simplement en réaction à des menaces. Et c’est là que la fonction d’activation du feu létal entre en scène. D’ores et déjà les machines sont plus réactives que l’homme et plus précises dans l’exécution de tâches. Ainsi un homme réagit en quelques secondes, la machine en quelques millisecondes, voire moins. Un tireur humain qui bouge, respire, tremble est bien moins précis qu’une machine qui ne bouge pas, ne respire pas, ne tremble pas. Avec en outre la capacité d’opérer avec constance sur des temps très longs, voire durant 24 h, là où l’homme est limité par la fatigue et l’inattention, nous avons là toutes les contraintes à prendre en compte dans le combat technologique de demain.

D’ailleurs, l’apprentissage par simulation donne aujourd’hui le ton d’une guerre où demain l’intelligence artificielle et la réactivité des systèmes permettront de gagner la bataille. En témoigne, pour le monde terrestre les tests effectués par l’us Army en décembre 2019 où « un peloton d’infanterie simulé, renforcé par des drones et des robots terrestres, a mis à plusieurs reprises en déroute des forces de défense trois fois plus conséquentes sans perdre un seul soldat humain »3.

Et cette tendance continuera à s’accentuer, notamment si l’on considère l’Hyperwar de demain, que le général John Allen a conceptualisée en 20194. Selon lui, la guerre à haute intensité du futur se jouera selon le niveau d’hyperréactivité et d’hyperadaptation des moyens technologiques déployés. Cette Hyperwar positionnera le chef militaire dans le rôle d’un Mission Commander, qui coordonnera les différents systèmes robotisés qu’il aura à sa disposition, tout en leur déléguant une certaine forme d’autonomie pour une réactivité en temps réel.

• Autonomie : de quoi parle-t-on ?

Sur le plan technologique, de nombreux travaux de recherche ont précisé la définition de l’autonomie. Nous retiendrons les aspects suivants : l’autonomie d’un robot est sa capacité à fonctionner indépendamment d’un opérateur humain ou d’une autre machine en exhibant des « comportements non triviaux dans des environnements complexes et variables » (cerna, 2014) ; c’est aussi un continuum allant de situations où l’homme prend toutes les décisions jusqu’à des situations où un grand nombre de fonctions sont déléguées au robot, l’homme conservant le plus souvent la possibilité d’intervenir (Tessier, 2015).

Mais tout système robotique est un agrégat de modules fonctionnels : un pour gérer le déplacement, un autre pour l’autonomie énergétique, d’autres encore dédiés aux capteurs et aux effecteurs… Chacun de ces modules possède une certaine forme d’autonomie fonctionnelle lui permettant de réaliser sa tâche. Ce degré d’autonomie dépend de la façon dont il perçoit son environnement, s’y adapte et interagit avec lui. C’est la possibilité de se déplacer en contournant les obstacles sans aucune intervention de l’opérateur, de se recharger en énergie en allant sur une borne lorsque nécessaire, d’orienter ses effecteurs en fonction de la menace ou en anticipation de celle-ci… Et, bien entendu, le module le plus critique au sein d’un système d’armes est celui du déclenchement du tir, garant de la force et de l’efficacité militaires.

Étymologiquement, l’autonomie est une « capacité à être gouverné par ses propres règles ». Ici, soyons clairs, si elle implique pour une machine de pouvoir décider de ses objectifs, alors ce type d’autonomie dans le monde militaire doit impérativement rester le propre du chef pour des raisons évidentes de contrôle de la manœuvre. Aucun chef militaire, de n’importe quelle armée au monde, n’acceptera de ne pas avoir le contrôle sur une machine qu’il a à sa disposition, c’est-à-dire la possibilité de décider et d’encadrer les objectifs qui lui sont assignés5. En effet, toute unité tactique, que ce soit une unité de combat humaine ou une machine avec une certaine forme d’autonomie, se doit d’être soumise aux ordres, aux contre-ordres et à l’exigence du rapport.

Il en ressort que, pour assurer la cohésion de l’action militaire, le chef doit pouvoir reprendre la main sur une machine : annuler un ordre, en donner un nouveau… Ceci est une règle de base, que seuls les terroristes peuvent avoir l’idée d’enfreindre, car leur objectif est de porter le chaos. Ce qui nous amène à cette question fondamentale : quelle autonomie peut-on accepter pour la fonction létale embarquée dans un système robotique ?

Thierry Berthier, chercheur associé au Centre de recherche des écoles de Saint-Cyr Coëtquidan (crec), a défini six niveaux d’automatisation pour les systèmes armés6 :

• L0 : système armé pleinement téléopéré ;
• L1 : système armé dupliquant automatiquement l’action de l’opérateur ;
• L2 : système armé semi-autonome en déplacement et en détection de cibles ;
• L3 : système armé autonome soumis à autorisation de tir ;
• L4 : système armé autonome sous tutelle humaine ;
• L5 : système armé autonome sans tutelle humaine ;

On voit ici que les modes téléopérés L0, dupliqués L1, ou soumis à autorisation de tir pour L2 et L3 sont sous contrôle de l’opérateur et donc ne posent pas de questions d’acceptabilité, le chef activant le feu lui-même.

Le Centre interarmées de concepts, doctrines et expérimentations (cicde), dans son concept exploratoire interarmées du 19 juillet 2018 « Emploi de l’intelligence artificielle et des systèmes automatisés », définit deux modes pouvant effectuer des tâches sans intervention humaine : le « semi-autonome » et l’« autonome ». Il y indique aussi que les robots technologiquement et opérationnellement envisageables ne doivent pas être autonomes mais hétéronomes, c’est-à-dire gouvernés par des règles extérieures, définies par l’homme7, en l’occurrence le chef militaire en charge de la manœuvre.

Or si l’homme peut reprendre la main sur un système semi-autonome lorsqu’il le souhaite, il n’en est pas de même pour un système pleinement autonome, qui ne dispose pas de lien de subordination, donc de contrôle et de désactivation8, avec la chaîne de commandement. Il est qualifié de sala et correspond au niveau L5 de cette classification. Il découle de notre analyse précédente qu’il n’est pas acceptable pour les armées françaises et internationales. En revanche, les systèmes d’armes létaux semi-autonomes (salsa)9 peuvent, eux, être caractérisés par un mode d’autonomie sous tutelle humaine, qu’un opérateur peut activer et désactiver comme il le souhaite. Ce mode délègue donc à la machine l’exécution de tâches sans intervention humaine et la possibilité de déclencher le tir, mais doit laisser la possibilité à l’opérateur de reprendre la main à tout moment, ou tout du moins dans un espace-temps qu’il a défini lui-même. Un système robotique armé de niveau L4 peut donc être considéré comme un salsa.

Les impératifs de déploiement des systèmes h24, d’adaptabilité au milieu et d’hyperréactivité face à des menaces en temps réel font qu’inéluctablement des systèmes avec un fort niveau d’autonomie verront le jour. Mais il reste fondamental de s’assurer que le chef militaire qui les emploie puisse conserver la maîtrise de leur usage pour des raisons évidentes de contrôle de la manœuvre, mais aussi parce qu’il doit assurer la responsabilité de cet usage.

• Implémentation technique

Si, pour un sala, l’autonomie dans la décision de tir est constamment activée, pour un salsa le passage en mode autonomie est déclenché par le chef militaire, reste sous son contrôle et est borné dans l’activation du tir. En algorithmique, c’est un mode, au sens état de la machine, qui est activé, pour un laps de temps et sur un espace bien délimités et bornés.

Le traitement d’une cible nécessite les étapes suivantes : la détecter, la localiser, l’identifier, la discriminer (est-elle combattante ?) et la caractériser (son comportement est-il menaçant ?). Dans ce processus de sélection, l’autonomie pour la détection, la localisation et l’identification est tout à fait envisageable. Pour la discrimination et la caractérisation en revanche, les raisonnements cognitifs et éthiques humains sont trop complexes pour être caractérisés et reproduits par une machine. De même, si le potentiel processus de sommation peut également être automatisé, le calcul de la minimisation des éventuels effets collatéraux reste fort complexe, et soumis à une appréciation de la situation et des effets de l’action militaire qui ne saurait être rendue totalement autonome car déjà très ardue pour un homme formé à ces questions. Cette complexité décisionnelle devra rester l’apanage du chef militaire qui, en amont, prendra la décision de l’activation du mode tir autonome une fois qu’il aura analysé les enjeux de la situation. Ainsi, sous sa forme algorithmique, le processus de traitement de la cible autonome devra être très simple et prédictif, afin de permettre au chef de décider de son activation en toute connaissance de ses effets.

La distinction entre les notions de semi-autonomie et de pleine autonomie telles qu’elles ont été définies précédemment porte principalement sur la possibilité ou non pour un opérateur de reprendre la main à tout moment, ce qui implique une communication constante avec la machine. Pour un concepteur, le développement algorithmique est quasiment de la même complexité dans les deux cas. La différence consiste à laisser la possibilité à un agent extérieur de « reprendre la main » à tout moment dans le processus décisionnel. Car si un chef militaire délègue à la machine une autonomie, même supervisée, cette dernière doit pouvoir être effectivement tout à fait autonome dans l’exécution de son processus tant que l’homme n’intervient pas. Autrement dit, un ingénieur doit développer une pleine autonomie pour le laps de temps où la machine est effectivement activée en mode autonome, et c’est là où réside la complexité – je peux reprendre la main à tout moment sur ma tondeuse en train de tondre, mais pour autant, si je ne la regarde pas, j’attends d’elle qu’elle tonde en toute autonomie, quelles que soient les contraintes du terrain ou énergétiques.

Dans ce processus décisionnel, le chef militaire doit prendre en compte :

• le contexte global et le milieu dans lequel évolue la machine. Il s’agit ici de voir si des civils peuvent être présents dans la zone de possible activation du tir. La chose est facile à considérer pour les milieux aérien, marin et sous-marin, mais bien plus complexe pour le milieu terrestre ;
• le type de menaces auquel il est réellement ou potentiellement confronté, notamment les menaces saturantes ou qui nécessitent une réponse en temps réel afin d’assurer le maintien de la mission et la sauvegarde des hommes qui lui sont confiés ;
• les règles d’engagement qui lui sont données par sa hiérarchie. Il convient de ne pas y déroger, sauf cas extrême. Les principes du droit international humanitaire (dih) sont quant à eux non dérogatoires ;
• les exigences techniques consistant à s’assurer de pouvoir reprendre la main à tout moment sur le système en mode tir semi-autonome. Ce qui passe par un lien radio avec le système et la possibilité d’activer un Veto Power lorsque la machine est en phase d’acquisition de cible pour la neutraliser ;
• la spécification de la durée maximale d’activation de la semi-autonomie, ainsi que la zone dans laquelle elle peut s’exercer.

Les grandes étapes de l’algorithme du module « décision de tir » embarqué dans un système robotique une fois en mode « tir semi-autonome » sont :

• la détection, la localisation et l’identification d’une cible. Cette étape se réfère à une liste validée par une autorité militaire, confirmant que ce qui est détecté est bien une cible potentielle ;
• le respect des règles d’engagement du tir imposant à la machine de respecter les contraintes qui lui ont été données, comme la zone d’exercice du feu et le type d’effecteurs létaux en fonction de leur portée ;
• le ciblage, qui précise parmi les cibles sélectionnées celles qui sont valides et celles qui doivent être traitées en priorité. Si la cible détectée se trouve être humaine, une sommation est possible ;
• le choix de l’armement le plus approprié pour neutraliser la menace. À ce niveau, si la cible est humaine, il est possible d’exiger l’activation d’un algorithme d’exclusion des parties vitales pour le tir10 ;
• l’assurance, avant le déclenchement du feu, que les composants mécaniques, électroniques et logiciels de la machine sont en parfait état de marche ;
• la constante vérification que le contact avec le chef est bien possible pour qu’il puisse, éventuellement et à tout moment, interrompre le processus.

Il est indéniable qu’en fonction du contexte et de l’environnement, la question de la perte de liaison entre un chef militaire et un salsa en mode « tir semi-autonome » peut rendre le système inopérant. Olivier Dujardin indique même que « l’avantage de l’autonomie disparaîtra si les plateformes sont contraintes de maintenir une liaison de données. [...] Dans ce cas, au lieu d’améliorer la résilience, cela aura l’effet exactement inverse, en rendant les armées encore plus dépendantes des liaisons radiofréquences »11. Une réponse possible est la définition de règles d’engagement pour ce cas précis, en amont de l’activation du mode « tir-autonome », précisant le comportement attendu de la machine en cas de rupture de liaison, lequel pourra différer selon le contexte et le choix du chef : la recherche d’un contact radio, quitte à quitter la zone d’action pour retrouver une position adéquate, le passage à un mode non létal, la poursuite de l’action létale dans un espace physique déterminé en amont et une durée limitée…

• Une solution au vide juridique12

Intelligence artificielle n’est pas conscience. Les interprétations des règles de droit n’étant pas figées car centrées sur l’interprétation humaine, il n’est pas envisageable de modéliser sous forme d’algorithmes les lois et les coutumes du droit international. En outre, la créativité, l’intuition et la conscience sont des caractéristiques propres à l’être humain que la machine ne pourra jamais retranscrire en algorithmes, mais éventuellement tout au plus simuler. Il en découle que les robots ne peuvent pas être considérés comme des sujets de droit et posséder une personnalité morale. Ils doivent donc rester qualifiés comme des biens meubles sur le plan juridique. Un robot autonome ne peut être ultimement considéré comme un agent moral, car il n’a ni authentique liberté ni capacité d’interprétation des situations ou d’auto-évaluation de ses actions et de ses conséquences. Les robots ne peuvent donc avoir un comportement qualifié d’éthique que lorsqu’ils sont placés sous contrôle humain13.

Sur la question de la responsabilité pénale internationale, l’utilisation de salsa permettrait de combler un vide juridique par l’engagement de la responsabilité du chef militaire, en vertu de l’article 28 du statut de Rome de la Cour pénale internationale14. Il suffit pour cela de tenir le robot pour un subordonné. Si l’on considère que le chef a la possibilité de surveiller l’exécution de la mission et de reprendre la main, alors il pourra endosser la responsabilité pénale d’un crime de guerre commis par le salsa. Sa responsabilité s’engagerait en vertu de certaines des conditions prévues par l’article 28 : s’il n’a pas pris les mesures nécessaires et raisonnables pour empêcher ou réprimer l’exécution du crime, s’il n’en a pas référé aux autorités, ou si le crime résulte des activités relevant de sa responsabilité ou de son contrôle effectifs.

Il n’apparaît ensuite aucun obstacle pour un salsa à être inscrit aux procédures existantes d’examen de licéité des nouveaux types d’armement, prévues à l’article 36 du protocole additionnel I de 1977 aux Conventions de Genève. En effet, le chef militaire emploie les salsa en s’en servant comme d’un outil, au même titre que tout autre type d’armement sur lequel il a le contrôle. En outre, le système est équipé d’un « mode tir-autonome » activable et désactivable à tout moment, donc réversible, et qui plus est adapté à des types d’armement déjà licites au titre de l’article 36. Les salsa ainsi licites seraient soumis à un cadre juridique quasiment universel assurant le respect des principes d’humanité, de proportionnalité, de distinction, de précaution et d’interdiction des maux superflus, lorsqu’utilisés dans le cadre de conflits armés.

Il reste enfin que l’utilisation de systèmes robotiques semi-autonomes conduit à un possible élargissement de la responsabilité à d’autres acteurs dans le cas d’un dysfonctionnement dû à une erreur de conception ou de programmation. Il faudrait alors engager la responsabilité des acteurs industriels civils/privés en charge de leur développement, lesquels ne sont pas soumis au droit des conflits armés, par le recours au droit national de leurs pays. Ceci nécessitera une enquête de responsabilité qui déterminera les acteurs mis en cause, allant du chef militaire à son opérateur, en passant par le spécificateur, le développeur et le certificateur du système.