En 1983, la fiction cinématographique offre un exemple frappant de l’évolution du rapport de l’homme à la machine à l’aube de la révolution numérique. Dans War Games (Jeux de guerre), un jeune pirate informatique accède involontairement à un super ordinateur du Département de la Défense américain, le War Operation Plan Response (wopr), utilisé pour simuler les issues d’une confrontation entre l’Union soviétique et les États-Unis. Pensant avoir affaire à un jeu, l’étudiant pousse la machine vers l’escalade nucléaire et lance le scénario « guerre thermonucléaire globale », créant la panique au sein de l’état-major américain. Ce film illustre à quel point la relation homme/machine, dans le contexte militaire, a évolué avec le développement accéléré des technologies de l’information et de la communication (tic) à la fin du xxe siècle : wopr n’est pas un simple ordinateur permettant de calculer les issues probables d’un conflit ; il « pense » et il « commande » ; il s’est, en quelque sorte, substitué à l’homme. Il faudra l’intervention de son créateur pour éviter qu’il n’ordonne le lancement de missiles balistiques vers les cibles désignées de l’autre côté du Rideau de fer.
Cette fiction pose, dès le début des années 1980, la question de la relation à l’information reçue par écran interposé, du crédit à y accorder et, pour tout dire, de la confiance que nous plaçons dans la machine. À quel moment l’intelligence humaine s’efface-t-elle face aux calculs numériques ? Dans les relations sociales, la confiance doit se construire dans la durée, s’entretenir. Elle demeure toujours fragile, à la merci d’une phrase, d’une action, d’une trahison qui peut la détruire instantanément. Aujourd’hui, il semble que nous placions d’emblée notre confiance dans les machines, ne remettant que très rarement en cause leurs décisions et les informations qu’elles transmettent. Comment expliquer cette confiance a priori ? Est-elle de même nature que celle que nous développons dans les relations à l’autre, au camarade, au chef, à nos subordonnés ?
Avec les tic, le statut du soldat change : il passe d’utilisateur d’un objet qui réalise des actions (l’arc, le canon, l’arme individuelle) à servant d’un système d’armes. Il est au cœur d’un réseau d’informations qu’il nourrit de données et qui le nourrit en retour avec des ordres, des situations tactiques et des injonctions. Si, par exemple, l’usage du canon répond encore aux mêmes lois de la physique qu’au xviie siècle, le tir d’une batterie Caesar relève bien plus du traitement numérisé de l’information que de la simple balistique : tout au long de la chaîne de mise en action, des ordinateurs calculent, proposent des solutions, invalident des choix humains.
Ce changement implique nécessairement une évolution dans le rapport à la technique et dans la confiance que l’on peut y accorder. Dès lors que la vie humaine, la nôtre ou celle de l’adversaire, ne dépend plus exclusivement de nos choix mais résulte d’une imbrication subtile entre la raison et le travail algorithmique, interroger le lien de confiance entre les nouvelles technologies et le soldat s’impose.
- De la technique et du combat : la perte de confiance
Le fait technique est intimement lié à l’évolution du combat dans une relation complexe où chacun alimente l’autre. La recherche de la supériorité opérationnelle passe dès lors par une course permanente à l’amélioration des armes employées et des organisations pour les mettre en œuvre. Ce dialogue entre technologie, organisation et emploi tactique irrigue l’histoire militaire et la moindre avancée dans un des trois domaines entraîne immanquablement une adaptation des deux autres. Ainsi, c’est pour optimiser l’effet d’une salve de mousquets que l’infanterie s’est organisée suivant des lignes parallèles faisant face à l’adversaire. L’innovation technique a donc naturellement provoqué une évolution tactique et organisationnelle donnant par exemple naissance à l’ordre serré. Technique, tactique et organisation sont donc condamnés à interagir suivant des chaînes de causalités plus ou moins directes.
Pourtant, au centre de ce triptyque, l’élément essentiel demeure le soldat. Il est in fine celui qui utilise l’outil, qui parfait la technique nécessaire à son usage et qui paye de son sang toute défaillance dans sa maîtrise. Il construit son identité autour de l’idée de l’utilisation de son arme, de la maîtrise du geste, de l’appropriation de l’outil. Cette idée le nourrit depuis sa formation initiale jusqu’aux exercices complexes interarmes et interarmées. Le drill, la répétition, n’a d’autre objectif que de transformer un geste volontaire en un « acte réflexe ». Cette maîtrise intuitive du geste est probablement à l’origine des cultures d’armes et de certaines de leurs spécificités.
L’arme a donc été longtemps, et demeure encore, une part essentielle du soldat. Dans un mouvement quasi osmotique, le propulseur du paléolithique devient un prolongement du bras comme la lance de l’hoplite, le glaive du centurion, la baïonnette du poilu. Cet outil est connu, maîtrisé par le soldat ; il répond à sa volonté. La peur ne vient pas d’une défaillance du glaive ou du bouclier, mais du bras qui le porte et/ou de la ligne formée par les camarades. La confiance naît de cette maîtrise de l’outil et de son intégration dans un collectif humain.
Avec l’évolution des techniques de combat, l’éloignement du choc physique, l’introduction de la poudre, les armes de siège, le soldat se spécialise. Il devient un servant, perdant progressivement le contrôle sur les machines. Ces dernières évoluent rapidement et se complexifient, toujours avec pour objectif de développer les capacités humaines, de les « augmenter ». La machine de guerre et les systèmes d’armes, avant la révolution de l’information, demeurent des « automates » (automatos, « qui se meut soi-même ») au sens de machines complexes capables d’actes imitant des corps animés. Leur fonction première est de décharger les hommes des tâches les plus risquées, pénibles ou répétitives.
La confiance dans la machine est intimement liée à la notion de contrôle. Le soldat contrôle la bonne exécution de l’ordre par la machine ; il est à l’initiative et à la conclusion de l’action. L’automate, lui, sans la puissance de l’information, n’est qu’un démultiplicateur de possibilités. Or le lien de confiance entre le soldat et son système d’armes s’étiole progressivement à mesure que la distance entre l’utilisateur et le créateur augmente, car l’idée du contrôle s’éloigne. Ce mécanisme n’est d’ailleurs pas propre à la chose militaire, mais se retrouve dans tous les objets du quotidien, de l’automobile au robot ménager.
- La numérisation, le contrôle et l’illusion de la confiance
Si la Première Guerre mondiale a été celle des chimistes, la Seconde aura été celle des physiciens et des mathématiciens. Le rôle de ces derniers dans la victoire des Alliés ne fait aucun doute et les progrès effectués durant cette période ont de nombreuses applications dans notre quotidien. Du radar au premier calculateur permettant de déchiffrer les messages codés par les machines enigma, jusqu’à l’explosion de la première bombe atomique, chacun de ces développements a contribué à faire émerger la société de l’information dans laquelle nous évoluons.
Ce sont ces applications militaires qui ont servi de substrat à la numérisation progressive de l’activité humaine, et les armées ont été, au moins jusqu’au début des années 1990, à l’origine des innovations technologiques qui donneront naissance à la « révolution de l’information ». Ce qui pousse le soldat à l’innovation numérique, c’est la volonté de maîtriser le cycle de la décision. Si les machines aident à prolonger et à augmenter son action physique en frappant plus loin, plus vite et plus puissamment, l’ordinateur va démultiplier ses capacités cognitives. Calculer plus vite que l’ennemi permet d’acquérir immédiatement un gain substantiel au combat. Outre la cryptographie et la capacité à déchiffrer les codes adverses, et donc à percer les intentions, le calcul permet de proposer des solutions de tir, de contrôler des trajectoires, de faciliter la géolocalisation, de communiquer… Le monde en chiffres devient lisible et sa numérisation facilite sa lecture.
Le postulat repose sur le besoin de prédictibilité des actions militaires : anticiper, planifier et prévoir. Or la numérisation des données et leur exploitation par des calculateurs permettent justement d’effectuer plus rapidement des séries de calculs qui contribuent à combler ce besoin. La sophistication des armes répond à la nécessité d’efficacité d’un système, mais également de vitesse dans le cycle de décision. Selon cette approche, la victoire appartient à celui dont le cycle est le plus rapide. En favorisant la prédictibilité et la lisibilité là où précédemment régnait « le brouillard de la guerre », la numérisation va progressivement substituer la représentation à la réalité. Dans ce mouvement, le chef derrière son mur d’écrans nourrit son besoin de contrôle allant jusqu’à oublier le fondement même du commandement : la subsidiarité et la confiance dans ses subordonnés.
Le prisme déformant de l’information numérisée et la possibilité d’agir en quasi-temps réel se traduisent par des changements majeurs dans la conduite des opérations et dans l’organisation des centres de commandement. Ceux-ci sont aujourd’hui de véritables hub (« plateformes ») de données, dont le principal objectif est de rendre lisible une situation pour le chef. Face au flux d’informations, le risque est de ne plus se donner de temps nécessaire à l’analyse et à abandonner cette fonction également à la machine dans laquelle nous avons toute… confiance.
Ainsi l’accélération de la numérisation et les facilités des usages induits par les nouvelles technologies ont progressivement modifié le rapport à la machine et à la confiance que l’on place dans le reflet du monde qu’elles construisent. Cette tendance au « contrôle absolu » à travers la numérisation se traduit par une érosion dans les capacités humaines à traiter l’information en masse et à produire une lecture du monde qui nous soit propre.
- L’intelligence artificielle, dernière frontière de la confiance
Le symbole de la révolution de l’information, ce n’est pas l’ordinateur ou les robots, mais l’algorithme et le code. C’est le moyen pour l’Homme de maintenir une part de contrôle et de justifier la confiance qu’il place dans les machines. Code is Law est devenu un mantra chez les promoteurs des nouvelles technologies, car il incarne le moyen de conserver la maîtrise de l’outil. L’algorithme et son codage, qui assure que la machine rende le service que l’on attend d’elle, sont pourtant des constructions humaines, avec leurs biais et leurs défauts.
Avec l’illusion du contrôle ainsi que la confiance dans les capacités de calcul et de traitement des ordinateurs, la prise de décision change de nature et se fonde aujourd’hui de plus en plus sur des « données objectives ». La machine va plus vite, mémorise tout, calcule et ne se trompe jamais. C’est bien parce que nous avons conscience de nos limites cognitives que nous acceptons si facilement de les externaliser. La frange réduite de la population qui « maîtrise le code » et est capable d’intercéder entre l’Homme et la machine occupe de fait une position singulière dans nos sociétés. La confiance dans les nouvelles technologies naît d’un abandon, d’une soumission, même si l’expérience de la guerre en démontre la fragilité. Dans les faits, rien, ou si peu, ne fonctionne comme nous l’avions calculé, mais rien pourtant ne semble ébranler la confiance que nous plaçons dans ces systèmes. Pas une panne, pas un dysfonctionnement ne nous en détourne.
Entre une intuition et le résultat d’un processus algorithmique, nous choisissons bien souvent l’algorithme. Le monde de l’aéronautique est sur ce point saisissant : des programmes sont aujourd’hui développés pour améliorer le contrôle de l’avion et donner au pilote l’« illusion » que les commandes qu’il actionne fonctionnent. En 2018 et 2019, la défaillance de l’un de ces programmes, le Manoeuvering Characteristics Augmentation System (mcas), a causé le crash de deux Boeing 737 Max, soulignant les liens de dépendance entre un capteur déficient qui continue à alimenter le calculateur, un mcas qui prend le contrôle et un système d’alarme déconnecté sans que les pilotes ne soient au courant. Sortir l’Homme de la boucle de décision algorithmique, c’est précisément la limite que les armées fixent à l’intégration de l’intelligence artificielle (ia) en appui des opérations.
La puissance des machines mises en réseau, nourrie de données collectées sans limites dans notre environnement, rend le contrôle de certaines actions quasiment impossible. Dès lors, la question de l’autonomisation progressive se pose à mesure que l’ia se développe. Les limites éthiques posées par les systèmes d’armes autonomes nous ramènent à la distinction entre automatisme et autonomie. Car si l’on peut encore avoir confiance dans un système automatique, qui répond de façon systématique et programmée, il devient difficile de faire de même pour un système autonome se fondant sur l’intelligence artificielle pour construire sa décision.
Ce sont les algorithmes d’apprentissage utilisés pour nourrir des intelligences artificielles qui constituent la dernière frontière de la confiance. L’environnement opérationnel, saturé de capteurs, produit en flux continu des données qui viennent alimenter ces algorithmes dont on espère qu’ils contribueront à éclairer nos décisions et à rendre lisible ce qui ne l’était pas. Face à la complexité, la tentation d’appuyer notre jugement sur des « éléments objectifs » est forte et l’idée d’un « commandement assisté par l’ia » fait son chemin. Mais gagner une partie de jeu de Go ou prévoir la météo est une chose, envoyer des hommes au combat, donner la mort et potentiellement la recevoir, en est une autre.
Le facteur humain, principale inconnue de cette équation, reste encore non modélisable et pose ainsi les limites de la confiance que nous pouvons accorder à un processus algorithmique numérisé ou à une machine. Nous nous engageons dans la « vallée de l’étrange » de Mashimo Mori et, pour l’heure, sommes encore dans la phase de rejet. Mais pour combien de temps ? Car jeter l’opprobre sur les algorithmes, c’est peut-être oublier rapidement qu’ils ne sont que le reflet de leurs concepteurs, avec leur génie et leurs faiblesses.