CAIRN.INFO : Matières à réflexion

1 L’armée russe se verra prochainement doter de plateformes armées pilotées à distance grâce au système d’intelligence artificielle Unicum. Il permettra d’exclure complètement l’intervention humaine. Les performances techniques et économiques des systèmes à l’autonomisation croissante ne laissent que peu de place aux questionnements éthiques. Pour autant, la guerre n’est-elle pas une chose trop grave pour être confiée aux (seuls) robots ?

2 L’éternelle dialectique du glaive et de la cuirasse marque l’histoire du développement de l’armement. Elle vise à infliger des dommages à un adversaire tout en se prémunissant de ceux qui pourraient être subis. Bien plus efficaces que la javeline, les drones aériens qui placent leurs pilotes jusqu’à plusieurs milliers de kilomètres des zones de conflits prolongent la dissymétrie entre les combattants. Toutefois, malgré l’accroissement de la distance entre le soldat et l’effet cinétique qu’il délivre, l’humain reste actuellement au cœur de l’action. Une distinction essentielle s’impose ici, entre drones téléopérés et robots autonomes. Les engins pilotés par des humains ne constituent pas des systèmes d’armes totalement autonomes. L’autonomie complète s’entend comme la capacité pour la machine à prendre seule des décisions, une fois déployée sur le terrain, sans présence de « l’homme dans la boucle ».

3 Le développement de l’autonomisation des armes n’est pas un phénomène « 2.0 ». C’est une réalité qui remonte au XIXe siècle avec la mise au point de mines sous-marines, dispositifs létaux au déclenchement automatique, revêtus par la suite du manteau du droit international [1]. Aujourd’hui, les robots armés autonomes posent des problèmes éthiques. Ces interrogations passent souvent au second plan lors des recherches en armement, loin derrière les questions d’efficacité, de coût, ou de légalité. Elles deviennent particulièrement prégnantes avec l’autonomisation des machines comme le prophétisait Isaac Asimov : « Il est une chose dont nous avons maintenant la certitude : les robots changent la face du monde et nous mènent vers un avenir que nous ne pouvons encore clairement définir » [2].

4 Avec la sophistication continue des intelligences artificielles, les robots létaux nous obligent à nous définir en tant qu’être humain et en tant que soldat, dont la place doit rester centrale au cœur des conflits au risque de dénaturer l’essence même de la guerre.

Les promesses de l’autonomisation : efficacité et efficience sur le champ de bataille

5 La Corée du Sud emploie depuis 2013 les sentinelles robotiques SGR-A1 pour garder sa frontière en permanence, tout en préservant sa ressource humaine et… sa masse salariale ! L’approche utilitariste plaide indubitablement pour un emploi des robots autonomes : les machines peuvent se révéler plus efficaces que l’homme sur le plan militaire, mais sont aussi plus efficientes au niveau économique.

6 Même si la relation entre technologie et victoire décisive est éminemment complexe, il n’en reste pas moins que la première peut jouer un rôle dans l’obtention de la seconde. En 1919, les Britanniques l’ont emporté lors de la troisième guerre d’Afghanistan grâce à l’emploi de véhicules blindés, d’armes lourdes à répétition, d’aéronefs dont ne disposaient pas les Afghans. Un siècle plus tard, la supériorité technologique pourrait avoir un impact démultiplié. Un robot armé autonome peut théoriquement surpasser son créateur dans bien des domaines : vitesse d’analyse, temps de réaction (en millisecondes), précision des tirs accrue deviennent possibles grâce aux progrès réalisés en matière de capteurs embarqués et d’intelligence artificielle (IA). N’étant pas limités par les sujétions des corps biologiques, ils offrent endurance et résistance aux agressions du milieu (température, pression et composition de l’atmosphère…). Ils ne sont sujets ni à la douleur ni aux émotions et conservent donc leur potentiel en toutes circonstances. Capables de remplir des tâches de plus en plus complexes, ils évolueront dans les milieux urbains, au sein des populations civiles. Cette vision d’un futur proche ne relève plus de la science-fiction. La course à l’armement « intelligent » est déjà en marche depuis quelques années. L’aéronef de combat britannique Taranis (du nom du dieu celte de la foudre) disposera de capacités autonomes dont ne bénéficient pas les Predator et autres types de drones employés depuis une dizaine d’années [3]. Les systèmes d’armes létaux autonomes (SALA) constituent un champ de recherche que les armées modernes ne peuvent donc ignorer sauf à subir un véritable déclassement technologique.

7 Dans un contexte où la croissance des pays développés a parfois du mal à reprendre, et face aux exigences sociétales, les ressources allouées aux budgets de défense sont comptées. Aussi, l’emploi des crédits doit être optimisé, notamment par la réduction des coûts en matériel et personnel. L’utilisation de plateformes robotisées individuelles sur le terrain en lieu et place de leur équivalent avec équipages, pourrait diviser les coûts par trois [4]. Les dépenses relatives au personnel pourraient être grandement réduites, car un robot ne perçoit ni salaire ni pension de retraite. Leurs conditionnement, transport et entretien généreraient des économies d’échelles importantes. C’est actuellement déjà le cas pour des missiles entreposés pour plusieurs années et diagnostiqués de manière automatisée, comme l’Aster[5] européen ou le Patriot américain. Les plus petits systèmes d’armes autonomes fabriqués à bas coûts pourraient même être « jetables », court-circuitant toute maintenance.

Humanisation du champ de bataille…

8 Au-delà de cette logique utilitariste, les SALA peuvent préserver la vie humaine, sacralisée dans nos sociétés post-modernes. Soldats et civils impliqués dans les conflits pourraient ainsi être épargnés. Loin des clichés de la culture populaire, les robots pourraient-ils « humaniser » le visage de la guerre ?

9 Les opinions publiques se montrent peu enclines à l’exposition de la vie de leurs soldats projetés loin de leur pays. L’autonomisation pourrait réduire les risques physiques ou psychologiques encourus par les soldats. La priorité donnée à l’envoi de drones ou robots autonomes offrirait la meilleure protection possible et légitimerait ainsi plus facilement le déclenchement d’une opération, où les seules pertes seraient matérielles. De plus, la létalité des conflits de haute intensité n’a cessé de croître : l’efficacité des armes modernes fait du champ de bataille high-tech un lieu où la survie des soldats est de plus en plus incertaine. Aussi, leur éloignement du front et leur substitution, par des machines autonomes pouvant évoluer dans un environnement hostile, prendront tout leur sens dans les conflits à venir.

10 Le roboticien Ronald Arkin de l’institut technologique de Géorgie met en lumière la réduction potentielle du nombre de crimes de guerre grâce aux robots militaires [6]. Ces derniers ne sont pas sujets à la haine ou à l’esprit de revanche. Arkin ne prétend pas que les robots seraient parfaitement « éthiques », mais il déclare qu’ils pourraient être bien plus stables que les soldats. Les SALA du futur distingueraient les adversaires et détermineraient la nature de leur comportement. La précision de leurs armes réduirait théoriquement le nombre de victimes collatérales. Au-delà, un robot pourvu d’un programme éthique serait capable de se sacrifier pour la préservation de vies civiles.

11 En réduisant le coût humain de la guerre, les robots autonomes pourraient changer la face des conflits, à tel point qu’il pourrait paraître « non-éthique » d’envoyer des soldats au front sans absolue nécessité. Un nouveau paradigme verrait alors le jour : l’humanisation paradoxale des combats par l’emploi d’actions cinétiques robotisées.

Ou tuerie autonomisée ?

12 Si les XIXe et XXe siècles ont été ceux de l’industrialisation de la guerre, le XXIe pourrait être celui de son autonomisation. Ronald Arkin nous prédit une guerre robotique juste. Rien n’est moins sûr.

13 En l’état actuel des recherches, le robot éthique n’est pas près de voir le jour. Les dernières expériences pour estimer le comportement « éthique » de robots ne sont pas concluantes [7]. Les capacités de telles machines à discriminer seules, les cibles potentiellement dangereuses ou les comportements humains (parfois irrationnels…) sont loin d’être atteintes. En outre, plus de 117 000 attaques cyber ont lieu chaque jour dans le monde [8] : les robots pourraient donc être piratés et reprogrammés pour désigner de nouvelles cibles. En sortant l’homme de la boucle décisionnelle, la guerre robotique pourrait être profondément plus inhumaine. L’inhibition de l’homme à tuer ses semblables constitue un garde-fou face à la cruauté de la guerre. Autonomiser l’acte de tuer, si précis soit-il et limité dans ses dommages collatéraux, n’apparaît pas comme un développement des comportements éthiques. Des SALA déployés sur le théâtre d’opérations décideront par eux-mêmes quelles cibles sont à traiter et prendront des initiatives pour atteindre la mission qui leur aura été confiée.

14 Aucune machine n’a conscience de ses actes et au mieux, les programmes d’IA ne feront que singer les sentiments humains. Selon Olivier Pietquin [9], les choix des machines ne sont le résultat que « d’un calcul fait selon une règle codée par un être humain ». Pour parvenir à des décisions éthiques, il conviendrait de programmer à l’avance un classement des priorités de chaque action ou intention de chaque personne, ou de chaque objet dans le monde. Quand bien même un robot pourrait comprendre des situations complexes du champ de bataille, il ne serait pas pour autant considéré comme un agent moral. En effet, il aurait du mal à déterminer quelles actions sont justes ou injustes, bonnes ou mauvaises et il disposerait encore moins de la capacité à se sentir coupable et à exprimer des remords. Les émotions artificiellement reproduites ont peut-être un impact psychologique sur la perception de l’humain vis-à-vis de la machine, mais elles ne forgent pas cette capacité profondément humaine qu’est l’empathie. Si l’ancrage de la temporalité de la vie fonde l’existence humaine [10], alors le concept de finalité de la vie échappe de facto aux robots qui ne « meurent » pas. Ils peuvent éventuellement être reconstruits et leur programme d’IA être téléchargé de nouveau. Comment pourraient-ils alors appréhender le poids que revêt l’élimination d’une vie humaine ?

15 L’anthropomorphisme des machines présente donc un piège dans lequel il ne faut pas tomber, celui de prêter au robot une humanité qui lui est étrangère. Il en est un autre, plus pernicieux, qui s’adresse directement aux militaires…

Le désengagement moral des soldats, déclin de l’éthos militaire

16 Les SALA vont permettre aux soldats de rester à l’arrière, plus loin de l’action. La capacité à rester hors d’atteinte des frappes de l’adversaire est primordiale pour préserver le potentiel de la force et concourt à la réalisation de la mission. Toutefois, si les soldats en viennent à passer la majorité du temps éloignés de la brutalité des combats, leur rapport au risque pourrait en être modifié et, par là, les fondements de la morale dans la guerre.

17 La critique du combat à distance n’est pas un fait nouveau : en 1143, le pape Innocent II a fait interdire l’emploi de l’arbalète pour préserver la chevalerie. Délivrer la mort à distance dans des conditions de relative sécurité pourrait réduire l’inhibition de l’homme à ôter la vie de ses semblables (voire la neutraliser), constituant une adiaphorisation [11] du militaire. C’est pourquoi les pilotes de drones disposent de capteurs multiples leur permettant d’avoir une conscience aiguë de ce qui se passe sur le terrain, et d’une chaîne décisionnelle solide traitant notamment des problèmes juridiques posés en droit des conflits armés. Au sol, ce sentiment de distanciation pourrait être encore réduit par une vision accrue : le système SWORDS[12] permet de lire les bandes patronymiques à 300 mètres. Cette perte des implications éthiques qui peut donc être relativisée dans le cas de drones téléopérés prend toutefois une autre dimension avec des engins autonomes. En effet, un robot armé autonome lâché sur le champ de bataille n’aurait finalement que très peu d’interactions avec le militaire. Ce dernier pourrait donc se sentir moins engagé que le pilote décidant de lâcher sa bombe ou son missile intelligent. À la différence des systèmes téléopérés qui disposent de la possibilité de réengager le pilote, la machine autonome n’a plus d’autres limites que sa programmation. Le maintien de « l’homme dans la boucle » est une caractéristique limitante du point de vue capacitaire (endurance physique et mentale des pilotes, temps de réaction humains…), mais qui reste primordiale pour développer une conscience des actes et les connecter à la morale.

18 Les valeurs incarnées par la profession militaire (courage, honneur, devoir, cohésion…) pourraient s’éroder avec la protection de la force en tant que valeur suprême. L’éthos militaire est basé sur l’esprit de sacrifice et l’accomplissement de la mission. Il n’est pas souhaitable de rechercher un combat « chevaleresque » ou « équitable » et ce n’est d’ailleurs pas imposé par le droit des conflits armés. Mais une asymétrie paroxystique représentée par un massacre à sens unique d’humains par des robots pourrait remettre en cause les vertus militaires. De surcroît, la généralisation de l’emploi des SALA entraînerait une perte de compétences des soldats dont l’emploi serait relégué à celui de technicien superviseur… au détriment de toute réversibilité. Il serait encore plus difficile de promouvoir les qualités du chef, meneur d’hommes, entraînant un appauvrissement de la chaîne de commandement. Sur le plan tactique, un micromanagement du champ de bataille verrait le jour : avec la sclérose des initiatives des subordonnés, délaissées aux seules machines, les capacités d’innovations et de réaction seraient paralysées.

19 Privés de leurs vertus cardinales, les militaires se retrouveraient au « volant » d’une voiture sans conducteur ! N’ayant plus l’apanage de la conduite tactique des opérations, ils pourraient même se contenter d’une place de simple passager…

Bannir l’autonomie totale !

20 « Si le savoir peut créer des problèmes, ce n’est pas l’ignorance qui les résoudra » [13]. De nombreux pays se sont lancés dans cette course à l’armement robotique autonome. Afin de ne pas manquer un saut technologique, le pragmatisme militaire impose la poursuite de telles études. Néanmoins, les conséquences éthiques induites par l’autonomisation, tant sur le changement probable de nature de la guerre que sur le comportement moral des soldats, nécessitent d’encadrer la recherche et l’emploi des SALA. La reprise en main par un opérateur constitue une problématique centrale et, à ce titre, la Commission de réflexion sur l’éthique de la recherche en sciences et technologiques du numérique d’Allistene (Cerna) préconise que le roboticien étudie « la possibilité ou non laissée à l’humain de ‘‘débrayer’’ les fonctions autonomes du robot » [14]. L’autonomisation des systèmes d’armes devrait donc être limitée et de tels engins intégrés au sein d’équipes humaines. L’homme doit rester au cœur du système, avec ses défauts mais surtout son empathie, si singulière.

21 En conséquence, les robots armés totalement autonomes devraient tout simplement être interdits au même titre que les armes chimiques. Les instances internationales feraient alors face à un double défi : d’une part, parvenir à un consensus quant à la catégorisation des SALA par un encadrement juridique solide et d’autre part, obtenir son application effective.

Notes

  • [1]
    Convention relative à la pose des mines sous-marines automatiques de contact conclue à La Haye le 18 octobre 1907 dans le cadre de la Conférence de la paix de 1907.
  • [2]
    Isaac Asimov : Le grand livre des robots, Tome 1 : « Prélude à Tantor » ; Presse de la cité, 1990.
  • [3]
    John Arquilla : « Meet A.I. Joe », 1er mai 2015 (https://cacm.acm.org/blogs/blog-cacm/186551-meet-a-i-joe/fulltext).
  • [4]
    Armin Krishnan : Killer robots: legality and ethicality of autonomous weapons ; Ashgate publishing, 2009.
  • [5]
    Le missile Aster est décliné dans les armées françaises en SAMP-T (système sol-air moyenne portée terrestre) et SAAM (système anti-air missile, embarqué sur le Charles-de-Gaulle par exemple).
  • [6]
    Ronald C. Arkin : « The case for ethical autonomy in unmanned systems », 2007 (www.cc.gatech.edu/).
  • [7]
    Alan Winfield, du laboratoire de robotique de Bristol, a mené l’expérience avec de petits robots programmables dont l’un d’entre eux pouvait, en risquant son intégrité, sauver autrui. Les résultats démontrent que la machine n’a pas toujours été capable de faire un choix.
  • [8]
    Cabinet d’audit et de conseil PricewaterhouseCoopers : « Cybersécurité : alors que les incidents augmentent et sont toujours plus coûteux, les budgets sécurité des entreprises diminuent », 2014 (www.pwc.fr/).
  • [9]
    Olivier Pietquin est chercheur au laboratoire d’informatique fondamentale à l’Université de Lille : « Un robot face à un dilemme », 2014 (www.lefigaro.fr/).
  • [10]
    Martin Heidegger : Être et Temps ; Paris, Authentica, 1985.
  • [11]
    Phénomène décrit par Zygmunt Bauman, sociologue, du grec adiaphoria, indifférence.
  • [12]
    Special Weapons Observation Reconnaissance Detection Systems, robot de combat téléopéré utilisé par l’armée américaine depuis 2004.
  • [13]
    Isaac Asimov : L’Univers de la science ; InterEditions, 1986.
  • [14]
    Allistene (Alliance des sciences et technologies du numérique), Rapport n° 1 de la Cerna, Éthique de la recherche en robotique, 2014. Allistene regroupe plusieurs instituts ou centres tels que le CEA, le CNRS…
Français

L’emploi de robots armés autonomes pourrait représenter la panacée en évitant le risque de perdre ses propres soldats. Cependant, malgré les progrès des technologies et de l’Intelligence artificielle, il serait dangereux et inconscient d’aller vers une robotisation intégrale en excluant l’homme dans la boucle décisionnelle.

English

Autonomic, Armed… and Dangerous!

The use of armed autonomic robots could represent the panacea of avoiding the risk of losing one’s own soldiers. Despite the progress of technologies and artificial intelligence, it will be dangerous and reckless to move towards a complete robotization excluding man in the decision-making loop.

Olivier Leclère
Commissaire principal. Officier du Service du commissariat des armées. Stagiaire de la 23e promotion de l’École de Guerre (« Verdun »).
Cette publication est la plus récente de l'auteur sur Cairn.info.
Mis en ligne sur Cairn.info le 17/02/2020
https://doi.org/10.3917/rdna.791.0149
Pour citer cet article
Distribution électronique Cairn.info pour Comité d’études de Défense Nationale © Comité d’études de Défense Nationale. Tous droits réservés pour tous pays. Il est interdit, sauf accord préalable et écrit de l’éditeur, de reproduire (notamment par photocopie) partiellement ou totalement le présent article, de le stocker dans une banque de données ou de le communiquer au public sous quelque forme et de quelque manière que ce soit.
keyboard_arrow_up
Chargement
Chargement en cours.
Veuillez patienter...