1 Les paradigmes dominants dans le champ de l’« intelligence artificielle » (IA) ont maintes fois varié, mais malgré cette histoire mouvementée et l’emballement médiatique  [1] contemporain, on peut dire que l’IA a toujours constitué une forme d’horizon pour l’informatique et ses applications. Son développement actuel, accéléré dans tous les pays majeurs par divers programmes d’investissement publics et privés de grande ampleur, traduit en cela une tendance de fond.

2 Dresser une typologie complète de ce qui relève de l’IA (citons pêle-mêle : ontologies et bases de connaissance, apprentissage supervisé et non-supervisé, méthodes bayésiennes, algorithmes génétiques, programmation logique ou par contrainte, etc.) n’est pas une tâche aisée, ne serait-ce que parce que ce terme a pris un caractère de plus en plus englobant et que l’IA est à l’interface de nombreuses disciplines (informatique, mathématiques, statistique, traitement du signal, linguistique, sciences cognitives, etc.).

3 La principale distinction est celle opposant l’IA dite « symbolique » (ou le cognitivisme) à l’IA « numérique » (ou le connexionnisme). C’est de cette dernière catégorie que relèvent les techniques d’apprentissage automatique ayant le vent en poupe, telles que l’apprentissage profond, au sens où celui-ci revient à optimiser la valeur numérique de (millions de) paramètres représentant la force des connexions dans un grand « réseau de neurones » [2].

4 Il s’agit ici d’essayer de comprendre les implications pour la cybersécurité du développement actuel des branches de l’IA (en particulier de l’apprentissage automatique), et d’étudier avec soin leur intersection car l’IA et la cybersécurité évolueront désormais en tandem. Une des principales questions, dans le domaine de la cybersécurité, sera de savoir comment l’IA modifiera l’équilibre stratégique entre l’attaque et la défense [3]. Sans précaution suffisante dans sa conception et son déploiement, l’ubiquité de l’IA ne sera-t-elle pas du pain béni pour les attaquants ? Ou peut-on orienter le développement technologique pour que la défense bénéficie d’un avantage durable ?

Dualité

5 De nombreuses applications de l’IA ont un caractère dual. Ainsi, les applications possibles à la cybersécurité pour optimiser l’évaluation de la sécurité de produits ou de systèmes (ex : recherche automatisée de vulnérabilités dans un logiciel, aide à l’évaluation de la résistance de composants aux attaques par canaux auxiliaires [4], soutien automatisé des équipes d’audit informatique dans leurs tests de pénétration de systèmes d’information, etc.) pourraient-elles souvent être utilisées par l’attaquant.

6 Si les outils sont similaires et que seule la finalité diffère, cela souligne l’importance clé, dans le cas du développement de nouveaux produits ou systèmes, d’intégrer les préoccupations de sécurité dès la phase de conception (en anticipant également l’amélioration des moyens à disposition de l’attaquant) et de chercher à coupler l’emploi de techniques d’IA pour l’évaluation à des mécanismes complémentaires (tels que des mécanismes attentionnels d’extraction de saillances) permettant simultanément de concevoir les bonnes contre-mesures.

Données

7 Le sujet des données, à l’exacte intersection de l’IA et de la cybersécurité, est fondamental. Dans la mesure où la connaissance est extraite de jeux de données massives, la possession de ces données (et la capacité à les traiter) devient un véritable enjeu de puissance. Le développement de l’IA étant aujourd’hui, quel que soit le secteur d’application envisagé (santé, transport, environnement, finance…) intimement lié à la capacité d’entraîner des algorithmes sur de grandes bases de données, constitue un motif supplémentaire pour des attaquants de collecter ces données, et pourrait amplifier la propension de plus en plus constatée au vol massif et indiscriminé de données.

8 De plus, les données d’intérêt pour la cybersécurité et la détection des attaques informatiques présentent de nombreuses spécificités : sensibilité et confidentialité, caractère dynamique et obsolescence rapide (ex : un flux réseau IP), variété des types de données et grande hétérogénéité des formats. Les jeux de données pertinents, que les acteurs de la recherche et de l’innovation pourraient librement utiliser, ne serait-ce que pour comparer objectivement leurs résultats, sont rares.

9 La constitution de jeux de données de qualité, fiables et correctement annotées, sera déterminante pour permettre une application judicieuse de l’IA à la cybersécurité et la cyberdéfense. Dans ce cadre, l’ANSSI et le ministère des Armées ont entamé des réflexions pour mieux exploiter les gisements de données en leur possession, par la mise en place de « lacs de données » privatifs qui pourront bénéficier aux acteurs de la recherche académique ou aux industriels.

Risques

10 Le premier risque identifié est celui de la démultiplication des capacités des attaquants, qui seraient en mesure de conduire en ayant recours à des techniques d’IA des attaques plus furtives, plus automatisées et à bien plus grande échelle. Bien qu’il existe peu de données publiques liant explicitement des attaques ayant réellement eu lieu à l’utilisation de techniques avancées d’IA, de nombreux scénarios sont envisageables selon l’horizon temporel (automatisation d’attaques par ingénierie sociale avec, par exemple, une imitation artificielle du style d’écriture des correspondants de la cible propre à l’induire en erreur ou le développement de systèmes d’attaque adaptatifs capables de réagir au comportement de l’entité ciblée et d’apprendre à échapper au dispositif de détection, etc.) [5].

11 L’explosion inéluctable de la quantité de données à analyser en cybersécurité, couplée au risque que des acteurs malveillants – les cybercriminels se montrant en général prompts à exploiter les technologies émergentes – se servent de l’IA pour augmenter l’efficacité ou l’ampleur de certaines cyberattaques, impliquent qu’il sera de plus en plus difficile de recourir exclusivement aux analyses humaines ou aux outils disponibles. En conséquence, il est souhaitable d’atteindre un degré suffisant dans l’automatisation de la défense, en concevant des modèles et des outils de protection informatique rénovés.

12 D’autre part, le déploiement ubiquitaire de l’IA, en particulier en tant qu’interface homme-machine (reposant par exemple sur le dialogue en langage naturel), introduira également de nouveaux chemins d’attaque, et la possibilité d’attaques inédites (comme la prise de contrôle d’un assistant personnel par émission d’ultrasons). Cela sera surtout préoccupant pour des IA déployées au sein de systèmes critiques ou reliées à des systèmes de contrôle-commande qui pourront déclencher des actions dans le monde physique.

Cybersécurité de l’IA

13 Il est fondamental d’identifier et de développer une bonne compréhension, par une approche méthodique et systématique, de l’ensemble des menaces de sécurité qui pèsent sur un système d’IA. Un tel système est en effet susceptible d’être attaqué à de multiples niveaux (corruption des données d’entrée ou d’entraînement, exploitation de vulnérabilités présentes dans l’implémentation logicielle ou matérielle, extraction en « boîte noire » des caractéristiques du modèle d’apprentissage, etc.).

14 Les conséquences pourront porter aussi bien sur la disponibilité du système, son intégrité (et notamment la possibilité de modifier les décisions qu’aurait dû prendre le système) ou la confidentialité et la vie privée (possibilité de remonter par combinaison à certaines caractéristiques de données d’apprentissage, même si celles-ci, dans le cas de données personnelles, avaient fait l’objet d’une anonymisation). Là encore, cette situation plaide pour intégrer au plus tôt les considérations de cybersécurité dans les phases de conception des nouveaux systèmes d’IA. En France, le Conseil de l’innovation a annoncé lors de sa séance inaugurale en juillet 2018 le lancement d’un grand défi consacré à « la sécurisation, la certification et la fiabilisation des systèmes ayant recours à l’intelligence artificielle ». Le directeur de programme, rattaché au Secrétariat général pour l’investissement (Service du Premier ministre), devra proposer la démarche globale, la méthode de sélection des équipes, les appels d’offres ou appels à projets nécessaires, afin de faire aboutir ce grand défi.

Leurrage

15 Les méthodes d’apprentissage reposant sur l’exploitation massive de données sont vulnérables à la présence de biais dans ces données ou à leur manipulation malveillante. Le champ de recherche consacré aux attaques dites adversariales a montré qu’il était facile de leurrer un réseau de neurones ayant appris à classer des images. Ces attaques consistent à altérer par des variations imperceptibles (pour un observateur humain) les images présentées au réseau de manière à mettre en défaut la classification légitime qu’il avait apprise. Elles sont en fait très générales et s’étendent facilement à de nombreux types de signaux (image, son, vidéo, etc.).

16 Elles mettent en exergue un problème significatif de robustesse et de fiabilité. La communauté des chercheurs en IA s’est emparée de ces questions et a commencé à proposer différentes techniques pour vérifier la robustesse des réseaux de neurones [6]. Or, la question de la fiabilité de l’IA se pose évidemment avec une bien plus grande acuité dès lors qu’elle est intégrée à un système critique (tel qu’un véhicule autonome ou un dispositif en charge d’établir des diagnostics médicaux) ou employée à des fins, justement, de sécurité (qu’il s’agisse de sécurité physique comme le contrôle d’accès à un site sensible via une authentification biométrique, ou du recours à l’IA dans des produits ou des services assurant des fonctions de cybersécurité).

17 Comment savoir quel sera le comportement d’une IA face à des événements inattendus et rares, mais qui ne manqueront pas de se produire dans le monde réel ? Si la transposition – déjà délicate – des méthodes existantes en ingénierie de la sûreté de fonctionnement devait permettre d’apporter un certain niveau de garantie en revoyant entièrement les approches classiques de certification, cela n’épuisera pas le sujet de la sécurité de l’IA (pour lequel il faudra prendre en compte les actions possibles des acteurs malveillants).

L’évaluation des IA

18 Dans le domaine de la cybersécurité l’ANSSI, qui héberge en son sein le Centre de certification national, est particulièrement attachée aux concepts d’évaluation et de certification. Les Centres d’évaluation de la sécurité des technologies de l’information (CESTI) agréés par l’ANSSI sont en charge de conduire les évaluations en se référant aux schémas et référentiels existants.

19 Comment pourra-t-on s’engager à atteindre un niveau de sécurité éprouvé pour les systèmes à base d’IA ? C’est une question difficile, déterminante pour la confiance que l’on pourra avoir en de tels systèmes – et un enjeu majeur de recherche – qui se pose en des termes entièrement nouveaux pour l’évaluation d’algorithmes d’apprentissage automatique. En effet, pour un logiciel classique, l’évaluation du code suppose l’existence d’une spécification connue. Pour les hauts niveaux de certification, il est même possible de recourir à des méthodes formelles pour prouver que le code développé est exempt d’erreurs et correspond exactement à la spécification initiale. Dans le cas de l’évaluation d’un algorithme d’apprentissage, il n’y a ni spécification initiale (si ce n’est de manière générique celle de résoudre le problème pour lequel l’algorithme a été conçu…), ni code facilement analysable (en particulier à cause du très grand nombre de paramètres numériques dont dépend le comportement de l’algorithme) et, surtout, un nouvel élément absolument déterminant qu’il faudrait savoir objectivement qualifier : les données d’apprentissage ou d’entraînement.

Les applications de l’IA à la cyberdéfense

20 L’IA fait partie des technologies de rupture identifiées dans la Revue stratégique de cyberdéfense [7] comme devant bénéficier d’un soutien particulier étant donné ses potentialités. Cette technologie ouvre tout un champ de possibilités enthousiasmantes pour la cybersécurité, même si le chemin allant de la preuve de concept en recherche à un produit éprouvé et opérationnel sera souvent complexe.

21 On peut envisager un apport pour tous les maillons de la chaîne de cyber-sécurité et de cyberdéfense. Le Conseil de l’innovation, qui s’est réuni pour la troisième fois en avril 2019, vient d’ailleurs d’annoncer la sélection d’un nouveau grand défi qui ambitionne de poser les bases d’une automatisation de la cybersécurité, en ayant entre autres approches largement recours à l’IA [8].

22 Au niveau du développement et de l’aide à l’évaluation de produits sécurisés, on peut imaginer par exemple, outre l’optimisation drastique des méthodes d’évaluation actuelles [9], que l’IA permette de développer des outils automatisés contribuant à une évaluation continue sur le cycle du matériel et du logiciel (songeons à l’environnement dynamique des objets connectés) ou soit intégrée dans un assistant de sécurité qui interagirait avec le développeur afin de lui signaler progressivement les erreurs de conception ou d’implémentation.

23 La détection suscite naturellement de nombreux travaux. L’espoir est de dépasser les approches classiques basées sur des signatures, comme en intégrant des algorithmes de détection d’anomalies ou même de tenter d’anticiper les attaques. Mais la complexité du sujet est à la hauteur des enjeux. Parmi les questions-clés qui doivent encore faire l’objet de recherche, on peut citer : l’interprétabilité des résultats fournis par ces méthodes, le dépassement de nombreux réglages heuristiques et l’intégration de la connaissance métier explicite de l’analyste (par exemple via des algorithmes d’apprentissage actif). En tout état de cause, la meilleure approche consistera à combiner finement les nouvelles méthodes de détection aux méthodes existantes, tout en maintenant au cœur du dispositif la connaissance métier de l’expert en cybersécurité [10].

24 Enfin, les différentes étapes constituant la réponse aux attaques devraient pouvoir grandement bénéficier de l’automatisation et de la priorisation induites par le recours à l’IA. Elle pourrait améliorer la précision et la rapidité de l’investigation numérique, proposer des corrections (isolation, chiffrement, etc.) pour placer le système attaqué dans une configuration sûre ou être au centre de systèmes d’aide à la décision capables de représenter les vulnérabilités au fur et à mesure de la propagation des virus et ainsi proposer les actions de remédiation adéquates. Le domaine de la sécurité réactive, où il s’agit de prendre les meilleures décisions au plus tôt, tout en n’étant pas soumis à la contrainte du temps réel, semble donc très prometteur pour un apport opérationnel de l’IA.

Pistes pour le futur

25 L’avènement actuel de l’IA est une rupture propre à rebattre les cartes pour de multiples facteurs déterminants en cybersécurité. La France doit concentrer ses efforts pour que cette rupture bénéficie à sa souveraineté numérique, par exemple en encourageant l’émergence d’un acteur industriel de référence, national ou européen, dans le domaine de la Threat Intelligence (renseignement sur la menace cybernétique) [11].

26 L’IA est un concept polysémique sûrement encore amené à évoluer… Afin de faire réellement progresser la cybersécurité, il importe aussi bien de mieux comprendre les bases théoriques de l’IA (comme la convergence ou l’explicabilité) que de tirer parti d’approches empiriques, tout en demeurant à l’écoute des besoins et des contraintes opérationnels. De même une approche hybride, reliant une IA symbolique adaptée au raisonnement logique et une IA numérique pour laquelle la connaissance ne peut être qu’implicite (et dépendante des données) pourrait être une piste prometteuse pour l’avenir.

27 Enfin, rappelons que la boucle de rétroactions enclenchée entre la cybersécurité et l’IA ne portera ses meilleurs fruits que si les deux communautés respectives (d’experts, de praticiens, d’entreprises, de chercheurs ou de simples passionnés) continuent de développer leurs échanges et interactions.