1Tout ce qui est neuf n'est pas nécessairement nouveau. Cette pensée, prêtée à Paul Ricœur, semble parfaitement pouvoir tempérer les derniers développements de la transformation numérique que nous vivons, dont les tentatives de traiter des décisions de justice avec le formalisme mathématique à des fins prédictives. L'on connaît pourtant déjà bien les limites des tentatives de description des phénomènes sociaux par des équations [2] : mais l'enchantement collectif opéré par le seul énoncé du terme, vague et marketing, « d'intelligence artificielle » (IA) semble avoir parfaitement occulté la réalité concrète de la technologie sous-jacente de cette dernière mode. L'apprentissage automatique (machine learning) et ses dérivés ne sont en fait qu'une manière de créer de l'information en donnant du sens à des données par diverses méthodes statistiques bien connues.

2Dans ce contexte de confusion assez généralisée, les mathématiques seraient devenues pour Cathy O'Neil, scientifique des données (data scientist), une nouvelle « arme de destruction massive » car, malgré leur apparente neutralité, elles serviraient à des calculs algorithmiques si denses qu'il serait difficile, voire impossible, de rendre transparent les choix souvent arbitraires de leurs concepteurs [3]. Leur utilisation décomplexée serait même susceptible de renforcer de manière inédite les discriminations et les inégalités en « utilisant les peurs des personnes et leur confiance dans les mathématiques pour les empêcher de poser des questions [4] ».

3Le constat ainsi posé est pertinent : ne devons-nous pas traiter prioritairement des questions de la difficulté à utiliser ce formalisme pour décrire les phénomènes sociaux et des changements profonds de gouvernance induits au lieu de spéculer de manière stérile sur des risques relevant de la pure science-fiction, notamment en ce qui concerne l'IA [5] ? Il y a donc un effort de définition à réaliser avant toute tentative d'analyse car sans vocabulaire clair, l'on ne peut construire de pensée claire (1). Appliqué aux décisions de justice, les modèles mathématiques peinent à rendre compte de l'entière réalité qu'ils prétendent décrire et ne peuvent se prêter qu'imparfaitement à des finalités prédictives ou actuarielles (2). La critique de la commercialisation hâtive de solutions d'IA, aux potentialités parfois surévaluées, risque par ailleurs d'occulter la compréhension des réels enjeux de transformation numérique qui se jouent pourtant devant nos yeux (3).

1 - Un formalisme mathématique performant pour des tâches très spécialisées

4La croissance exponentielle de l'efficacité du traitement informatique des données depuis 2010 est totalement à distinguer des progrès considérables restant à réaliser par la recherche fondamentale pour parvenir à modéliser une intelligence aussi agile que l'intelligence humaine.

5Certains avaient cru pouvoir réduire celle-ci à « 10 millions de règles [6] » : des chercheurs comme Yann LeCun affirment aujourd'hui que l'IA se heurte en réalité à une bonne représentation du monde, qui est une question « fondamentale scientifique et mathématique, pas une question de technologie [7] ». Une dichotomie est donc parfois réalisée entre l'« IA forte » de science-fiction (généraliste, auto-apprenante et adaptable de manière autonome à des contextes tout à fait différents), et les IA « faibles » ou « modérées » actuelles, ultra-spécialisées et non-adaptables de manière totalement autonome à des changements complets de paradigme [8]. Cette distinction ne clarifie toutefois pas ce que l'on entend par « intelligence » et alimente nombre de malentendus et de fantasmes, entretenus et véhiculés par les médias, qui ne parviennent pas toujours à décrypter les discours commerciaux et à vulgariser des concepts en jeu [9].

6Commençons par rappeler qu'il n'existe pas de définition communément admise de « l'IA », qui est souvent confondue avec les algorithmes qui la composent [10]. En réalité, les divers mécanismes mis en œuvre sous ce terme très plastique sont pluriels et connus pour la plupart d'assez longue date. Historiquement ceux-ci ont oscillé entre une approche dite « symbolique », qui consiste à écrire du code informatique signifiant en miroir du raisonnement à reproduire, et une approche dite « connexionniste », mobilisant un calcul parallèle de fonctions élémentaires pour faire émerger des comportements signifiants [11]. Pour être plus précis, l'apprentissage automatique, qui est à l'origine du réenchantement récent de « l'IA », est parvenu à concrétiser les prétentions des systèmes connexionnistes, comme les réseaux de neurones [12], en contournant les limites des anciens « systèmes experts » [13], symboliques, du fait de la conjonction récente de deux événements : la performance des processeurs et la disponibilité d'une quantité considérable de données (big data).

7Ce que l'on entend par apprentissage c'est ce traitement, inductif, qui mobilise notamment des approches statistiques bayésiennes [14] pour construire à partir de données des modèles, dont l'utilité est de pouvoir produire des « prédictions » avec nouvelles données d'entrée.

8Ce qui est frappant avec ces approches connexionnistes, c'est que l'objectif prioritaire de leurs concepteurs n'est pas de comprendre le fonctionnement des modèles construits automatiquement par l'ordinateur mais de s'assurer que la machine arrive à se rapprocher progressivement des résultats attendus, si nécessaire avec toujours plus de données, par des phases successives ou continues de recherche. Et c'est d'ailleurs exactement là que réside la nouveauté de notre époque : la capacité pour ces systèmes d'apprentissage automatique d'adapter leur fonctionnement au gré des rétroactions avec de nouvelles données, en dynamique parfois avec d'autres technologies (comme des capteurs audio-visuels ou mécanismes robotiques), leur donnant ainsi une apparence anthropomorphique trompeuse.

9Le concept d'IA est donc globalement à démystifier si l'on s'en tient à une interprétation stricte du mot « intelligence ». Nous avons en réalité affaire à des systèmes computationnels complexes et non à des répliques (même sommaires) du cerveau humain (qui inclut des processus perceptifs, l'apprentissage, l'auto-organisation, l'adaptation).

10Utilisé dans des environnements fermés, comme le jeu de go ou avec des données quantifiables sans aucune ambiguïté, les résultats peuvent être tout à fait exaltants au prix d'un très fort (et coûteux) investissement… humain [15]. Mais il serait très hâtif d'interpréter ces réussites dans des champs très étroits comme les prémisses de l'avènement d'une « IA générale », nouveau Saint Graal des chercheurs [16], ni comme aisément transférables pour d'autres applications. Exécuté dans des environnements ouverts et moins facilement quantifiables, ce formalisme est plus difficilement opérant : ce constat est particulièrement vrai lorsque l'on tente de mesurer des phénomènes sociaux où « il est bien plus difficile de retrouver une relation stable » que dans les sciences naturelles, riches de « faits têtus que l'on ne peut éliminer d'un revers de main » [17].

2 - Un formalisme mathématique insuffisant à traduire fidèlement la mémoire de la justice

11Malgré ce simple constat, il n'aura toutefois pas fallu attendre très longtemps pour que des entrepreneurs tirent profit de l'engouement suscité par l'apprentissage automatique pour développer des solutions commerciales dans de très nombreux secteurs d'activité (commerces, transports, industries, urbanisme, médecine, …) à la recherche de nouveaux marchés, sans réelle conscience de la complexité de certains objets traités [18]. Ainsi, le droit a été une cible de choix, l'apparente logique du raisonnement juridique (dont le syllogisme des décisions judiciaires) conduisant les mathématiciens à penser qu'il y avait là matière à exploitation. Conjugué à un besoin (celui de rendre la réponse judiciaire plus prévisible) et à quelques idées reçues en découlant (tel que le fait que « l'aléa judiciaire » ne serait le résultat que des biais humains des juges et non d'un effort d'individualisation des décisions), des investisseurs, comme les assureurs, ont sponsorisé les coûteux développements de solutions d'apprentissage automatique avec des décisions judiciaires [19].

12Quelle que soit la dénomination commerciale (justice prédictive, quantitative ou actuarielle), les applications développées recouvrent une même et unique réalité qui consiste à établir divers types de probabilités sur l'issue d'un litige, en traitant non pas un récit brut mais des faits déjà qualifiés juridiquement. En France, les développements des legaltech se sont concentrés sur des contentieux avec des décisions chiffrables, laissant une marge plus ou moins modérée d'appréciation au juge, comme la réparation du préjudice corporel, le droit du travail ou le divorce. La construction de modèles mathématiques va donc s'appuyer sur une matière première, les décisions de justice déjà rendues dans ces types de contentieux, et l'apprentissage automatique pour découvrir des corrélations de groupe lexicaux. Concrètement la machine va rechercher dans divers paramètres identifiés par les concepteurs (comme la durée du mariage, la situation professionnelle, la disparité de situation patrimoniale, l'âge et l'état de santé des parties pour les prestations compensatoires) les possibles liens avec les résultats prononcés par le tribunal (le montant de la prestation prononcée en fonction de ces critères). L'application de cette démarche au contenu d'un jugement exige toutefois une extrême rigueur, les corrélations d'ordre linguistique découvertes dans les décisions étant loin de pouvoir être interprétées de manière irréfutable comme des rapports de cause à effet [20].

13Trois critiques principales sont à formuler à l'encontre de cette démarche de traitement de données issues de décisions judiciaires, parfaitement relevées dans la charte éthique de la CEPEJ et son étude en annexe [21] :

14Ce formalisme, tout d'abord, ne permet pas de révéler la complexité des raisonnements juridiques opérés [22] - Il doit en effet être rappelé, comme l'a mis en lumière la théorie du droit, que le raisonnement judiciaire est surtout affaire d'interprétation. C'est que le fameux syllogisme judiciaire est plus un mode de présentation du raisonnement juridique que sa traduction logique, il ne rend pas compte de l'intégralité du raisonnement tenu par le juge, lequel est ponctué d'une multitude de choix discrétionnaires, non formalisables a priori. La cohérence d'ensemble des décisions de justice n'est jamais assurée et relèverait davantage d'une mise en récit a posteriori, que d'une description stricte de l'intégralité de ces décisions [23]. Or, l'apprentissage automatique est inopérant à effectuer ce travail d'interprétation, les concepteurs espérant tout au plus que la détection de régularité dans les contextes lexicaux réussisse à reproduire en sortie les mêmes effets que le processus décisionnel réel ayant produit ces données.

15Un examen des travaux de l'University College of London, laquelle a annoncé être parvenue à catégoriser correctement 79 % des décisions de la Cour européenne des droits de l'homme (violation ou non violation), confirme bien ce diagnostic [24]. Ces chercheurs n'ont en réalité été capables de ne produire une probabilité qu'à partir d'un matériel déjà traité juridiquement, qui renseignerait davantage sur la pratique professionnelle des juristes du greffe de la Cour (qui utilisent parfois des paragraphes pré-rédigés en fonction du traitement et de l'issue donnés à l'affaire) que sur le sens de la réflexion juridique [25]. Miroir de la représentation statistique d'un échantillon de décision, elle parvient au mieux à grouper des documents respectant le même formalisme mais peinerait sans nul doute très fortement à partir d'un récit brut d'un futur requérant devant la Cour de Strasbourg. Ces résultats sont surtout totalement étrangers à la question de la conformité en droit de telle ou telle solution, dès lors que ces calculs de probabilités ne peuvent pas discriminer entre les raisonnements juridiquement valides et ceux qui ne le sont pas.

16Enfin, de tels calculs probabilistes ne sauraient en aucun cas épuiser le sens de la loi, comme l'a montré la question de l'utilisation des barèmes judiciaires : si tant est que ces barèmes aient toujours une pertinence statistique, ils ne sauraient, du seul fait de leur existence, se substituer à la loi elle-même, en réduisant notamment la marge d'interprétation que celle-ci offre nécessairement au juge [26].

17Ce formalisme seul ne permet pas, par ailleurs, d'expliciter le comportement des juges [27] - L'autre grand mythe véhiculé par le discours de promotion des outils issus de l'IA serait leur capacité à expliquer les décisions de justice. Certaines legaltech ont en effet affirmé pouvoir identifier d'éventuels biais dus à la personne des magistrats, de nature à nourrir des suspicions de partialité. L'exploitation des noms des présidents de formation de jugement des juridictions administratives en open data avait permis un temps de construire un indicateur nominatif du taux de rejet de recours contre les obligations de quitter le territoire français [28]. Il n'est dès lors pas étonnant que l'une des principales questions qui animent encore le débat autour de ces nouveaux outils porte sur l'accès au nom des professionnels dans les décisions judiciaires ouvertes, notamment des magistrats [29]. Mais, peut-on réellement parvenir à éclairer le comportement des juges sur la base d'un traitement algorithmique des occurrences de leurs noms dans certaines décisions de justice ?

18D'un point de vue scientifique, expliquer un phénomène ou, pour ce qui nous concerne, un comportement humain (celui d'un juge), revient à déterminer les mécanismes de causalité ayant conduit à ce comportement en présence d'un certain nombre de données contextuelles. Cela nécessite la constitution préalable d'un cadre interprétatif, constitué par les hypothèses ou points de vue adoptés par les différentes disciplines des sciences sociales [30].

19Rappelons que l'IA bâtit des modèles en tentant de révéler des corrélations dissimulées dans un grand nombre de données. Or, la seule corrélation statistique entre deux événements est insuffisante pour expliquer les facteurs réellement causatifs [31]. Appliqué au droit et aux décisions judiciaires, on mesure immédiatement ce qu'il peut y avoir de scientifiquement erroné et d'idéologique dans l'ambition de rendre objective la décision des juges grâce à des algorithmes. Fournir une véritable explication d'un jugement nécessiterait une analyse beaucoup plus fine des données de chaque affaire et ne saurait naître spontanément d'une masse de liens lexicaux dans lesquels figure le nom d'un magistrat. Par exemple, le fait qu'un juge aux affaires familiales fixe statistiquement davantage la résidence habituelle d'un enfant chez la mère dans un ressort déterminé ne traduit pas nécessairement un parti-pris de ce magistrat en faveur des femmes, mais s'explique davantage par l'existence de facteurs sociaux-économiques et culturels propres à la population de sa juridiction (est-ce que les pères ont formulé cette demande ?). De même, il paraît difficile d'attribuer une tendance décisionnelle à une formation juridictionnelle collégiale sur la seule base du nom de son président.

20Les risques d'explications faussées des décisions de justice s'avèrent donc extrêmement élevés sur la base des seuls calculs probabilistes opérés. La justice « prédictive » composerait ainsi une sorte de mémoire myope de la justice, dépourvue d'une analyse fine des véritables éléments causatifs des décisions de justice qu'elle prétend restituer. L'espoir de voir émerger du traitement par les IA une information de nature à produire une « norme issue du nombre » imposant aux juges un « effort renouvelé de justification » pour expliquer l'écart à la moyenne doit être largement tempéré au vu de la compréhension technique de la mécanique produisant cette moyenne [32]. Surtout, la seule valeur statistique des résultats obtenus demeure bien souvent hautement questionnable en l'absence d'une véritable maîtrise du périmètre des données prospectées et de l'effet « boîte noire » de certains algorithmes tels que l'apprentissage profond [33] (deep learning). De plus, comme l'a montré l'émergence des grilles de barèmes judiciaires, la tentation peut être grande pour les concepteurs de ces outils de se livrer à du data-snooping, c'est-à-dire à ne sélectionner en amont que des données de manière à ce qu'elles puissent être significatives au regard de grilles d'analyse prédéterminées, par exemple en éludant de l'échantillon des décisions se prêtant mal à des corrélations de séquences linguistiques (des décisions sans exposé du litige par exemple, C. pr. civ., art. 455) [34].

21Plus grave encore, les modèles d'apprentissage peuvent potentiellement reproduire et aggraver les discriminations [35] - Les différentes techniques de l'apprentissage automatique paraissent en effet en elles-mêmes neutres en termes de valeurs sociales : que l'apprentissage soit supervisé ou non, avec ou sans renforcement, s'appuyant sur des machines à support de vecteur ou des réseaux de neurones profonds, les sciences fondamentales qui les animent sont avant tout un formalisme. En revanche, l'utilisation de ce formalisme avec une méthode et des données biaisées entraînera systématiquement des résultats biaisés.

22Prenons l'exemple de l'algorithme COMPAS [36] qui est utilisé de manière effective dans certains États américains afin d'évaluer la dangerosité des individus en vue de leur éventuel placement en détention provisoire ou lors du prononcé d'une condamnation pénale. Cet algorithme s'appuie sur des études académiques en criminologie et en sociologie, sur différents modèles statistiques et le traitement d'un questionnaire de 137 entrées, relatif à la personne concernée et à son passé judiciaire sans aucune référence à son origine ethnique [37]. Le système fournit ensuite au juge différents « scores » à un horizon de deux années : risque de récidive, risque de comportement violent et risque de non-comparution pour les situations de placement en détention provisoire. La démarche apparaît a priori pluridisciplinaire et fondée scientifiquement.

23Toutefois, en mai 2016, les journalistes de l'ONG ProPublica ont analysé l'efficacité des « prédictions » de COMPAS sur une population de près de 10 000 individus arrêtés dans le comté de Broward (Floride) entre 2013 et 2014 [38]. Cette étude a révélé non seulement un taux relativement faible de « prédictions » justes (61 %) mais, en procédant à l'analyse approfondie des « faux positifs », elle a par ailleurs établi que les populations afro-américaines étaient pondérées d'un plus fort risque de récidive que les populations blanches. Inversement, les populations blanches ayant effectivement récidivées avaient été deux fois plus classifiées comme étant en risque faible que les populations afro-américaines. En d'autres termes, sans inclure l'ethnie des individus ou avoir été spécifiquement conçu pour traiter cette caractéristique, le croisement des données (dont le lieu de résidence) a indirectement surpondéré cet aspect au détriment d'autres facteurs sociaux individuels (éducation, emploi, parcours familial) et a conduit à influencer les juges avec des indicateurs proprement discriminatoires. Réduire le destin d'un individu à celui de son groupe statistique d'appartenance est une résurgence incontestable d'une doctrine pénale déterministe, qui pourrait avoir du mal à prendre corps en France du fait de l'enracinement profond de la « Défense sociale nouvelle » dans notre droit positif.

24En reprenant du champ, on pourrait considérer que la problématique ainsi posée pour la matière pénale est singulière. Elle reste en réalité la même avec des affaires civiles, administratives ou commerciales : la nature de la matière contentieuse est en effet étrangère à la présence de biais dans la méthode et les données. Il serait intéressant par exemple d'examiner si, pour une série de prestations compensatoires dans lesquelles la situation maritale et économique est objectivement équivalente, les montants « prédits » par de tels algorithmes apparaissent pondérés différemment selon le lieu de résidence des parties. Dans la positive, quels critères, explicites ou sous-jacents, ont pu avoir une influence ? Sans explication ni transparence sur cet état de fait, cela revient à laisser une « boite noire » influer de manière tout à fait discrétionnaire sur l'issue d'un contentieux et à reproduire des inégalités.

3 - Un formalisme mathématique fondateur d'une société gouvernée par les données

25Des apprentissages automatiques n'ayant pas conscience de la complexité de la matière traitée (l'application de la loi et les phénomènes sociaux) risquent donc de créer plus de problèmes qu'ils prétendent apporter de solution. Loin de pouvoir offrir « une large collégialité et une indépendance davantage partagée [39] », ils sont susceptibles en réalité de cristalliser la jurisprudence autours de calculs biaisés n'étant représentatifs que d'eux-mêmes. Il est vrai qu'il semble difficile de se départir de la « troublante vocation » de certains systèmes computationnels : énoncer la vérité. Pour Eric Sadin, le numérique s'érigerait aujourd'hui comme « une puissance alèthéique, destinée à révéler l'alètheia, à savoir la vérité, dans le sens défini par la philosophie grecque antique, entendue comme la manifestation de la réalité des phénomènes à l'opposé des apparences [40] ».

26Le grand emballement autour des potentialités, réelles ou fantasmées, de l'apprentissage automatique est donc hautement critiquable du fait de son manque patent de maturité mais, surtout, du fait de ce nouveau régime de vérité qu'il impose au mépris de ce qui devrait être un travail rigoureux d'analyse des résultats de ces outils, qui ne sont que le reflet imparfait et orienté d'une réalité qu'il s'agirait avant tout de tenter de décrire et de comprendre de manière pluridisciplinaire. Les efforts financiers et humains actuels des industries numériques se concentrent à bâtir hâtivement des cathédrales algorithmiques complexes dans l'espoir de lever, avant les autres concurrents entraînés dans la même course effrénée, des fonds avec une promesse : révéler une prétendue vérité naturelle et immanente en la saisissant dans les corrélations de l'apprentissage automatique. Or il s'agit de colosses dispendieux aux fondations extrêmement fragiles en ce qui concerne les décisions de justice : les systèmes juridiques restent très ouverts et un revirement peut invalider des décennies de patiente construction jurisprudentielle. Cette instabilité pose un problème bien fondamental à des algorithmes qui se construisent, avant tout, sur des statistiques d'événements passés.

27L'on en vient à ce stade au principal argument des techno-évangélistes qui entendent alors faire taire toute critique de l'ancien monde : l'on ne pourrait (et l'on ne devrait) concevoir l'évolution de demain en restant figés dans nos référentiels actuels. Et il semble que l'on ne puisse pas leur donner entièrement tort, mais peut-être pas pour les raisons qu'ils envisagent. La transformation de fond réellement à l'œuvre, pur produit d'un étrange attelage de philosophie néolibérale et libertarienne, est bien de substituer un référentiel à un autre : l'idée est de remplacer la règle de droit par d'autres mécanismes de régulation censés être plus efficaces pour assurer le fonctionnement de notre société. Et c'est bien là que réside le défi majeur de notre temps : l'IA n'est en réalité qu'un avatar, parmi d'autres, d'une ambition bien plus globale qui pose un défi démocratique sans précédent : une société gouvernée par les données (data driven society), se substituant progressivement à l'État de droit que nous avons bâti ces derniers siècles.

28La loi, bien qu'imparfaite, est avant tout l'expression collective d'un projet de société, miroir des priorités qu'un peuple souhaite se donner, et dont la valeur et l'intérêt sont discutées entre des représentants élus à même de composer un équilibre entre des intérêts contradictoires. L'IA, et les algorithmes en général, nous imposent, par un formalisme scientifique aux apparences neutres, une nouvelle rationalité qui est en réalité… celle de leurs concepteurs. En d'autres termes, la démocratie se retrouve confisquée par une nouvelle forme d'aristocratie, numérique, qui paraît se suffire à elle-même pour définir des notions aussi simples que le bien ou le mal [41]. Ce projet n'est au final pas très éloigné de celui de la physique sociale imaginé par Adolphe Quételet : le mathématicien belge du XIX^e siècle envisageait l'homme comme libre mais il estimait que « ce qu'il apporte de perturbation dans les lois de la nature ne peut nullement altérer ces lois, du moins d'une manière permanente ». En posant ainsi les jalons d'une analyse systématique des phénomènes sociaux par la statistique, il ambitionnait de faire émerger un projet aux accents parfaitement totalitaires : l'élaboration d'une « statistique morale » glorifiant l'axe d'un homme moyen autour duquel tout homme aurait dû se référer.

29Une lecture politique de la transformation numérique paraît donc aujourd'hui impérative afin de clarifier les réels défis posés par le numérique dans les débats publics et l'on comprend bien que ce ne sont pas les outils qui sont en cause mais bien ce que certains prétendent en faire. L'encadrement dès lors apparaît indispensable, qu'il s'agisse en premier temps de soft law ou de modes bien plus contraignants, à l'image du RGPD [42]. Cette construction devra toutefois s'effectuer consciente d'une autre réalité, tempérant peut-être l'urgence : l'écart qui existe encore entre les ambitions de l'IA dans le domaine de la justice et ses réalisations, très sectorielles et non généralisables, qui nécessitent des moyens humains de très haut niveau technique et des investissements financiers relativement substantiels. Meilleure alliée des discours idéologiques précédemment décrits, l'IA risque donc de se confronter plus rapidement que prévu à sa réelle rentabilité. Dans la deuxième édition de son rapport sur l'IA dans les entreprises, l'institut Deloitte révèle que les revenus issus de l'IA semblent extrêmement disparates en fonction des secteurs d'activité [43]. Si les entreprises technologiques pionnières semblent engranger d'importants bénéfices (plus de 20 %), celles relevant des sciences naturelles et de la santé est bien plus modeste (13 %). Sur le nouveau « marché du droit », la viabilité de modèles économiques reste encore hautement questionnable pour les investisseurs et les legaltech, qui ont obtenu des levées de fonds relativement considérables, devraient rester très attentives au contenu de leurs promesses… dont on pourrait prédire, au regard des présents développements, que certaines ont une assez forte probabilité de n'être jamais au rendez-vous même en ouvrant le robinet de l'open data.