L’intelligence artificielle générative convoquée pour déchiffrer des décisions de justice

Cinq équipes ont planché, lors d’un hackathon du Conseil d’État, sur un outil de vulgarisation des décisions rendues par le juge administratif. À grands renforts d’intelligence artificielle pour générer des textes, des images ou du son. Avec des résultats “encourageants” d’après l’institution.

Patrice a 60 ans, il gère une PME, mais n’a aucune compétence juridique. Anna est une réfugiée qui apprend encore le français. Et Hugo, du fait de ses déficiences cognitives, ne comprend que les phrases simples et courtes. Trois personnages fictifs, mais “types”, pour qui le Conseil d’État aimerait faciliter la compréhension des décisions rendues par les juridictions administratives, qu’elles les concernent directement ou non. Seule une poignée de décisions importantes font l’objet aujourd’hui d’une telle explication de texte, notamment par les équipes de communication du Conseil d’État. “L’ordre administratif, c’est plus de 300 000 décisions par an. Il est donc matériellement impossible de proposer des synthèses pour toutes ces décisions”, a rappelé le conseiller d’État Alexandre Lallet, lors d’un hackathon organisé le 25 novembre au Palais-Royal.

Pour augmenter la cadence et proposer automatiquement une explication personnalisée pour l’interlocuteur, la plus haute juridiction administrative a en effet sollicité l’appui d’experts informatiques. Leur mission ? Concocter en une semaine environ des outils permettant de synthétiser automatiquement des décisions de justice, à l’écrit, en audio, ou en vidéo ou dans tout autre format pertinent pour rendre ces décisions “immédiatement compréhensibles de tous les publics”, pouvait-on lire dans la présentation de l’événement.

Après une matinée passée à ajuster les derniers réglages de leur outil, 5 équipes de 4 à 5 personnes, principalement des étudiants à Sciences Po, Centrale Supélec ou l’Essec, ont présenté le fruit de leur travail devant un jury. Sans surprise, tous ont eu recours à ce que l’on appelle les LLM, ces grands modèles de langage entraînés de manière très générale sur des quantités astronomiques de textes, dont la plus illustre application est ChatGPT. Tous se sont concentrés sur la conception d’un outil de traduction des décisions dans toute leur complexité pour les requérants, mais aussi pour le grand public, incarné par les 3 profils types ciblés par le Conseil d’État.

Le résultat, pour la plupart des équipes, a été plutôt bluffant : elles transmettent à ChatGPT (utilisé par la plupart des équipes pour des raisons de simplicité et de performance, malgré le critère de souveraineté retenu pour le hackathon) une décision de justice, et il en ressort un résumé restituant à la fois l’objet du litige, le sens et les motifs de la décision. Le tout en seulement quelques lignes ou quelques paragraphes en fonction des niveaux de détail et de langage adaptés à chacun des 3 personnages. Avec, en prime, l’ajout de pictogrammes et d’une fonctionnalité de lecture audio automatique et même, pour certains, une tentative de génération automatique d’une vidéo animée avec des images pour faciliter encore un peu plus la compréhension de la décision. D’autres ont préféré une présentation sous forme de conversation par messagerie, entre le requérant et la juridiction administrative.
Cadre contraint

Pour évaluer les capacités des différents outils, le Conseil d’État avait transmis 3 décisions, plus ou moins complexes et longues. Une première rendue par la cour administrative de Nantes au sujet du rejet d’un permis de construire. Une deuxième sur une demande de réparation à la suite d’une infection nosocomiale contractée à l’hôpital, “bien rédigée mais absolument incompréhensible” pour le commun des mortels, selon Alexandre Lallet. Et une dernière, jugée au niveau du Conseil d’État, à propos de l’octroi du statut de réfugié et de la protection subsidiaire à un demandeur d’asile.

Toutes les équipes ont toutefois reconnu les limites de leur outil, surtout dans le temps imparti et avec les moyens disponibles. En effet, le Conseil d’État leur n’avait donné que quelques jours seulement et un budget de 100 euros. Impossible, avec une telle somme, de se payer un entraînement spécialisé sur le droit administratif et très gourmand en ressources informatiques. Les équipes ont dû rivaliser d’ingéniosité pour obtenir les meilleurs résultats avec ces contraintes. Elles ont notamment misé sur la technique du “prompt engineering”, qui consiste à jouer seulement sur la consigne envoyée au modèle de langage, appelée “prompt”, pour orienter les réponses de l’IA, et donc le texte d’explication généré. Exemple : “résumer le texte de cette décision en s’adressant à un enfant de 12 ans”.
Des tests "probants"

Les explications générées automatiquement pour les 3 types de décisions sont globalement fidèles, mais pas exemptes d’approximations, qui frisent parfois l’erreur, surtout quand le texte initial de la décision était long. Notamment parce que ChatGPT refuse d’ingérer les textes de plus de 24 000 signes, mais aussi parce que les décisions sont rarement simplistes. Elles ne donnent pas toujours clairement un gagnant et un perdant et obligent à trouver le bon équilibre entre vulgarisation et fidélité à la décision, dans toutes ses nuances. Certains n’ont eu d’autre choix, par exemple, que de conserver plusieurs termes juridiques impossibles à supprimer ou à remplacer sans altérer le sens de la décision, et proposer, à défaut, une courte définition pour chacun d’entre eux.

“Évidemment, il reste des questions de stabilité et de robustesse, mais on arrive à des résultats finalement assez justes. C’est très encourageant compte tenu du cadre contraint qui était le leur”, se réjouit Alexandre Lallet. Le Conseil d’État ne s’attendait pas à inventer la solution miracle en si peu de temps. L’idée était avant tout de prendre le virage de l’intelligence artificielle, un an après un rapport sur le sujet, d’ouvrir ses portes à la société civile et de jauger le potentiel de l’IA générative. “Ce n’était qu’une « preuve de concept de preuve de concept », pour voir si l’on pourrait proposer un tel service sur notre site à l’avenir”, tempère Alexandre Lallet, sans en dire beaucoup plus sur la suite qui sera donnée à ces travaux.

La marge de progrès est en tous les cas immense, et le sera d’autant plus que le Conseil d’État est amené à publier toujours plus de décisions en open data, qui pourront être données à “manger” aux IA.

par Emile Marzolf
27 novembre 2023
Acteurs Publics, accéder à l’article initial