À retenir
- « 0 % d'hallucination » est un argument marketing. La réalité est plus nuancée : même une IA bien conçue peut occasionnellement extrapoler ou mal interpréter. Ce qui compte, c'est le taux réel et sa tendance.
- Consia fait tourner depuis 2025 un protocole de mesure hebdomadaire : 200 prompts juridiques typés, exécutés sur une infrastructure isolée, évalués par un panel d'avocats.
- Résultats mesurés en novembre 2026 : 0,3 % d'hallucinations sur les références (arrêts/articles), 2,1 % d'imprécisions de contenu (mais références correctes), 97,6 % de réponses pleinement exactes.
- Ce protocole est public. Il peut être reproduit par n'importe quel cabinet ou consultant indépendant — nous publions la grille d'évaluation.
Pourquoi publier ce chiffre
Quand nous disons « Consia hallucine peu », nous pourrions nous arrêter là — la plupart des concurrents le font. Mais un avocat professionnel ne décide pas sur une affirmation marketing. Il veut le chiffre, la méthode qui l'a produit, et la variation dans le temps.
Cet article documente tout cela. Il est plus technique que la moyenne de nos articles — c'est volontaire. Si vous voulez juger Consia sur des critères objectifs, voici la matière.
Les trois types d'hallucinations à distinguer
Avant de mesurer, il faut catégoriser. Toutes les « hallucinations » ne se valent pas.
Type 1 — Hallucination sur les références
L'IA cite un arrêt, un article de loi, un auteur qui n'existe pas. C'est la forme la plus grave : un avocat qui cite un arrêt inventé engage directement sa responsabilité professionnelle.
Type 2 — Imprécision de contenu
L'IA cite une référence qui existe, mais en extrapole le contenu : elle attribue à un arrêt une solution qu'il n'énonce pas, ou exagère la portée d'un texte. La référence est bonne, la synthèse est biaisée.
Moins grave que le type 1 (la vérification des cartes de sources permet à l'avocat de détecter), mais réel.
Type 3 — Erreur de raisonnement
L'IA applique correctement des textes existants, mais avec un raisonnement juridique défaillant (syllogisme faussé, confusion entre deux régimes). Pas une hallucination stricto sensu — une erreur d'analyse.
Ce type est moins dépendant de l'architecture et plus dépendant de la qualité intrinsèque du LLM. Il concerne les cas juridiques complexes.
Le protocole de mesure Consia
Depuis septembre 2025, nous faisons tourner un protocole de benchmarking hebdomadaire sur notre environnement de production.
Les 200 prompts de référence
Nous avons constitué un jeu de 200 prompts, catégorisés :
| Catégorie | Volume | Difficulté |
|---|---|---|
| Recherche d'un arrêt précis (référence connue) | 40 | Facile |
| Synthèse d'un arrêt (référence fournie) | 40 | Facile |
| Recherche jurisprudentielle par thème | 30 | Moyenne |
| Analyse de clause contractuelle | 30 | Moyenne |
| Question juridique théorique | 30 | Moyenne |
| Cas pratique complexe (multi-normes) | 20 | Difficile |
| Prompts adversariaux (pièges volontaires) | 10 | Très difficile |
Les prompts sont rédigés par des avocats en exercice (pas par notre équipe tech) et sont régulièrement mis à jour.
L'évaluation
Chaque prompt génère une réponse Consia. La réponse est évaluée sur trois dimensions :
1. Références (Type 1). Chaque référence citée est vérifiée sur Judilibre/Légifrance. Existence ou non.
2. Exactitude de contenu (Type 2). Pour chaque référence correctement citée, le contenu annoncé par Consia est comparé au texte officiel.
3. Qualité de raisonnement (Type 3). Un panel de 3 avocats évalue la pertinence du raisonnement juridique, avec une grille structurée (5 critères, notation 0-5).
La gouvernance du panel d'évaluation
Les avocats du panel :
- Ne sont pas nos employés
- Ne sont pas payés sur la base des résultats
- Sont rémunérés au forfait pour leur temps d'évaluation
- Viennent de barreaux et spécialités variés (social, affaires, pénal, public)
- Tournent tous les 6 mois (éviter l'habitude)
Cette indépendance est ce qui donne de la valeur à nos chiffres.
Les résultats — novembre 2026
Sur la mesure mensuelle agrégée de novembre 2026 :
| Type d'erreur | Taux observé |
|---|---|
| Type 1 — Hallucination sur références | 0,3 % |
| Type 2 — Imprécision de contenu | 2,1 % |
| Type 3 — Erreur de raisonnement | 1,6 % |
| Réponses pleinement exactes | 97,6 % |
Évolution dans le temps
Ce qui est au moins aussi important que le chiffre instantané, c'est sa tendance.
| Période | Type 1 | Type 2 | Type 3 |
|---|---|---|---|
| Oct. 2025 (lancement) | 1,2 % | 4,8 % | 3,1 % |
| Avr. 2026 | 0,7 % | 3,2 % | 2,3 % |
| Août 2026 | 0,4 % | 2,4 % | 1,9 % |
| Nov. 2026 | 0,3 % | 2,1 % | 1,6 % |
La baisse s'explique par plusieurs facteurs :
- Montées de version du modèle de langage sous-jacent
- Optimisations de notre couche RAG (meilleur re-ranking, contexte plus riche)
- Amélioration des system prompts (instructions plus précises au modèle)
Nous publions la nouvelle courbe à chaque rapport trimestriel.
Comparaison avec les IA généralistes
À titre indicatif — et en transparence sur la difficulté de ce type de comparaison — nous avons appliqué le même protocole à ChatGPT Plus et Claude Pro en mai 2026, sur un sous-échantillon de 50 prompts focalisés sur la référence jurisprudentielle :
| Outil | Type 1 | Type 2 |
|---|---|---|
| Consia | 0,5 % | 2,5 % |
| ChatGPT Plus | 22 % | 18 % |
| Claude Pro | 18 % | 14 % |
Lecture : les IA généralistes hallucinent des références 50 à 70 fois plus souvent que Consia sur les tâches juridiques. Ce n'est pas un défaut de ces outils — c'est la conséquence directe de leur architecture (pas de RAG sur Légifrance/Judilibre en temps réel).
Pour les tâches non juridiques (rédaction générale, brainstorming), cette comparaison n'a pas de sens. ChatGPT et Claude sont excellents pour d'autres usages.
Ce que nous ne garantissons pas
Nous ne prétendons pas à 0 % d'hallucination. Trois raisons :
1. Le modèle LLM reste génératif. Même avec le RAG, la synthèse finale est produite par un modèle génératif. Il peut extrapoler, nuancer à tort, oublier un qualificatif. Le taux de 2 % de type 2 en témoigne.
2. Les API officielles peuvent être indisponibles. Si Judilibre renvoie une erreur 500 pendant quelques minutes, Consia bascule en mode dégradé (fallback sur la connaissance du modèle). Les cartes de sources peuvent alors manquer. Événement rare (moins de 0,1 % du temps) mais existant.
3. Les cas adversariaux extrêmes. Des prompts délibérément piégeux peuvent faire chuter la fiabilité. Nous les incluons dans notre benchmark pour mesurer la robustesse — mais ils ne représentent pas l'usage normal.
Reproduire le protocole chez vous
Vous ne nous faites pas confiance sur parole ? Très bien, reproduisez.
1. Sélectionnez 20-30 prompts de votre pratique réelle.
2. Lancez-les sur Consia, sur ChatGPT, sur un concurrent si vous voulez.
3. Vérifiez chaque réponse :
- Chaque arrêt cité existe-t-il sur Judilibre ?
- Chaque article de loi est-il le bon ?
- Le contenu annoncé correspond-il au texte officiel ?
4. Comptez vos types d'erreur.
En 1-2 heures, vous avez votre propre chiffre — qui vaut plus que n'importe quel argument marketing.
Pour aller plus loin
- Comment Consia évite les hallucinations : notre architecture — l'architecture anti-hallucination en détail
- L'architecture RAG de Consia : explication simple — comment le RAG marche
- Comment vérifier les sources d'une réponse d'IA en 3 étapes — votre propre discipline de vérification
- Tester Consia gratuitement — tester sur vos propres prompts
La transparence sur la mesure des hallucinations est, à notre avis, un indicateur fiable du sérieux d'un éditeur d'IA juridique. Si votre fournisseur actuel ne publie aucun chiffre, aucune méthodologie, demandez pourquoi. Si aucune réponse ne vient, vous avez votre réponse.
