Aller au contenu
Meubles Morinière

Les choix d’ingénierieÉtudes de cas techniques7 min de lecture

Un assistant qui n’apporte pas les faits

Un modèle de langage écrit des chiffres plausibles. Dans un ERP, un chiffre engage l’argent, la loi ou une promesse faite au client. Du coup, Fisher rédige, lit et répond sans que le modèle fournisse un seul fait.

Le problème

Fisher, c’est l’assistant de l’ERP. Il fait trois choses. Il lit un papier (bon de livraison, accusé de réception d’un fournisseur, demande de devis) pour remplir un formulaire. Il rédige un message au client ou au transporteur. Et il répond aux questions de l’équipe sur le stock, une commande ou la marche à suivre (Fisher).

Dans les trois cas, le modèle peut écrire un nombre faux avec autant d’assurance qu’un vrai : une quantité reçue, un prix, une date de livraison, une remise que personne n’a décidée. Un message qui promet « une remise de 10 % » ou « une livraison lundi » engage le magasin dès qu’il part. Et une équipe de quelques personnes ne va pas vérifier chaque chiffre avec la fiche ouverte à côté.

Les contraintes

  • Chaque chiffre vient de l’ERP. C’est ma décision du 26 octobre 2026 : un chiffre, une date ou un état que Fisher donne vient d’une lecture, d’un calcul du code ou d’un extrait du manuel, jamais du modèle. Le code le vérifie et signale ce qui n’a pas de source (AGENTS.md).
  • Les documents viennent de l’extérieur. Un accusé de réception ou un e-mail de client, c’est quelqu’un d’autre qui l’a écrit. Un lien ou une adresse qu’il contient peut être une consigne glissée au modèle.
  • Les coordonnées des clients restent masquées, et les données ne servent pas à entraîner le modèle.
  • La dépense est plafonnée. Au-delà du plafond mensuel, Fisher s’arrête et les formulaires repassent en saisie à la main (isBudgetExhausted).

Les alternatives

  • Demander au modèle de ne rien inventer. Les consignes le disent, mais on n’a aucun moyen de vérifier qu’il obéit. Et une phrase de consigne ne fait pas le poids face à un document qui en contient une autre.
  • Lui demander de citer ses sources. Une citation, c’est aussi du texte généré. Le modèle peut citer la bonne fiche avec le mauvais chiffre.
  • Faire relire la réponse par un deuxième modèle. Ça double le coût, et on remplace un avis probabiliste par un autre.
  • Retirer au modèle la possibilité de porter les faits, puis vérifier par un calcul exact le peu qu’il écrit encore. C’est l’option retenue. On ne lui demande pas d’être fiable sur les faits. On fait en sorte qu’il n’en fournisse pas.

La décision

Le modèle écrit la forme et fait les liens. Les faits, c’est l’ERP qui les apporte. Pour chaque verbe, on retire de ce que le modèle peut exprimer ce qu’il pourrait inventer. Dans une réponse du chat, il doit quand même écrire des nombres. Là, un contrôle exact compare chaque nombre à ce que l’ERP lui a fourni. Ce qui sort du magasin est refusé en entier au moindre écart. Ce qui reste dans l’équipe est signalé à la personne qui le lit.

L’implémentation

Rédiger : des emplacements que l’ERP remplit

Le modèle écrit {destinataire}, {adresse}, {suivi}, et l’ERP remplace chaque emplacement par sa valeur après la réponse (fillPlaceholders). Du coup, les noms, les adresses et les numéros de suivi ne partent jamais au modèle. Dans le texte libre que l’équipe tape, chaque valeur connue redevient son emplacement avant l’envoi (maskPlaceholderValues). Ensuite, le brouillon est refusé en entier s’il contient (apps/erp/shared/server/ai/draft.ts, shared/lib/draft-placeholders.ts) :

  • Un emplacement obligatoire qui manque, un emplacement inconnu ou une accolade isolée.
  • Un nombre absent des faits, en chiffres ou en lettres (« sous huit jours », « dix pour cent »).
  • Un engagement qui n’est pas dans les faits : remise, geste commercial, remboursement, gratuité, garantie, pourcentage.
  • Une échéance que les faits ne fixent pas : demain, lundi, la semaine prochaine.
  • Un lien, un e-mail ou un téléphone absent des faits : « une consigne obéie, ou une invention ».

Lire : un schéma qui n’a pas de place pour les faits

La lecture d’une demande de devis n’a pas de champ de prix ni de champ de TVA, parce que les prix viennent du catalogue. Une lecture ne peut rattacher une ligne à une pièce de l’ERP que si un outil de lecture a rendu cet identifiant pendant l’appel. Les identifiants qu’aucun outil n’a fournis sont retirés de la lecture rendue (Citations, seenIds, apps/erp/shared/server/ai/tools.ts). Chaque outil déclare quelle sorte d’identifiant il a le droit de citer (FISHER_TOOLS). Le comptage dicté ne peut nommer que les pièces du lot affiché, avec une énumération fermée.

Relire : seulement quand l’ERP doute

Sur les gestes que le jeu d’évaluation a désignés, c’est le petit modèle qui lit d’abord. Le grand ne relit tout le document que si le recoupement exact de l’ERP trouve un écart : une quantité ou un prix qui ne correspond pas à l’achat, une ligne hors de la commande (doubtsOf, shared/server/ai/second-reading.ts), ou si la première lecture n’a rien rendu. Le code le résume en une phrase : « Jamais d’après une confiance que le modèle se donne ». Pour l’instant, le jeu d’évaluation n’a désigné aucun geste : les deux candidats, lire un bon de livraison et lire un accusé de réception, restent lus par le grand modèle seul (firstReading, FISHER_GESTURES).

Répondre : chaque nombre recoupé à la fin du tour

Une réponse du chat ne peut pas se passer de nombres. À la fin de chaque tour, figureCheck (shared/server/ai/stream.ts) rassemble ce que le modèle a reçu de l’ERP (la question, les extraits du manuel, la fiche ouverte) et tout ce que les outils ont rendu pendant le tour. Ensuite, il cherche chaque nombre de la réponse dans cet ensemble. Ceux qu’il ne trouve pas sont soulignés « à vérifier » à l’endroit où ils sont écrits. Les numéros d’étape (« 1. », « 2) ») ne comptent pas.

figureCheckapps/erp/shared/server/ai/stream.ts · lignes 151–181
/**
 * Chaque chiffre d'une réponse vient de l'ERP : à la fin du tour, ceux que ni
 * la question, ni les extraits, ni la fiche, ni une lecture ne portent sont signalés à la personne,
 * sous la réponse. Un instantané par tour : le dernier remplace les précédents.
 */
export function figureCheck(runId: string, facts: string): ChatMiddleware {
	const known: string[] = [facts];
	let text = "";
	return {
		name: "fisher-figure-check",
		onAfterToolCall: (_ctx, info) => {
			if (info.ok) known.push(JSON.stringify(info.result));
		},
		onChunk: (_ctx, chunk) => {
			if (chunk.type === "TEXT_MESSAGE_CONTENT") {
				text += chunk.delta;
				return;
			}
			if (chunk.type !== "RUN_FINISHED" || text.trim() === "") return;
			const unsupported = inventedNumbers(text.replace(LIST_NUMBER, ""), known.join("\n"));
			return [
				activitySnapshot({
					messageId: `chiffres-${runId}`,
					activityType: FISHER_FIGURES_ACTIVITY,
					content: { chiffres: unsupported },
				}),
				chunk,
			];
		},
	};
}

Écrire : la personne confirme

Fisher propose. Chaque écriture dans l’ERP attend que quelqu’un la valide avec un bouton.

Les résultats

  • Le modèle ne peut pas inventer ce qu’il ne peut pas exprimer. Dans un brouillon, ce n’est pas le modèle qui écrit le nom ou l’adresse d’un client. Un devis lu n’a pas de prix venu du modèle. Et une ligne ne pointe pas vers une pièce que l’ERP n’a pas rendue.
  • L’écart se voit, on n’a pas besoin de faire confiance. Un brouillon qui invente est refusé avant d’arriver à l’équipe, et le journal compte les refus par motif, sans le texte. Une réponse qui contient un nombre sans source le montre à l’endroit même.
  • La dépense peut suivre la vraie difficulté : sur un geste désigné, le grand modèle ne relit que les documents où l’ERP trouve un écart, ou que le petit n’a pas su lire. Aucun geste ne l’est encore.
  • Le jeu d’évaluation vient des vraies erreurs. Dans l’ERP, « Signaler une mauvaise lecture » range le cas dans le magasin privé. pnpm ai:eval:pull le rapatrie dans apps/erp/ai-eval/cases/, que git ignore parce qu’il contient de vrais documents, et pnpm ai:eval le rejoue contre le vrai modèle. Je ne publie aucun taux de réussite ici, parce que le jeu n’est pas dans le dépôt et se lance à la main.

Les limites

  • Le contrôle est lexical. Il compare des suites de chiffres, pas des quantités. Un « 15 » passe s’il y a un « 15 » quelque part dans les faits, même dans un identifiant ou une autre quantité. À l’inverse, « 1 500 » est signalé si les faits écrivent « 1500 ». Le contrôle rattrape l’invention grossière, mais pas l’erreur subtile.
  • Un calcul juste du modèle est signalé, parce qu’une somme faite par le modèle n’est dans aucune lecture. C’est voulu. Le calcul revient au code, et c’est comme ça qu’on repère l’outil qui manque.
  • Dans le chat, le contrôle signale mais n’empêche rien. La personne doit lire ce qui est souligné. C’est le compromis noté dans l’ADR 0012.
  • Les nombres en lettres ne sont cherchés qu’en français et en anglais. « un », « une » et « neuf » sont exclus, parce qu’ils sont trop courants pour être sûrs (« un meuble neuf »).
  • Le masquage ne couvre que ce que l’ERP envoie. Un document déposé part tel quel chez Anthropic, coordonnées comprises, et Anthropic le garde jusqu’à trente jours.

Sur cette page