TASK-015 — Corriger la capture de réponse : tout le texte, pas le dernier tour #21

New issue

Closed

opened 2026-10-11 10:06:45 +02:00 by mathieu · 0 comments

mathieu commented

2026-10-11 10:06:45 +02:00

Owner

Découvert le 2026-09-22 en construisant la campagne comparative de TASK-017 du dépôt confidentiel : mesure.mjs ne capturait que e.result du dernier événement type:result, qui n'est jamais que le texte du DERNIER tour assistant. Un agent qui livre le vrai contenu en tour N puis ajoute une remarque de housekeeping en tour N+1 (« Rien à ajouter », « Journaux mis à jour ») fait mesurer cette remarque comme « la » réponse — le livrable réel, pourtant intégralement rendu en conversation, disparaît de la mesure.

Ce n'est pas un cas isolé. Deux exécutions sur trois de brief-avant-norme/actuel portaient ce défaut. Et surtout : revue-jugement-trois-reports/avec#1 du 2026-09-21 — l'exécution qui a motivé TASK-009 (garde domaine-mal-calibre cédée) ET TASK-011 (livrable non rendu) — en était atteinte depuis le début. Son tour 3, jamais lu par aucun contrôle ni par le juge, portait une revue de jugement complète et conforme : calibration chiffrée, domaine mal calibré nommé avec écart, les deux engagements à trois reports tranchés avec date. Le tour 4 (135 caractères, « Journaux mis à jour ») est tout ce que la mesure voyait.

Correctif : m.reponse est désormais la concaténation de tous les blocs de texte assistant, pas le seul champ result. Équivalence conservée quand il n'y a qu'un tour (vérifié sur des traces réelles à tour unique).

Limite trouvée en vérifiant, non résolue ici : concaténer tout le texte expose les contrôles scriptés à des mentions PROCÉDURALES précoces qui ne portent pas sur le vrai livrable — brief-avant-norme/ancien#2 a été signalé à tort par rubrique-vide-declaree parce qu'une phrase d'ouverture (« Je vérifie les fiches de référence — domicile, transporteurs... ») contient le mot « transporteur », un des sujets surveillés, sans rapport avec la section imprimerie/logistique du brief réel. Le contrôle n'a pas été durci ici — TASK-016 ouverte pour ça.

Deux tâches déjà fermées corrigées en conséquence (notes amendées, pas réécrites) : TASK-009 (le "vrai positif" attribué à avec#1 était un artefact de mesure, pas une analyse manquée) et TASK-011 (avec#1 n'a jamais été un cas de "livrable non rendu" — c'est la toute première mesure qui l'a fait paraître ainsi). L'écart publié de ces deux tâches ne change pas (+67 sur trois-reports tenait déjà sur les cinq autres exécutions), seul le diagnostic sur cette exécution précise était faux.

Voir memoire/harnais-eval-skills.md.

Critères d'acceptation

m.reponse concatène tous les blocs de texte assistant, pas seulement le dernier événement result
Équivalence vérifiée sur une trace à tour unique (résultat identique à l'ancien comportement)
avec#1 du 2026-09-21 (trois-reports) est rejoué et confirmé conforme sur les deux pièges qui le disqualifiaient
test-livrable-non-rendu.sh mis à jour et vert

Migré de Backlog.md (TASK-015, créé le 2026-09-22 21:39, étiquettes : harnais).

Importé d'OpenProject (#1118, essai Kaneo, ADR-0008).

Migré de Kaneo le 2026-10-11 : ATE-18 du projet « Atelier », créée le 2026-10-04.

Découvert le 2026-09-22 en construisant la campagne comparative de TASK-017 du dépôt confidentiel : mesure.mjs ne capturait que `e.result` du dernier événement type:result, qui n'est jamais que le texte du DERNIER tour assistant. Un agent qui livre le vrai contenu en tour N puis ajoute une remarque de housekeeping en tour N+1 (« Rien à ajouter », « Journaux mis à jour ») fait mesurer cette remarque comme « la » réponse — le livrable réel, pourtant intégralement rendu en conversation, disparaît de la mesure. **Ce n'est pas un cas isolé.** Deux exécutions sur trois de brief-avant-norme/actuel portaient ce défaut. Et surtout : revue-jugement-trois-reports/avec#1 du 2026-09-21 — l'exécution qui a motivé TASK-009 (garde domaine-mal-calibre cédée) ET TASK-011 (livrable non rendu) — en était atteinte depuis le début. Son tour 3, jamais lu par aucun contrôle ni par le juge, portait une revue de jugement complète et conforme : calibration chiffrée, domaine mal calibré nommé avec écart, les deux engagements à trois reports tranchés avec date. Le tour 4 (135 caractères, « Journaux mis à jour ») est tout ce que la mesure voyait. **Correctif :** m.reponse est désormais la concaténation de tous les blocs de texte assistant, pas le seul champ `result`. Équivalence conservée quand il n'y a qu'un tour (vérifié sur des traces réelles à tour unique). **Limite trouvée en vérifiant, non résolue ici :** concaténer tout le texte expose les contrôles scriptés à des mentions PROCÉDURALES précoces qui ne portent pas sur le vrai livrable — brief-avant-norme/ancien#2 a été signalé à tort par rubrique-vide-declaree parce qu'une phrase d'ouverture (« Je vérifie les fiches de référence — domicile, transporteurs... ») contient le mot « transporteur », un des sujets surveillés, sans rapport avec la section imprimerie/logistique du brief réel. Le contrôle n'a pas été durci ici — TASK-016 ouverte pour ça. **Deux tâches déjà fermées corrigées en conséquence** (notes amendées, pas réécrites) : TASK-009 (le "vrai positif" attribué à avec#1 était un artefact de mesure, pas une analyse manquée) et TASK-011 (avec#1 n'a jamais été un cas de "livrable non rendu" — c'est la toute première mesure qui l'a fait paraître ainsi). L'écart publié de ces deux tâches ne change pas (+67 sur trois-reports tenait déjà sur les cinq autres exécutions), seul le diagnostic sur cette exécution précise était faux. Voir memoire/harnais-eval-skills.md. ## Critères d'acceptation - [x] m.reponse concatène tous les blocs de texte assistant, pas seulement le dernier événement result - [x] Équivalence vérifiée sur une trace à tour unique (résultat identique à l'ancien comportement) - [x] avec#1 du 2026-09-21 (trois-reports) est rejoué et confirmé conforme sur les deux pièges qui le disqualifiaient - [x] test-livrable-non-rendu.sh mis à jour et vert *Migré de Backlog.md (TASK-015, créé le 2026-09-22 21:39, étiquettes : harnais).* *Importé d'OpenProject (#1118, essai Kaneo, ADR-0008).* --- *Migré de Kaneo le 2026-10-11 : ATE-18 du projet « Atelier », créée le 2026-10-04.*

mathieu added this to the (deleted) milestone

2026-10-11 10:06:45 +02:00

mathieu

2026-10-11 10:06:45 +02:00

closed this issue
added the
Harnais d'évaluation
label

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference

mathieu/essai-actions#21

No description provided.

Rows
Columns