TASK-010 — Isoler les exécutions d'évaluation de l'environnement du poste #16

New issue

Closed

opened 2026-10-11 10:06:43 +02:00 by mathieu · 0 comments

mathieu commented

2026-10-11 10:06:43 +02:00

Owner

Deux conséquences, et la seconde est la grave :

le bras « sans » n'est pas nu. Il n'a pas le fichier de skill du cas, mais il a une bibliothèque de skills générales dans son contexte, et il peut en invoquer une. L'écart mesuré n'est plus « avec la skill contre sans rien », c'est « avec la skill contre avec l'outillage du poste ».
la mesure n'est pas reproductible ailleurs. Deux postes équipés différemment ne donneront pas le même écart sur le même cas, et rien dans le rapport ne le dira. Le harnais a justement été rendu portable le 2026-09-20 pour évaluer les skills d'un autre dépôt.

Le 2026-09-21, les six hooks SessionStart ont tous échoué en EPERM, le bac à sable leur interdisant d'écrire sous ~/.claude — donc la mémoire du poste n'est pas entrée dans les agents mesurés. C'est un accident heureux, pas une protection : hors bac à sable, ils aboutissent.

Piste : --settings avec un fichier vide, ou une variable d'environnement de répertoire de configuration pointant sur un dossier jetable, à vérifier contre la version installée. Le contrôle vaut mieux que la consigne : une campagne devrait échouer si son environnement n'est pas nu.

Critères d'acceptation

Une exécution d'évaluation ne voit ni les hooks, ni les plugins, ni les skills du poste
Un contrôle de pré-vol le vérifie et arrête la campagne sinon
Le contrôle est éprouvé en le neutralisant volontairement
Les écarts publiés après correction sont comparés à ceux du 2026-09-21

Migré de Backlog.md (TASK-010, créé le 2026-09-21 21:40, étiquettes : harnais).

Importé d'OpenProject (#1113, essai Kaneo, ADR-0008).

Migré de Kaneo le 2026-10-11 : ATE-13 du projet « Atelier », créée le 2026-10-04.

Le harnais isole les serveurs MCP (--strict-mcp-config --mcp-config '{}') et le plan de travail (copie jetable sous TMPDIR), mais rien d'autre. Les traces du 2026-09-21 le montrent : chaque exécution mesurée reçoit les hooks du poste, ses plugins et la liste complète de ses skills — superpowers, remember, hookify, diagram-design et les autres — injectés dans son contexte système. Deux conséquences, et la seconde est la grave : - le bras « sans » n'est pas nu. Il n'a pas le fichier de skill du cas, mais il a une bibliothèque de skills générales dans son contexte, et il peut en invoquer une. L'écart mesuré n'est plus « avec la skill contre sans rien », c'est « avec la skill contre avec l'outillage du poste ». - la mesure n'est pas reproductible ailleurs. Deux postes équipés différemment ne donneront pas le même écart sur le même cas, et rien dans le rapport ne le dira. Le harnais a justement été rendu portable le 2026-09-20 pour évaluer les skills d'un autre dépôt. Le 2026-09-21, les six hooks SessionStart ont tous échoué en EPERM, le bac à sable leur interdisant d'écrire sous ~/.claude — donc la mémoire du poste n'est pas entrée dans les agents mesurés. C'est un accident heureux, pas une protection : hors bac à sable, ils aboutissent. Piste : --settings avec un fichier vide, ou une variable d'environnement de répertoire de configuration pointant sur un dossier jetable, à vérifier contre la version installée. Le contrôle vaut mieux que la consigne : une campagne devrait échouer si son environnement n'est pas nu. ## Critères d'acceptation - [x] Une exécution d'évaluation ne voit ni les hooks, ni les plugins, ni les skills du poste - [x] Un contrôle de pré-vol le vérifie et arrête la campagne sinon - [x] Le contrôle est éprouvé en le neutralisant volontairement - [x] Les écarts publiés après correction sont comparés à ceux du 2026-09-21 *Migré de Backlog.md (TASK-010, créé le 2026-09-21 21:40, étiquettes : harnais).* *Importé d'OpenProject (#1113, essai Kaneo, ADR-0008).* --- *Migré de Kaneo le 2026-10-11 : ATE-13 du projet « Atelier », créée le 2026-10-04.*

mathieu added this to the (deleted) milestone

2026-10-11 10:06:43 +02:00

mathieu

2026-10-11 10:06:43 +02:00