TASK-003 — Mesurer le taux de déclenchement des skills dans le harnais #9

New issue

Closed

opened 2026-10-11 10:06:42 +02:00 by mathieu · 0 comments

mathieu commented

2026-10-11 10:06:42 +02:00

Owner

Méthode reprise de skill-creator (anthropics/skills) :

~20 requêtes étiquetées par skill, 8-10 qui doivent déclencher, 8-10 non. Les négatives utiles sont des quasi-manques : même vocabulaire, besoin différent.
3 exécutions par requête, seuil de déclenchement à 0,5.
Découpage apprentissage 60 % / validation 40 %, fixé une fois pour toutes ; la meilleure description se choisit sur la validation, jamais sur la dernière itération.
Cinq itérations suffisent ; au-delà, le problème est dans les requêtes.

Ce que nous gardons et qu'ils n'ont pas : les contrôles scriptés, l'aveuglement du juge, la détection de contamination. Le découpage apprentissage/validation est ce qui manque le plus ici — nos itérations sur les formulations n'ont aucune garde contre le surapprentissage.

Compter environ 60 exécutions claude -p par skill évaluée.

Voir memoire/veille-repos-2026-09-17.md.

Critères d'acceptation

Un jeu de requêtes étiquetées existe pour au moins une skill, avec son découpage figé
Le rapport donne un taux de déclenchement par bras, distinct de l'écart de contenu
Le découpage validation n'a jamais servi à guider une révision

Migré de Backlog.md (TASK-003, créé le 2026-09-17 21:48, étiquettes : harnais).

Importé d'OpenProject (#1106, essai Kaneo, ADR-0008).

Migré de Kaneo le 2026-10-11 : ATE-6 du projet « Atelier », créée le 2026-10-04.

Le harnais mesure ce qu'une skill change une fois lue. Il ne mesure jamais si elle se déclenche — et nos campagnes ont buté dessus quatre fois : les exécutions écartées pour « skill jamais ouverte » sont exactement cette variable, traitée comme un déchet de mesure. Le pilote 4 de consigne-vs-liste l'a même montré en négatif : reformuler la question a fait passer l'ouverture de 0/3 à 3/3. Méthode reprise de skill-creator (anthropics/skills) : - ~20 requêtes étiquetées par skill, 8-10 qui doivent déclencher, 8-10 non. Les négatives utiles sont des quasi-manques : même vocabulaire, besoin différent. - 3 exécutions par requête, seuil de déclenchement à 0,5. - Découpage apprentissage 60 % / validation 40 %, fixé une fois pour toutes ; la meilleure description se choisit sur la validation, jamais sur la dernière itération. - Cinq itérations suffisent ; au-delà, le problème est dans les requêtes. Ce que nous gardons et qu'ils n'ont pas : les contrôles scriptés, l'aveuglement du juge, la détection de contamination. Le découpage apprentissage/validation est ce qui manque le plus ici — nos itérations sur les formulations n'ont aucune garde contre le surapprentissage. Compter environ 60 exécutions claude -p par skill évaluée. Voir memoire/veille-repos-2026-09-17.md. ## Critères d'acceptation - [ ] Un jeu de requêtes étiquetées existe pour au moins une skill, avec son découpage figé - [ ] Le rapport donne un taux de déclenchement par bras, distinct de l'écart de contenu - [ ] Le découpage validation n'a jamais servi à guider une révision *Migré de Backlog.md (TASK-003, créé le 2026-09-17 21:48, étiquettes : harnais).* *Importé d'OpenProject (#1106, essai Kaneo, ADR-0008).* --- *Migré de Kaneo le 2026-10-11 : ATE-6 du projet « Atelier », créée le 2026-10-04.*

mathieu added this to the (deleted) milestone

2026-10-11 10:06:42 +02:00

mathieu

2026-10-11 10:06:42 +02:00

closed this issue
added the
Harnais d'évaluation
label

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference

mathieu/essai-actions#9

No description provided.

Rows
Columns