Analyse approfondie de Skill-Creator : utilisez les données pour stimuler le développement de vos compétences

##Présentation

Cet article est basé sur des informations de mars 2026 et correspond à Claude Code v2.1+.

Si vous avez lu Concept et Practice, vous devriez déjà savoir comment écrire manuellement un fichier SKILL.md - définir le frontmatter, écrire une commande, l'enregistrer dans le répertoire .claude/skills/, et le tour est joué.

Mais voici une question fondamentale : **Comment savez-vous que vos compétences sont vraiment utiles ? **

Vous avez peut-être modifié le libellé d'un paragraphe et avez l'impression qu'il fonctionne mieux, mais ce n'est que votre sentiment subjectif. Peut-être qu'avec un mot d'invite différent, la nouvelle version serait pire. Peut-être que vos compétences ne sont pas du tout améliorées par rapport au fait d'être non qualifié - Claude peut tout aussi bien réussir tout seul.

Dans les chapitres conceptuels et pratiques, le processus de développement des compétences est le suivant : Écrit → Essayé → Se sentir bien → En ligne. L'ensemble du processus repose sur l'intuition, il n'y a pas de quantification et il n'y a aucun moyen de répondre « Dans quelle mesure cette compétence est-elle meilleure que l'absence de compétence du tout ? » Et Skill-Creator a transformé cette chose en ingénierie : Écrit → Tests parallèles avec/sans compétences → Comparaison A/B de tests aveugles → Notation quantitative → Itération de feedback → Vérification des données.

C'est pourquoi Skill-Creator existe. Il vous aide non seulement à "générer un SKILL.md", mais fournit un ensemble complet de boucles créer → tester → évaluer → optimiser, vous permettant de laisser vos données parler d'elles-mêmes.

Qu'est-ce que Skill-Creator

Skill-Creator lui-même est également une compétence - un fichier SKILL.md de 33 Ko ainsi que des fichiers de guidage de sous-agents, des scripts Python et des visionneuses HTML. Sa structure de répertoires ressemble à ceci :

skill-creator/
├── SKILL.md                    # 主指令文件（486 行）
├── agents/                     # 子代理指导
│   ├── grader.md              # 评分代理
│   ├── comparator.md          # 盲测对比代理
│   └── analyzer.md            # 分析代理
├── eval-viewer/               # 评估结果查看器
│   ├── generate_review.py
│   └── viewer.html
├── assets/
│   └── eval_review.html       # 触发评估审查界面
├── scripts/                   # Python 工具脚本
│   ├── run_eval.py            # 运行触发评估
│   ├── run_loop.py            # 优化循环
│   ├── improve_description.py # 描述优化
│   ├── aggregate_benchmark.py # 聚合基准测试
│   ├── package_skill.py       # 打包为 .skill 文件
│   └── quick_validate.py      # 快速校验
└── references/
    └── schemas.md             # JSON Schema 定义

L'installation est également très simple :

# 通过 Claude Code 插件市场
/plugins  # 然后搜索 skill-creator 安装

# 或通过 skills.sh
npx skills add anthropics/skills -- skill skill-creator

Suivez à nouveau ceci : évaluer et optimiser une compétence existante

Passons en revue le processus complet de Skill-Creator en utilisant les compétences que j'utilise réellement. Je gère un marché de plug-ins Claude Code yux-claude-hub, dans lequel la compétence yux-video-summary est utilisée pour convertir les sous-titres vidéo en résumés structurés - prenant en charge la détection des langues chinoise et anglaise, les deux modes de sortie DUAL_FILE/SINGLE_FILE, le nettoyage des mots de remplissage, etc. Le SKILL.md de la compétence ressemble à ceci :

---
name: yux-video-summary
description: Transform a video transcript file into a structured,
  organized summary with key points, timeline, and cleaned transcript.
  Use when the user has a transcript file and wants it summarized.
allowed-tools: Read, Write, Glob, Grep
---

La compétence a été écrite, mais comment savoir si elle est vraiment utile ? ** C'est là que Skill-Creator entre en scène.

Il y a un principe d'écriture important dans le code source de Skill-Creator : "Essayez d'expliquer le pourquoi derrière tout. Si vous vous retrouvez à écrire TOUJOURS ou JAMAIS en majuscules, c'est un drapeau jaune - recadrez et expliquez le raisonnement." Signification : Une bonne compétence doit expliquer pourquoi, plutôt que d'empiler des règles rigides.

Étape 1 : Créez des cas de test et exécutez l'évaluation

Question centrale : **Cette compétence est-elle vraiment meilleure que pas de compétence du tout ? **

Ouvrez Claude Code et saisissez directement :

Use the skill creator to create evals for the yux-video-summary skill

Skill-Creator lira d'abord les définitions et les schémas des compétences, puis générera automatiquement des cas de test et des assertions quantitatives. Mon exécution a généré 3 cas de test et 39 assertions :

Notez qu'il ne compile pas les cas de test avec désinvolture : il comprend les deux modes de sortie DUAL_FILE et SINGLE_FILE définis dans la compétence, et conçoit spécifiquement des scénarios qui couvrent différents types de vidéos (tutoriels, interviews de podcast, partage de technologie) et combinaisons de langues. La conception d'Assertions est également très particulière, de la détection de la langue à la sélection du mode de sortie en passant par la qualité du contenu et le nettoyage des mots de remplissage chinois et anglais, elle est bien plus complète que je souhaite tester les dimensions moi-même.

Ensuite, le système démarre simultanément deux sous-agents indépendants pour chaque scénario de test : with_skill (chargement des compétences) et without_skill (ligne de base, aucune compétence n'est chargée). 6 agents parallèles (3 scénarios de test × 2 versions) ont été démarrés en même temps, chacun s'exécutant dans un arbre de travail indépendant sans interférer les uns avec les autres.

La compétence PDF d'Anthropic rencontrait auparavant des problèmes pour gérer les formulaires non remplissables : Claude devait placer le texte à des coordonnées précises sans définir de champs. Le point de défaillance a été isolé grâce à Eval, et l'équipe a ensuite corrigé la logique de positionnement. C'est la valeur d'Eval : transformer « quelque chose ne va pas » en « ce qui ne va pas exactement ici ».

Étape 2 : notation du relais de trois sous-agents

Une fois toutes les opérations terminées, les trois sous-agents professionnels apparaissent automatiquement dans l'ordre :

Grader Vérifie les assertions une par une. Il vérifiera si le résumé de la version with_skill contient la table de présentation, si le mode DUAL_FILE est correctement sélectionné, si le mot de remplissage a été nettoyé, puis enregistrera la réussite/l'échec et la preuve de chaque élément, générant grading.json :

{
  "expectations": [
    { "text": "摘要包含 Overview 表格", "passed": true, "evidence": "Found overview table with Type, Duration, Language fields" },
    { "text": "正确选择 DUAL_FILE 模式", "passed": true, "evidence": "Generated separate summary and transcript files" },
    { "text": "filler 词已清理", "passed": false, "evidence": "Found 'you know' in transcript line 42" }
  ],
  "summary": { "passed": 2, "failed": 1, "total": 3, "pass_rate": 0.67 }
}

Comparator effectue une comparaison A/B aveugle : il reçoit deux résumés, mais ne sait pas quelle est la version de compétence et quelle est la version de base. Il ne voit que le « Sortie A » et la « Sortie B » et les juge indépendamment en fonction de ses propres normes de qualité pour déterminer le gagnant.

Analyzer combine les résultats ci-dessus pour établir un diagnostic : quelles assertions ont réussi, quelles que soient les compétences ou non (indiquant que cette assertion n'a aucune différenciation et doit être remplacée par une meilleure assertion), quels résultats ont une variance élevée (le test est instable) et quel est le compromis entre le temps et le jeton. Enfin, des suggestions d'améliorations sont données.

Étape 3 : Examiner les résultats dans Eval Viewer

Une fois la notation terminée, Skill-Creator ouvrira automatiquement une visionneuse HTML dans votre navigateur.

Onglet Sorties Vous pouvez afficher la sortie de chaque scénario de test un par un. Il y a une zone de texte de commentaires en bas – notez ce que vous pensez n'est pas assez bon, comme « le résumé n'a pas de chronologie » et « le mot de remplissage n'est pas nettoyé ». Après avoir lu tous les cas d'utilisation, cliquez sur Soumettre tous les avis et les commentaires seront enregistrés dans feedback.json.

Onglet Résultats du benchmark Vous pouvez voir la comparaison quantitative : le taux de réussite, la consommation de temps, la consommation de jetons de with_skill et without_skill, ainsi que la comparaison élément par élément de chaque assertion.

Étape 4 : Itérer et améliorer jusqu'à ce que vous soyez satisfait

Retournez voir Claude Code et dites-lui que vous avez fini de donner votre avis. Skill-Creator lira feedback.json et donnera des suggestions d'analyse et d'amélioration basées sur les données de référence :

Ma compétence a bien fonctionné avec un taux de réussite de 97 %. Skill-Creator a identifié avec précision un petit problème : la vidéo de l'interview manquait de paragraphes de citations notables et a fait des suggestions pour le réparer.

La clé est qu'il ne corrige pas les cas de test individuels - il généralise vos commentaires, comprend les exigences qui les sous-tendent et ajuste la structure globale de la compétence, puis réécrit SKILL.md, réexécute tous les tests dans le répertoire iteration-2/ et ouvre une nouvelle visionneuse d'évaluation afin que vous puissiez comparer le résultat des deux tours. Ce cycle continue jusqu'à ce que vous soyez satisfait.

Une philosophie d'amélioration remarquable dans le code source de Skill-Creator : "Nous essayons de créer des compétences qui peuvent être utilisées un million de fois dans de nombreuses invites différentes. Plutôt que d'introduire des changements fastidieux et excessifs, ou des MUST trop contraignants, s'il y a un problème persistant, essayez de créer des branches et d'utiliser différentes métaphores." Idée de base : Évitez le surajustement pour tester des cas et poursuivez les capacités de généralisation.

Étape 5 (facultatif) : Optimisez la description pour que la compétence se déclenche au bon moment

La qualité de la compétence est vérifiée, mais il y a un autre problème qui passe facilement inaperçu : le champ description de la compétence détermine quand Claude l'appellera.

Entrée :

Use the skill creator to optimize the description for yux-video-summary

Skill-Creator génère automatiquement environ 20 requêtes d'évaluation (la moitié doit être déclenchée, l'autre moitié ne doit pas être déclenchée), et l'interface de révision s'ouvre dans le navigateur :

Notez que ces requêtes sont disponibles en chinois et en anglais, couvrant une variété d'expressions réelles. Les requêtes "Ne devraient pas déclencher" ne devraient pas être trop scandaleuses - un bon contre-exemple est "Aidez-moi à résumer le procès-verbal de cette réunion", qui partage le mot-clé "résumé" avec le résumé vidéo, mais nécessite en réalité des compétences en traitement de documents plutôt qu'en résumé vidéo.

Vous pouvez modifier le texte de la requête directement sur la page, cliquer sur + Ajouter une requête pour en ajouter de nouvelles, utiliser le bouton Supprimer pour supprimer celles inappropriées et vous pouvez également activer le commutateur Devrait déclencher pour chaque requête. Après avoir confirmé qu'il est correct, cliquez sur Export Eval Set pour exporter le fichier JSON. Retournez sur Claude Code et dites-lui que vous l'avez exporté. Le système exécutera automatiquement la boucle d'optimisation en arrière-plan :

L'ensemble du processus est entièrement automatisé : divisez la requête en un ensemble de formation et un ensemble de test 60/40, optimisez de manière itérative la description sur l'ensemble de formation (jusqu'à 5 tours) et utilisez les résultats de l'ensemble de test pour sélectionner la meilleure version afin d'éviter le surajustement. Après l'exécution, la comparaison des descriptions avant et après l'optimisation sera affichée :

La description optimisée devient plus spécifique : elle clarifie les types de fichiers pris en charge (.vtt/.srt), met l'accent sur les fonctionnalités du pipeline (nettoyage des remplissages, logique DUAL/SINGLE_FILE) et utilise MUST USE pour exclure les scénarios qui ne doivent pas être déclenchés. Anthropic a utilisé en interne cet ensemble d'optimiseurs pour exécuter ses propres compétences en matière de création de documents. En conséquence, la précision de déclenchement de 5 compétences publiques sur 6 a été améliorée.

Utilisation avancée : injection de contexte dynamique

Si vous souhaitez que la compétence injecte automatiquement du contexte lors du chargement, vous pouvez intégrer une commande shell dans SKILL.md en utilisant la syntaxe ! de Skills 2.0 :

## Project Context
File tree: !`find . -type f -not -path '*/node_modules/*' | head -50`
Package info: !`cat package.json 2>/dev/null || echo "No package.json"`
Recent commits: !`git log --oneline -10`

Ces commandes sont exécutées avant que Claude ne voie la compétence, et les données sont intégrées directement dans l'invite. Par rapport au fait de laisser Claude explorer les fichiers un par un, cela permet d'économiser beaucoup de temps et de jetons.

Deux types de compétences : laquelle créer ?

Avant d'utiliser Skill-Creator, il est nécessaire de comprendre les deux types de compétences définis par Anthropic :

Type d'amélioration des capacités - Laissez le modèle faire des choses qu'il ne peut pas ou ne peut pas bien faire auparavant. Par exemple :

• Compétences en génération d'images : Claude ne peut pas générer d'images de manière native, mais cela peut être réalisé en appelant des outils tels que nanobanner via des compétences.
• Compétences en conception frontale : les conceptions d'IA par défaut sont souvent très "à saveur d'IA", et de bonnes compétences en conception peuvent grandement améliorer la qualité.

Préférence de codage - consolidez votre flux de travail spécifique. Le modèle possède déjà des capacités individuelles, mais vous avez besoin d'un ordre d'exécution précis. Par exemple :

• Compétences en matière d'examen des relations publiques : vérifier la sécurité du code selon des procédures fixes et produire des rapports sur le niveau de risque
• Compétences en matière de résumé vidéo : sortie selon une structure de modèle spécifique, détection automatique de la langue et nettoyage des mots de remplissage

Les raisons pour lesquelles ces deux types de compétences doivent être testées sont différentes : le type d'amélioration des capacités peut devenir inutile à mesure que le modèle évolue - si la ligne de base (without_skill) peut également réussir toutes les assertions, cela signifie que le modèle est suffisamment natif et que cette compétence peut être retirée ; Le type de codage est plus durable, mais vous devez vérifier s'il est vraiment fidèle à votre workflow.

Les capacités d'évaluation de Skill-Creator vous permettent de vérifier en permanence si une compétence est toujours utile, plutôt que d'utiliser aveuglément une compétence qui pourrait être obsolète.

Ce que dit la communauté

La mise à jour de Skill-Creator a suscité de nombreuses discussions, de X/Twitter à Reddit en passant par les blogs indépendants, et les vrais retours sont plus précieux que la documentation officielle.

Est-ce vraiment utile ? Les données parlent

La question la plus directe : est-il vraiment préférable d’ajouter des compétences que de ne pas en ajouter ? ** Plusieurs mesures réelles donnent une réponse claire.

Reddit u/hashpanak a effectué une évaluation sur la compétence de génération de titre et a obtenu un taux de réussite de 100 % avec_skill et seulement 60 % sans_skill. Lorsqu'on lui a demandé si le coût du jeton en valait la peine, il a répondu : "Absolument. Après optimisation, les tâches répétées peuvent être converties en scripts, ce qui permettra d'économiser des jetons." u/spences10 est encore plus extrême : il a effectué 250 évaluations sandbox et augmenté le taux d'activation des compétences de 84 % à 100 %. La section des commentaires u/Manfluencer10kultra a déclaré : "Cela devrait devenir une pratique standard."

Le blogueur Nathan Onn a évalué les compétences en matière de sécurité de WordPress : les 21 assertions ont été réussies (la ligne de base n'était que de 90,5 %) et la vitesse était 9,9 % plus rapide. Son résumé : "Les compétences étaient autrefois de l'art, maintenant elles sont de l'ingénierie."

@0zhuxiaofeng a donné des chiffres plus précis du point de vue du flux de travail réel : "Après l'avoir utilisé pendant un mois, le plus grand changement est que run_eval permet aux compétences de se noter elles-mêmes. L'agent que j'exécute pour les opérations de contenu évalue désormais automatiquement l'effet après chaque version, et les compétences médiocres sont directement éliminées et réécrites. L'intervention manuelle a été réduite de 3 heures par jour à une demi-heure."

Angle mort négligé : déclencheur ≠ qualité

Le blogueur Mager a souligné un point mort que personne n'a mentionné : Les compétences peuvent réussir l'évaluation de la qualité mais échouer lors de l'évaluation du déclencheur - la qualité du résultat est très bonne, mais elle ne sera jamais appelée. Après trois tours d'optimisation run_loop.py, il a déclenché l'évaluation vers 13/13. Aperçu principal : "La description d'une compétence n'est pas une métadonnée, mais un paramètre apprenable : vous devez optimiser le comportement de routage réel."

Cela coïncide avec la suggestion de @ DrWang5257 : "Ne réécrivez pas le tout d'un coup. Divisez-le d'abord en trois sections : les conditions de déclenchement, les modèles d'entrée et le repli en cas d'échec, et répétez étape par étape. De cette façon, la vitesse de mise à jour est rapide et le taux de roulement est faible. "

De vrais problèmes

Bien que l'effet soit bon, il existe également de nombreux pièges :

• La consommation de jetons est énorme. @konghao10 a dit sans ambages que "la consommation de jetons est énorme" - exécuter 6 agents parallèles en même temps n'est vraiment pas bon marché. Reddit u/munkymead a également déclaré que "faire un test sérieux coûte cher".
• Si vous avez trop de compétences, vous vous battrez. [Le blogueur RoboRhythms Noah Albert] (https://www.roborhythms.com/best-claude-code-skills-2026/) a découvert que commence à avoir des problèmes lorsque les compétences atteignent 8 à 10 : Claude remettra en question le résultat, générera des préfaces plus verbeuses et aura parfois des conflits de commandes entre les compétences. Cependant, Reddit u/Specialist_Solid523 a répliqué : "Les compétences mal écrites ne mangent que le contexte. Les compétences bien écrites rendent presque toujours l'utilisation de vos jetons plus efficace."
• SKILL.md s'allonge avec plus d'itérations. Reddit u/IulianHI a souligné une contradiction : avec des améliorations itératives, les fichiers de compétences continuent de s'étendre, ** mais évincent la fenêtre contextuelle pour réellement faire les choses **. Les cas de test qui ne couvrent que le chemin heureux manquent les 5 % critiques.
• La gestion des versions est manquante. @fengqve se plaint "Pourquoi Skill **n'a-t-il pas le concept de version ? Il a été mis à jour tellement de fois qu'il est difficile de décrire de quelle mise à jour il s'agit." Ceci est particulièrement douloureux après plusieurs séries d’itérations.
• Le mode sans tête a un bug. Il y a un problème clé sur GitHub : la compétence n'est jamais déclenchée en mode claude -p, ce qui fait que le rappel décrivant la boucle d'optimisation est toujours à 0 % (#36570).

Penser plus loin : l'auto-amélioration récursive

@vista8 a partagé un article connexe [Memento-Skills: Let Agents Design Agents] (https://github.com/Memento-Teams/Memento-Skills), et quelqu'un dans la zone de commentaires l'a résumé avec précision : « Le principal goulot d'étranglement de Skill est l'itération - il est facile d'écrire la première version, mais il est difficile de l'améliorer et de mieux l'utiliser dans des scénarios réels. Si vous pouvez automatiser ce cycle « utiliser → évaluer → améliorer », cela équivaut à installer un moteur d'auto-évolution pour Agent.

Un fil de discussion de type 104 sur Reddit r/ClaudeAI discute également de cette direction. Mais le commentaire principal a jeté de l'eau froide dessus - u/Tatrions a déclaré : "La boucle récursive fonctionne, mais le plus difficile est de savoir quand faire confiance aux améliorations. Nous avons constaté que nous devons faire du contrôle des preuves - ne validez pas les modifications à moins qu'un échec ne se produise au moins deux fois. Sinon, chaque cycle "répare" quelque chose qui n'est pas cassé en premier lieu, et cela finit par être pire. "

Installation et Ecologie

Skill-Creator, en tant que l'une des compétences officiellement maintenues par Anthropic, est incluse dans l'entrepôt anthropics/skills, qui contient plus de 17 compétences de niveau production.

L'écosystème de compétences au sens large connaît également une croissance rapide : skills.sh Le marché offre une expérience de découverte et d'installation pratique, et la communauté a maintenu plus de 1 234 compétences d'agent.

Écrivez à la fin

Le problème principal résolu par Skill-Creator est le suivant : **Comment savez-vous que vos compétences sont vraiment efficaces ? **

En l’absence de cela, le développement des compétences repose sur « écrire → essayer → se sentir bien ». Avec Skill-Creator vous pouvez :

• Testez les effets qualifiés et non qualifiés avec Parallel Agent
• Éliminez les biais d'évaluation grâce à la Comparaison A/B aveugle
• Visualisez les résultats et laissez des commentaires avec Eval Viewer
• Utilisez Description Optimizer pour contrôler avec précision le moment de déclenchement des compétences
• Utilisez des boucles itératives pour vous améliorer continuellement jusqu'à ce que vous soyez satisfait

Ceci est conforme au concept de développement piloté par les tests en génie logiciel : il ne s'agit pas simplement de "simplement écrire le code et de penser qu'il peut s'exécuter", mais "d'utiliser des tests pour prouver qu'il fonctionne réellement comme prévu".

Anthropic a avancé une perspective intéressante dans le blog officiel : à mesure que les capacités du modèle s'améliorent, SKILL.md peut évoluer du "plan de mise en œuvre" (indiquant à Claude comment) à une "description de la spécification" (indiquant à Claude quoi et laissant le modèle le comprendre par lui-même). Le framework Eval est le premier pas dans cette direction – Eval décrit « quoi faire ». Si un jour cette description suffit à elle-même pour devenir une compétence, alors le système de tests établi par Skill-Creator deviendra encore plus important.

Si vous utilisez déjà Skills, essayez d'utiliser /skill-creator pour évaluer vos compétences les plus utilisées. Vous pourriez être surpris de constater que certaines compétences ne valent pas mieux que l’absence de compétences du tout, et c’est là que commence l’optimisation.

Lecture connexe :

• Que sont les Compétences Claude — Comprendre les principes fondamentaux des Compétences
• Guide pratique — Créez votre première compétence