首页/实测评测

实测评测

每个 Skill 都跑同一套对照实验:同一个任务,分别交给裸模型和装了该 Skill 的模型,再由判分模型在不知道来源的情况下盲评。下面全部是真实跑出来的数字,不是推荐语。

29已评测 Skill
-3.8%平均提升
4提升 ≥ 2%
87累计测试任务
¥5.29累计评测成本
01 出题

读 SKILL.md 生成任务

3 条真实用户会发出的请求,覆盖不同场景,排除「这技能怎么用」这类元问题。

02 对照

同条件跑两组

A 组只有通用提示词,B 组附完整 SKILL.md。温度、上限、任务完全一致。

03 采样

每组重复 2 次

降低单次随机波动,最终取全部有效采样的算术平均。

04 盲评

随机顺序打分

判分模型不知道哪份带技能,按正确性 40 / 可执行 30 / 完整 20 / 表达 10 打分。

# Skill 相对提升 裸模型 → 带技能 样本 评测时间
1 ml-pipeline-creation
一项用于创建、管理和自动化机器学习流水线的技能。
+10.5% 66.8 → 73.8 3×2 2026-10-20
2 copywriting
落地页 / 首页 / 定价页文案撰写与改写:价值主张、标题、CTA 的写法,并规避典型「AI 味」表达。
+7.6% 83.7 → 90.0 3×2 2026-10-20
3 data-analysis
分析数据集,通过统计方法、趋势识别、假设检验和相关性分析来提取洞察。
+4.0% 83.0 → 86.3 3×2 2026-10-20
4 n8n-workflow-design
设计与评审 n8n 工作流的工程规范:输入输出契约、节点选型、四层错误处理、幂等去重、限流批量、凭据与 Webhook 安全、调试方法,以及可分享的导出规范。适用于从零搭一个自动化流程,或把「能跑」的流程改造成「敢上线」的流程。
+2.9% 80.7 → 83.0 3×2 2026-10-20
5 cold-email
冷启动外联邮件:目标筛选、开场与价值点、跟进节奏、合规与退订处理。
+2.0% 84.3 → 86.0 3×2 2026-10-20
6 context-injection
使用结构化模板将上下文信息注入提示词中,以提升 AI 模型的准确性、事实依据和任务表现。
+1.2% 84.0 → 85.0 3×2 2026-10-20
7 email-drafting
为任何目的起草专业且贴合受众的电子邮件——包括陌生外联、跟进、客户支持、内部更新和会议请求——并拿捏好语气,给出明确的行动号召。
+0.8% 87.0 → 87.7 3×2 2026-10-20
8 chatbot-conversation-design
设计结构清晰且富有吸引力的聊天机器人对话流程,需具备稳健的意图识别、槽位填充、歧义消除、错误恢复及优雅降级回退策略。
+0.8% 87.7 → 88.3 3×2 2026-10-20
9 api-integration
通过REST客户端、Webhook消费者、SDK封装和轮询模式与外部API集成,并配备适当的认证、错误处理及重试机制。
+0.0% 69.0 → 69.0 3×2 2026-10-20
10 api-design
设计RESTful API时,需包含合理的资源建模、正确的HTTP方法语义、恰当的状态码、分页机制、版本控制以及完善的文档。
-0.4% 79.7 → 79.3 3×2 2026-10-20
11 code-review
对代码文件或拉取请求进行全面的代码审查,检查其中的缺陷、安全漏洞、性能问题以及代码风格违规。
-0.6% 89.3 → 88.8 3×2 2026-10-20
12 knowledge-base-article-writing
根据支持数据、产品文档和常见客户问题,撰写清晰、可搜索的帮助中心文章和 FAQ 条目。
-1.1% 89.3 → 88.3 3×2 2026-10-20
13 docs-governance
文档治理:文档目录规范、链接有效性校验、ADR 索引维护与只读审计脚本。
-1.2% 81.7 → 80.7 3×2 2026-10-20
14 graphql-api-design
设计 GraphQL API,采用结构良好的模式、高效的解析器、分页,以及诸如 DataLoader 和联邦之类的性能模式。
-1.5% 66.3 → 65.3 3×2 2026-10-20
15 backend-patterns
Node.js / Express / Next.js API 路由的后端架构模式:分层、接口设计、数据访问与数据库优化。
-1.9% 90.3 → 88.7 3×2 2026-10-20
16 churn-analysis
通过分析使用模式、参与度信号和支持记录,识别有流失风险的客户账户,并生成流失风险评分及干预建议。
-2.0% 85.7 → 84.0 3×2 2026-10-20
17 customer-feedback-analysis
分析 NPS、CSAT 和定性客户反馈,以提取主题、识别趋势并生成可操作的洞察报告。
-2.4% 75.3 → 73.5 3×2 2026-10-20
18 debugging
通过分析多种编程语言中的错误信息、堆栈跟踪、日志和运行时行为,系统性地诊断并修复软件缺陷。
-2.7% 88.2 → 85.8 3×2 2026-10-20
19 context-optimization
通过去重、过滤、重排序和评分信息来优化提供给 AI 模型的上下文,以最大化相关性和 token 效率。
-2.9% 85.8 → 83.3 3×2 2026-10-20
20 content-strategy
内容策略与选题规划:主题簇设计、编辑日历、内容与转化路径的对应关系。
-4.2% 79.7 → 76.3 3×2 2026-10-20
21 code-documentation
自动为代码库生成清晰、全面的文档——包括API参考、内联文档字符串(docstrings)、README文件和用法指南。
-4.7% 88.5 → 84.3 3×2 2026-10-20
22 ai-seo
面向 AI 搜索的内容优化(AEO / GEO):让内容更容易被 ChatGPT、Perplexity、AI Overviews 引用,含 llms.txt 实践。
-4.8% 83.7 → 79.7 3×2 2026-10-20
23 hyperparameter-tuning
在计算预算内,使用网格搜索、随机搜索、贝叶斯优化和 Hyperband 来优化机器学习模型的超参数,以最大化模型性能。
-4.8% 80.0 → 76.2 3×2 2026-10-20
24 context-compression
压缩上下文,使其符合模型的 token 限制,同时保留当前任务最关键的信息。
-5.3% 91.0 → 86.2 3×2 2026-10-20
25 data-cleaning
通过处理缺失值、移除重复项、校正数据类型、处理异常值并强制执行验证模式,来清洗和预处理数据集。
-7.2% 83.3 → 77.3 3×2 2026-10-20
26 deep-research
多源深度调研:检索、交叉验证、引用标注,输出带来源的报告。(需配合 firecrawl / exa 等检索类 MCP)
-8.8% 71.7 → 65.3 3×2 2026-10-20
27 data-labeling
使用手动标注工具、半自动化流水线、主动学习和程序化弱监督来建立并管理数据标注工作流。
-9.3% 71.7 → 65.0 3×2 2026-10-20
28 chinese-tech-writing
中文技术写作规范与审校:把英文技术内容或口语化表达,改写成简洁、专业、无翻译腔的中文。适用于写文档、README、发布说明、技术博客、产品文案与对外邮件。含标点与中英混排规则、常见病句对照表和终稿检查清单。
-13.3% 89.3 → 77.5 3×2 2026-10-20
29 meeting-transcription
转录会议音频并进行说话人分离,生成包含行动项、决策和跟进事项的结构化摘要,并支持多种音频格式和语言。
-60.6% 88.0 → 34.7 3×2 2026-10-20

排队待测(5)

e2e-testing frontend-patterns frontend-slides security-review tdd-workflow
关于这些数字的边界,说清楚比说好听重要:
1. 这里只报相对提升,不报绝对分。绝对分高度依赖模型与采样,换个模型就变,单独拿出来看没有意义。
2. 评测模型为 deepseek-chat,判分同为该模型但独立调用、盲评。换模型结论可能略有差异。
3. 每个 Skill 仅 3 个任务 × 2 次采样,属于快速体检而非严格基准测试;提升幅度在 ±2% 内可视为「基本持平」。
4. 分数低不等于 Skill 无用,可能只是测试任务没有覆盖到它最擅长的场景。数据是参考,不是判决。