【开源评估Skill】Comet: 如何在LangSmith上采用Rubric、Pass@k/Pass^k科学评估驱动你的Skill演进

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

• 我的帖子已经打上 开源推广 标签： 是


• 我的开源项目完整开源，无未开源部分： 是


• 我的开源项目已链接认可 LINUX DO 社区： 是


• 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是


• 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

5月底我开源了Comet Skill，把我的日常工作流组合了起来，他连接了OpenSpec和Superpowers的核心功能，做了很多Harness工作。让推进开发者们的需求从记忆许多Skill名词缩减到了一个/comet命令，极低的使用门槛，让他在Github上快速的斩获了超2k Star，也收到了抖音官方的邀请和推荐

Github仓库 https://github.com/rpamis/comet

历史帖子：【开源】已在20天时间内破1.2kstar，获抖音科技官方邀请视频播放量破50w ~ Comet: 如何组合高Star Spec项目(OpenSpec+Superpowers)做出更好用的Spec Skills

但随着Skill的高速迭代，文档内部描述的场景开始变得复杂，传统我们添加一个功能，要想知道这项功能是否好用得自己打包，测试体验。过程中将耗费我们很多时间，尤其是像Comet一样的Spec Coding类的Skill，既耗时又耗费Token。人工使用体验也还有另外的问题，通常如果开发者偷懒，大概率测试一下就过了，一项新功能对历史功能的影响很难评估，我们不确定引入一项新功能会对Skill中的哪些部分产生负面影响，对于Skill是否变得更好了全凭自己的手感和体验。这种非科学性的迭代方式让整个Skill充满了不确定性

Comet此时正处于需要将Shell脚本更换为Node运行时的时期，目的是为了解决用户们在Windows使用时经常撞Bash墙的问题。核心脚本是Comet在长程任务上推进和守卫的核心，更换核心需要非常谨慎的评估Skill和旧版的各个方面的使用体验，同时评估本身也是非常重要的一环，也被称为Agent的下半场，我们在2025年底看到许多海内外大厂文章有提这个概念，随着Agent系统的深入，这已经确定是必须要建设的方向。基于这个变更机会我开始着手探索如何科学的评估Skill。

经过密集的开发，总算跑通了生产级的Skill评估流程，让学术界的科学评分指标进入到生产落地，并同时将源代码开放在了原始Comet仓库

以下部分是Comet v0.4.0-beta.1的更新内容

本次更新是Comet的一次产品级变更，我们从原始Spec Coding Skill开始走向Workflow、Skill Creator、Skill Eval的Harness平台

重点内容：

1. Comet Docs AI原生官网上线，支持mcp接入官方文档，你可以通过Agent了解Comet的任何事情，Comet: Agent Skill Harness Phase-Guarded Automation From Idea To Archive - Comet Docs


2. 在这个版本中我们重构了Comet的核心运行时，全面转化为纯Node运行


3. 创新性的采用了自动化双Agent测试，消耗超100亿Token评测详细对比了无Comet、Comet0.3.9、Comet0.4.0-beta.1的性能，利用结构化Rubric评分、Pass@k、Pass^k等业界科学指标评估了Skill的优缺点，完整评估报告请见Comet 基线真实评估实验 - Comet Docs


4. 全新发布comet eval，基于自动化双Agent评测的Eval系统，支持集成LangSmith/LangFuse，支持Local本地评测，基于comet eval你能够科学的评估任意Skill，并设置基线Skill，使用评估驱动Skill的演进


5. 全新发布了comet dashboard，现在起你能够在本地可视化comet的任务进度，了解并观察多个需求执行情况


6. 全新发布了**/comet-any**，现在comet支持创建任意Skill，支持全新自定义Skill和以Comet经典五阶段为骨架做增量调整，你可以在comet创建Skill并复用comet init式的分发机制，分发到支持的所有Coding平台。Tip: comet-any为实验性功能，可能在后续进行大幅重构或删除，请酌情使用


7. 更强大的意图识别机制，comet重构了意图识别，采用了业界主流的槽位抽取技术，在benchmark测试中识别性能大幅提升


8. 更稳定的workflow基线，经过完整benchmark评估，comet040在更换核心之后在长程任务稳定性上明显由于039基线


9. 更多的平台支持，Antigravity 2.0、MimoCode、ZCode、Trae-CN


10. 更好用的hotfix和tweak，现在hotfix、tweak真实进入了生产可用，tweak化身为了更多OpenSpec更少Superpowers的路径，为轻量化需求提供选择


11. 可配置的语言跟随，现在.config.yaml支持了语言跟随设置


12. 与业界实践对比，了解Comet中的技术是如何和海内外大厂对齐Comet 与业界实践对照 - Comet Docs

完整内容请查看Changelog - Comet Docs

我们希望Skill的演进不仅仅是凭借手感，而是真实的靠生产级链路追踪，以及科学实验进行优化，原始我们组合OpenSpec+Superpowers的方法论更应该沉淀为一个骨架，组合他们不是Comet的最终目的，我们希望能够追踪类似这样的长程任务Skill找到能够让长链路Skill稳定执行的Harness能力，如果你也感兴趣，欢迎参与我们的项目贡献，或通过我们的源码进行学习

以下是Comet在LangSmith评估过程的真实截图