Gear - 让 Agent 用 Jev 的价格达成 Astra 的性能

tangyehui 2026-09-21 00:25 1

尝试写了一个自进化的基建 Gear - General Evolution ARchitecture ,只要给定一个 benchmark ,Gear 就会自动优化出一套最适合当前场景的 harness 。


当前在 automation bench 的 marketing 任务上,经过 Gear 优化的 DSH + Luna 实现了 88% 的目标完成率超过了 Astra + Codex 的 84%,并且单任务成本降低了 95%。


仓库地址在 https://github.com/rsi-gear/gear


求大家提提意见,点点 star 。

最新回复 (6)
  • lancevps 09-21 09:16
    1
    跑一下 Terminal-Bench 4 ,我对这个评测比较相信
  • tangyehui 楼主 09-21 10:23
    2
    @lancevps tb 的任务有点太长了,自己的 token 烧不动了,欢迎 contribute 实验结果。在 tb 2.1 上是 Luna + Gear-tuned DSH 84.26%,Astra + Codex 87.4%, Fable + ClaudeCode 83.8%。
  • sampeng 09-21 10:36
    3
    还有一点。时间。。astra 5 分钟做完。luna 要花 15 分钟就不能忍了
  • nightwind 09-21 10:49
    4
    有点意思
  • tangyehui 楼主 09-21 10:53
    5
    @sampeng 感谢建议!下面是对 automation 任务的统计结果。
    每题耗时 | Luna max | Astra max
    Agent 平均运行时间 | 5 分 51 秒 | 5 分 39 秒
    Agent 运行中位数 | 5 分 23 秒 | 5 分 28 秒
    含环境准备、执行和评分的平均时间 | 7 分 07 秒 | 8 分 30 秒
  • tangyehui 楼主 09-21 10:55
    6
    @nightwind 有兴趣可以点个 star ,持续关注一下。非常感谢!
* 帖子来源V2EX
返回