【无法实现】【Harness】打算做一个vibe coding 的harness

coldingcode 2026-06-04 21:32 1

生活所迫!猫猫不易!说好的不聊harness的,这里小反悔一下,再次来聊一次harness。


最近在公司本来做AI应用做得好好的,而且也带着同事搞AI编程搞得飞起,最近合计一下数据,编程效率提升50-60%,然后就被领导高层注意到了,然后我就被抓住了。


副总:你过来帮我做我的这个项目


研发总监:虽然我很舍不得你,不过别人是二把手,我也留不住你。


我一下子从公司的AI应用独立研发,变成了让我去从0带一个研发团队转型AI编程,我真尼玛炸了,带研发转型AI编程,第一步很容易,无非就是教会他们熟练使用claude code,第二步很难,要教他们如何写提示词,这一步,难如登天。大家都知道,vibe coding的质量与效率取决于提示词写得怎么样。目前带这个团队已经两周了,虽然效率有一定提升,但是真的不明显,再不想点招,可能年底要挨刀了。


上面是原因之一,另一个原因是最近在站内总是刷到应该如何进行vibe coding的问答贴


最后一个原因就是原先做的harness,都是从0开始的新项目最适用,如果维护老项目的话,还是会回退到vibe coding,就像如今的我,回退到维护老项目。



这里叠个甲,我个人认为superpower、oh-my-xxxx等类似这类的框架对于claude code都太重,且没有太多的使用价值,所以就不在本文的讨论范围了。



综上,我打算再起一个harness,本次harness完全针对vibe coding,有以下三大目标:



  • vibe coding时,并非只使用claude 模型,所以尽量做到提示词适配模型

  • 以CLAUDE.md为基础文件,提示词推进,接受模型优化反馈,做到本地自迭代vide coding效益

  • 始终让claude code或模型保持质量自检,人工复核




基于以上目标,设计了以下架构,先画个图,来听取一下各位的建议





2026.06.06

更新一版进度


一开始想着做CLAUDE.md、rules这些文件的增强,但是发现这些文件在cc里面均为session start加载,即使session过程中发生变更,也不会即时生效,导致这条路就走不下去了。


再就想通过hook的响应的additionalContext,往这里面丢内容,让cc自己把addtionalContext加载进去,但是跟哈雷佬沟通过后,明白这条路也是走不通的。根本原因是这只是往上下文增加内容,而不上修改提示词,所以也是无法达到预期的。


然后因为CC没有任何途径可以修改userMessage,所以无法完成增强提示词这个功能。


就只能期待Anthropic发善心,开放hook可以修改userMessage的功能,就可以实现增强提示词的功能。


最后说下思路:

我们的目标是要帮助用户更好的与大模型交互,用户提示词质量参差不齐导致AI产出低质量代码,用户无法持续提升交互质量。模型一套无感运行的harness框架:度量交互质量 -》注入上下文引导->验证产出结果 -》数据驱动持续优化,以此来达成harness理念,可持续优化闭环。


UserPromptSubmit
[度量] prompt-scorer.js 对提示词评三个维度:意图清晰度/约束完整度/上下文充分度
[注入] buildEnhancement 把低分维度自动补全,增强后发给模型
— verbose=true: 用户看到评分+补全了什么(透明模式)
— verbose=false: 模型静默收到增强,用户感知不到(静默模式)

PostToolUse
[验证] intent-verifier.js 检查产出是否对齐原始意图,不是检查代码风格
scope drift、意图关键词缺失、任务类型不匹配都会触发

Stop
[数据] 记录本次 avgPromptScore + alignRate + 修改文件数 → metrics.json
写入 .vibe-harness/interaction-log.md(用户可查的交互质量日志)

SessionStart + evolve agent
[优化] 积累 5 个信号后触发 @vibe-harness-evolve
agent 读取 prompt-quality.json + intent-output.json,提炼规律
更新 learned-context.md(框架自动写,不是用户写)
下次会话 SessionStart 把学到的模式注入给 Claude
最新回复 (12)
  • sauterne 06-04 21:34
    1

    我有跟佬友相似的需求,不过这个vibe coding AI harness 跟开源的codex的区别是什么呢?

    直接用codex源码来改呢?

    比如附加一些内置的skills

  • coldingcode 楼主 06-04 21:37
    2

    不是一个层面的,claude code/codex等是降低编程大模型的使用门槛,这里聊的是降低提示词的门槛。别人是优化大模型,我这只是优化claude code的使用方式。

  • 斓曦未央丶 06-05 08:51
    3

    期待后续 目前在用Trellis感觉还行

  • magicdragoon 06-05 08:53
    4

    同蹲一个后续,现在也在用Trellis用起来也还行

  • cumquat 06-05 08:59
    5

    佬模型用的是opus吗,我们推广的只能国模,不管怎么harness总感觉差点意思

  • Liuzf 06-05 10:05
    6

    各大 工具都有相应的处理流程,不能理解 Trellis openSpec 等等 skill 存在的意义

  • A.Ziegler 06-05 10:16
    7

    其实有时候我分不清什么是太heavy,因为我理解正常的软件开发也是要这样一步步来?

  • krismile 06-05 10:19
    8

    +1,目前也在用trellis,感觉还可以,新项目很实用,旧项目需要先根据项目情况整理下spec,边界处理、规范整理、流程管理感觉现在已经比较好用了

  • NukaColaM 06-05 13:04
    9

    我想问个问题,决策记录部分,你怎么解决文档腐化的问题?假如我一开始要写个仅支持IPv4的代理,然后随着时间推移,我现在需求变成了仅支持IPv6。这种需求的变更是完全颠覆性的。

    顺带一提,我看这结构图,我蛮期待的。 ^-^

  • coldingcode 楼主 06-05 14:43
    10

    目前我也无法回答你的问题,我也正处于规划阶段,还不了解真正上手之后,还不了解会发展成什么样子

  • CheviChan 06-05 15:59
    11

    我是来学习的,看完大家讨论,决定安装trellis来试下,谢谢各位佬的分享。

  • coldingcode 楼主 06-06 16:58
    12

    该贴已更新结束,目前无法没有任何途径做到无感增强提示词,有感提示词相信各位佬有各种办法,就不现丑了。

* 帖子来源Linux.do
返回