2. Linux.do
  3. 有没有研究过小模型 CodingAgent 的

有没有研究过小模型 CodingAgent 的

lamb 2026-08-04 21:05 1

最近在做一个上下文会很长的垂直领域相关 agent 开发 然后就是遇到用户不想用云端模型 但是又没有大资金去部署满血模型 所以就在研究小模型超长上下文和召回相关的方案

做的同时就想到在 coding 领域 其实很多内容也不需要智力特别满血 如果规范好限制 小模型能够满足上下文的长度 然后做一个针对小模型的 codingagent 貌似以后会是一个不错的方向 虽然现在 token 价格已经有很低了的 但是我考虑到的是 本地部署才是最有保障的 现在人对 ai 依赖太强大了 万一线上模型都掐死 那个时候会不会束手无策呢？ 所以我感觉研究本地方案 就算智力不够 只要能代工就算 甚至说是 其实现在小模型做好优化 和 程序上的框架逻辑的调整 我认为目前小模型 coding 是没什么问题的 不知道各位有什么见解 可以交流一下的 或者一起去做这样一个事情的

类似这个项目 https://github.com/alexzhang13/rlm

最新回复 (12)
  • dabao1955 08-04 21:06
    1楼

    基于 deepseek v4 flash 微调呢？太小了感觉世界知识不太够

  • lamb 楼主 08-04 21:13
    2楼

    我们最近研究可以用qwen8B的模型做到 针对超长上下文 还分开子智能体 微调一个前端模型 微调一个后端模型 这样去处理的一种形式

  • 天痴 08-04 21:17
    3楼

    小模型根本coding不起来，哪怕24g的显存。你有显卡就知道了，上下文和参数摆在那，中等项目都hold不住，流口水无限循环。而且用claude和codex的时候启动都不行，工具本身的上下文直接撑爆或者占一大半

  • Shilin Zhou 08-04 21:18
    4楼

    这么小的模型恐怕连 tool 都调不太明白？如果自部署 deepseek v4 flash 其实只需要 4x A100/H100 80GB，你这个应该是面向企业的场景，对于企业来说这个成本应该是可行的

  • BOOSTMEISTER 2014 DH 08-04 21:19
    5楼

    现在人对 ai 依赖太强大了 万一线上模型都掐死 那个时候会不会束手无策呢？ 所以我感觉研究本地方案 就算智力不够 只要能代工就算



    没意义。不可能出现这种情况，你本地部署也需要技术，当然你说弄个 ollama 一键了也不是不行。但是效果差很多，还不如云计算。

  • dabao1955 08-04 21:20
    6楼

    8b 不太行吧，正经 coding 顶多得27b以上的

  • Console 08-04 21:20
    7楼

    测试过Qwen3.6 35B，tool call循环不能始终保持格式，我们最后采用了minimax-m2.7，虽然流口水但是自己做工作流的agent勉强能解决问题。这应该只是个临时命题，再过两年可能本地就能部署能力达到GLM5.2的模型了

  • lamb 楼主 08-04 21:25
    8楼

    目前看了几篇论文 还有几个人研究的方向 看起来是很可行的 只不过我不是算法专业的 其实我也不太懂 但是据他们科班人员的意思是 可以做到

  • BOOSTMEISTER 2014 DH 08-04 21:31
    9楼

    仅限于你们的任务真的很专很窄，但那就是垂类的一般范式。这种范式不可能成为主流，这个领域微调一下那个领域微调一下。还不如做一个通用的大基座。

  • banshan 08-04 21:34
    10楼

    感觉不太行，小模型的知识储备太少了，幻觉高，做点简单的运维估计可以

  • banshan 08-04 21:36
    11楼

    不知道是否可以训练一个专精某个语言的lora，项目使用了什么语言，就挂载这种语言的lora

  • Butterl 08-04 21:38
    12楼

    小模型编码别折磨自己了，成功率感人

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐