也没有大佬说一下本地部署的可行性

fff 2026-09-06 09:24 1

官D吃不动了,falsh一天都能吃掉10块,中转站不稳定,我想问一下是否可以本地部署模型跑代码。大概每天蹬个200-300条的需求。学生党是真的吃不消这个消耗。或者说现行有没有比较好的套餐可以满足个人需求的,月供200都能接受。(或许我可以设计一个自动切换API的插件,一旦响应低吞吐低自动切换? ^-^)

最新回复 (12)
  • Zeus Jie 09-06 09:25
    1

    GPT plus 用 luna

    opencode flash

  • Zeus Jie 09-06 09:26
    2

    你说的本地部署不存在 你都需要 flash 级了

    本地部署不如直接去硅基流动嫖 8b 模型

  • lovesusu 09-06 09:27
    3

    除非你能24小时跑满,不然还不如用官方


    要省钱就用plan,不过至少别用opencode就行,相比官方的,蠢得我都不想用


    如果你能24小时跑满,可以考虑AMD的mi300x,刚好可以跑v4flash,一小时十几块吧

  • chinajojo 09-06 09:33
    4

    站内有佬两台dgx spark就可以跑glm5.3flash了,但是只能单并发,但是我建议上四台,这样就爽很多

  • 赵公明 09-06 09:45
    5

    现在个人PC的东西随着AI的爆火都暴涨了。个人本地部署完全不值得。但是如果真的想省token。可以考虑自己去找一些微调好的比较新的小模型(0.8B~2B)通过量化可以跑个不错的速度。三四十token/s可以保证。或者自己出点钱去训练自己需要的模型(但是意义不大,不如用别人训练好的)效果不求比肩dsflash能比肩dsr1就可以了。(模型的性能不能完全看参数,时间线也很重要。所以尽量选择比较新的微调模型是个很重要的事情)然后通过一些C端的加持,例如规范提示词,skills优化。RAG,来做到提高整体的使用效果。最后达到一定程度上的可用性就可以了。主要的思想都是利用现有的东西来达到最大的使用体验。但是始终比不上整体使用外部API的codingplan



    最主要是本地部署模型噪音太大了,清灰也不怎么管用。



    本人也是学生党。最近在做毕设。买了GLM的lite套餐三个月。再往里面充点钱lite不够的使用用的补充,一个月150左右可以打得住。而且zcode每次更新都送3亿token。虽然限制1天左右用光但是基本上还是能够挡一些输出的

  • 昨日南墙 09-06 09:45
    6

    第一,一天10块都不行的话你本地部署更没戏,你随便租一台带显卡的服务器都不止10块

    第二,月供200我是真的建议gpt,重置比较多,智商也在线,我个人觉得gpt是现在性价比最高的ai模型了。

  • 钯箔苯 09-06 09:45
    7

    个人部署成本太高,个人的话进行部署还不如订阅coding plan了

  • 小玄 09-06 09:46
    8

    除了opencode还有别的plan能用吗?我看了下glm的不如加点上gpt的plus了;之前在5美元的时候考虑过opencode,现在10美元了感觉性价比还是挺高的;但是看见佬说比较蠢,有点犹豫了

  • lovesusu 09-06 09:50
    9

    现在我看挺多佬说command code或者ollama的plan, 你可以搜下看看评价


    这两个我没用过, 但是opencode是真用过, 现在相比之前蠢地不像一个模型


    简单举例吧, opencode的v4flash和pro都容易陷入思维胡同里, 或者注意力飘到天上了, 找问题找着找着就脱离主题了, 官方就没有这个问题, 可以说现在opencode的max还不如官方的low思维好用

  • fff 楼主 09-06 10:00
    10

    我个人比较喜欢思考最低,把ai纯当手用,比我手码块就行了,不喜欢ai思考太多有的没的

  • lovesusu 09-06 10:02
    11

    纯当手用的话, 那你可以试试更小的模型, 不过这我就不知道能做到什么效果了, 我也没用过比v4flash还小的模型, 你可以看看最近挺火的qwen3.8 27b

  • Mav 09-06 10:18
    12

    本地部署完全是不切实际,don’t even think about it.


    不谈什么部署需要的彩礼和API对比,也不谈模型的大小,能解决你的问题的就几种:



    1. 如果对模型能力没什么要求,用Github Copilot,虽然额度少,但我记得GPT4o, 5mini这些应该是完全免费的,不需要额度,大学学个程设,数据结构这些还是绰绰有余的。

    2. 中转站个人不建议,不稳定而且有点浪费时间

    3. API买不起就想办法订阅呗?^-^走礼品卡买GPT,谷歌用招行万事达+google play买GPT,GPT plus又不会封号。


    如果你说订阅的额度不够,那无非就是想办法控制Token使用量(说实话,这是需要学习的)

    或者自己找点活干挣钱买更高的订阅,比如大学生做个家教,自费GPT Pro都不是问题

* 帖子来源Linux.do
返回