2. Linux.do
  3. 1500本地部署ai值得么？

1500本地部署ai值得么？

Zis30axs 2026-09-04 12:34 1

前段时间在旧笔记本（M2000M 4G I7-6700hq ddr4 16gb）上跑了qwen3coder9b和qwen3.8-27b q4xs，一个9tks，一个1.4tks。快变成我的白月光模型了。

但是tks太慢了，想弄个专门跑ai的。配置大概是：

e5-2680v2 40-60

ddr3 16g x2 200-250

P100 16g x2 650-800

500G 机械硬盘 x2 100-130

x99大板 125-160

亮机卡 20-40

电源1000W 150-200

剩下杂七杂八散热器什么的东西可以加200（为什么没有显示器？家父留的外星人m17x r3有先进的HDMI IN）


但是我又担心将来显卡不适配了，真的有必要吗？

最新回复 (17)
  • Moyuuuu 09-04 12:35
    1楼

    买一堆电子垃圾跑毫无用处的模型意义在哪呢

  • Scheme 09-04 12:35
    2楼

    不值，

    笨蛋模型，可用性还不如随便找个公益站用反代的

  • 米塔 09-04 12:36
    3楼

    不值，1500充给API的话，性价比远比你这个高，低价本地部署小模型永远还是不如API的智商高

  • weq 09-04 12:37
    4楼

    用本地模型除了没限制可以瑟瑟以外的意义是什么

  • EVELance 09-04 12:38
    5楼

    你这配置能跑得起来 27b 吗？

  • nnas 09-04 12:38
    6楼

    佬 有没有测试过，这个本地跑每秒有多少token呀

  • songslh 09-04 12:39
    7楼

    佬，真正决定token价格的，除了表面上看起来的token输入输出缓存，还有一个很难量化的东西叫任务成功率。

    小模型堆起来你任务成功率没有，这token拿来写小说你都嫌不说人话啊。

  • Kiron 09-04 12:42
    8楼

    不值，大模型对显卡要求很高，你这配置类似的电脑我这里有一大堆都没办法

  • 沙 09-04 12:47
    9楼

    你这配置表最多跑跑Embedding吧，跑正经模型得墨迹死。

  • kyomic 09-04 12:50
    10楼

    有这个钱买TOKEN多好，专业的事找转业的人做，借着TOKEN搭应用赚自己的钱

  • DROP_TABLE.user_info 09-04 12:50
    11楼

    1.4tks基本告别日常使用了，有这钱还是买api key划算

  • 幻风Richi 09-04 12:50
    12楼

    不建议本地部署ai，除非你要无审查/NSFW/私隐，API性价比&智商更高，另外，P100很旧，用vllm要去 Github 自行 patch PR #4409，自行编译

  • Naruto 09-04 13:19
    13楼

    你不是想用ai，你只是在“全都是属于我自己”的自我暗示下，享受着看屏幕上不断涌现出字符的快感

  • LlNUS 09-04 13:53
    14楼

    一个 9tks，一个 1.4tks。快变成我的白月光模型了



    佬，能问下是哪里吸引住了你吗？

    我做个社会调研

  • kyrie 09-04 13:56
    15楼

    充给中转站都比你这样把钱扔了好啊 佬友

  • ZGMF-X00A 09-04 14:01
    16楼

    经典只算钱，不算时间成本，不算成功成本。

  • Zis30axs 楼主 09-04 14:02
    17楼

    ^-^被佬们骂清醒了，主要是b站有很多测评小模型的，被带偏了，还是留着弄点正经的吧

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐