2. Linux.do
  3. 现在组一台AI服务器要多少成本，有没有推荐方案

现在组一台AI服务器要多少成本，有没有推荐方案

萧云凡 2026-07-17 11:12 1

想要组装一台在内网能运行至少27B的AI写代码模型的AIAgent服务器，也可以用来测试豆包式AI的多功能软件，因为显卡的显存问题，现在的想法是要么英伟达的A10的显卡，但是有点贵，要么就是两张4070显卡组成阵列，但是阵列只能是在测试豆包式AI那种不止文字对话还有图生成或PPT生成时性价比比较高，对于部署在内网AIAgent反而是负提升，想问问佬们有没有性价比高的推荐的方案

最新回复 (11)
  • tuanzikuaipao 07-17 11:21
    1楼

    知识盲区了，几十b的模型没怎么实际使用过，等其他佬推荐

  • kzhsw 07-17 11:23
    2楼

    这个能接受吗


    [43f87f699036a77df01f6f54059d559d]
    [1d2a2aee6845632e44256ba1e3d5cf21]
    [b27d287712b3752ec6081e6d69be0414]
    [27e2df007af3c4f90b1ec2e66199e7c0]
    [779745e2a0842122054cb67e36ac70b8]
    [4fe1fd0b53c29c31c1…
  • YUhome 07-17 11:24
    3楼

    是想破限了吗？要本地算力。没破限需求还是 api 舒服。搞了个 mini 跑远程和虾

  • moyupoi 07-17 11:31
    4楼

    我是macbookprom5pro64G，能跑量化版qwen3-coder-next 80b，吐65token/s

  • 萧云凡 楼主 07-17 11:40
    5楼

    不行，我们公司用不了iPhone的任何产品，不能用 ^-^

  • kzhsw 07-17 11:41
    6楼

    不是iPhone，是那个量化技术，可以在损失一部分能力的情况下大幅度降低显存占用，比如这个5070ti 单卡


    下午看到了此贴。
    部署要用它的fork：GitHub - PrismML-Eng/llama.cpp: LLM inference in C/C++ · GitHub
    下载q2_0量化版本
    启动命令
    .\llama-server.exe -m G:\models\Ternary-Bonsai-27B\Ternary-Bonsai-27B-Q2_0.gguf --port 8080 --…
  • 萧云凡 楼主 07-17 11:41
    7楼

    可以跑量化版80b吗，但是我们公司用不了ipone的任何产品 ^-^

  • o8b 07-17 11:43
    8楼

    目前最推荐是 pro5000 72g

  • 萧云凡 楼主 07-17 11:48
    9楼

    可以，到时候我可以去我的8g显存尝试一下，但是这个量化把会把8G显存占满了，上下文的token会不会因为不足导致Agent运行不了啊

  • 萧云凡 楼主 07-17 12:09
    10楼

    我之前用的佬的开源LiveAgent接入的我自己内网部署的qwen2.5 7b模型，因为上下文的token不够直接炸了

  • kzhsw 07-18 08:19
    11楼

    其实命令里有，8g显存的配置是-c 16384，代表16k上下文

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐