2. NodeSeek
  3. 准备自己砸钱搞台满血大模型的纯物理机，卖给MJJ们当API平替，大家觉得有搞头吗？

准备自己砸钱搞台满血大模型的纯物理机，卖给MJJ们当API平替，大家觉得有搞头吗？

SimonXLAtticus 2026-06-20 10:45 1

虽然我各家AI会员都买了，但是还是限制太多了，有时候写代码啥的各种被限制，反正挺难受的


所以最近我就在思考，打算通过家宽跑路回来的契机去整个自己的AI物理机，拿来跑GLM5.2或一些其他的开源模型，配合cli或者web模式卖token给各位mjj


想看看论坛都怎么想，目前的计划是这样的：



  1. 放宽限制：放开safetensor，不能说100%无限制吧，但是相对合理一点的请求都会放开，主打一个纯粹的生产力工具，不搞过度审查。

  2. 交个朋友的定价：免费给家宽客户每月 5M token 的保底福利。非家宽客户打算直接按 A\ 的 3-4 折左右来走

  3. 算力底座绝对硬核：这不是拿几台小鸡或者游戏卡拼凑的玩具。准备直接上 4U 准系统物理机，双路 ARM AmpereOne 处理器跑 Debian，加上 1TB DDR5 ECC 内存，最核心的是直插 6 张企业级 NVIDIA RTX PRO 6000 或者H200。差不多能跑 4-bit 动态量化，保证长文本或者写代码不降智，速度也基本能对标大厂

  4. 接口无缝对接：提供标准的 API 格式，你们手里现成的那些第三方客户端、CLI 工具可以直接无缝接入，当成 Claude 的无限制平替用

  5. 防滥用：算力毕竟有上限，为了防止有人薅羊毛，我们会做出相对的动态限制和风控机制。保障正常用户的体验不被那些刷量的人影响


机器和另外的家宽业务大概计划在今年 9 月份左右上线，目前硬件配置基本敲定了，发出来就是想听听大家的意见：


相对低限制或者无限制的AI需求量大不大？这个token的价格，大家觉得合不合理？欢迎在楼里随便拍砖，如果反响可以的话，上线后抽几个mjj发点额度玩玩看


统一回复下：

是的这个配置会很够呛，但是初期投资砸太多不合适，如果商业模型跑起来了那还可以继续追加配置

重点就是低限制，要么大厂的safetensor很难受

最新回复 (50)
  • KYLIN2333 06-20 10:45
    1楼

    真有这么多钱？

  • deerxxx 06-20 10:48
    2楼

    4bit量化不太行，而且你这配置承载不了几个并发吧

  • 电报 06-20 10:50
    3楼

    读不了长文，幸亏，最后看见“抽几个”了。那就顺便顶一顶了。

  • wulixi8 06-20 10:56
    4楼

    很难，无论是成本还是稳定性都比不上大厂

  • west-re 06-20 10:56
    5楼

    这一套配置得多少啊，太富了 ^-^

  • heshihedi 06-20 10:57
    6楼

    上线了踢我

  • Cirno 06-20 10:57
    7楼

    说实话，这样一套下来的价格不如直接接API分发出来用，还没有量化

    而且这一套说实话承受不了多少并发吧

  • Luze 06-20 10:58
    8楼

    读不了长文，幸亏，最后看见“抽几个”了。那就顺便顶一顶了。

  • 布吉岛 06-20 10:58
    9楼

    有这个需求，这种能接入Hermes这种agent吗

  • tafei 06-20 10:58
    10楼

    ^-^

  • users 06-20 10:59
    11楼

    论坛卧虎藏龙！

  • masike 06-20 10:59
    12楼

    自己玩玩还行，平替不了

  • 绚花 06-20 11:00
    13楼

    实际对硬件的需求远超你的想象

  • SimonXLAtticus 楼主 06-20 11:03
    14楼

    @deerxxx #2

    确实会有点够呛，但是初期投资不敢一下买太好的，只能说先整个差不多的跑跑看，销量不错的话可以继续投入，如果不行的话就即使止损

  • SimonXLAtticus 楼主 06-20 11:03
    15楼

    @masike #12

    3折价格还想要啥自行车。。。。先从小开始再往大了走呗

  • SimonXLAtticus 楼主 06-20 11:04
    16楼

    @wulixi8 #4

    没办法从小到大慢慢来。。。

  • SimonXLAtticus 楼主 06-20 11:04
    17楼

    @west-re #5

    反正预算在10万美金，看着整呗

  • SimonXLAtticus 楼主 06-20 11:05
    18楼

    @KYLIN2333 #1 20年就重仓nvda了，你猜我有多少

  • 祈雪于凛冬 06-20 11:05
    19楼

    只有单台扛不住多少并发吧

  • R3M1NE 06-20 11:05
    20楼

    你是在海外搞吗 感觉国内搞这种会有点风险

  • SimonXLAtticus 楼主 06-20 11:06
    21楼

    @祈雪于凛冬 #19

    是的，会有点够呛，但是刚开始不想投入太多

  • SimonXLAtticus 楼主 06-20 11:06
    22楼

    @R3M1NE #20 y，在美国

  • SimonXLAtticus 楼主 06-20 11:07
    23楼

    @绚花 #13 所以说从小做起，慢慢做大，先少投点试试水

  • 祈雪于凛冬 06-20 11:07
    24楼

    @SimonXLAtticus #17 10万刀买不了6卡h200吧

  • SimonXLAtticus 楼主 06-20 11:07
    25楼

    @祈雪于凛冬 #24 6卡pro6000, h200的话就少点呗，或者再追加预算

  • MaxChan 06-20 11:09
    26楼

    我每天就能用一百多M

  • S1xon6 06-20 11:10
    27楼

    主要是看并发吧，并发一高这个配置可能体验就下来了

  • Gu123 06-20 11:11
    28楼

    不妨先租相同配置的显卡，先跑跑看并发以及速度和用这一套作为试用看看真实情况，然后跑通了再买物理机

  • SimonXLAtticus 楼主 06-20 11:11
    29楼

    @S1xon6 #27 对，但是早期用户量估计也不多，应该还能接受

  • SimonXLAtticus 楼主 06-20 11:12
    30楼

    @Gu123 #28 有道理，送你个鸡腿

  • Remedial 06-20 11:12
    31楼

    我8张A100卡的要命，供参考

  • blackface 06-20 11:13
    32楼

    这个成本很夸张

  • 藏锋 06-20 11:14
    33楼

    最开始ds r1刚出的时候不是一堆这种第三方r1，现在很多都不见踪影，能看出很难做

  • acm 06-20 11:15
    34楼

    一台机器 够开一家网吧了

  • 祈雪于凛冬 06-20 11:15
    35楼

    @SimonXLAtticus #25 6卡也要五六十万CNY吧，1tddr5ecc要八九万CNY，富哥

  • SimonXLAtticus 楼主 06-20 11:16
    36楼

    @祈雪于凛冬 #35 反正预算10万美金，按着这个预算花呗

  • zhujieqaq 06-20 11:16
    37楼

    昨天讨论过8卡H200一个小时能赚300+美金

  • Cirno 06-20 11:17
    38楼

    说实话你让AI估一下就知道了，拿GLM-5.2来说全参753B，4bit量化476 GB，加上KV 缓存，6张Pro6000才576 GB并发上下文一多直接炸了 ^-^

  • SimonXLAtticus 楼主 06-20 11:17
    39楼

    @藏锋 #33

    这个我知道，这个只是试水，后续还有更大的计划呢

  • SimonXLAtticus 楼主 06-20 11:18
    40楼

    @Cirno #38 直接MoE，cpu内存也来跑，反正能跑就行哈哈哈哈哈

  • SunwardGrace 06-20 11:21
    41楼

    6张H200和长上下文就无缘了，并发更是别想

  • Gu123 06-20 11:24
    42楼

    预算10w美金且在美国的话我不推荐自己搭建，成本高很多，不如直接买GB300

    https://www.scan.co.uk/shop/ai-and-robotics/workstations-ai/nvidia-dgx-station

    你可以参考一下，大概在你这个预算上浮一点点，但是能买到8xpro6000，而且因为是大厂的，所以质量稳定以及不需要自己装

  • KYLIN2333 06-20 11:25
    43楼

    @SimonXLAtticus #18 感觉得1000w起步才可以有好的体验

  • DawnAlex 06-20 11:26
    44楼

    @KYLIN2333 #43 1000W你就太夸张了，都能搞个初创公司了

  • max03 06-20 11:27
    45楼

    ^-^ 期待效果

  • Gu123 06-20 11:27
    46楼

    预算10w美金且在美国的话我不推荐自己搭建，成本高很多，不如直接买GB300

    https://www.scan.co.uk/shop/ai-and-robotics/workstations-ai/nvidia-dgx-station

    你可以参考一下，大概在你这个预算上浮一点点，但是能买到8xpro6000（记错了，不过可以参考一下），而且因为是大厂的，所以质量稳定以及不需要自己装

  • SimonXLAtticus 楼主 06-20 11:28
    47楼

    @KYLIN2333 #43

    也不是没有，但是呢，还是得细水长流啦

  • SimonXLAtticus 楼主 06-20 11:28
    48楼

    @DawnAlex #44 你猜我要干啥。。。。

  • SimonXLAtticus 楼主 06-20 11:28
    49楼

    @Gu123 #46 这个是英国啊，不是美国啊

  • Gu123 06-20 11:30
    50楼

    @SimonXLAtticus #49

    这只是给你配置看看，不是在这里面买。。。美国本土肯定能买啊

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐