随着opus sol luna的降价,本地端侧模型的世纪骗局快圆不下去了

gobert 2026-09-23 17:37 1

你部署一套设备+运维+电费+人工,总成本估计够买opus/sol订阅额度10年,够luna额度20年,即便为了数据的相对安全,去买国产api,那也够小10年,还要被蒸馏和路由


要想绝对安全,同时还要全公司爽用v4.1 flash这个体量的模型,不来几个H200 B200 是不现实的,自己算算能买多少年api


端侧模型这个世纪骗局快圆不下去了,下一步估计是改成吹100M级的开发板/树莓派 边缘模型,但是随着几乎无延迟几乎不要钱的jev的发布,边缘计算这种场景会不会被jev类的判断模型完全覆盖还不好说了

最新回复 (19)
  • yeluo001 09-23 17:39
    1

    只要有数据安全要求,本地部署的需求就不可能消失

  • 初九猫 09-23 17:39
    2

    也不一定,就现在这个硬件价格,指不定前几年买的硬件现在价格已经翻几番了(

  • 小风小浪 09-23 17:43
    3

    那我未审查谁给我补上。我现在16g好歹能用27b给我开个头,接deepseek, 什么都能做

  • gobert 楼主 09-23 17:43
    4

    那也是因为claude gpt deepseek这些商业模型的大幅降价和普及,是数据中心的需求,和端侧这个伪概念没有关系

  • arron 09-23 17:44
    5

    国内这环境永远有需求。。。恨不得每个公司都有几套私有云。

  • alizoed 09-23 17:46
    6

    感觉,不如qwen3.8flash-next,规模小

  • zhang 09-23 17:47
    7

    两个字安全,这就够了,不是什么项目都是效率第一,很多东西是安全压倒一切

  • Wkstr 09-23 17:48
    8

    qwen-27B 还有一些生图模型,有中高端消费级显卡即可部署。个人来说,折腾是乐趣所在

    至于商业的话,现在云端的大模型的商业链路也就 coding 跑通了,还没有必要奢望端测模型能跑通商业模型。另外总有合规和保密的要求,泄露造成的损失高于自部署的成本,就只能自部署了。

  • yuanbimu 09-23 17:48
    9

    隨著雲服務器的降價,本地服務器就沒有用了說是 ^-^

  • jerryust 09-23 17:48
    10

    有个问题你没考虑到,OpenAI和Anthropic的模型安全护栏太高了,很多东西没有本地都做不了了。

  • yunafantasyx 09-23 17:50
    11

    你部署一套设备 + 运维 + 电费 + 人工,总成本估计够买 opus/sol 订阅额度 10 年,够 luna 额度 20 年,即便为了数据的相对安全,去买国产 api,那也够小 10 年,还要被蒸馏和路由



    我觉得你说的挺对的,卖了 5 月份部署的 PRO6000,赚的钱可以订阅 5 年吧

  • 点点点…点娘! 09-23 17:50
    12

    不是,哥们,你以为本地部署的主要原因是因为价格吗


    价格反而是驱动力最小的


    前不久,路透社的母公司用千问 3.5 微调了一个版本,是因为人家没钱吗^-^

  • IkedaTeresa 09-23 17:52
    13

    The Information昨天不是才报道过约谈吗, 商业上内部的数据安全还是很重要的.

  • runner dhero 09-23 17:52
    14

    端侧咋可能没需求啊,谁都愿意自己数据先给模型商看一遍?这就是最铁的需求啊。我朋友所在的一个相对涉密的企业,连国内模型的api都不让用,只能用自部署的。

  • pony 09-23 17:52
    15

    本地部署模型从来不是为了降低成本,你方向搞错了

  • ArkaneFans 09-23 17:52
    16

    端侧和云端模型使用场景都不一样,就像现在搞comfyui画图流程的,很多都是用本地部署模型

  • Humpy 09-23 17:52
    17

    大家只是在意成本,不是没有需求,可控核聚变搞了一个世纪了,不还在搞吗,你本地模型部署能比这个还遥远?

  • nijun 09-23 17:54
    18

    未来是开源的未来,开源Agent加开源模型。


    现在硬件价格打不下来,但是富人已经享受上了呀,欧洲那边用的都是自部署。

  • jcc 09-23 17:54
    19

    为了数据安全,端侧永远是刚需


    你也不想代码和所有的信息都交给某个巨头吧

* 帖子来源Linux.do
返回