为什么不自己搭建本地模型？

哪个帖子只要80G显存啊，让我也看看

不是呀，我是的gemini个人部署要多大的内存，它给我说80G就够了

80gb？？？怕不是说的单卡80gb的h100集群吧，生产甜点级的fp8版本至少也要800-1000g+的显存，就算真能量化到80gb能跑的得流口水到什么样子

一些营销号的内容没必要看，80G运行个量化版本的模型意义不大，满血GLM-5.2部署成本至少1T多，光显卡的费用都几百万了

不是呀，我是的gemini个人部署要多大的内存，它给我说80G就够了

看能多大的模型参数了，不一样的模型参数对应的性能肯定不一样，不过如果有佬搭建本地用于vibe coding希望分享下效果怎么样

没有足量的GPU部署不起来，量化后很难评价

GLM 参数量 740B 左右，单算模型权重就算 FP8 也要 700-800G，量化到 1 位（每个参数只有0和1）都做不到<80G

这问的是啥 AI 避雷一下（，不会没联网吧

之前本地部署过小b的 就几b的qwen2.5还是啥来着 用来做补全的 一工作风扇就转起来了 而且还很慢 ^-^

个人电脑配置有限 升级用来跑大模型不现实

glm-5.2

图片右边的是模型文件大小。Q8级别的量化可以视作无损，运行模型本身可以看做需要800G显存。你从哪里看来的80G?

更低级别的量化只能拿来聊天，不适合用于代理。

别搭了，至少今年不现实，GPU 和 DDR5 内存的价格搂不住了。

本地部署的太蠢 聪明一点的参数量太大 买显卡部署价格太高了 换成api够你用一辈子

80G?800G也只能跑FP8的，价格大概800-1000W

是的，但是说的是H100的卡。还只是一般级别的 这个成本你算算

GLM-5.2 这种 754B 参数的模型，就算你用 Q2 量化的，总体智商也比一个 30B 的中等模型 Q8 量化或者 BF16 满血版的高。Q2 的话能把大小压缩到 237GB，可以走 GPU+CPU 混合推理，所有专家权重offload 到 DDR5 内存，剩下其他所有权重都 offload 到显存。一台 384GB DDR5 内存的服务器（所有通道插满，这是必须的，CPU 推理严重依赖内存带快）+一块 RTX Pro 6000 可以跑，而且速度完全够你一个人用。

能在本地玩的模型，都是参数小的，见过有一些公司布署专用模型，再加上通用大模型来减少TOKEN使用。现在市面上通用模型，就算是国模，也不是个人或小公司能负担的起的。

这么说吧，5090+32G，跑个30B的模型都费劲，何况满血版的GLM-5.2

都说AI需要的是服务器，A40，A100，H100等这些随便都是大几十万、百万的。

你可以4w魔改一些配置，勉强能跑一些模型，但是你确定你的token/s能达到80+吗？

22年、23年大家还刚开始用GPT的时候，没有体会过20t/s的速度。。。。

要执行大模型，甚至还要保证输入速度，你没个好点的算力以及庞大的内存，跑不起来的满血版的。

帖主你说的情况，其实也就是玩点30B或者30B以下的模型，自己做点训练微调，Github找点什么10B作用的语音生成、视屏生成模型来玩玩。

cc的源码年后露出来一波，要是4W就能跑大模型，那还真是人人都是一人一公司了。

拙见，有问题海涵。

AI的话仅供参考，而且模型部署还有精度量化等等

上面的佬分析的都很有道理，还是老实买订阅吧，其实商家都觉得卖订阅都是亏本生意 ^-^ ，你这么想就知道自己赚了

可以参考这个方案，普通玩家折腾没啥意义，除非有赛博洁癖