纯内网环境,自部署模型低成本方案求助

上界司命 2026-08-27 22:49 1

公司最近严格分割内外网了,导致我在公司内的各数据处理工作无法使用外部大模型。忍了好几天,发现自己实在是离不开大模型了。自己电脑的显卡只有 4060 8G,部署了几个模型,感觉都不太好用。


最近看到大家都在部署千问 3.8 27B,想问问大家:自己买一张算力卡,在一台机器上部署这个模型,用来处理一些数据统计修改的工作可以吗?最近看到闲鱼上有一个特斯拉 T10 16G 的显卡,用这个显卡来跑千问 3.8 怎么样?能不能胜任工作?


不然在纯内网环境下做这种枯燥的数据工作,实在是太难受了。

最新回复 (4)
  • leioukupo 08-27 23:32
    1

    我的建议是3090比较不错,又或者2080ti 22g

  • approachai 08-27 23:34
    2

    12G显存的卡不知行不行啊 我也在纠结

  • leioukupo 08-27 23:36
    3

    24g显存都勉强了,12g显存能跑,但是速度应该很慢,上下文也开不满

  • 上界司命 楼主 08-27 23:41
    4

    3090 价格吓到我了。 2080ti 22g 不太敢买 闲鱼搜了下都是不知还能用几年的老汉了 2000+的价格 买 2 块 t10 会不会更好 t10看起来有批大货都是刚从机房下来的 相对靠谱点

* 帖子来源Linux.do
返回