2. Linux.do
  3. 想买两张显卡搞个本地部署

想买两张显卡搞个本地部署

cheng 2026-07-14 00:43 1

想买两张2080ti放到工作室，反正电费不用我付，我正好有一个e5双路大主机，佬们建议部署什么模型用？不是很懂，然后想搞图片或者视频（不是生产力，就弄着玩）；然后想再搞个模型一直自己训练然后如果能把自己的5.6的蒸馏喂给他那更好；然后不喂蒸馏数据的时候就再开一个模型然后日常对话喂一点工作内容

最后声明我这方面确实不懂，佬们别喷我；不知道是不是能放硬盘里多个模型然后开一个关一个

最新回复 (8)
  • Saison 07-14 00:46
    1楼

    2080Ti * 2不要期望跑太大的模型，不过能跑起来，会比较慢。

  • 也无晴 07-14 00:46
    2楼

    别想了，上下文根本塞不下；短的又没啥用

  • kooo13579 07-14 00:48
    3楼

    不是樓主


    有沒有人知道一張5070ti可以玩甚麼最強本地模型?

  • D-Pear 07-14 01:05
    4楼

    双2080Ti没法有太大的希望, 最多只能上到Gemma4-31B或者QWen-27B这样体量的模型, 并且速度也不快(可能理想情况下~50tps吧), 和现在API调用的大模型几乎没有可比性, 如果只是弄一弄表格办公或者角色扮演之类的倒还好.

    然后蒸馏微调就非常麻烦了, 得清洗非常优质的训练集才能提升效果, 不然大概率微调之后模型的能力反而下降.

  • 墨殇 07-14 01:07
    5楼

    本地别想了，我双卡4090改版96G显存，也就跑个70B模型，跟主流模型比差远了，只能说有隐私需求的话可以用，没有的话还是付费订阅比较好

  • 嗯djs. 07-14 01:08
    6楼

    大点的模型跑不动，小点的模型微调起来稍微用力过猛就过拟合了。这才是最尴尬的地方

  • gzlock 07-14 01:23
    7楼

    2080ti 22g x2 跑跑comfyui 生成图片 生成视频这些还是挺好的

  • ensemble 07-14 01:27
    8楼

    玩玩可以，实际体验真不如调api。可以考虑在autodl上边先租几张卡实际体验一下再做决定。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐