2. NodeSeek
  3. 想在本地部署一个支持视觉的模型，有没有推荐？

想在本地部署一个支持视觉的模型，有没有推荐？

JH-hhh 2026-07-06 15:36 1

5060 8g，最近写了一个程序，是自动提取视频中的帧，ai分析，选区好的画面，自动合成实况照片，但是用云端api贵，所以想本地部署一个ai，现在我用qwen3 vl 4b，上下文只能拉到20k，再大就会出问题，所以有没有推荐的小模型，只要支持视觉就行

最新回复 (12)
  • waitdeng 07-06 15:38
    1楼

    5060 8G怕是不够用哦

  • JH-hhh 楼主 07-06 15:39
    2楼

    @waitdeng #1 部署最小的模型就行，不需要啥特别高级的功能，但是不知道小模型哪个好

  • ruxhao 07-06 15:39
    3楼

    别想了，同样效果本地部署不可能比api便宜 ^-^

  • 倒着行走的人-x01 07-06 15:40
    4楼

    云端部署吧

  • JH-hhh 楼主 07-06 15:40
    5楼

    @ruxhao #3 我要上传图片到云端模型，api应该不便宜吧？有没有推荐的我去试试？

  • ruxhao 07-06 15:42
    6楼

    @JH-hhh #5 图片很便宜，就那几个有多模态的 试一试吧，本地部署别想，api的价格大概是你本地的电费 ^-^ ，而且本地很慢很慢，优化也差

  • qdua 07-06 15:42
    7楼

    qwen系列、internvl系列

    gemma、llava next video/one vision、minicpm、glm 4.6v flash、step也可以试试

  • ruxhao 07-06 15:42
    8楼

    @JH-hhh #5 本地唯一的优点就是安全，大公司处理比较重要的数据才会想着搭建

  • nick-23333 07-06 15:45
    9楼

    5090都是按个位数出token的，这个需求只能自己炼丹

  • gime 07-06 15:46
    10楼

    你是想让他生成图片还是说只是有视觉能力，之前谷歌有小的多模态模型，gemma，可以看看效果怎么样

  • JH-hhh 楼主 07-06 15:47
    11楼

    @gime #10 有视觉能力，来评分选好照片，不需要生成

  • JH-hhh 楼主 07-06 16:24
    12楼

    @ruxhao #6 我接到mimo v2.5试了下，确实很便宜，200张图片才20wtoken，几毛钱

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐