2. Linux.do
  3. 小模型有什么用

小模型有什么用

anntry 2026-06-16 17:23 1

本地部署的4b及以下小模型能干些什么，各位都有什么想法

最新回复 (14)
  • 天则则 06-16 17:26
    1楼

    延时敏感，需要速度的，翻译，润色，在大型项目里调用单个工具啥的

  • 提肛小助手 06-16 17:26
    2楼

    翻译、简单的数据分析还是可以做到的

  • 本 06-16 17:27
    3楼

    做一些不用逻辑推理的判断也还是可以的

  • ANON 06-16 17:27
    4楼

    快啊, 我本地asr下游就用的QWEN 4b做语音输入润色(vinput项目是论坛某位佬友的, 暂时找不到引用了, 虚空感谢一下.)

  • vit_chen 06-16 17:28
    5楼

    垂直细分领域，一般是工具类，OCR、ASR等。

  • hyacinths 06-16 17:31
    6楼

    4b级别的模型真的能做翻译嘛？之前看他们那个8b参数的lama模型翻译的驴头不对马嘴

  • 小鸟壁纸 06-16 17:33
    7楼

    微调成一些专用的模型，比如说拿几b的视觉模型调成ocr、公式识别等

  • 天则则 06-16 17:34
    8楼

    追求速度可以

    训练成一个专门的翻译模型就行，之前有些公司推出的 10B 左右的翻译小模型，比上百 b 的全能模型好用

  • future2026 06-16 17:37
    9楼

    感觉可能能完成些基础简单的内容，比如写写SQL，智能报表啥的吧

  • chanandlerbong 06-16 17:38
    10楼

    细分垂直领域微调，单一职责，只专注干一件事，

  • Fiveonine 06-16 17:42
    11楼

    之前用gpt-5-nano都感觉翻译质量很烂，再小的模型真的能翻译？^-^

  • HeriX 06-16 17:52
    12楼

    有专用的翻译模型, 垂直领域基本都是专门训练的中小模型

  • Fiveonine 06-16 17:54
    13楼

    嗯，我用qwen-mt就感觉挺好用，翻译质量也不错，而且非常快

  • Easton1209 06-16 17:55
    14楼

    我在做一个agent，本地小模型脱敏，然后把公司内容放外部AI做，再返回内容还原脱敏

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐