2. Linux.do
  3. Hy-MT2-7B 本地部署翻译深度学习论文小测试

Hy-MT2-7B 本地部署翻译深度学习论文小测试

impouo 2026-05-25 18:27 1

主要硬件环境：4060TI 16G 显卡

主要软件环境：LM Studio 0.4.14，pdf2zh-next 2.8.2 win版，均在win机器上直接部署

所用模型详细信息：


参数使用：




{

  "temperature": 0.7,

  "top_p": 0.6,

  "top_k": 20,

  "repetition_penalty": 1.05,

  "max_tokens": 4096

}

参考的官方来源：



使用一篇ICCV 2019的论文作为测试，翻译结果：

Chen_Drop_an_Octave_Reducing_Spatial_Redundancy_in_Convolutional_Neural_Networks_ICCV_2019_paper.no_watermark.zh-CN.dual.pdf (1.0 MB)



个人点评：



  • 速度很快，4并发目测大概有50-60tok/s的速度？

  • 开了20k上下文，显存占用不到6G（实际上用不上这么大上下文，纯测试玩）

  • 翻译质量还是比较惊喜的，比不了专业模型专业工具但是7B的小模型绝对够用了。

  • 个人感觉那种吃灰的mac mini可以部署一个，给局域网内的设备提供翻译服务（我用的openai接口），基本上相当于可以免费翻译了，速度也能看。（经过佬友反馈，mac mini部署可能还是算力不太足，或许得看下1.8b了）

最新回复 (18)
  • Karlcx 05-25 18:29
    1楼

    MT2发布了吗?我最近一直在本地用lmstudio跑MT1.5来对接沉浸式翻译，效果很不错

  • impouo 楼主 05-25 18:29
    2楼

    发布了哦，直接搜mt2即可，lm studio下载贼快。

  • 没头脑和不高兴. 05-25 19:24
    3楼

    感谢测试.最近我也部署了一个.还行吧.对了也不知道Hy-MT2-30B-A3B的GGUF啥时候出来.

  • 没头脑和不高兴. 05-25 19:25
    4楼

    另外我想问的是.你也是用官方的提示词吗?

  • impouo 楼主 05-25 19:26
    5楼

    对的，我就是使用pdf2zh自己的提示词，除了参数使用官方推荐的以外没做任何修改。

  • 没头脑和不高兴. 05-25 19:31
    6楼

    原来如此. 刚我去搜了一下GrahLnn/Hy-MT2-30B-A3B-4bit-GGUF · Hugging Face 好像出来了.我去试试

  • lynn 05-25 19:40
    7楼

    hymt2比hymt1.5快了很多，我的沉浸式翻译插件现在接的hymt2,之前接hymt1.5翻译整个页面很慢，现在秒级完成

  • 没头脑和不高兴. 05-25 19:43
    8楼

    好像是快了一丢丢.而且质量也上升了一点

  • Eli Deedeed 05-25 19:47
    9楼

    有mlx的吗? 在hf上好像没看到 燥候 现在用的1.5感觉速度还行质量一般

  • NumPy 05-26 06:52
    10楼

    吃灰的mac mini可以部署一个



    部署了一个7b，风扇呼呼转，有点顶不住啊

  • 法系灵魂 05-26 07:13
    11楼

    如果有专业词汇的要求，有办法吗？

  • konxx 05-26 07:55
    12楼

    佬，我有一台6g显存的闲置笔记本，这个显存大小够吗

  • hyacinths 05-26 07:58
    13楼

    模型好是好，不过个人低频率使用，自己部署过于麻烦不，如果其他的模型平台有提供调用就好了

  • impouo 楼主 05-26 08:25
    14楼

    ^-^好吧，看来我高估了mini的能力了，可能也就能部署一个1.8b

  • impouo 楼主 05-26 08:26
    15楼

    词汇表呀。不过这个肯定需要你手动维护词汇表了，像pdf2zh之类的工具是有这种功能的。

  • impouo 楼主 05-26 08:27
    16楼

    勉强能跑，正常应该占用也就5g左右，再去设置设置肯定能跑。不行就跑1.8b

  • impouo 楼主 05-26 08:28
    17楼

    一键部署，基本上安装好了cuda 显卡驱动以后 不咋折腾的。lm studio甚至连下载都给你带加速了。

  • 952777 06-09 04:59
    18楼

    我是直接装了LM studio，然后在LM里下载的模型，都是一键操作的。然后稍微设置一下，给LM也设置开机自启。


    最后将API地址之类的塞到沉浸式翻译里，这样每次使用沉浸式翻译时，LM收到信号会自动装载模型并开始工作，在网页端来看就是第一次用大概2秒，包括一秒的装载模型，一秒的翻译时间，第一段就翻译完成了，然后就是整个页面大概两到三秒左右整个页面就翻译完毕了。速度相当快，比之前用的V4F-2.5L都要快的多的多。然后我设置的3分钟没有收到任务就自动卸载模型。整体的使用体验相当棒，而且设置好后完全不用管。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐