有没好的思路去实现电影实时翻译?

離珠 2026-09-28 11:05 1

就是手机放电影时,提前提取对应时间轴,然后实时预加载未来几秒内的画面,同时调flash模型或者API完成翻译(这个我没啥思路,像mimo-2.6这种全模态应该做不到秒处理吧)。

我要实现的效果就是类似B站那种AI字幕,在人物讲话之前,字幕就先出来了。

现在手机自带的翻译是实时翻译,人物话都快讲完了,字幕才慢慢出,很出戏。

最新回复 (18)
  • 枫子张 09-28 11:08
    1楼

    那意思是不是,再套一层壳?延后播放就行了?

  • RzMY 09-28 11:08
    2楼

    如果是本地文件,可以不强求实时翻译,提前翻译完就行了。B站字幕也是这么做的。

  • Biubiubu 09-28 11:11
    3楼

    翻译为什么需要加载画面,提取音轨不是更快一些?用 AI 不如用 ASR 吧,已经很成熟了

  • RavelloH 09-28 11:11
    4楼




    不少播放器都支持吧,会提前获取音频,本地转录,然后调用大模型翻译,实测正常观看的话是实时的,如果拖动进度条需要等几秒

  • 離珠 楼主 09-28 11:11
    5楼

    有道理,vibe一个APP,在里面它自己先过一遍,提取时间轴,然后输出字幕文件,然后我回mx player里再加载字幕,应该可行的。

  • 離珠 楼主 09-28 11:14
    6楼

    看动作片不得行,会频繁拉动,太出戏了。 ^-^

  • 栗子 09-28 11:14
    7楼

    是将整段视频喂给AI去翻译输出翻译后的版本吗?

  • RavelloH 09-28 11:19
    8楼


    这种的app也已经有了,本地转录+翻译之后,可以导出字幕的

  • 離珠 楼主 09-28 11:19
    9楼

    这个我了解不够,我预想最终的效果是想提炼出一个字幕文件,然后在播放器里挂载就解决了。

    如果不用AI那最好了 ^-^

  • Calvinv 09-28 11:22
    10楼

    是什么 app 哇?想 mark 一下

  • RavelloH 09-28 11:23
    11楼
  • RzMY 09-28 11:27
    12楼

    得做一些预处理,比如提取音轨、处理音频、转录,最后才是翻译

  • Biubiubu 09-29 15:30
    13楼

    思路不一样。

    你这种属于提前搞,最终的效果拖动进度条甚至离线也可以做到非常流畅的体验,但不是实时,这种更不需要 AI 翻译了,让 AI 帮你写代码就完了。

    如果是实时,技术难度会高一些,我琢磨也不没必要用 AI 去翻译。


    哈哈哈哈 刚看到有话题讨论这个了 你可以参考一下 字幕提取这个领域,Gemini 还是太超模了

  • 離珠 楼主 09-29 20:49
    14楼

    我已经解决了,vibe coding了一个,用的大模型+离线方案。用自己的电脑做的服务端,提供一个网页给手机访问,异步处理了。 ^-^

  • Zeus Jie 09-29 20:52
    15楼

    人家是本身有字幕 对着字幕翻译

    或者全靠上传完成后自动切削

    你这个想实时 难度不是差一点半点

  • 離珠 楼主 09-29 21:01
    16楼

    上传 → 探测 → 抽音频 → 本地whisper 听写 → 本地LLM 校对 → 本地LLM 翻译 → 合成 SRT → 下载,这是我现在实现的方案,因为是要搞NSFW的,所以走不了云的API。

    他那个我也去拜读下,谢谢分享哈 ^-^

  • Biubiubu 09-30 11:24
    17楼

    NSFW 笑死 佬是剧情向的吗?

  • 離珠 楼主 09-30 13:57
    18楼

    那必须的啊,日本的动作片,要加字幕就只能自食其力 ^-^

* 帖子来源Linux.do
返回