逆向了VR播放器,沉浸式实时翻译:VR 和 本地 AI 翻译折腾记录

stayalive 2026-10-14 16:51 1

我又来了!



叠甲:


不分享破解,已购买正版软件,只提供思路。支持正版。



看剧的时候不了解剧情也很乏味没有意思,正好最近想尝试一下 AI 逆向。


首次实现


和 AI 分析一开始方案是开发一个全新软件(本着能不修改就不修改原则)。


在后台获取当前语音,传输到电脑处理后回传显示。


音频采集和翻译已经跑通,但当时没有找到能把独立应用的字幕直接叠进 4XVR 画面的公开接口。导致只能开启无缝多任务,一个大黑屏挡在旁边实时翻译。很难受。


如图(忽略 GPT 的无语文案副标题):







遂搁置。


第二次实现


然后再次一顿分析,选择了逆向修改软件:


给原本的软件添加功能 → 局域网访问 / USB 连接电脑,实现识别 → 本地翻译 → 字幕显示。


模型选择上选择了轻量小模型,跑得快优先。


翻译采用:HY-MT2-1.8B Q8_0 GGUF


由 Windows 原生的 llama-server.exe 加载,通过 llama.cpp 的 GPU 加速进行推理。


语音识别:Qwen3-ASR-0.6B


(这里 GPT 给我的方案是在 WSL 环境部署 Qwen3-ASR / vLLM,使用增量识别。 Windows 上只能采用分段识别,体验上大概下一句话开始的时候显示上一句。如果可以接受的话,不用折腾环境,直接 Windows。当然,也可能有其他方案。翻译模型不变,依然部署在 Windows 系统本地。)



方案实现:



关于翻译准确度,我让 AI 改成携带前文,同时拖动进度条清除历史前文队列,只翻译当前句子,避免第一分钟的文本,影响我跳过 30 分钟后的台词。



最后实现效果


电脑本地面板:



VR 显示:














开始爽看(但其实开发过程更爽一点)


购买凭证:


最新回复 (2)
  • stayalive 楼主 10-14 16:55
    1楼

    是玩VR的人太少了吗 ^-^

  • 刘西瓜 10-14 17:38
    2楼

    不错,我用的是skybox看vr,也想接入实时字幕,只是一直没静下心来逆,片太多了

* 帖子来源Linux.do
返回