「开源推广」非常用心的项目:纯本地算力的大模型实时翻译字幕软件(苹果芯片macOS,swiftUI)

cyberteng 2026-07-08 23:21 1

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:



  • 我的帖子已经打上 开源推广 标签: 是

  • 我的开源项目完整开源,无未开源部分: 是

  • 我的开源项目已链接认可 LINUX DO 社区: 是

  • 我帖子内的项目介绍,AI 生成、润色内容部分已截图发出: 是

  • 以上选择我承诺是永久有效的,接受社区和佬友监督: 是


以下为项目介绍正文内容,AI 生成、润色内容已使用截图方式发出




先看效果:





项目地址: GitHub - nbzz/whicc · GitHub


whicc



ASR(语音转文本)模型 + 翻译模型 = 实时多语言字幕



MIT 开源 | macOS 26+ Apple Silicon限定,之后可能会开发原生windowsui




我在看SpaceX直播、日文动漫生肉、世界杯4k外国的直播源时,语言障碍是我的短板,在AI时代,我不想靠付费的云端服务,也不想订阅鱼龙混杂的字幕 SaaS。我的 Mac 就坐在桌上,算力白白闲着。


所以我花了约一个月的时间制作了这款软件。不管你在看什么语言的视频,或者你在留学上外语课程,麦克风听到什么声音,他都能将声音变成字幕,再进行翻译。




它怎么工作




  • 本地 ASR:Nemotron-3.5(识别几十个国家非中文的语音)+ Qwen3-ASR(识别中文或者是方言),跑在系统正在播放声音,或者麦克风拾到声音的苹果芯片的电脑上




  • 翻译:Tencent Hy-MT2,支持 33 种语言互译,跑在你自己的 LM Studio 里(本机或局域网任意一台机器)





你可以在算力电脑,包括windows用LM studio装一个HY-MT2的7B模型,在本机也装LM stduio但是不装模型,只是登录同一个账号,就可以利用家里的闲置算力,比如随时随地在咖啡店用家里的电脑翻译字幕了!(这是Lm studio的Lm Link技术)




  • 自学习术语库:字幕本身就是很好的上下文。如果你有Hermes agent,它可以分析上下文,知道你现在正在做什么,比如你在看世界杯,阿根廷踢埃及的比赛,他就可以通过web search查询到这场比赛的球员信息变成词库(你也可以手动提示给hermes: 我正在看阿根廷vs埃及的世界杯直播 ),使得翻译更加精准。


技术栈:

SwiftUI+python,打包成Mac原生APP了,不用考虑Python环境问题。


系统音频 → MLX ASR → translate_stream.py → SwiftUI 字幕




下载: Releases

快速上手:用可以访问Huggingface的网络环境,在设置页下载2GB的ASR模型,再需要部署LM Studio,下载并跑一个翻译模型。

然后你就可以看到字幕了


欢迎 Star / PR / 吐槽 ^-^




我的思考


大模型可能会把人的名字翻译错,噪声大的时候也有可能会错,

但一行字幕错一点点,其实还是能看懂,我的软件解决的是Mac本身的语音识别和翻译实在不好用的问题。


我还有一个开源项目叫prompt dock,其实就是一个提示词的模板库,和佬友们或者是其他开发者做的差不多。在模板中填入关键的参数,就可以外链到几个模型平台,比如说OpenAI、claude、grok、pplx,包括国内的元宝、豆包等,在模板不变的情况下,这些平台的模型在日新月异的变好,那么你得到的结果也是会随着模型的进化而进化。


所以我用同样的思路做了 Whicc 这款字幕软件,随着 ASR(语音识别)模型进化,文本会变得更加准确;Hy或者是其他翻译模型进化,翻译得也会更准确。

大厂在卷模型,我只需要适配好,app就会变得更好。


你可能会有疑问,为什么取名为Whicc,因为我最开始是用whisper模型做的,然后发现whisper模型是2024年的产物,AI时代,一天一世界我就用了最新的nemotron模型,这是今年6月份的模型,但是他中文实在太烂了,我想让外国人也能用我这个APP来看中文内容,所以我就在识别中文的时候用Qwen。(这个切换是自动且异步的,不会同时加载两个模型)


我想终有一天世界上将会消除语言障碍,这一步,由我这一个月的行动开始做起。



这也是我目前花的时间最长的一个编程项目。

最新回复 (2)
  • denvey 07-08 23:41
    1

    厉害了,我也相信佬说的, 终有一天世界上将会消除语言障碍

  • lyy0709 07-09 01:32
    2

    佬友,我拿fable优化了一些东西,兼容了15系统,没问题之后我给你提个pr吧

* 帖子来源Linux.do
返回