本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
- 我的帖子已经打上 开源推广 标签: 是
- 我的开源项目完整开源,无未开源部分: 是
- 我的开源项目已链接认可 LINUX DO 社区: 是
- 我帖子内的项目介绍,AI 生成、润色内容部分已截图发出: 是
- 以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI 生成、润色内容已使用截图方式发出
先看效果:


项目地址: GitHub - nbzz/whicc · GitHub
whicc
ASR(语音转文本)模型 + 翻译模型 = 实时多语言字幕
MIT 开源 | macOS 26+ Apple Silicon限定,之后可能会开发原生windowsui
我在看SpaceX直播、日文动漫生肉、世界杯4k外国的直播源时,语言障碍是我的短板,在AI时代,我不想靠付费的云端服务,也不想订阅鱼龙混杂的字幕 SaaS。我的 Mac 就坐在桌上,算力白白闲着。
所以我花了约一个月的时间制作了这款软件。不管你在看什么语言的视频,或者你在留学上外语课程,麦克风听到什么声音,他都能将声音变成字幕,再进行翻译。
它怎么工作
你可以在算力电脑,包括windows用LM studio装一个HY-MT2的7B模型,在本机也装LM stduio但是不装模型,只是登录同一个账号,就可以利用家里的闲置算力,比如随时随地在咖啡店用家里的电脑翻译字幕了!(这是Lm studio的Lm Link技术)
- 自学习术语库:字幕本身就是很好的上下文。如果你有Hermes agent,它可以分析上下文,知道你现在正在做什么,比如你在看世界杯,阿根廷踢埃及的比赛,他就可以通过web search查询到这场比赛的球员信息变成词库(你也可以手动提示给hermes: 我正在看阿根廷vs埃及的世界杯直播 ),使得翻译更加精准。
技术栈:
SwiftUI+python,打包成Mac原生APP了,不用考虑Python环境问题。
系统音频 → MLX ASR → translate_stream.py → SwiftUI 字幕
下载: Releases
快速上手:用可以访问Huggingface的网络环境,在设置页下载2GB的ASR模型,再需要部署LM Studio,下载并跑一个翻译模型。
然后你就可以看到字幕了
欢迎 Star / PR / 吐槽 ^-^
我的思考
大模型可能会把人的名字翻译错,噪声大的时候也有可能会错,
但一行字幕错一点点,其实还是能看懂,我的软件解决的是Mac本身的语音识别和翻译实在不好用的问题。
我还有一个开源项目叫prompt dock,其实就是一个提示词的模板库,和佬友们或者是其他开发者做的差不多。在模板中填入关键的参数,就可以外链到几个模型平台,比如说OpenAI、claude、grok、pplx,包括国内的元宝、豆包等,在模板不变的情况下,这些平台的模型在日新月异的变好,那么你得到的结果也是会随着模型的进化而进化。
所以我用同样的思路做了 Whicc 这款字幕软件,随着 ASR(语音识别)模型进化,文本会变得更加准确;Hy或者是其他翻译模型进化,翻译得也会更准确。
大厂在卷模型,我只需要适配好,app就会变得更好。
你可能会有疑问,为什么取名为Whicc,因为我最开始是用whisper模型做的,然后发现whisper模型是2024年的产物,AI时代,一天一世界我就用了最新的nemotron模型,这是今年6月份的模型,但是他中文实在太烂了,我想让外国人也能用我这个APP来看中文内容,所以我就在识别中文的时候用Qwen。(这个切换是自动且异步的,不会同时加载两个模型)
我想终有一天世界上将会消除语言障碍,这一步,由我这一个月的行动开始做起。

这也是我目前花的时间最长的一个编程项目。