最近在做跨境,想做一个用于whatsapp语音聊天实时的同声传译的软件,请帮忙想想方案

静心方可远行 2026-06-13 23:18 1

我想做一个同声传译的windows软件,主要实现2个功能:

1、对方说的英文内容自动翻译成中文文字显示,并且我听见的也是中文;

2、我说的文中,翻译成英文文字显示,并且对方听见的是英文。

3、因为是在实时语音聊天,因此要考虑实时性是速度和延迟以及稳定性。

4、为了能和自己的音色比较接近,声音克隆应该作为扩展。


目前进度:

已经使用了火山的doubao_TTS和AST这个方案.

AST固定音色

TTS克隆音色

目前实测下来,有几个问题:

1、实时性不是很好,有延迟。

2、如果有背景音或者有噪音(特别是有底噪的时候),翻译的效果不好。

3、TTS声音克隆收费还挺高的,有免费的方案吗?


集思广益,请教大家有什么其他方案吗?

最新回复 (6)
  • Aom 06-13 23:23
    1

    你这个不清楚,你可以参考一下这个试试

  • testrome 06-13 23:28
    2

    你可以尝试最近谷歌前几天推出的 translate 我最近也在做跨境项目 有机会可以交流

  • 静心方可远行 楼主 06-13 23:36
    3

    差不多是这个意思,已经手搓了一个半成品,但是不是很满意

  • 静心方可远行 楼主 06-13 23:38
    4

    translate 有链接吗?麻烦丢一个,谢谢

  • denvey 06-13 23:48
    5

    怎么交流呀,佬做哪方面跨境项目呢~

  • testrome 06-13 23:49
    6

    Gemini 3.5 Live TranslateGemini 3.5 Live Translate 名字是这个 好像不能发链接



    具体使用在这里 和你做的差不多

* 帖子来源Linux.do
返回