【Github万星榜一】10秒生成一首歌,小白也能本地玩,Suno替品YuE2加速方案,消费级显卡也能跑,音乐创作/改编/翻唱高质量极速生成

lintsinghua 2026-09-22 16:01 1

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:



  • 我的帖子已经打上 开源推广 标签:

  • 我的开源项目完整开源,无未开源部分:

  • 我的开源项目已链接认可 LINUX DO 社区:

  • 我帖子内的项目介绍,AI 生成、润色内容部分已截图发出:

  • 以上选择我承诺是永久有效的,接受社区和佬友监督:


以下为项目介绍正文内容,AI 生成、润色内容已使用截图方式发出



写在前面


佬友们好,好久不见了好久不见了

很高兴YuE2最近冲上Github Trending榜一了,现在也有了10k+ Stars


YuE2 的 SongBench 均分也进入了 Suno v5 / v6、Mureka 9 这一档商业模型的区间



这一点我们很开心,可以听一下我们模型的效果:


Cover cases:


晴天

最炫民族风


生成cases:


Cyber Metal · English · 5:00

今晚不眠 · Mandarin funk / nu-disco · 3:24

Passion · English rock · 3:55


但是原版流水线一次只能处理一首歌,模型在任务间反复加载卸载


想让几个朋友同时在一张卡上玩或者想把 YuE2 接进自己的产品或工作流,并发调用等等,可能会被这一步卡住


所以我们花了一段时间,今天开源了第一版推理加速方案 YuE2-Turbo


同模型几乎无损前提下,快了多少


没换模型,没改采样规格,权重 YuE2-3B,精度没变是 BF16,保持原 32 步 flow-matching,然后做了一些trick:



  • 自回归阶段给 vLLM 调度,多首歌的 AR 生成可以并行推进

  • MoT 和 VAE 全程常驻显存,不再在任务之间来回迁移

  • 非自回归的声学合成阶段支持了跨请求批处理

  • 上一批歌在做 NAR / VAE 解码的时候,下一批的 AR 可以提前开跑


在一张 RTX 5090(32 GB)上实测:


























场景 原版 YuE2 YuE2-Turbo 加速
单首歌 RTF 0.290 0.173 1.68×
4 路并发系统 RTF 0.317 0.096 3.31×

RTF 0.17 是什么感受呢


一首一分钟多的歌,一张消费级卡,可以约 10 秒出结果


并发场景下,一张卡的吞吐是原来的三倍多,而且对并发来说加速效果更显著


YuE2 本来的那些"好玩的东西"没少


YuE2 是一个白盒音乐模型。它生成歌曲之前可以先写出一份 ABC 乐谱,你能看到旋律和和弦,你可以随便DIY。比如你想把一首歌的和声改成爵士七和弦,只需要改乐谱里的和弦符号,旋律、节拍、速度、歌词一个都不动,再重新渲染一遍。


想翻唱一段音乐,支持用 SheetSage2 把旋律转成 ABC,去掉和弦,交给 YuE2 用新的风格重新演绎。在 SHS100K 的 948 首作品上,YuE2 在没有任何翻唱专项微调的情况下做到了 71.3% 的 Hit@1。


可以看看下面用《晴天》为例,Cover的能力:



结果试听:

晴天


当然模型还支持很多音乐生成能力,Cover只是其中一项,欢迎大家探索出更多的玩法


下面是YuE2-Turbo的Repo链接:




YuE2 Repo点这里

一个模型活起来不是在榜单上,而是有人真的在用它写歌、改歌、和朋友一起玩

希望 YuE2-Turbo 能让这件事变得容易一点


欢迎 Star & PR & issue & 多多与我讨论交流

期待佬友们用YuE2做出来好听的音乐分享啊(抽象也行 ^-^)

最新回复 (17)
  • 380kkm 09-22 16:16
    1

    有个问题. 生成乐谱和生成乐曲这两个过程怎么理解

    如果只对乐谱有需求的话怎么操作?


    我之前有做过tts歌唱的二开.

    用了vov(日语声库唱中文,还做了不少设置…),

    但是苦于没有乐谱,试了试经典茉莉花之后就搁置了.

    如果能产出歌词+唱调的话就可以捡回来了.

  • lintsinghua 楼主 09-22 16:20
    2

    乐谱现在是YuE2音乐结果生成过程中的中间产物,如果是自部署的话会在过程中生成.abc文件,然后可以渲染成乐谱。


    如果需要这个功能的话,我们可以在现有的体验网站上加一项这个功能,应该也很快。(体验是免费的,可以放心食用)

  • moonlovenight 09-22 16:48
    3

    来支持啦佬,可以指定风格和歌词生成吗?

  • lintsinghua 楼主 09-22 16:51
    4

    可以的,就是通用的音乐模型的能力

  • promiseteh 09-22 17:00
    5

    没想到本地就能生成 厉害厉害 试玩一下

  • lintsinghua 楼主 09-22 17:04
    6

    是的,而且速度很顶 ^-^

  • 纸飞机 09-22 17:24
    7

    有意思,这种感觉比单纯的抽卡增加了更多的可控性。生成五线谱这种中间产物能更方便看到修改点。

  • lintsinghua 楼主 09-22 17:27
    8

    是的是的,何尝不能Astra/Fable写谱改编创作呢 ,玩法更多了,可控性也更高了

    感觉自己DIY真的有意思

  • suntc 09-22 17:34
    9

    纯音乐也可以嘛佬,最近在做游戏,想着搞点背景音乐

  • lintsinghua 楼主 09-22 17:37
    10

    这个的话,我看有些佬友给我分享的trick是,可以通过prompt指定的

    比如提到instrumental之类的提示

  • moonlovenight 09-22 18:01
    11

    ^-^,还可以顺便学习一下模型推理加速,膜拜

  • dabao1955 09-22 18:04
    12

    这个10s是跟 ace step 1.5 那样再 a100 上测的?

  • lintsinghua 楼主 09-22 18:07
    13

    在单卡5090上测的嘞

  • dabao1955 09-22 18:38
    14

    那还行,全精度?

  • lintsinghua 楼主 09-22 18:53
    15

    是BF16的

  • Novices 09-22 19:01
    16

    只有5060 8gb,观摩一下。

  • lintsinghua 楼主 09-22 20:17
    17

    量化一下也能跑

* 帖子来源Linux.do
返回