【开源自荐】LoongForge-百度百舸团队开源的一款高性能训练框架

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

• 我的帖子已经打上 开源推广 标签： 是


• 我的开源项目完整开源，无未开源部分： 是


• 我的开源项目已链接认可 LINUX DO 社区： 是


• 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是


• 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

首先，感谢L站给我们提供了这样一个开放的交流环境，我们也在README.md里表达了感谢。不知道我是不是漏看了帖子，或许这是第一个把 L 站放进友链的产业界开源项目？

这是我们的开源地址，欢迎各位佬友关注：

LoongForge是我们百度百舸团队开源的一款模块化、可扩展、高性能的训练框架，其中高性能是我们的首要目标。现在框架已经覆盖了 35+ 模型家族，LLM / VLM / Diffusion / Embodied具身 四类模型统一接入，原生支持 NVIDIA GPU 与昆仑芯 XPU 两条硬件路线。针对不同的模型，我们有两套引擎：

• LLM / VLM / Diffusion 走 Megatron-LM 体系：在 Megatron-LM 基础上做深度重构。


• 具身模型（VLA / WAM）走 torch-native DDP/FSDP 体系：这是因为具身模型（VLA/WAM）的模型结构和数据形态跟 LLM/VLM/Diffusion 差异太大，硬塞进 Megatron 体系性价比不高，torch-native 反而更灵活。

举几个我们优化的真实例子：针对DeepSeek、GLM的DSA架构，我们的融合DSA算子的端到端训练比非融合版本提速约5倍；针对MoE长序列训练"显存-通信二选一"的困局，我们搞了CCT 算通传并行，引入显存 offload 策略，并将计算、通信、数据传输进行统一调度与编排，实现极致的 overlap，而同配置下基线方案直接OOM；针对ViT与LLM参数量相差数百倍导致"一刀切"并行浪费的问题，我们做了组件级异构并行，主流VLM模型的训练比基线方案吞吐提升 50%…… 除此之外，DP 负载均衡、EP负载均衡、多模态异构并行、融合线性交叉熵、自适应 FP8 训练、GR00T 全链路优化等优化特性在项目博客里也都有详细的拆解。我们还专门为此沉淀了 LoongForge-Embodied 子系统，同等硬件下，Pi 0.5、GR00T N1.6，X-VLA、DreamZero 等主流具身模型对比各模型官方实现普遍有 1.6×~2.67× 的训练加速。

训练阶段还开箱支持 Pretrain / MidTrain / SFT / LoRA 全流程。

这些流程，在日常潜水社区的时候，我看到许多佬友都有不少微调，训练模型的例子，所以我个人认为LoongForge能够满足绝大多数佬友的需求，值得大家拉取下来跑起来！

另外，最近有给 DeepSeek / GLM 这类纯文本模型加装视觉能力的热议，社区里已经有不少工作流适配的做法了。而在我们这个框架里，其实就有一套让文本模型"长出"视觉能力的训练流程，欢迎各位佬友直接从模型层面上手训练试试看。

如果大家有使用LoongForge训练真实的例子，也非常欢迎大家向我们提交PR，这里等待大家精彩的作品。

之前我已经在社区发过我们在专家负载均衡相关的一篇最新工作解读：https://linux.do/t/topic/2771948， 但实际上我们的训练框架还有很多的功能。在我们项目博客或者我们的每个 PR 中都有许多训练优化的手段，欢迎大家学习和阅读。

我们的工作仍在继续，我们也更希望佬友们能够基于我们这个项目来提出大家的功能建议，学AI，上L站！我们很重视佬友们的建议和批评。我们也接受个人/其他团队的PR，欢迎各位佬友共建！