[开源] 从生图到骨骼动画全自动：用 Blender 合成数据微调 DINOv2，把视频动作还原到非人形 3D 模型上

从粗糙的 Astra 建模踩坑开始，我就一直在琢磨：到底怎么才能让整套 3D 资产与动画生成流程真正自动化起来？

一路从 OpenAI 产出概念效果图，到 Tripo3D 生成 3D 模型，再到非人形怪物的自动绑骨蒙皮；更进一步，用 MiniMax H3 生成想要的动作视频，并基于 Meta 的 DINOv2 训练专属小模型来识别骨骼与关节位置，最终把视频动作还原到 3D 骨骼上（这里必须感谢 @CanItCode，核心思路正是从他的视频中学到的），才终于跑通并达到了视频里这种勉强可用的效果。

核心实现思路

1. 模型生成：通过 Tripo3D 生成基础 3D 模型。


2. 自动绑骨：使用 TokenRig 完成非人形结构的自动绑骨与蒙皮。


3. **合成训练集(imoportant)**：在 Blender 中采用双视角与随机姿势，自动摆出并渲染默认的 3,000 个动作样本。


4. 训练视觉小模型：基于 DINOv2 进行微调训练，输入渲染图片与对应的关节坐标等标注信息。


5. 生成动作参考：使用 MiniMax H3 生成目标模型的动作视频。


6. 逐帧特征提取：用训练好的小模型逐帧推理视频，提取关节坐标与深度信息。


7. **动画重建(important)**：将提取出的空间数据解算并映射回模型，成功把 2D 视频重建为 3D 骨骼动画。

开源仓库：后半部分最折腾的小模型训练与推理代码已经开源，感兴趣的可以直接看源码自己琢磨：
GrinZero/open-game-studio (monster package)

算力致谢与下一步计划

不得不再次感谢谷歌大善人，感谢 Gemini Ultra 附赠的 Colab 算力额度支撑了整套训练与渲染流程。

下一步优化：目前动作大形已经没有问题，接下来打算接入量大管饱的 DeepSeek 4.1 Flash 1017，配合同坐标叠图与逐帧评分工具进行逐帧修正去抖，期待最终效果能完全达到预期。