用DeepResearch做了一份具身智能学习清单,佬们帮我看看

Rick 2026-07-15 11:42 1

从各位佬,想找实习但很盲目,可以和我聊聊天吗继续讨论:


之前只做过LLM应用开发一点东西,现在想同时LLM应用和VLA一起推,还是更看好具身智能一些,也更看好未来的未来的低空经济。

这是我用DeepResearch结合招聘要求和我自己的简历来做的一份清单,佬们看看有没有啥缺点或者哪些可以更重点一些?


VLA 具身智能 8 周攻坚路线



制定:2026-07-13 | 执行期:2026-07-14 → 2026-09-07

依据:Resume_optimization/DeepResearch/ 下两份调研报告 + 8 个具身 JD + 本人条件确认

一句话定位:8 月底拿出两个带数字、可复现的 GitHub 作品,9 月起以「懂 LLM 工程与评测、能给具身模型造评测/数据/RL 后训练管线的人」身份双线投递。





0. 已确认的前提(2026-07-13)




























结论
算力 实验室 3×A800 80GB 长期稳定可用(7B 微调、VLA-RL LoRA 后训练均可行)
暑期投入 基本全职,≥40h/周
开学后到岗 每周 4–5 天线下,全部收藏 JD 在射程内(含破壳 5 天/周)
求职节奏 暑假不实习、全力做作品;9 月起具身岗为主 + AI 应用岗保底双线投

1. 交付物清单(8 周后手上要有的东西)



  • 作品 A:VLA 统一评测 harness(GitHub repo,leaderboard + 失败归因 + 一键复现)

  • 作品 B:VLA-RL 后训练复现(GitHub repo,SFT→RL 涨点曲线 + 3 卡适配记录 + 消融)

  • 2 篇技术博客(知乎中文 + GitHub 英文 README/report)

  • 改造后的简历(12345 项目翻译成具身语言 + 两个新项目)

  • 面试题库过一遍(见 §7)




2. 周计划


W1(7/14–7/20):跑通 + RL 地基



  • 装 LeRobot 生态;SmolVLA (450M) 在 LIBERO 官方配置 LoRA 微调,产出第一条成功率曲线

  • 等训练时补 RL 地基:MDP / Bellman / 策略梯度 / PPO / GRPO 直觉——只看 CS285 前 6 讲 + HuggingFace RLHF/GRPO 博客,不啃全书

  • 精读:OpenVLA (2406.09246)、OpenVLA-OFT (2502.19645)

  • ^-^ 依赖地狱(flash-attn/CUDA/ffmpeg)可能吃掉 2–4 天,属正常损耗,卡死就求助


W2–3(7/21–8/3):主项目 A —— VLA 评测 harness ^-^ROI 最高



  • LIBERO 四套件统一评测 SmolVLA / OpenVLA-OFT / π0,输出:标准化 leaderboard、失败案例三层归因(感知/规划/控制)、轨迹可视化视频、一键复现脚本

  • 升级项(不加风险):

    • RoboTwin 2.0(双臂、未饱和、国内公司认)回应"LIBERO 饱和"

    • 评测对象加 π0.5 / GR00T 当前版本,报告写成"哪些 benchmark 在哪些模型上已饱和"——评测项目的新颖度在问的问题,不在 harness 本身

    • ECoT 小实验(先想再动,prompt 层,1–2 天):对口破壳 agent 岗



  • 同期读:π0 (2410.24164)、π0.5 (2504.16054)、Diffusion Policy、ACT

  • 评测以推理为主,三张卡并行跑不同模型


W4–6(8/4–8/24):主项目 B —— VLA-RL 后训练 ^-^含金量最高



  • 框架二选一:RLinf(成熟、支持 LoRA)或 vlarl(单文件、最好啃)

  • LIBERO 上对 OpenVLA-OFT 做 GRPO/PPO 后训练,复现「SFT → RL 涨点」

  • 关键工程点(这就是简历素材):官方 SimpleVLA-RL 是 8×A800 全参,我走 3×A800 LoRA + 缩 batch/梯度累积/调并行环境数

  • 加一组消融:LoRA rank / 数据量 / 动作分块长度

  • 精读:SimpleVLA-RL (2509.09674)、ECoT (2407.08693)、π*0.6 RECAP (2511.14759,读思想)


W7–8(8/25–9/7):打包 + 开投



  • 两篇博客:数字、曲线、失败分析全放进去(具身团队最认失败分析)

  • 简历改造(句式模板见 §4)

  • 全线刷新版本:投递前把 π 系 / GR00T / Gemini Robotics 的最新版本查一遍(教训:报告截稿时 π 还是 *0.6,4 月已出 0.7)

  • 开投(优先级见 §5)



进度慢 20% 正常;项目 B 收尾可滑到 9 月上旬,不挡评测向岗位(破壳)先投。





3. 核心原则:别停在「跑通」


跑通官方脚本 = 会调 API,人人一样、不值钱。每个实验多问一句:「这个结论是我的还是 README 的?」 差异化在三处(对标 12345 项目那条简历):



  1. 设计决策(哪个套件、什么口径、为什么这么切)

  2. 量化权衡(涨了几个点、代价是什么、几小时跑完)

  3. 扛得住追问的认知(为什么失败、怎么排查、再给两周怎么迭代)


简历句式模板(做完往里填数):



VLA 统一评测框架:在 LIBERO 四套件 + RoboTwin 2.0 上统一评测 SmolVLA/OpenVLA-OFT/π0 等开源 VLA,构建成功率 leaderboard 与失败案例三层归因体系(感知/规划/控制),定位 __ 套件失败集中于 __,全部实验一键复现。


VLA 强化学习后训练:将 SimpleVLA-RL 的 8×A800 全参配置适配至 3×A800 LoRA 方案(梯度累积 + 并行环境数调优),对 OpenVLA-OFT 做 GRPO 后训练,LIBERO-__ 成功率从 __% 提升至 __%,并给出 LoRA rank / 数据量消融。





4. 明确不做清单


ROS2 | Isaac 运控 RL | SLAM / MPC / WBC | 真机 | 从零训世界模型 | C++(简智的真实门槛,认了这个缺口,面试坦承)。

目标 JD 里这些全是加分项不是门槛;35 天学 ROS2 不如投在评测项目上。




5. 投递策略(9 月起)


具身线优先级:破壳(主攻,Agent Harness+评测≈12345 的机器人版)> 简智(主打评测线,650–1300/天)> 无界动力(RL 后训练线)> 日冕 / 视启 > 智源(内推碰运气)。途见跳过。

AI 应用保底线:滴滴 / 明略 / 智谱 / 月暗那批同步投——两个作品做完,多模态微调 + RL 后训练正是小鹏/商汤 JD 里要的,两边简历同时变强。

渠道:BOSS 直聘 + GitHub 榜单 StarCycle/Awesome-Embodied-AI-JobXbotics-Embodied-AI-Job(每周更新,含内推)。

定位话术:「懂 LLM 工程与评测、能给具身模型造评测/数据/RL 后训练管线的人」,不是「想转 CV/机器人的新人」。




6. 论文清单(按依赖序,精读 ≈8 篇其余速览)


必精读:OpenVLA → OpenVLA-OFT → π0 → SimpleVLA-RL → ECoT

必读思想:π0.5、π*0.6/RECAP、π0.7(2604.15483,2026-04:可引导性 + 元数据吃次优数据 + RECAP 经验蒸馏)

速览:RT-2、SmolVLA、GR00T N1、Diffusion Policy、ACT、Dreamer V3、V-JEPA 2、GO-1/ViLLA

课程:CS285 前 6 讲、HF Deep RL Course / LeRobot 教程




7. 面试题库(背熟)



  1. VLA 输入输出是什么?为何需要 VLA 而非传统 pipeline?

  2. π 系演进线:π0 → π0.5 → π*0.6 → π0.7(flow matching 基座 → 开放世界泛化+分层推理 → RECAP 从经验学 → RL 经验蒸馏回基座 + steerable 元数据引导)

  3. flow matching vs diffusion vs 自回归动作 token,各自取舍;action chunking 为什么快

  4. 双系统架构(S2 慢/S1 快);多数实现是同步的,瓶颈在哪

  5. 世界模型四种角色:数据生成器 / critic / 预训练表征 / 规划器

  6. GRPO vs PPO vs DPO;RLVR 是什么;为什么 VLA-RL 常用 0/1 结果奖励

  7. 为什么 VLA 参数量小(0.5–7B):实时控制延迟(50–200Hz)、机载算力、数据瓶颈而非容量瓶颈(百万 episode vs 十几万亿 token,知识由 VLM 骨干自带);实证:7B OpenVLA 打败 55B RT-2

  8. 我的项目连接点:GRPO 后训练复现 ↔ π0.7 的经验蒸馏,同一母题「让 VLA 从非完美经验变强」

  9. 地基题别漏:Bellman、手写梯度下降、概率题(Y=2X、Y=X1+X2 分布)




8. 保鲜机制



  • 每周 30min:扫两个招聘榜 + arXiv(cs.RO)新论文标题

  • W7 投递前:全线刷新模型版本(π / GR00T / Gemini Robotics / RLinf 支持列表)

  • 本领域「新」的保质期约 3 个月,面试说的必须是当时最新版


9. 目录约定


VLA_Lab/
├── ROADMAP.md # 本文件
├── papers/ # 论文 PDF + 精读笔记
├── notes/ # 环境踩坑记录、周复盘(强烈建议记,博客素材)
└── projects/ # 代码仓库(每个作品独立 git repo,将来直接推 GitHub)
├── vla-eval-harness/ # 作品 A(建议英文仓名)
└── vla-rl-libero/ # 作品 B
最新回复 (1)
  • liu 07-15 12:17
    2

    佬友base哪里啊?具身vla很卷,不过可以考虑一下上海深圳的出差,我也是打算之后试试找实习,目前博0

* 帖子来源Linux.do
返回