课程完整目录
01 25年9月-26年1月:项目实战之前的基础巩固与扎实阶段(特别是π0.5)
- 01 一次性总结数十个具身模型:从训练数据、动作预测、RL应用到Robotics VLM、通用VLA π0等.mp4(204.60 MB / 01:01:09)
- 02 主从臂数采:基于lerobot ACT完成数据的采集、模型的训练、真机松灵臂上的部署.mp4(231.14 MB / 49:49)
- 03 π0.5——推理加强的统一模型:先高层预训练离散化token自回归预测子任务、后低层执行子任务.mp4(239.70 MB / 01:03:02)
- 04 π0.5的KI改进版——知识隔离:让VLM在不受动作专家负反馈的同时,输出离散动作token,并根据反馈做微调.mp4(167.09 MB / 39:06)
02 25年12月份:项目直播阶段2(包含第3-7次直播)人形manipulation实战:GR00T N1.5专题
- 01 第3次直播 VR遥操采集:教你如何一步步通过VR遥操宇树G1 edu,以采集训练数据.mp4(186.98 MB / 48:07)
- 02 第4次直播 原理:GR00T N1——英伟达开源的人形VLA:VLM Eagle-2慢思考、动作专家DiT快反应.mp4(264.62 MB / 01:03:38)
- 03 第6次课 真机部署:宇树推出的部署框架unitree_IL_lerobot(可部署lerobot π0.5和GR00T).mp4(208.08 MB / 48:19)
- 04 第7次直播 微调实战:如何通过GR00T N1.5完成简单的桌面收纳任务.mp4(179.01 MB / 42:50)
03 26年3月份:项目直播阶段3(包含第8-11次直播)人形locomotion实战(学了之后,可训练几乎任何舞蹈)
- 01 第8次直播 Video2Motion:GVHMR——基于重力-视角坐标的人体运动恢复:从RGB视频中提取人的SMPL轨迹(含人体姿态估计WHAM).mp4(81.66 MB / 36:01)
- 02 第8课之补充实战:带你实际跑一下GVHMR:从人类视频提取动作轨迹.mp4(65.87 MB / 17:30)
- 03 第9课之补充实战:带你一步步实际跑下GMR:将动作适配到机器人身体结构.mp4(63.17 MB / 14:03)
04 26年4月份:项目直播阶段4(包含第12-14次直播)人形loco-manipulation实战
- 01 第13次直播 H2O与OmniH2O——通过RGB摄像头或VR全身实时遥操:仿真RL中训练,然后再sim2real.mp4(251.76 MB / 01:04:48)
课程分类汇总
| 阶段 | 时间 | 核心主题 | 关键技术/模型 |
|---|
| 基础巩固 | 25.9-26.1 | 具身模型综述与π0.5 | π0、π0.5、KI、lerobot ACT、松灵臂部署 |
| Manipulation | 25.12 | GR00T N1.5专题 | VR遥操、GR00T N1、VLM Eagle-2、DiT、unitree_IL_lerobot |
| Locomotion | 26.3 | 人形运动控制 | Video2Motion、GVHMR、WHAM、GMR、SMPL轨迹提取 |
| Loco-manipulation | 26.4 | 全身遥操与仿真 | H2O、OmniH2O、RGB遥操、VR遥操、sim2real |
核心技术栈与概念
| 类别 | 技术/模型 |
|---|
| VLA模型 | π0、π0.5、GR00T N1、GR00T N1.5 |
| VLM架构 | Eagle-2(慢思考)、动作专家DiT(快反应) |
| 模仿学习 | lerobot ACT、KI(知识隔离) |
| 遥操采集 | VR遥操(宇树G1 edu)、RGB摄像头遥操 |
| 运动恢复 | GVHMR、WHAM、SMPL轨迹 |
| 动作适配 | GMR(将人类动作适配到机器人身体结构) |
| 全身控制 | H2O、OmniH2O |
| 训练范式 | 仿真RL训练 → sim2real部署 |
| 部署框架 | unitree_IL_lerobot |
课程核心定位
| 维度 | 内容 |
|---|
| 目标领域 | 人形机器人具身智能(Humanoid Embodied AI) |
| 目标岗位 | 人形机器人算法工程师 / 具身智能研究员 / 机器人控制工程师 |
| 覆盖能力 | Manipulation(操作)+ Locomotion(运动)+ Loco-manipulation(全身协同) |
| 硬件平台 | 宇树G1 edu、松灵臂 |
| 课程特色 | 英伟达GR00T全链路实战、π0.5深度解读、VR遥操采集、sim2real部署 |
| 技术深度 | 从模型原理到真机部署,从运动提取到动作适配 |
说明: 这是一门面向人形机器人具身智能领域的顶尖实战课程。聚焦英伟达GR00T N1.5、π0/π0.5等前沿VLA模型,涵盖遥操数据采集、模型训练与微调、真机部署全链路。同时覆盖人形 locomotion(运动控制,可训练舞蹈)和 loco-manipulation(全身协同)两大方向。适合有深度学习基础、希望进入人形机器人/AI方向的研究者或工程师。