模型与算法
具身智能的核心模型与算法,从经典模仿学习策略到 VLA、世界模型,再到大模型规划与开源生态。
阅读路线
- 如果你想先建立全局地图,先读 模型发展路线图。
- 如果你想理解当前主流的机器人基础模型范式,读 机器人基础模型概论。
- 如果你想看 VLA 这条主线如何从 RT-1 演化到 OpenVLA、pi0、RDT,读 VLA模型。
- 如果你想弄清楚为什么 ACT 仍然重要,以及它如何连接 chunked policy 与后续动作建模,读 ACT模型。
- 如果你更关心开源复现与选型,读 开源模型汇总 和 数据集与Benchmark。
本章内容
- 模型发展路线图 — 用时间线和范式谱系梳理整个机器人模型演化
- 机器人基础模型概论 — 三大范式:LLM 规划、VLM 微调、专用基础模型
- VLA模型 — RT-1、RT-2、Octo、OpenVLA、pi0、RDT
- ACT模型 — Action Chunking with Transformers:关键桥接模型
- 世界模型与视频生成 — Dreamer、UniSim、Genie、Cosmos、Genesis
- 大模型驱动的机器人 — SayCan、Code as Policies、VoxPoser
- 开源模型汇总 — 开源模型 catalog、框架与快速上手
- 数据集与Benchmark — Open X-Embodiment、DROID、LIBERO、RLDS