Sim2Real 部署实践指南
概述
Sim2Real（仿真到真实）部署是将在仿真环境中训练的策略迁移到真实物理系统的过程。由于仿真与现实之间存在不可避免的差异（Reality Gap），需要系统性的方法来确保策略在真实环境中稳定运行。
本文聚焦于 Sim2Real 部署的工程实践，涵盖部署前检查、域随机化配置、系统辨识、真实世界微调以及常见失败模式的排查。
部署前检查清单
在将仿真策略部署到真实机器人之前，务必完成以下检查：
硬件就绪
- [ ] 机器人关节零位校准完成
- [ ] 传感器数据采集正常（IMU、力矩传感器、编码器）
- [ ] 急停按钮功能测试通过
- [ ] 通信延迟测量并记录（控制器到执行器）
- [ ] 电源系统稳定性验证
软件就绪
- [ ] 控制频率匹配仿真设定（通常 ≥500Hz）
- [ ] 观测空间与仿真一致（维度、归一化范围）
- [ ] 动作空间映射正确（关节角度/力矩范围）
- [ ] 安全限位已配置（关节极限、速度上限、力矩饱和）
- [ ] 数据记录管道已就绪
策略验证
- [ ] 仿真中 zero-shot 成功率 ≥ 90%
- [ ] 域随机化范围覆盖真实参数区间
- [ ] 策略在仿真极端参数下仍保持稳定
- [ ] 推理延迟满足实时性要求（< 控制周期）
域随机化参数范围
域随机化（Domain Randomization）是弥合 Sim2Real Gap 的核心技术。以下是各类参数的推荐随机化范围：
物理参数随机化
| 参数类别 | 参数名称 | 默认值 | 随机化范围 | 分布类型 |
|---|---|---|---|---|
| 摩擦 | 地面摩擦系数 | 1.0 | 0.5 - 2.0 | 均匀分布 |
| 摩擦 | 关节摩擦 | 0.01 | 0.005 - 0.05 | 对数均匀 |
| 质量 | 连杆质量 | 标称值 | ±20% | 均匀分布 |
| 质量 | 负载质量 | 0 kg | 0 - 5 kg | 均匀分布 |
| 惯量 | 连杆转动惯量 | 标称值 | ±30% | 均匀分布 |
| 几何 | 质心偏移 | 0 | ±2 cm | 高斯分布 |
| 几何 | 连杆长度 | 标称值 | ±5% | 高斯分布 |
| 弹性 | 恢复系数 | 0.5 | 0.1 - 0.9 | 均匀分布 |
| 阻尼 | 关节阻尼 | 标称值 | ±50% | 均匀分布 |
传感器与执行器随机化
| 参数类别 | 参数名称 | 随机化范围 | 说明 |
|---|---|---|---|
| 延迟 | 观测延迟 | 0 - 40 ms | 模拟传感器和通信延迟 |
| 延迟 | 动作延迟 | 0 - 20 ms | 模拟执行器响应延迟 |
| 噪声 | IMU加速度噪声 | ±0.05 m/s² | 高斯白噪声 |
| 噪声 | IMU陀螺仪噪声 | ±0.01 rad/s | 高斯白噪声 |
| 噪声 | 关节编码器噪声 | ±0.001 rad | 量化噪声 |
| 噪声 | 力矩传感器噪声 | ±2% | 高斯白噪声 |
| 偏置 | 传感器偏置 | ±5% | 恒定偏置 + 缓慢漂移 |
| 增益 | 电机增益误差 | ±10% | 模拟电机特性差异 |
环境参数随机化
| 参数类别 | 参数名称 | 随机化范围 |
|---|---|---|
| 地形 | 地面高度偏移 | ±3 cm |
| 地形 | 地面倾斜角 | ±5° |
| 光照 | 光照强度 | 50 - 500 lux |
| 光照 | 光照方向 | 全方位随机 |
| 物体 | 目标物体尺寸 | ±15% |
| 物体 | 物体纹理 | 随机颜色/纹理 |
系统辨识工作流
系统辨识（System Identification）通过真实数据估计物理参数，缩小 Sim2Real Gap。
辨识流程
graph TD
A[设计激励轨迹] --> B[真实机器人数据采集]
B --> C[仿真器参数初始化]
C --> D[仿真运行相同轨迹]
D --> E[计算仿真-真实误差]
E --> F{误差是否收敛?}
F -->|否| G[优化物理参数]
G --> D
F -->|是| H[导出辨识参数]
H --> I[更新仿真环境]
I --> J[验证策略迁移效果]
关键步骤
1. 激励轨迹设计
使用频率扫描信号或优化的傅里叶级数轨迹，确保覆盖目标频率范围：
\[q_d(t) = q_0 + \sum_{k=1}^{N} \frac{a_k}{k\omega} \sin(k\omega t) - \frac{b_k}{k\omega} \cos(k\omega t)\]
2. 参数优化方法
常用方法包括：
- 最小二乘法：适用于线性参数化模型
- 贝叶斯优化：适用于高维参数空间
- CMA-ES：进化策略，适用于非凸优化
- 神经网络辨识：数据驱动方法，适用于复杂动力学
3. 验证指标
- 关节轨迹跟踪误差 RMSE < 1°
- 力矩预测误差 < 10%
- 频率响应匹配度（Bode 图比较）
真实世界微调
残差策略学习 (Residual Policy Learning)
在基础策略 \(\pi_{base}\) 上叠加残差策略 \(\pi_{res}\)，用少量真实数据微调：
\[a_t = \pi_{base}(o_t) + \alpha \cdot \pi_{res}(o_t)\]
其中 \(\alpha\) 为残差权重，初始设为较小值（0.1），逐步增大。
实施要点：
- 固定基础策略参数，仅训练残差网络
- 残差动作范围限制在基础动作的 ±20% 以内
- 使用安全约束确保不超出安全边界
在线适应 (Online Adaptation)
隐式适应：通过历史观测序列推断环境参数
\[z_t = f_{encoder}(o_{t-H:t}, a_{t-H:t-1})$$
$$a_t = \pi(o_t, z_t)\]
显式适应：在线更新模型参数
- RMA (Rapid Motor Adaptation)：使用适应模块预测环境因子
- 测试时训练（Test-Time Training）：在线微调部分网络层
少样本微调
- 收集 10-50 条真实演示轨迹
- 使用 DAgger 或在线模仿学习进行微调
- 学习率设为预训练的 1/10 至 1/100
Sim2Real 部署工作流
graph LR
subgraph 仿真阶段
A[任务设计] --> B[域随机化训练]
B --> C[仿真评估]
C --> D{成功率≥90%?}
D -->|否| B
end
subgraph 辨识阶段
D -->|是| E[系统辨识]
E --> F[参数校准]
F --> G[校准后仿真验证]
end
subgraph 部署阶段
G --> H[低速安全测试]
H --> I[渐进提速]
I --> J[真实微调]
J --> K[全速部署]
end
K --> L[持续监控]
常见失败模式与排查
1. 策略冻结 (Policy Freezing)
现象：机器人突然停止运动或输出恒定动作。
原因：
- 观测值超出训练分布范围（OOD）
- 归一化统计量与仿真不匹配
- 网络输入中出现 NaN 或 Inf
解决方案：
- 检查观测值范围，添加裁剪（clipping）
- 同步仿真与真实环境的归一化参数
- 添加输入合法性检查
2. 意外接触 (Unexpected Contacts)
现象：机器人与未建模的障碍物碰撞。
原因：
- 仿真环境过于简洁，缺少真实场景中的障碍物
- 定位误差导致与已知物体碰撞
解决方案：
- 在仿真中添加随机障碍物
- 启用碰撞检测与安全响应策略
- 使用力矩监测实现碰撞后安全停止
3. 传感器噪声导致抖动
现象：机器人末端或关节出现高频振荡。
原因：
- 真实传感器噪声特性与仿真不匹配
- 控制增益过高，放大噪声
解决方案：
- 增大仿真中的传感器噪声范围
- 添加观测滤波（低通滤波、滑动平均）
- 降低 PD 控制增益
4. 地形/接触面差异
现象：腿足机器人行走不稳。
原因：
- 真实地面摩擦系数与仿真差异大
- 地面不平整超出随机化范围
解决方案：
- 扩大摩擦系数随机化范围
- 增加地形随机化复杂度
- 使用自适应步态控制器
5. 通信延迟不匹配
现象：动作执行不流畅，出现滞后或超调。
原因：
- 真实系统通信延迟大于仿真设定
- 延迟波动（Jitter）导致控制不稳定
解决方案：
- 测量真实延迟分布，扩大仿真延迟随机化范围
- 使用延迟补偿技术（预测当前状态）
- 降低控制频率以减少延迟敏感性
实用工具与脚本
部署前参数对比脚本
def compare_sim_real_params(sim_config, real_measurements):
"""对比仿真参数与真实测量值"""
mismatches = []
for param, sim_val in sim_config.items():
if param in real_measurements:
real_val = real_measurements[param]
error = abs(sim_val - real_val) / abs(real_val)
if error > 0.1: # 超过10%偏差
mismatches.append({
'param': param,
'sim': sim_val,
'real': real_val,
'error': f'{error*100:.1f}%'
})
return mismatches
部署安全监控
class SafetyMonitor:
def __init__(self, torque_limit, velocity_limit, position_limits):
self.torque_limit = torque_limit
self.velocity_limit = velocity_limit
self.position_limits = position_limits
def check(self, state):
"""检查当前状态是否安全"""
if any(abs(t) > self.torque_limit for t in state.torques):
return False, "力矩超限"
if any(abs(v) > self.velocity_limit for v in state.velocities):
return False, "速度超限"
for i, pos in enumerate(state.positions):
if pos < self.position_limits[i][0] or pos > self.position_limits[i][1]:
return False, f"关节{i}位置超限"
return True, "正常"