S08
学习型策略：模仿学习与强化学习
高中 · 10–12 年级 · 10 课时 × 40–45 分钟
核心问题：当规则写不出来时，怎样用数据训练一个可用的策略？
项目目标
- 理解监督、模仿、强化学习的区别与适用场景
- 能采集遥操作数据并训练行为克隆策略
- 能评估策略并分析 sim2real 差距
领域落点
AI：完整的学习闭环：数据—训练—评估—部署
硬件：遥操作手柄/键盘、机械臂或底盘、相机、GPU（或云）
算法：行为克隆、DAgger、PPO、域随机化
10 课时大纲
2 + 6 + 2| 课次 | 课题 / 驱动问题 | 关键知识点 | 学生任务 | 产出 |
|---|---|---|---|---|
| L01 | 学习范式 规则、模仿、强化，什么时候用哪个？ | 监督学习；模仿学习；强化学习与奖励设计 | 针对 5 个机器人任务选择学习范式并说明理由，列出数据需求与风险。 | 范式选择表 |
| L02 | 遥操作数据采集 示教数据怎样采才有效？ | 遥操作接口；episode 与时间对齐；数据质量检查 | 采集 30 条抓取 episode，检查同步、丢帧与失败样本，建立数据规范。 | 示教数据集 |
| L03 | 行为克隆 把示教变成策略 | 状态/动作表示；网络结构；损失与归一化 | 训练行为克隆模型，在验证集看动作 MAE，并在仿真中跑 10 次。 | BC 模型 + 成功率 |
| L04 | 训练管线与过拟合 loss 降了，为什么机器人更笨？ | 训练/验证/测试；过拟合与早停；数据泄露 | 对比不同数据量与增强策略，画出“数据量—成功率”曲线。 | 训练实验报告 |
| L05 | 域随机化 让仿真更“乱”，现实更稳 | 光照/纹理/质量/延迟随机化；课程学习；随机化边界 | 在仿真中加入 5 类随机化，比较策略在扰动场景下的成功率。 | 域随机化配置 |
| L06 | 强化学习基础 奖励怎样塑造行为？ | MDP、状态/动作/奖励；探索与利用；折扣因子 | 为“靠近目标并停稳”设计奖励函数，分析稀疏奖励与稠密奖励的差异。 | 奖励设计表 |
| L07 | PPO 实践 用策略梯度训练一个简单任务 | 策略与价值网络；优势估计；超参数 | 在简化环境训练 PPO，记录回报曲线，调学习率与熵系数各一次。 | PPO 训练曲线 |
| L08 | Sim2Real 差距 仿真里满分，现实里翻车 | 动力学差异；感知差异；延迟 | 对比仿真与真机的成功率，定位最大差异来源并提出补偿方案。 | 差距分析 |
| L09 | 策略评估 别只看成功的那几次 | 成功率/鲁棒性/恢复能力；分层测试；失败分类 | 设计 50 次分层测试（光照/位置/干扰），输出成功率与失败类型分布。 | 评估报告 |
| L10 | 部署建议 什么时候不该上学习 | 可解释性/安全性；混合方案（规则+学习）；回滚机制 | 写一份部署建议书：适用边界、监控指标、回滚条件与人工接管方案。 | 部署建议书 |
说明：本页是教程副本（大纲级），不是完整课件。完整课件、教案、学案、代码与仿真场景按学校进度单独导出。