S05
视觉感知：检测、分割与部署
高中 · 10–12 年级 · 10 课时 × 40–45 分钟
核心问题：怎样训练一个在真实机器人上跑得动的视觉模型？
项目目标
- 能采集、标注并划分自己的数据集
- 能训练 YOLO 检测模型并读懂 mAP 等指标
- 能完成模型量化与端侧部署，评估速度/精度权衡
领域落点
AI：完整感知链路：数据—训练—评估—部署
硬件：RGB/深度相机、上位机/边缘算力、补光
算法：CNN、目标检测、语义分割、模型压缩
10 课时大纲
2 + 6 + 2| 课次 | 课题 / 驱动问题 | 关键知识点 | 学生任务 | 产出 |
|---|---|---|---|---|
| L01 | 视觉管线 一张图到一条指令要经过什么？ | 采集—预处理—推理—后处理—决策；分辨率与帧率；延迟预算 | 画出视觉管线，测量每级耗时，确定 10FPS 目标下的预算分配。 | 管线与延迟表 |
| L02 | 数据采集与标注 数据质量决定模型上限 | 类别定义与标注规范；多样性：光照/角度/遮挡；训练/验证/测试划分 | 采集 300 张校园垃圾图片，按规范标注 4 类，完成数据卡（data card）。 | 数据集 + 数据卡 |
| L03 | YOLO 目标检测 模型怎样同时给出“是什么”和“在哪”？ | 锚框/无锚框；损失函数；NMS 后处理 | 用 Ultralytics 训练 YOLOv8n，记录 loss 曲线与验证集 mAP50。 | 训练模型 + 曲线 |
| L04 | 训练与指标 mAP 高就一定好用吗？ | Precision/Recall/mAP；混淆矩阵；过拟合与数据增强 | 分析验证集混淆矩阵，针对最差类别补数据并复训，比较指标变化。 | 指标分析报告 |
| L05 | 语义分割 像素级理解有什么用？ | 语义/实例分割；掩膜与 IoU；轻量分割模型 | 用分割模型提取可通行区域，比较与检测框方案在窄通道中的表现。 | 分割 demo |
| L06 | 部署与量化 模型怎样在小板子上跑快？ | ONNX/TensorRT；FP16/INT8 量化；预热与批处理 | 导出 ONNX 并做 FP16/INT8 量化，测三种格式的延迟与精度损失。 | 部署对比表 |
| L07 | 深度估计与点云 二维框怎样变成三维位置？ | 深度图与内参；像素→相机坐标→世界坐标；点云滤波 | 用深度相机把检测框中心投影到 3D，测量 5 个位置的实际误差。 | 3D 定位精度 |
| L08 | 感知转决策 检测结果怎样驱动动作？ | 目标选择策略；状态机/行为树；安全边界 | 把检测结果接入状态机，实现“发现目标→对准→靠近→停止”的闭环。 | 感知决策闭环 |
| L09 | 泛化测试 换个教室还认得吗？ | 域偏移；鲁棒性测试集；失败案例分析 | 在新场景测试 100 帧，统计漏检/误检，按原因归类并提出改进。 | 泛化测试报告 |
| L10 | 模型卡与伦理 AI 系统也需要“说明书” | 模型卡（用途/数据/指标/限制）；隐私与人脸；责任边界 | 为模型写一页模型卡，明确适用场景、已知限制与禁止用途。 | 模型卡 |
说明：本页是教程副本（大纲级），不是完整课件。完整课件、教案、学案、代码与仿真场景按学校进度单独导出。