智障垃圾桶改造

项目地址

• rcxxx/foolish_trash_bin

视频演示

位姿解算

通过地面排布的四个 AprilTag 二维码，通过 SolvePNP 方法求解位姿信息，并求解图像中二维点与三维空间点的映射

模型训练

参考开源目标检测仓库 ultralytics/yolov5，参照其 v-6.0 版本进行模型训练和部署

详细步骤可以看

• 训练 yolov5 v6.0 train and convert to onnx
• 部署 使用 CV::DNN 模块读取 YOLO v5 ONNX 模型进行实时目标检测

下图为最终训练结果，第一次训练没有加入 cat 标签，数据集与标签数量选取得比较好，可以看到模型的收敛效果比较理想，第二次训练加入 cat 标签，但是由于数据量过小，导致模型难以收敛，最终程序自己停止了训练

从训练的效果来看，数据集的准备是比较差的 —— 场景固定，标签单一。这使得模型的鲁棒性不够强，是一个可改进的方向

最终的检测效果

控制逻辑

通过判断 people 与 hand 的 box 之间的 iou 面积，判断是否有举手的动作

如果有抬手的动作，则计算 trash 与 people 的 box 底部中点的三维映射点之间的距离关系，并执行路径的计算，由于应用场景的不同，控制这部分的程序就省略不传上来了，可以根据需要自行编写

参考

• ultralytics/yolov5
• yolov5 v6.0 train and convert to onnx