近日，机自学院苗中华教授团队在农业自动化领域国际著名期刊《Computers and Electronics in Agriculture》（中科院一区TOP期刊）上发表题为“Efficient occlusion avoidance based on active deep sensing for harvesting robots”的研究论文。
随着农业劳动力短缺问题日益加剧，收获机器人的发展变得越来越迫切。大多数机器人需要通过视觉定位目标，但农业环境中常见的遮挡现象限制了视觉目标识别的准确性，甚至在严重情况下导致识别失败。主动感知方法是一种有效手段，但如何有效找到最佳观测位置仍然是一个难题，以避免重复无效动作所造成的时间浪费。针对这些问题，提出了一种用于收获成簇和单个果实的主动深度感知方法。
首先，通过分割网络提取目标的感兴趣区域，然后利用图像处理方法获取目标的遮挡状态。以当前观测位置为起点，在矩阵内移动摄像头，形成置信度和遮挡率分布图。在建立了一系列遮挡率和置信度矩阵数据集后，训练了一个设计好的深度网络，用于在估计当前遮挡状态后预测置信度最高/遮挡率最低的位置。为了验证该方法的可靠性，针对苹果和成簇的番茄进行了实验室和田间实验。
经过1000次验证，结果表明，采摘/识别成功率提高了38.7%，平均识别成功时间为5.2秒，比固定运动方法和简单启发式方法分别快了63.1%和46.4%。
图1
图1给出了所提方法的总体控制流程。
图2
图2为串番茄遮挡状态估计结果示例。
图3
图3展示了从初始位置开始生成目标周边区域置信度图的过程。
图4
本研究获得了当前观察点周围的置信度图以及遮挡率图，如图4的热图所示。
图5
所采用的卷积网络主要基于ResNet18，如图5所示。输入包括RGB图像和掩码，其中包含当前遮挡率和分布的信息。
本研究得到了上海市农委春蕾项目和上海大学高层次人才引进科研启动基金项目的资助。
