结合掩码定位和漏斗网络的6D姿态估计

目的 6D姿态估计是3D目标识别及重建中的一个重要问题。由于很多物体表面光滑、无纹理,特征难以提取,导致检测难度大。很多算法依赖后处理过程提高姿态估计精度,导致算法速度降低。针对以上问题,本文提出一种基于热力图的6D物体姿态估计算法。方法 首先,采用分割掩码避免遮挡造成的热力图污染导致的特征点预测准确率下降问题。其次,基于漏斗网络架构,无需后处理过程,保证算法具有高效性能。在物体检测阶段,采用一个分割网络结构,使用速度较快的YOLOv3（you only look once v3）作为网络骨架,目的在于预测目标物体掩码分割图,从而减少其他不相关物体通过遮挡带来的影响。为了提高掩码的准确度,增加反卷积层提高特征层的分辨率并对它们进行融合。然后,针对关键点采用漏斗网络进行特征点预测,避免残差网络模块由于局部特征丢失导致的关键点检测准确率下降问题。最后,对检测得到的关键点进行位姿计算,通过PnP （perspective-n-point）算法恢复物体的6D姿态。结果 在有挑战的Linemod数据集上进行实验。实验结果表明,本文算法的3D误差准确性为82.7%,与热力图方法相比提高了10%;2D投影准确性为98.9%,比主流算法提高了4%;同时达到了15帧/s的检测速度。结论 本文提出的基于掩码和关键点检测算法不仅有效提高了6D姿态估计准确性,而且可以维持高效的检测速度。     

融合注意力特征的遮挡物体6D姿态估计

在机械臂视觉抓取过程中,现有的算法在复杂背景、光照不足、遮挡等条件下,难以对目标物体进行实时、准确、鲁棒的姿态估计。针对以上问题,提出一种基于关键点方法的融合注意力特征的物体6D姿态网络。首先,在跳跃连接（Skip Connection）阶段引入能够聚焦通道空间信息的卷积注意力模块（CBAM）,使编码阶段的浅层特征与解码阶段的深层特征进行有效融合,增强特征图的空间域信息和精确位置通道信息;其次,采用归一化损失函数以弱监督的方式回归每个关键点的注意力图,将注意力图作为对应像素位置上关键点偏移量的权重分数;最后,累加求和得到关键点坐标。实验结果证明,所提网络在LINEMOD数据集和Occlusion LINEMOD数据集上ADD（-S）指标分别达到了91.3%和46.3%。与基于关键点的逐像素投票网络（PVNet）相比ADD（-S）指标分别提升了5.0个百分点和5.5个百分点,验证了所提网络在遮挡场景下有更好的鲁棒性。     

基于特征融合的6D目标位姿估计算法

为提高弱纹理目标和遮挡目标位姿估计的准确性，提出一种基于特征融合的6D目标位姿估计算法。从RGB-D图像中提取目标的颜色特征与点云特征；通过点集抽象在小区域内提取精细的局部几何特征，并扩展到更大局部区域，获得不同层次的局部几何特征以及目标的全局几何特征；将目标的颜色特征与几何特征进行融合，训练神经网络输出初始位姿。实验结果表明，与其它经典算法相比，该方法对于LineMOD数据集及YCB-Video数据集目标的平均位姿估计精度均有提升，对于弱纹理目标和遮挡目标均有较优表现。     

改进YOLOv5s的非机动车头盔佩戴检测方法

针对传统非机动车头盔检测算法目标漏检率高,在密集骑行场景下检测精度低等问题,提出了一种基于改进YOLOv5s的非机动车头盔佩戴检测算法。该算法采用Kmeans++算法聚类生成锚框,增强网络的稳定性;接着使用轻量级通用上采样算子(CARAFE)对高阶特征图进行上采样操作,增大感受野,充分利用特征语义信息;同时在Backbone模块和Head端前引入坐标注意力机制(coordinate attention,CA),在保证轻量化的同时,进一步提高算法的检测精度;最后利用DIo U-NMS对目标检测模型的输出后处理,降低密集场景下模型的漏检率,改善遮挡物体的检测能力。与YOLOv5s算法相比,改进后的算法精确度、召回率、平均精度分别提升了2.3%、1.5%和1.5%,能够实现对非机动车头盔佩戴的高精度检测。     

基于改进YOLOv5的安全帽检测算法

对于工业及建筑行业来说,工作人员在施工过程中佩戴安全帽是避免伤害的有效途径之一。针对这一现象,提出了一种改进YOLOv5的安全帽检测算法。该算法以YOLOv5s网络为基础,在YOLOv5s的主干网络中添加CA坐标注意力机制模块。在颈部网络结构中将特征融合模块中原有特征金字塔模块替换为加权双向特征金字塔(BiFPN)网络结构,实现高效的双向跨尺度连接和加权特征融合。在自制安全帽数据集中验证可知,改进的YOLOv5模型平均精度达到了92.15%,相比于YOLOv5模型,平均精度提高了1.05个百分点,实现了对密集目标和遮挡目标准确、高效的安全帽检测。     

基于改进YOLOv4的轻量化目标检测算法

针对当前YOLOv4目标检测网络结构复杂、参数多、训练所需的配置高以及实时检测每秒传输帧数（FPS）低的问题,提出一种基于YOLOv4的轻量化目标检测算法ML-YOLO。首先,用MobileNetv3结构替换YOLOv4的主干特征提取网络,从而通过MobileNetv3中的深度可分离卷积大幅减少主干网络的参数量;然后,用简化的加权双向特征金字塔网络（Bi-FPN）结构替换YOLOv4的特征融合网络,从而用Bi-FPN中的注意力机制提高目标检测精度;最后,通过YOLOv4的解码算法来生成最终的预测框,并实现目标检测。在VOC2007数据集上的实验结果表明,ML-YOLO算法的平均准确率均值（mAP）达到80.22%,与YOLOv4算法相比降低了3.42个百分点,与YOLOv5m算法相比提升了2.82个百分点;而ML-YOLO算法的模型大小仅为44.75 MB,与YOLOv4算法相比减小了199.54 MB,与YOLOv5m算法相比,只高了2.85 MB。实验结果表明,所提的ML-YOLO模型,一方面较YOLOv4模型大幅减小了模型大小,另一方面保持了较高的检测精度,表明该算法可以满足移动端或者嵌入式设备进行目标检测的轻量化和准确性需求。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法。该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN（feature pyramid networks）获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向坐标映射为抓取方向的分类任务,使用ROI Align进行感兴趣区域提取,评估抓取候选框,获取目标的最优抓取位姿。为验证算法有效性,基于康奈尔抓取数据集开展了抓取位姿估计实验,仿真抓取位姿估计准确度达到96.9%。基于Inter RealSense D415深度相机和UR5机械臂搭建了实物平台,在真实场景下对位姿随机摆放的多样性目标物体进行多次抓取实验,结果显示抓取目标检测成功率为95.8%,机器人抓取成功率为90.2%。     

适用于非合作目标捕获的轻量级位姿估计网络

空间非合作目标的增多导致太空安全受到严重威胁,对非合作目标进行捕获回收具有维护空间安全、节约资源等现实意义。非合作目标捕获回收需要进行位姿估计,而目前在硬件资源有限的航天器平台上,现有的大多数非合作目标位姿估计算法无法同时满足及时性和准确性的要求。设计一种超轻量级目标检测网络YOLO-GhostECA,利用GhostBottleneck网络减少特征图冗余,并使用高效注意力机制提取核心特征图,以降低模型参数,在提升运算速度的同时保证精度水平几乎不下降。根据YOLO-GhostECA网络的检测结果粗略估计姿态,以协助机械臂更加合理地执行智能捕获任务,解决2D识别算法无法检测出物体姿态的问题。在7自由度冗余机械臂上开展的空间非合作目标捕获地面模拟的实验结果表明,与YOLOv5s网络相比,该网络模型大小减小了80.4%,运算复杂度降低了78.9%,而精度基本保持不变,可准确快速地对非合作目标进行位姿估计,能够引导机器人成功捕获非合作物体。     

基于多尺度轻量化注意力的钢材缺陷检测

针对当前YOLOv5算法检测钢材表面缺陷精度不高、速度慢等问题,提出一种基于多尺度轻量化注意力的YOLO-Steel钢材表面缺陷检测方法.首先,提出一种轻型通道注意力模块,仅需少量计算成本即可有效关注重要通道;然后,利用空洞卷积扩大感受提出一种轻型空间注意力模块,能够在空间维度上提取有价值信息;接着,提出金字塔注意力结构,利用多级池化放缩特征图在不同分辨率特征图上使用空间注意力模块学习其空间依赖信息,对多级特征图使用通道注意力模块重构其通道相关信息,改善检测效果.实验结果表明,YOLO-Steel在钢材表面缺陷数据集上平均精度均值(mAP)可达77.2%,比YOLOv5s算法提高1.8%,模型时间、空间复杂度与YOLOv5s基本持平,在保证检测速度的基础上能够有效提高精确度.     

改进YOLOv5的白细胞检测算法

针对白细胞数据样本少、类间差别小及目标尺寸小导致的检测精度低、效果不佳等问题,提出一种基于改进YOLOv5的白细胞检测算法YOLOv5-CHE。在主干特征提取网络的卷积层中添加坐标注意力机制,以提升算法的特征提取能力;使用四尺度特征检测,重新获取锚点框,增加浅层检测尺度,来提高小目标的识别精度;改变边框回归损失函数,以提升检验框检测的准确率。实验结果表明,对比标准的YOLOv5算法,YOLOv5-CHE算法的平均精度均值（mean average precision,mAP）、精准率和召回率分别提升了3.8个百分点、1.8个百分点和1.5个百分点,验证了该算法对白细胞检测具有很好的效果。     

引入注意力机制的YOLOv5安全帽佩戴检测方法

对于钢铁制造业、煤矿行业及建筑行业等高危行业来说,施工过程中佩戴安全帽是避免受伤的有效途径之一。针对目前安全帽佩戴检测模型在复杂环境下对小目标和密集目标存在误检和漏检等问题,提出一种改进YOLOv5的目标检测方法来对安全帽的佩戴进行检测。在YOLOv5的主干网络中添加坐标注意力机制（coordinate attention）,该机制将位置信息嵌入到通道注意力当中,使网络可以在更大区域上进行注意。将特征融合模块中原有特征金字塔模块替换成加权双向特征金字塔（BiFPN）网络结构,实现高效的双向跨尺度连接和加权特征融合。在自制安全帽数据集上实验结果表明,改进的YOLOv5模型平均精度达到了95.9%,相比于YOLOv5模型,平均精度提高了5.1个百分点,达到了在复杂环境下对小目标和密集目标检测的要求。     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

基于改进YOLOv5s的机坪特种车辆检测算法研究

机坪特种车辆作为航班保障服务的重要一环,其种类多,形状各异;目前已有的车辆检测算法在识别机坪特种车辆时检测精度不高,在遮挡时无法检测;针对于此问题,提出了一种基于改进YOLOv5s的机坪特种车辆检测算法;为了在机坪特种车辆检测中快速、准确的定位感兴趣区域,在主干网络中融合协同注意力机制;考虑到机坪监控场景下特种车辆尺度差别较大的情况,为了能够增强对不同尺度特种车辆的检测能力,提出了四尺度特征检测网络结构;为了提高检测网络多尺度特征融合能力,结合加权双向特征金字塔结构对网络的Neck部分进行改进;将改进后的算法在自建的机坪特种车辆数据集上进行训练、测试,实验结果表明,与YOLOv5s相比,改进后算法的精确度提升了1.6％,召回率提升了3.5％,平均精度mAP0.5和mAP0.5:0.95分别有2.3％和3.3％的提升。     

改进YOLOv5框架的血细胞检测算法

对于血液中红细胞、白细胞、血小板等成分的观察和计数是临床医学诊断的重要依据.血细胞的异常意味着可能存在凝血异常、感染、炎症等与血液相关的问题.人工检测血细胞不仅耗费人力,且容易出现误检、漏检的情况.因此,针对上述情况,提出一种新颖的血细胞检测算法—YOLOv5-CBF.该算法在YOLOv5框架的基础上,通过在主干网络中加入坐标注意力(coordinate attention, CA)机制,提高检测精度;将颈部网络中的FPN+PAN结构中改为结合了跨尺度特征融合方法 (bidirectional feature pyramid network, BiFPN)思想的特征融合结构,使目标多尺度特征有效融合;在三尺度检测的基础上增加了一个小目标检测层,提高对数据集中小目标血小板的识别精度.通过在数据集BCCD上进行的大量的实验结果表明:与传统的YOLOv5算法相比较,该算法在3类血细胞检测的平均精度提升2.7%,试验效果良好,该算法对血细胞检测具有很高的实用性.     

改进YOLOv5的轻量级安全帽佩戴检测算法

针对现有的对安全帽佩戴检测算法的参数多、网络复杂、计算量大、不利于在嵌入式等设备进行部署,且对遮挡目标辨别度差等问题,提出了一种改进的轻量级的安全帽检测算法YOLO-M3,先将YOLOv5s主干网络替换为MobileNetV3来进行特征提取,降低了网络的参数量和计算量。使用DIoU-NMS替换NMS,提高对遮挡目标的辨识度,添加CBAM注意力机制使模型更关注主要信息以提升检测精度,对模型进行知识蒸馏,增加模型检测的召回率和准确度。通过实验验证了YOLO-M3算法提高了对遮挡目标的辨识度,在保证较高的检测平均精度时,将YOLOv5s模型的计算量降低了42%,模型大小降低了40%,降低了硬件成本,满足在嵌入式端部署的需求。     

优化LeNet-5网络的多角度头部姿态估计方法

针对在受到部分遮挡或角度过大无法定位面部关键特征点的情况下,传统的头部姿态估计方法的准确率低或无法进行头部姿态估计的问题,提出了优化LeNet-5网络的多角度头部姿态估计方法。首先,通过对卷积神经网络（CNN）的深度、卷积核大小等进行优化来更好地捕捉图像的全局特征;然后,改进池化层,用卷积操作代替池化操作来增强网络的非线性能力;最后,引入AdaBound优化器,并利用Softmax回归模型做姿态分类训练。训练中在自建数据集中增加遮挡头发、做出夸张表情和佩戴眼镜等动作来增强网络的泛化能力。实验结果表明,所提方法不需要定位面部关键特征点,在光照阴影、头发等遮挡情况下也可以实现抬头、低头、偏头等多角度转动下的头部姿态估计,在Pointing04公共数据集和CAS-PEAL-R1公共数据集上准确率达到了98.7%,运行速度平均在每秒22~29帧。