基于雷达与图像数据融合的人体目标检测方法

三维人体目标检测在智能安防、机器人、自动驾驶等领域具有重要的应用价值。目前基于雷达与图像数据融合的三维人体目标检测方法主要采用两阶段网络结构,分别完成目标概率较高的候选边界框的选取以及对目标候选框进行分类和边界框回归。目标候选边界框的预先选取使两阶段网络结构的检测准确率和定位精度得到提高,但相对复杂的网络结构导致运算速度受到限制,难以满足实时性要求较高的应用场景。针对以上问题,研究了一种基于改进型RetinaNet的三维人体目标实时检测方法,将主干网络与特征金字塔网络结合用于雷达点云和图像特征的提取,并将两者融合的特征锚框输入到功能网络从而输出三维边界框和目标类别信息。该方法采用单阶段网络结构直接回归目标的类别概率和位置坐标值,并且通过引入聚焦损失函数解决单阶段网络训练过程中存在的正负样本不平衡问题。在KITTI数据集上进行的实验表明,本文方法在三维人体目标检测的平均精度和耗时方面均优于对比算法,可有效实现目标检测的准确性和实时性之间的平衡。     

基于非对称沙漏网络结构的目标检测算法

基于无锚框深度学习的目标检测是一种主流的单阶段目标检测算法。融合多层监督信息的沙漏网络结构能够显著提升无锚框目标检测算法的精度,然而其速度却远低于同层次的普通网络的速度,并且不同尺度目标间的特征会互相干扰。针对上述问题,提出了一种非对称沙漏网络结构的目标检测算法。该算法在融合不同网络层的特征时不受形状大小的约束,能够快速高效抽象出网络的语义信息,使模型更容易学习到各种尺度之间的差异。针对不同尺度目标检测问题,设计了一种多尺度输出的沙漏网络结构用来解决不同尺度目标间特征互相干扰的问题,并精细化输出的检测结果。另外,针对多尺度输出使用了一种特殊的非极大值抑制算法以提高检测算法的召回率。实验结果表明,所提算法在COCO数据集上的AP50指标达到61.3%,相较于无锚框网络CenterNet提升了4.2个百分点。所提算法在精度与时间的平衡上超越了原始算法,尤其适用于对工业场景的目标进行实时检测。     

基于特征对齐和关键点辅助激励的退化热成像图目标检测

在热成像图目标检测中,存在图像的纹理单一、目标边界模糊等退化现象,这造成目标定位困难、目标与预定义锚点框无法精准匹配等问题.因此,文中提出基于特征对齐和关键点辅助激励的退化热成像图目标检测算法.引入可见光图分支,计算2个分支指定层的特征差异,提升热成像域与可见光域之间的相似度.为了丰富网络高层中的目标细节信息,修改特征图级联和检测尺度.部署包含关键点辅助激励的无锚点检测器,较好地定位目标并学习预定义锚点框覆盖较差的实例.在2个数据集上的对比实验表明,文中算法可准确定位热成像目标,有效提升退化热成像图目标检测精度.     

基于非对称沙漏网络结构的目标检测算法

基于无锚框深度学习的目标检测是一种主流的单阶段目标检测算法。融合多层监督信息的沙漏网络结构能够显著提升无锚框目标检测算法的精度，然而其速度却远低于同层次的普通网络的速度，并且不同尺度目标间的特征会互相干扰。针对上述问题，提出了一种非对称沙漏网络结构的目标检测算法。该算法在融合不同网络层的特征时不受形状大小的约束，能够快速高效抽象出网络的语义信息，使模型更容易学习到各种尺度之间的差异。针对不同尺度目标检测问题，设计了一种多尺度输出的沙漏网络结构用来解决不同尺度目标间特征互相干扰的问题，并精细化输出的检测结果。另外，针对多尺度输出使用了一种特殊的非极大值抑制算法以提高检测算法的召回率。实验结果表明，所提算法在COCO数据集上的AP50指标达到61.3%，相较于无锚框网络CenterNet提升了4.2个百分点。所提算法在精度与时间的平衡上超越了原始算法，尤其适用于对工业场景的目标进行实时检测。     

基于自适应和最优特征的合成孔径雷达舰船检测方法

针对合成孔径雷达(SAR)目标舰船检测中对小目标检测效果不佳的问题,提出一种自适应锚框单阶段舰船检测方法.首先,在单阶段无锚框特征选择(FSAF)算法的基础上利用神经架构搜索(NAS)得到最优特征融合方式,以充分利用图像特征信息;然后提出新的损失函数,在解决正负样本不均衡的同时使网络能够更加精确地对位置进行回归;最后结...     

多尺度下遥感小目标多头注意力检测

针对地理空间遥感图像中检测目标存在多尺度特性、形态多变以及小目标判别特征过少等造成检测识别精度不高的问题,提出了基于多尺度下遥感小目标多头注意力检测算法YOLO-StrVB。对网络结构进行重构,搭建多尺度网络模型,增加目标检测层,提高特征提取网络下遥感小目标模型不同尺度下的检测能力;加入双向特征金字塔网络（Bi-FPN）进行多尺度特征融合,提高双向跨尺度连接和加权特征融合;在YOLOv5网络末端融合Swin Transformer多头注意力机制块,提升感受野适应目标识别任务的多尺度融合关系,优化主干网络;使用Varifocal loss对网络进行训练,提升遥感密集检测小目标的存在置信度和定位精度,并选用CIoU作为边界框回归的损失函数,提高感知分类得分（IACS）的边框回归精度。通过在遥感目标数据集NWPU VHR-10上的实验验证,对比YOLOv5原模型的mAP提高了3.05个百分点,能有效提高小目标的检测精度,达到了对地理空间遥感图像中小目标检测的鲁棒性。     

基于YOLO-Pose的城市街景小目标行人姿态估计算法

现有的姿态估计算法在城市街景中对小目标行人的检测效果不佳。针对该问题,提出一种基于YOLO-Pose的小目标行人姿态估计算法YOLO-Pose-CBAM。通过引入CBAM注意力机制模块,在不增加过多计算量的前提下,增强网络聚焦小目标行人区域的能力,提升算法对小目标行人的敏感度,同时在主干网络中使用4个不同尺寸的检测头,丰富算法对图片中不同大小行人的检测手段;在骨干网络和颈部之间架设2条跨层级联通道,提升浅层网络与深层网络之间的特征融合能力,进一步增强信息交流,降低小目标行人漏检率;引入SIoU重新定义边界框回归的定位损失函数,加快训练的收敛速度,提高检测精度;采用k-means++算法代替k-means算法对数据集中标注的锚框进行聚类,避免聚类中心初始化时导致的局部最优解问题,从而选择出更适合检测小目标行人的锚框。对比实验结果表明,在小目标行人Wider Keypoints数据集上,所提算法相较于YOLO-Pose和YOLOv7-Pose在平均精度上分别提升了4.6和6.5个百分比。     

面向驾驶场景的多尺度特征融合目标检测方法

针对驾驶场景中目标检测卷积神经网络模型检测精度较低的问题,提出一种基于改进RefineDet网络结构的多尺度特征融合目标检测方法。在RefineDet网络结构中嵌入LFIP（Light-weight Featurized Image Pyramid,轻量级特征化的图像金字塔）网络,将LFIP网络生成的多尺度特征图与RefineDet中的ARM（Anchor Refinement Module,锚点框修正模块）输出的主特征图相融合,提升特征层中锚点框初步分类和回归的输出效果,为ODM（Object Detection Module,目标检测模块）模块提供修正的锚点框以便于进一步回归和多类别预测;在RefineDet网络结构中的ODM之后嵌入多分支结构RFB（Receptive Field Block,感受野模块）,在检测任务中获得不同尺度的感受野以改善主干网络中提取的特征。将模型中的激活函数替换为带有可学习参数的非线性激活函数PReLU（Parametric Rectified Linear Unit,参数化修正线性单元）,加快网络模型的收敛速度;将RefineDet的边界框回归损失函数替换为排斥力损失函数Repulsion Loss,使目标检测中的某预测框更靠近其对应的目标框,并使该预测框远离附近的目标框及预测框,可以提升遮挡情况下目标检测的精度;构建驾驶视觉下的目标检测数据集,共计48 260张,其中38 608张作为训练集,9 652张作为测试集,并在主流的GPU硬件平台进行验证。该方法的mAP为85.59%,优于RefineDet及其他改进算法;FPS为41.7 frame/s,满足驾驶场景目标检测的应用要求。实验结果表明,该方法在检测速度略微下降的情况,能够较好地提升驾驶视觉下的目标检测的精确度,并能够一定程度上解决驾驶视觉下的遮挡目标检测和小目标检测的问题。     

基于改进密集网络与二次回归的小目标检测算法

基于单激发探测器（SSD）的小目标检测算法实时性较差且检测精度较低。为提高小目标检测精度和鲁棒性,提出一种结合改进密集网络和二次回归的小目标检测算法。将SSD算法中骨干网络由VGG16替换为特征提取能力更强且速度更快的DenseNet,利用基于区域候选的检测算法中默认框由粗到细筛选的回归思想设计串级SSD网络结构,在区分目标和背景后进行常规目标分类和位置回归,以获取精确的默认框信息并达到小目标检测中正负样本比例均衡。在此基础上,使用特征图尺度变换方法在不增加参数量情况下完成特征图融合,同时通过K-means聚类方法得到默认框的最佳长宽比并重新设置其尺寸。实验结果表明,该算法的检测平均精度均值在PASCAL VOC2007公共数据集和自制航拍小目标数据集上分别为82.3%和87.6%,较改进前SSD算法分别提升5.1个百分点和9.5个百分点,检测速度达到58 frames/s,可有效实现小目标的实时性检测。     

改进YOLOv5s的无人机视角下小目标检测算法

无人机视角的小目标图像具有目标分布密集、类别不均衡以及特征不明显的特点，导致目标检测任务中出现漏检、误检的问题。针对这些问题，提出一种改进YOLOv5s小目标检测方法，以达到提高目标检测准确率与精确度的目的。重新聚类锚框，更精确地锁定检测区域。更改骨干网络结构，在空间金字塔池化层增加卷积，保证充分获取检测目标特征。同时，将网络结构中的C3模块替换成融合通道注意力机制的轻量级SEC2f模块，以提升网络对于小目标检测的局部特征捕获能力。融合解耦检测头，结合自适应锚框计算，有效提取目标区域的特征。在相同参数、相同环境条件下，在DOTA数据集上和VisDrone数据集上检测精度分别提升6.1%、5.2%，表明改进方法在小目标检测任务上的有效性；在公开数据集voc2007+2012上做通用性对比实验，结果表明改进算法具有通用性。     

基于多视角学习策略的手部姿态估计

手部姿态估计在人机交互、手功能评估、虚拟现实和增强现实等应用中发挥着重要作用, 为此本文提出了一种新的手部姿态估计方法, 以解决手部区域在大多数图像中占比较小和已有单视图关键点检测算法无法应对遮挡情况的问题. 所提方法首先通过引入Bayesian卷积网络的语义分割模型提取手部目标区域, 在此基础上针对手部定位结果, 利用所提基于注意力机制和级联引导策略的新模型以获得较为准确的手部二维关键点检测结果.然后提出了一种利用立体视觉算法计算关键点深度信息的深度网络, 并在深度估计中提供视角自学习的功能. 该方式以三角测量为基础, 利用RANSAC算法对测量结果进行校准. 最后经过多任务学习和重投影训练对手部关键点的3D检测结果进行优化, 最终提取手部关键点的三维姿态信息. 实验结果表明: 相比于已有的一些代表性人手区域检测算法, 本文方法在人手区域检测上的平均检测精度和运算时间上有一定的改善. 此外, 从本文所提姿态估计方法与已有其他方法的平均端点误差(EPE_mean)和PCK曲线下方面积(AUC)这些指标的对比结果来看, 本文方法的关键点检测性能更优, 因而能获得更好的手部姿态估计结果.     

基于轻量级网络的实时人体关键点检测算法

为提升人体姿态估计在移动终端设备上的运行速度与实时性,提出一种改进的人体关键点检测算法。通过将MobileNetV2轻量级主干网络与深度可分离卷积模块相结合加速特征提取过程,使用精炼网络进行多尺度人体关键点预测,并利用融合网络整合多个尺度的预测结果得到最终人体关键点检测结果。实验结果表明,与传统CPM算法相比,该算法在网络模型参数量和浮点运算量明显减少的情况下PCKh@0.5仅下降0.1个百分点,具有较高的检测精度和较好的实时性。     

LDNet: Lightweight dynamic convolution network for human pose estimation

Lightweight implementation of existing human pose estimation networks limits the model representation capability, and it cannot effectively deal with problems such as changeable poses, complex backgrounds, and occlusion in practical applications. To address this problem, a lightweight human pose estimation network with dynamic convolution, called LDNet, is proposed in this study. First, we start from a lightweight feature extraction head to reduce the number of image preprocessing parameters. Then, we employ a high-resolution parallel subnetwork to predict precise keypoint heatmaps. To reduce the complexity due to high-resolution representations while maintaining good network performance, we propose a lightweight dynamic convolution. It can cope with changing human poses by adaptively learning different convolution parameters. Finally, to further exploit the relationship between the high-level semantic and spatial structure features for accurately locating different keypoints, we propose a keypoint refinement module based on our lightweight dynamic convolution to improve the keypoint detection and location results. Overall, accurate keypoint prediction results are obtained and compared with those of many existing networks, such as HRNet, the number of parameters is reduced by 82.1% and the calculation complexity is reduced by 47.9%. The model achieves an average precision of 73.5% and 88.7% on the COCO 2017 and MPII datasets, respectively. LDNet also shows good prediction accuracy and robustness on the CrowdPose dataset. The proposed network is superior to existing outstanding lightweight networks and is comparable to existing large-scale human pose estimation networks.     

轻量型高分辨率人体关键点检测改进研究

人体关键点检测任务作为一种像素级别的检测任务,深度学习方法通常采用高分辨率特征图表征方法来回归关键点以增强检测效果。针对该方法由于始终采用高分辨率表征导致的参数量过大、运算复杂度要求过高的问题,提出了两种轻量型基础网络模块为Gattneck模块与Gattblock模块,以HRNet（High-Resolution Network）为基础框架,构建出一种轻量型人体关键点检测网络GattNet（Ghost-attention Network）。通过引入线性变换生成冗余特征图与通道注意力机制对通道权重进行重分配对HRNet进行轻量化改进,使用该方法网络参数量下降41.5%,运算复杂度降低36.7%。在MS COCO（Microsoft Common Objects in Context）2017数据集上进行验证,实验结果表明所提出GattNet网络在保留精度的前提下有效降低了参数量与运算复杂度。     

基于改进RetinaNet的高铁无砟轨道板表面裂缝检测

针对高铁无砟轨道板表面裂缝尺度差异大、裂缝类别不平衡等问题,提出了基于改进RetinaNet的裂缝检测方法。为了缓解下采样与特征金字塔横向连接压缩而导致的细微信息丢失的问题,利用多级特征金字塔融合ResNet-50主干网络中提取的不同层次的深浅特征,实现了图像特征信息的充分表达;为了解决检测过程中表面裂缝的分类和定位置信度之间不匹配的问题,提出自适应锚点学习使锚点与网络模型同时进行优化,提高了对小尺度裂缝的检测精度;为了缓解裂缝类别不平衡对检测性能的影响,引入焦点损失函数（Focal Loss）作为分类损失函数,并在其中添加类平衡权重项因子,提升了对小类别裂缝的检测精度。实验结果表明,改进RetinaNet检测网络对高铁无砟轨道板不同类别的裂缝均获得了较好的效果,平均检测精度（mAP）达到72.58%,较之原始RetinaNet检测网络提高了3.60个百分点,有效实现了对不同尺度裂缝的准确检测。     

改进Faster R-CNN模型的CT图磨玻璃密度影目标检测

目的 针对Faster R-CNN （faster region convolutional neural network）模型在肺部计算机断层扫描（computed tomography，CT）图磨玻璃密度影目标检测中小尺寸目标无法有效检测与模型检测速度慢等问题，对Faster R-CNN模型特征提取网络与区域候选网络（region proposal network，RPN）提出了改进方法。方法 使用特征金字塔网络替换Faster R-CNN的特征提取网络，生成特征金字塔；使用基于位置映射的RPN产生锚框，并计算每个锚框的中心到真实物体中心的远近程度（用参数“中心度”表示），对RPN判定为前景的锚框进一步修正位置作为候选区域（region proposal），并将RPN预测的前景/背景分类置信度与中心度结合作为候选区域的排序依据，候选区域经过非极大抑制筛选出感兴趣区域（region of interest，RoI）。将RoI对应的特征区域送入分类回归网络得到检测结果。结果 实验结果表明，在新冠肺炎患者肺部CT图数据集上，本文改进的模型相比于Faster R-CNN模型，召回率（recall）增加了7%，平均精度均值（mean average precision，mAP）增加了3.9%，传输率（frames per second，FPS）由5帧/s提升至9帧/s。特征金字塔网络的引入明显提升了模型的召回率与mAP指标，基于位置映射的RPN显著提升了模型的检测速度。与其他最新改进的目标检测模型相比，本文改进的模型保持了双阶段目标检测模型的高精度，并拉近了与单阶段目标检测模型在检测速度指标上的距离。结论 本文改进的模型能够有效检测到患者肺部CT图的磨玻璃密度影目标区域，对小尺寸目标同样适用，可以快速有效地为医生提供辅助诊断。     

基于改进CenterNet的托盘定位方法

目前,托盘定位大多采用基于深度神经网络的目标检测算法,一般使用矩形框进行托盘定位,托盘中心点定位精度不高,且无法有效估计托盘水平方向.针对此问题,本文提出了基于关键点检测的托盘定位方法,通过检测托盘正面外轮廓的4个角点来定位托盘.首先,由于目前没有大规模的托盘数据集,使用迁移学习的方法,将CenterNet的人体姿态估计引入托盘定位任务.然后改进关键点分组方法,并提出关键点回归自适应补偿,提高关键点检测精度.在托盘关键点定位的基础上,提出基于几何约束的托盘中心点计算和托盘水平方向估计方法.本文方法与原CenterNet相比,托盘关键点定位指标AP^kp从0.352提高到0.728,托盘中心点定位精度指标ALP达到0.946,并且可以有效估计托盘水平方向,具有较高的实用价值.     

改进RetinaNet的轻量化工件检测算法研究

针对传统目标检测模型参数量巨大,制约算法部署与模型推理实时性的问题,提出一种基于改进RetinaNet检测模型的轻量化实时目标检测网络。使用MobileNet-V2代替RetinaNet模型中的ResNet骨干网络,降低整体模型的参数量;设计锚框引导采样机制,基于特征金字塔输出特征层生成感兴趣区域掩码,减少背景区域冗余锚框,降低后处理过程中的计算复杂度;引入GFocalLossV2损失函数统计预测边框分布特征,优化预测边框质量以及提升分类准确度。该模型在自制多类别工件数据集WP和Pascal VOC公开数据集上进行验证实验,改进模型的检测准确率分别达到99.5%、80.5%,检测速度分别达到39.8 FPS、38.3 FPS。实验结果表明,该轻量级目标检测模型能够实现实时检测,同时保证了检测精度。     

面向嵌入式平台的安全帽实时检测方法

针对当前基于深度学习的安全帽检测方法因结构复杂和计算量大,难以在嵌入端实现实时检测的问题,提出一种适用于嵌入式平台的轻量化安全帽实时检测方法.该方法以Tiny-YOLOv3检测网络为基础,通过改进特征提取网络和多尺度预测优化网络结构,引入空间金字塔池化模块丰富特征图的多尺度信息,采用K-means聚类算法确定适合安全帽...     

基于改进Faster R-CNN的瓶装饮料商品目标检测方法

该文以无人售货机售卖瓶装饮料商品为研究场景,提出一种基于改进Faster R-CNN算法的瓶装饮料商品目标检测方法.首先,采用残差网络ResNet-50进行特征提取,加深网络对目标特征的提取和学习的深度;然后,根据瓶装饮料商品形态学特征,增加区域建议网络(Regional Proposal Network)的锚框数量和...