一种面向行人跌倒检测的改进YOLOv5算法

针对行人跌倒检测的应用场景复杂,原始YOLOv5的检测精度不高,特征融合不充分的问题,本文首先提出了一种新的特征金字塔(FPN)结构-自适应特征增强融合金字塔网络(AFEF-FPN)和特征增强融合模块(FFEM)来增加特征的表示以及融合深度.其次使用基于全局语义信息的上采样算子CARAFE代替Nearest Upsample来建模全局上采样信息,使用Alpha IoU Loss代替CIoU Loss来提高High IoU目标的损失和回归精度.最终本文网络YOLOv5(AFEF-FPN)在训练集上取得了98.62%mAP,在测试集上取得了96.21%mAP,相比于原始YOLOv5网络在训练集和测试集上分别提升了1.64%和2.86%.实验表明,本文网络在复杂场景下的目标检测效果优于原始YOLOv5及其他网络.     

深度学习语义分割方法在遥感影像分割中的性能分析

针对如何应用深度学习语义分割方法实现遥感影像高性能分割的问题,选择了当前流行的SegNet、PSPnet以及Deeplabv3+三种基于深度学习语义分割算法,利用南方某区域无人机高分辨率遥感影像中4类要素分割为实验,以总体精度、平均精度及平均交并比（MIoU）作为精度衡量指标,全面对比分析了三种算法的精度。结果表明,在迁移学习支持下,三种算法总体精度可提升2至5个百分点。通过对PSPNet算法运用不同骨干网络,验证了不同结构网络对精度的贡献,优选出复杂度低的骨干网络。采用集成学习的思路,利用投票法对多算法模型进行结果融合可提升总体精度1%左右。三种算法对植被及水体的分割效果均要优于建筑物及道路,其中Deeplabv3+算法精度最高,总体精度达到89.3%,MIoU达到80.4%,可实现要素的鲁棒分割。     

水下声呐图像轻量级目标检测模型

水下AUV搭载声呐进行探测成为水下目标检测的主流方式，水下环境的复杂及声呐成像方式导致声呐图像分辨率较低，使用形态学目标检测等传统方法时检测精度与实时性不高，深度学习如YOLO等算法直接用于水下声呐图像目标检测时仍然面临样本少、模型参数多等挑战，为此，本文提出一种声呐图像水下目标轻量化检测模型。针对低分辨率声呐图像数据特点以及水下AUV自动检测对实时性的要求，以YOLOv4模型为主要框架，进行模型裁剪、替换优化特征融合模块、目标预测框K均值聚类以及改进损失函数等，将构建的检测模型应用于声呐目标检测。所构建的声呐图像水下目标检测轻量化模型的mAP相对于SSD、YOLOv3、YOLOv3-DFPIN、YOLOv4-tiny分别提高了0.0659、0.0214、.0402和0.1701。在mAP相较于YOLOv4、CenterNet、EfficientdetD0分别低0.0186、0.0093、0.0074的情况下，FPS分别相对于YOLOv4提升一倍多、相对于EfficientdetD0提升近5倍、相对于CenterNet提升近一倍。同时，本文提出的模型兼具高精度和实时性的优点。实验结果表...     

一种交叉区域注意力的高分辨率遥感建筑物提取算法

针对遥感图像中建筑物区域尺度跨度大且区域边界模糊导致分割精度低的问题,本文提出了一种基于交叉区域注意力的遥感建筑物分割算法.首先,设计了交叉自注意力模块和分组通道注意力模块用于建立遥感图像区域间和区域内特征的相关性表征,进而引导模型关注待分割目标的区域级细节特征与通道组选择能力;最后,针对分割结果缺乏空间相关性约束问题,提出一种区域一致性监督的损失函数,约束局部区域内像素标签分配的一致性.所提算法在WHU数据集上IoU、Precision、Recall、F1-score分别可达到91.2%、 95.28%、95.4%和95.3%;在Massachusetts数据集上IoU、Precision、Recall、F1-score分别可达到74.6%、83.7%、86.9%和85.3%,各项指标均优于主流遥感图像建筑物分割算法.     

基于ECA的YOLOv5水下鱼类目标检测

针对水下图像模糊、颜色失真,水下场景环境复杂、目标特征提取能力有限等导致的水下鱼类目标检测精确度低的问题,提出一种基于YOLOv5的改进水下鱼类目标检测算法.首先,针对水下图像模糊、颜色失真的问题,引入水下暗通道优先(underwater dark channel prior, UDCP)算法对图像进行预处理,有助于在不同环境下正确识别目标;然后,针对水下场景复杂、目标特征提取能力有限问题,在YOLOv5网络中引入高效的相关性通道(efficient channel attention, ECA),增强对目标的特征提取能力;最后,对损失函数进行改进,提高目标检测框的准确度.通过实验证明改进后的YOLOv5在水下鱼类目标检测中精确度比原始的YOLOv5提高了2.95%,平均检测精度(mAP@0.5:0.95)提高了5.52%.     

室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本。针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络。该网络通过与特征提取网络级联获得更深层次的语义特征,并且融合浅层特征与深层语义特征获得更丰富的图像特征,其结合深度可分离卷积与多尺度膨胀卷积提取多尺度图像特征,减少了模型的参数量与计算量,同时利用通道注意力机制提升特征加权时的网络分割精度。以512像素×512像素的图像作为输入进行实验,结果表明,该算法在NYUDv2室内场景分割数据集和CamVid数据集上的MIoU分别达到72.7%和59.9%,模型计算力为4.2 GFLOPs,但参数量仅为8.3 Mb,在移动机器人NVIDIA Jetson XavierNX嵌入式平台帧率可达到42 frame/s,其实时性优于DeepLabV3+、PSPNet、SegNet和UNet算法。     

改进YOLOv5的小目标交通标志实时检测算法

在真实场景下准确实时检测小目标交通标志对自动驾驶有重要意义,针对YOLOv5算法检测小目标交通标志精度低的问题,提出一种基于改进YOLOv5的小目标交通标志实时检测算法。借鉴跨阶段局部网络思想,在YOLOv5的空间金字塔池化上设置新的梯度路径,强化特征提取能力;在颈部特征融合中增设深、浅卷积特征的可学习自适应权重,更好地融合深层语义和浅层细节特征,提高小目标交通标志的检测精度。为验证所提算法的优越性,在TT100K交通标志数据集上进行了实验验证。实验结果表明所提算法在小目标交通标志上的平均精度均值（mean average precision,mAP）为77.3%,比原始YOLOv5提升了5.4个百分点,同时也优于SSD、RetinaNet、YOLOX、SwinTransformer等算法的检测结果。所提算法的运行速度为46.2 frame/s,满足检测实时性的要求。     

改进YOLOv3-SPP水下目标检测研究

针对水下目标检测任务中图像模糊、背景复杂以及目标小而导致误检和漏检问题,提出一种改进YOLOv3-SPP的水下目标检测算法。利用UWGAN网络对水下原始图像进行恢复,采用Mixup方法增强数据,减少错误标签记忆;以YOLOv3-SPP网络结构为基础,增加网络预测尺度,提高小目标检测性能;引入CIoU边框回归损失,提高定位精度;利用K-Means++聚类算法,筛选最佳Anchor box。将改进YOLOv3-SPP算法在处理后的URPC数据集上进行实验,平均检测精度由79.58%提升到88.71%,速度为28.9 FPS。结果表明,改进算法综合检测能力优于其他算法。     

基于改进YOLOv5s电动车头盔的自动检测与识别

针对目前电动车头盔小目标检测的精度低、鲁棒性差,相关系统不完善等问题,提出了基于改进YOLOv5s的电动车头盔检测算法。所提算法引入卷积块注意力模块（CBAM）和协调注意力（CA）模块,采用改进的非极大值抑制（NMS）,即DIoU-NMS(Distance Intersection over Union-Non Maximum Suppression);同时增加多尺度特征融合检测,并结合密集连接网络改善特征提取效果;最后,建立了电动车驾驶人头盔检测系统。在自建的电动车头盔佩戴数据集上,当交并比（IoU）为0.5时,所提算法的平均精度均值（mAP）比原始YOLOv5s提升了7.1个百分点,召回率（Recall）提升了1.6个百分点。实验结果表明,所提改进的YOLOv5s算法更能满足在实际情况中对电动车及驾驶员头盔的检测精度要求,一定程度上降低了电动车交通事故的发生率。     

基于几何适应与全局感知的遥感图像目标检测算法

针对遥感图像目标尺寸小、目标方向任意和背景复杂等问题，在YOLOv5算法的基础上，提出一种基于几何适应与全局感知的遥感图像目标检测算法。首先，将可变形卷积与自适应空间注意力模块通过密集连接交替串联堆叠，在充分利用不同层级的语义和位置信息基础上，构建一个能够建模局部几何特征的密集上下文感知模块（DenseCAM）；其次，在骨干网络末端引入Transformer，以较低的开销增强模型的全局感知能力，实现目标与场景内容的关系建模。在UCAS-AOD和RSOD数据集上与YOLOv5s6算法相比，所提算法的平均精度均值（mAP）分别提高1.8与1.5个百分点。实验结果表明，所提算法能够有效提高遥感图像目标检测的精度。     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

Categorization of Multiple Objects in a Scene Using a Biased Sampling Strategy

Recently, various bag-of-features (BoF) methods show their good resistance to within-class variations and occlusions in object categorization. In this paper, we present a novel approach for multi-object categorization within the BoF framework. The approach addresses two issues in BoF related methods simultaneously: how to avoid scene modeling and how to predict labels of an image when multiple categories of objects are co-existing. We employ a biased sampling strategy which combines the bottom-up, biologically inspired saliency information and loose, top-down class prior information for object class modeling. Then this biased sampling component is further integrated with a multi-instance multi-label leaning and classification algorithm. With the proposed biased sampling strategy, we can perform multi-object categorization within an image without semantic segmentation. The experimental results on PASCAL VOC2007 and SUN09 show that the proposed method significantly improves the discriminative ability of BoF methods and achieves good performance in multi-object categorization tasks.     

渐进式前景更新和区域关联的图像协同分割

目的 图像协同分割技术是通过多幅参考图像以实现前景目标与背景区域的分离，并已被广泛应用于图像分类和目标识别等领域中。不过，现有多数的图像协同分割算法只适用于背景变化较大且前景几乎不变的环境。为此，提出一种新的无监督协同分割算法。方法 本文方法是无监督式的，在分级图像分割的基础上通过渐进式优化框架分别实现前景和背景模型的更新估计，同时结合图像内部和不同图像之间的分级区域相似度关联进一步增强上述模型估计的鲁棒性。该无监督的方法不需要进行预先样本学习，能够同时处理两幅或多幅图像且适用于同时存在多个前景目标的情况，并且能够较好地适应前景物体类的变化。结果 通过基于iCoseg和MSRC图像集的实验证明，该算法无需图像间具有显著的前景和背景差异这一约束，与现有的经典方法相比更适用于前景变化剧烈以及同时存在多个前景目标等更为一般化的图像场景中。结论 该方法通过对分级图像分割得到的超像素外观分布分别进行递归式估计来实现前景和背景的有效区分，并同时融合了图像内部以及不同图像区域之间的区域关联性来增加图像前景和背景分布估计的一致性。实验表明当前景变化显著时本文方法相比于现有方法具有更为鲁棒的表现。     

全卷积语义分割与物体检测网络

目的 目前主流物体检测算法需要预先划定默认框,通过对默认框的筛选剔除得到物体框。为了保证足够的召回率,就必须要预设足够密集和多尺度的默认框,这就导致了图像中各个区域被重复检测,造成了极大的计算浪费。提出一种不需要划定默认框,实现完全端到端深度学习语义分割及物体检测的多任务深度学习模型（FCDN）,使得检测模型能够在保证精度的同时提高检测速度。方法 首先分析了被检测物体数量不可预知是目前主流物体检测算法需要预先划定默认框的原因,由于目前深度学习物体检测算法都是由图像分类模型拓展而来,被检测数量的无法预知导致无法设置检测模型的输出,为了保证召回率,必须要对足够密集和多尺度的默认框进行分类识别;物体检测任务需要物体的类别信息以实现对不同类物体的识别,也需要物体的边界信息以实现对各个物体的区分、定位;语义分割提取了丰富的物体类别信息,可以根据语义分割图识别物体的种类,同时采用语义分割的思想,设计模块提取图像中物体的边界关键点,结合语义分割图和边界关键点分布图,从而完成物体的识别和定位。结果 为了验证基于语义分割思想的物体检测方法的可行性,训练模型并在VOC（visual object classes）2007 test数据集上进行测试,与目前主流物体检测算法进行性能对比,结果表明,利用新模型可以同时实现语义分割和物体检测任务,在训练样本相同的条件下训练后,其物体检测精度优于经典的物体检测模型;在算法的运行速度上,相比于FCN,减少了8 ms,比较接近于YOLO（you only look once）等快速检测算法。结论 本文提出了一种新的物体检测思路,不再以图像分类为检测基础,不需要对预设的密集且多尺度的默认框进行分类识别;实验结果表明充分利用语义分割提取的丰富信息,根据语义分割图和边界关键点完成物体检测的方法是可行的,该方法避免了对图像的重复检测和计算浪费;同时通过减少语义分割预测的像素点数量来提高检测效率,并通过实验验证简化后的语义分割结果仍足够进行物体检测任务。     

融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

融合T节点线索的图像物体分割

目的 图像分割是计算机视觉、数字图像处理等应用领域首要解决的关键问题。针对现有的单幅图像物体分割算法广泛存在的过分割和过合并现象,提出基于图像T型节点线索的图像物体分割算法。方法 首先,利用L0梯度最小化方法平滑目标图像,剔除细小纹理的干扰;其次,基于Graph-based分割算法对平滑后图像进行适度分割,得到粗糙分割结果;最后,借助于图像中广泛存在的T型节点线索对初始分割块进行区域合并得到最终优化分割结果。结果 将本文算法分别与Grabcut算法及Graph-based算法在不同场景类型下进行了实验与对比。实验结果显示,Grabcut算法需要人工定位边界且一次只能分割单个物体,Graph-based算法综合类内相似度和类间差异性,可以有效保持图像边界,但无法有效控制分割块数量,且分割结果对阈值参数过分依赖,极易导致过分割和过合并现象。本文方法在降低过分割和过合并现象、边界定位精确性和分割准确率方面获得明显改进,几组不同类型的图片分割准确率平均值达到91.16%,明显由于其他算法。处理图像尺寸800×600像素的图像平均耗时3.5 s,较之其他算法略有增加。结论 与各种算法对比结果表明,该算法可有效解决过分割和过合并问题,对比实验结果验证了该方法的有效性,能够取得具有一定语义的图像物体分割结果。     

Shape-Based Mutual Segmentation

We present a novel variational approach for simultaneous segmentation of two images of the same object taken from different viewpoints. Due to noise, clutter and occlusions, neither of the images contains sufficient information for correct object-background partitioning. The evolving object contour in each image provides a dynamic prior for the segmentation of the other object view. We call this process mutual segmentation. The foundation of the proposed method is a unified level-set framework for region and edge based segmentation, associated with a shape similarity term. The suggested shape term incorporates the semantic knowledge gained in the segmentation process of the image pair, accounting for excess or deficient parts in the estimated object shape. Transformations, including planar projectivities, between the object views are accommodated by a registration process held concurrently with the segmentation. The proposed segmentation algorithm is demonstrated on a variety of image pairs. The homography between each of the image pairs is estimated and its accuracy is evaluated.     

基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题，导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法，将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中，使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题，在分析“词汇”顺序对自注意力机制计算结果影响的基础上，利用希尔伯特曲线遍历设计新的图像降维算法，并将该算法加入到空间自注意力模块中，以提高其计算能力。仿真实验结果表明，该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高，小目标与物体边缘分割更加精细，其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%，较基准算法分别提升了0.68、1.35个百分点。     

Multi-object trajectory tracking

The majority of existing tracking algorithms are based on the maximum a posteriori solution of a probabilistic framework using a Hidden Markov Model, where the distribution of the object state at the current time instance is estimated based on current and previous observations. However, this approach is prone to errors caused by distractions such as occlusions, background clutters and multi-object confusions. In this paper, we propose a multiple object tracking algorithm that seeks the optimal state sequence that maximizes the joint multi-object state-observation probability. We call this algorithm trajectory tracking since it estimates the state sequence or “trajectory” instead of the current state. The algorithm is capable of tracking unknown time-varying number of multiple objects. We also introduce a novel observation model which is composed of the original image, the foreground mask given by background subtraction and the object detection map generated by an object detector. The image provides the object appearance information. The foreground mask enables the likelihood computation to consider the multi-object configuration in its entirety. The detection map consists of pixel-wise object detection scores, which drives the tracking algorithm to perform joint inference on both the number of objects and their configurations efficiently. The proposed algorithm has been implemented and tested extensively in a complete CCTV video surveillance system to monitor entries and detect tailgating and piggy-backing violations at access points for over six months. The system achieved 98.3% precision in event classification. The violation detection rate is 90.4% and the detection precision is 85.2%. The results clearly demonstrate the advantages of the proposed detection based trajectory tracking framework.     

特征点维度的静态场景三维重建运动目标剔除

基于语义分割的图像掩膜方法常用来解决静态场景三维重建任务中运动物体的干扰问题,然而利用掩膜成功剔除运动物体的同时会产生少量无效特征点.针对此问题,提出一种在特征点维度的运动目标剔除方法,利用卷积神经网络获取运动目标信息,并构建特征点过滤模块,使用运动目标信息过滤更新特征点列表,实现运动目标的完全剔除.通过采用地面图像和航拍图像两种数据集以及DeepLabV3、YOLOv4两种图像处理算法对所提方法进行验证,结果表明特征点维度的三维重建运动目标剔除方法可以完全剔除运动目标,不产生额外的无效特征点,且相较于图像掩膜方法平均缩短13.36%的点云生成时间,减小9.93%的重投影误差.