基于特征融合的自适应多尺度无锚框目标检测算法

为了提高 CenterNet 无锚框目标检测网络的目标检测能力,提出一种基于注意力特征融合和多尺度特征提取网络的改 进 CenterNet 目标检测网络。 首先,为了提升网络对多尺度目标的表达能力,设计了自适应多尺度特征提取网络,利用空洞卷积 对特征图进行重采样获取多尺度特征信息,并在空间维度上进行融合;其次,为了更好地融合语义和尺度不一致的特征,提出了 一种基于通道局部注意力的特征融合模块,自适应地学习浅层特征和深层特征之间的融合权重,保留不同感受域的关键特征信 息。 最后,通过在 VOC 2007 测试集上对本文算法进行验证,实验结果表明,最终算法的检测精度达到 80. 94%,相较于基线算法 CenterNet 提升了 3. 82%,有效提升了无锚框目标检测算法的最终性能     

融合语义特征网络的孪生网络目标跟踪算法

针对基于孪生网络的反向传播滤波器跟踪算法CFNet在遭遇相似物干扰或背景信息与前景目标相似的情况下容易导致模型漂移跟踪效果下降的情况,提出一种融合语义特征网络的孪生网络目标跟踪算法。在图像处理中,通过深度卷积神经网络的深层网络可以提取到丰富的语义信息,这些语义信息在目标发生相似物干扰、运动模糊、目标严重变形等情景时,对目标进行辨识是非常有用的。提出的算法在CFNet的原有网络结构上,增加一个语义特征网络,与CFNet的外观特征网络形成互补,两个特征网络的训练是独立的以保持两种特征的异质性,在得到各自的响应图后,通过计算这两个响应图的置信度来进行融合,提高了算法的判别能力。实验表明,与其它常用的5个算法相比,本文算法达到了最优,能够有效的跟踪目标。     

基于信息融合的运动目标跟踪算法

针对复杂背景下目标遮挡后跟踪不稳定的问题,提出了一种在粒子滤波框架下融合异类信息进行目标跟踪的算法.该方法建立了声源特征模型和颜色特征模型,在此基础上将声音信息和图像的颜色信息融合到粒子滤波跟踪算法中,通过粒子更新策略实现跟踪.实验结果表明与基于单一特征的跟踪算法相比均方误差降低了18.3%.在低信噪比情况下,该算法更...     

高频增强网络与FPN融合的水下目标检测

针对水下目标检测中目标对比度低以及水下图像多尺度问题，提出了高频增强网络与特征金字塔(FPN)融合的水下目标检测算法，以提高对水下目标边缘、轮廓信息以及目标底层信息的提取。首先引入八度卷积将卷积层的输出特征按频率分解，将主干网络提取到的特征图进行高、低频信息分离，鉴于水下目标的轮廓信息和噪声信息均包含于高频特征中，在高频信息通道中引入通道信息具有自适应增强特点的通道注意力机制，形成了一种高频增强卷积，以达到增强有用轮廓特征信息和抑制噪声的目的；其次，将增强的高频特征分量融入FPN的浅层网络中，提高原FPN对水下多尺度目标的特征表示能力，缓解多尺度目标漏检问题。最后，将所提方法与基线算法Faster R-CNN融合，在全国水下机器人大赛提供的数据集中进行实验。结果表明：改进算法识别准确率达到78.83%,相比基线提升2.61%,与其他类型目标检测算法相比，依然具备精度和实时检测优势，证明了从特征图频域角度提升前景和背景对比度的有效性。     

ECO 多特征融合目标工件跟踪方法研究

针对复杂环境中目标工件跟踪精度不高的问题,提出了一种基于ECO改进的目标工件跟踪方法.首先基于ECO相关滤波器框架,采用VGG特征与传统手工特征加权融合的方法,有效提高目标工件跟踪精度;然后,利用快速判别尺度空间跟踪器实现对目标工件的尺度自适应跟踪;最后,引入一种高置信度更新指标确定跟踪模型的稀疏更新策略,提高算法鲁棒性.在OTB-2015标准数据集上进行测试,并与其他主流跟踪算法进行对比,实验结果表明,该算法的平均跟踪精度和平均重叠精度均为最优,分别达到89.2％和68.6％;对于使用CCD工业相机拍摄的目标工件数据集,同样具备良好的跟踪性能,进一步验证了算法有效性.     

基于双通道混合网络融合支持向量机的电容层析成像流型辨识

针对两相流流型辨识精度低的问题,提出一种基于双通道混合网络融合支持向量机的流型辨识算法。通过多尺度卷积核对电容向量进行多尺度特征提取丰富特征层信息,利用压缩激励网络(squeeze-and-excitation networks,SENet)关注卷积核通道上重要特征张量,调整各通道的重要占比,此外引入多头自注意力机制对电容向量的深度特征进行学习。将带有SENet的多尺度卷积通道与多头自注意力通道进行特征融合形成双通道辨识模型,最后将双通道模型有效捕捉到的电容向量特征的特征送入支持向量机中进行训练并测试。仿真实验结果表明,相比于BP神经网络、SVM、1DCNN算法,所提算法在流型辨识中的平均辨识率显著提升,高达98.6%。     

基于ISPF与异类信息融合的视觉目标跟踪

以监控系统为研究背景,引入了一种基于图像多特征信息融合的ISPF跟踪算法。利用基于颜色信息的模板匹配作为底层跟踪,通过分析目标轮廓的运动信息抽取具有特殊权重的中心粒子,并利用该粒子限制和引导底层跟踪的结果。由于融合了图像的颜色信息和运动信息,从而提高了跟踪精度,仿真结果表明该方法比利用单一信息的视觉跟踪更具优越性。     

基于强化特征学习和表达策略的孪生网络跟踪算法

针对基于全卷积孪生网络跟踪算法在面对相似物干扰、光照变化等复杂环境时容易出现跟踪漂移的问题，本文在分析与实验基础上提出如下特征强化策略。首先，将改良的深度卷积神经网络VGG16引入跟踪框架来提高模型的特征学习能力；其次，针对单一特征无法充分描述目标信息，且对干扰物比较敏感的问题，本文设计一种特征增强模块，由浅至深融合不同层次语义信息来提高特征的表达能力；最后，提出一种轻量级的三元注意力机制，帮助模型自适应关注优势特征，进一步提高了模型在复杂环境下的鲁棒性。将上述策略应用到全卷积孪生网络算法上取得了显著的效果。在OTB100数据集上，本文算法成功率曲线下面积较基准算法提升了15.1%，距离精度提升了16.3%，在复杂环境下也能对目标进行有效跟踪。     

多特征融合与卡尔曼预测的车辆跟踪算法

为了解决道路中背景光照变化和部分遮挡条件下单特征跟踪失败的问题,提出了一种基于多特征融合与卡尔曼预测的车辆跟踪算法。多特征融合包括：跟踪车辆的颜色、边缘、纹理,使用颜色直方图描述颜色分布情况,使用具有旋转不变性的局部二值模式(LBP)描述纹理分布特征,使用改进的Canny算子计算边缘分布信息,建立特征融合函数,利用平均峰值相关能量构造本次跟踪的最佳特征描述。在车辆跟踪过程中相邻两帧之间的特征匹配大于设定阈值时,判定有遮挡,跟踪中断,使用卡尔曼滤波预测当前位置,最后通过不同的实验证明了算法的有效性。     

基于分割注意力的特征融合 CNN-Bi-LSTM 人体行为识别算法

针对传统人体行为识别算法不能有效抑制空间背景信息,网络间缺乏信息交互,以及无法对全局时间相关性进行建模的问题,提出一种基于分割注意力的特征融合卷积神经网络-双向长短时记忆网络(CNN-Bi-LSTM)人体行为识别算法。首先以一定采样率采样30帧图像,通过分割注意力网络提取图像的深度特征,并引入特征融合机制增强不同卷积层间的信息交互;然后将深度特征输入到Bi-LSTM网络对人体动作的长时时间信息建模,最后使用Softmax分类器对识别结果进行分类。相较于传统双流卷积网络,该算法在UCF101和HMDB51数据集上的准确率分别提高了6.6%和10.2%,有效提高了识别准确率。     

基于SIFT和感知哈希改进的CamShift跟踪算法

传统的CamShift仅使用目标的颜色直方图作为特征,因此在相似背景干扰、遮挡、高速运动等情况下容易出现跟踪不准确或丢失跟踪目标的现象。针对上述不足,提出了基于SIFT和感知哈希改进的CamShift跟踪算法。首先,将图像从RGB颜色空间转为HSV颜色空间,分别得出色调和饱和度直方图,并提取图像的边缘梯度直方图进行融合获得目标的融合直方图。其次在CamShift算法框架下得到最优候选目标,若候选目标与目标模板的Bhattacharyya距离大于阈值时,则使用改进的感知哈希算法进行最优候选目标的搜索。然后在下一帧搜索时,在目标和视频序列的高信息熵部分使用SIFT算法进行特征点的提取并匹配从而获取初始搜索窗口,若SIFT算法匹配失败,则使用卡尔曼滤波预测的搜索框作为初始搜索窗口。将该算法首先在OTB-100数据集上和其他常用的跟踪算法进行对比实验,实验结果表明算法能够准确地跟踪目标,跟踪成功率达到了90.1%。将该算法应用于人脸跟踪任务中,并与其他的人脸跟踪算法进行对比实验,实验结果表明该算法具有更好的性能和准确性,跟踪成功率达到了93.5%。     

An adaptive kernel‐based target tracking method based on multiple features fusion

A new adaptive kernel‐based target tracking method is proposed to improve the robustness and accuracy of target tracking in a complex background. A linear weighted combination of three kernel functions of scale‐invariant feature transform (SIFT), color, and motion features is applied to represent the probability distribution of the tracked target. Appearance and motion features are combined to enhance the target region location stability and accuracy. The size of the tracking window can be adjusted in real time according to the affine transform parameters of the corresponding SIFT couples. The weights of three kernel functions are also adaptively turned according to the scene, in order to better extract the features. Experiments demonstrate that the proposed algorithm can track the moving target successfully in different scenarios. Moreover, it can handle target pose, scale, orientation, view, and illumination changes, and its performance is better than that of the classic Camshift algorithm, SIFT‐based method, the and color SIFT‐based method. © 2011 Institute of Electrical Engineers of Japan. Published by John Wiley & Sons, Inc.     

基于位置感知和跨层特征融合的航拍小目标检测算法

针对航拍图像目标尺度小、背景复杂、漏检和误检严重,提出了一种基于位置感知和跨层特征融合的航拍小目标检测算法DC-YOLOv8s。DC-YOLOv8s新增小目标检测层,增强对小目标尺度的敏感性,提高检测精度。为了减少特征信息的丢失,设计了跨层特征融合模块,充分融合小目标浅层语义信息和深层语义信息,丰富特征表示。改进C2f结构,结合可变性卷积设计了基于位置感知融入残差的感受野注意力模块,适应航拍小目标形状的变化,快速提取感受野特征,降低漏检和误检率。最后使用基于注意力机制的动态检测头在尺度感知、空间感知、任务感知方面提高复杂场景下小目标的定位性能。实验表明,在VisDrone2019数据集上,DC-YOLOv8s在P、R、mAP上相较于YOLOv8s分别提高了7.2%、7.5%、9.1%,显著提高了小目标检测的性能,FPS为71帧,满足实时性要求。在VOC2007+2012上进行模型泛化性实验验证,效果优于其他经典算法。     

多尺度 Transformer的在线更新无锚框工件 跟踪方法研究

针对工业场景目标工件跟踪任务精度低、失败率高的问题,提出了多尺度Transformer在线更新的工件跟踪算法。首先,采用Transformer特征金字塔结构,融合多层次特征信息,以实现鲁棒的对目标表观建模;其次,使用Transformer模块对高级语义信息进行特征融合,使得网络模型专注于目标工件本身;然后,提出了基于排序的交并化(IoU)损失函数优化策略,有效地抑制干扰物对跟踪器影响;最后,设计一种在线更新策略更新目标模板,增强网络的鲁棒性。实验结果表明,在VOT-2018上准确率和失败率分别比基准跟踪器提高3.8%和4.1%,且能保持53 fps的实时跟踪速度;在LaSOT数据集上精度与成功率别为0.578和0.573,均优于基准跟踪器。通过CCD工业相机采集视频序列验证算法可以准确且鲁棒的跟踪目标工件。     

改进 MOSSE 的小面积滑动指纹图像追踪算法

随着指纹传感器采集的指纹图像趋向于小型化,指纹图像所包含的指纹特征信息越来越少。针对传统模板匹配算法在处理小面积滑动指纹时计算量大、精度不理想、抗干扰能力差等问题,本文提出一种基于MOSSE的改进滑动指纹追踪算法。改进MOSSE算法使用多输入,将灰度特征与HOG特征在响应层加权融合,并引入Fourier-Mellin算法、加汉宁窗用以处理发生旋转的指纹。通过多种算法对小面积指纹进行跟踪的结果进行对比,表明本算法继承了原MOSSE算法的优点,并提高了指纹匹配精度,对正常图像匹配精度为99%,对含噪声图像匹配精度为90.3%,每帧均值计算时间为0.103 6 s,保证了指纹追踪的实时性,鲁棒性强,对产生形变和旋转的指纹图像也能进行很好的跟踪。     

基于多特征匹配的轻量化行人跟踪算法研究

行人跟踪是深度学习研究中的热点内容。目前的跟踪算法存在无法满足实时性和因跟踪目标相似度太高、目标间的遮挡、运动不规律造成ID频繁转换的问题。为了提高运行速度,在目标检测阶段使用CNN和transformer相结合的轻量化网络,采用联合检测的方式,共享特征权重,并行计算检测、重识别、人体姿态估计分支,同时调整各个分支卷积通道数。跟踪部分则利用卡尔曼滤波预测的目标运动信息,目标重识别信息,和目标姿态的各个关键点位置信息共同完成目标身份匹配,减少了同一ID的频繁转换。实验部分采用MOT16数据集训练和测试。本算法的多目标跟踪准确度(MOTA)为48.5%,多目标跟踪精确度(MOTP)为78.17%,FPS为20,模型大小为18.4M。实验表明,提出的跟踪算法提高了整体的跟踪性能,实时性和准确性达到了预期要求。