改进多尺度特征融合的行人检测算法

针对图像中小尺寸行人目标检测识别率低的问题,提出一种基于改进多尺度特征融合的行人检测算法。首先,在原始YOLOv3模型的基础上将BN层融合到卷积层;其次,增加检测层,借鉴特征金字塔思想将高低层特征进行融合与预测;最后,利用线性尺度缩放的K-means聚类算法优化候选框,提高小尺寸行人检测效果。在INRIA行人数据集上的实验结果表明,改进算法准确率达到91.4%,与YOLOv3算法相比提高了3.4%;在复杂监控环境下也证明了所提算法的有效性。     

结合头部和整体信息的多特征融合行人检测

尺度过小或被遮挡是造成行人检测准确率降低的主要原因。由于行人头部不易被遮挡且其边界框包含的背景干扰较少,对此,该文提出一种结合头部和整体信息的多特征融合行人检测方法。首先,设计了一种具有多层结构的特征金字塔以引入更丰富的特征信息,融合该特征金字塔不同子结构输出的特征图从而为头部检测和整体检测提供有针对性的特征信息。其次,设计了行人整体与头部两个检测分支同时进行检测。然后,模型采用无锚框的方式从特征图中预测中心点、高度及偏移量并分别生成行人头部边界框和整体边界框,从而构成端到端的检测。最后,对非极大值抑制算法进行改进使其能较好地利用行人头部边界框信息。所提算法在CrowdHuman数据集和CityPersons数据集Reasonable子集上的漏检率分别为50.16%和10.1%,在Caltech数据集Reasonable子集上的漏检率为7.73%,实验表明所提算法对遮挡行人的检测效果以及泛化性能与对比算法相比得到一定的提升。     

融合子空间共享特征的多尺度跨模态行人重识别方法

跨模态行人重识别(Re-ID)是智能监控系统所面临的一项具有很大挑战的问题,现有的跨模态研究方法中主要基于全局或局部学习表示有区别的模态共享特征。然而,很少有研究尝试融合全局与局部的特征表示。该文提出一种新的多粒度共享特征融合(MSFF)网络,该网络结合了全局和局部特征来学习两种模态的不同粒度表示,从骨干网络中提取多尺度、多层次的特征,全局特征表示的粗粒度信息与局部特征表示的细粒度信息相互协同,形成更具有区别度的特征描述符。此外,为使网络能够提取更有效的共享特征,该文还针对网络中的两种模态的嵌入模式提出了子空间共享特征模块的改进方法,改变传统模态特征权重的特征嵌入方式。将该模块提前放入骨干网络中,使两种模态的各自特征映射到同一子空间中,经过骨干网络产生更丰富的共享权值。在两个公共数据集实验结果证明了所提方法的有效性,SYSU-MM01数据集最困难全搜索单镜头模式下平均精度mAP达到了60.62%。     

边缘信息引导多级尺度特征融合的显著性目标检测方法

针对基于FCN和U型网络架构的深度学习显著性目标检测方法提取的显著性图存在边界不清晰和结构不完整的问题,文中提出了一种基于边缘信息引导多级尺度特征融合网络(EGMFNet)。EGMFNet使用多通道融合残差块(RCFBlock)以嵌套的U型网络架构作为主干模型。同时,在网络的较低层级引入具有边缘信息引导的全局空间注意力模块(EGSAM)以增强空间特征及边缘特征。此外,在损失函数中引入了图像边界损失,用于提升显著性图的质量并在学习过程中保留更加清晰的边界。在四个基准数据集上进行实验,实验结果表明,文中方法的F值较典型方法提升1.5%、2.7%、1.8%和1.6%,验证了EGMFNet网络模型的有效性。     

复杂环境下多尺度行人实时检测方法

作为计算机视觉和图像处理研究领域中的经典课题,行人检测技术在智能驾驶、视频监控等领域中具有广泛的应用空间.然而,面对一些复杂的环境和情况,如阴雨、雾霾、被遮挡、照明度变化、目标尺度差异大等,常见的基于可见光或红外图像的行人检测方法的效果尚不尽如人意,无论是在检测准确率还是检测速度上.该文分析并抓住可见光和红外检测系统中...     

复杂环境下多尺度行人实时检测方法

作为计算机视觉和图像处理研究领域中的经典课题,行人检测技术在智能驾驶、视频监控等领域中具有广泛的应用空间.然而,面对一些复杂的环境和情况,如阴雨、雾霾、被遮挡、照明度变化、目标尺度差异大等,常见的基于可见光或红外图像的行人检测方法的效果尚不尽如人意,无论是在检测准确率还是检测速度上.该文分析并抓住可见光和红外检测系统中行人特征差异较大,但在不同环境中又各有优势的特点,并结合多尺度特征提取方法,提出一种适用于多样复杂环境下多尺度行人实时检测的方法——融合行人检测网络(FPDNet).该网络主要由特征提取骨干网络、多尺度检测和信息决策融合3个部分构成,可自适应提取可见光或红外背景下的多尺度行人.实验结果证明,该检测网络在多种复杂视觉环境下都具有较好的适应能力,在检测准确性和检测速度上均能满足实际应用的需求.     

基于双重注意力和多尺度特征融合的场景文本检测算法

本文提出了一种场景文本检测方法,用于应对复杂自然场景中文本检测的挑战。该方法采用了双重注意力和多尺度特征融合的策略,通过双重注意力融合机制增强了文本特征通道之间的关联性,提升了整体检测性能。在考虑到深层特征图上下采样可能引发的语义信息损失的基础上,提出了空洞卷积多尺度特征融合金字塔(dilated convolution multi-scale feature fusion pyramid structure, MFPN),它采用双融合机制来增强语义特征,有助于加强语义特征,克服尺度变化的影响。针对不同密度信息融合引发的语义冲突和多尺度特征表达受限问题,创新性地引入了多尺度特征融合模块(multi-scale feature fusion module, MFFM)。此外,针对容易被冲突信息掩盖的小文本问题,引入了特征细化模块(feature refinement module, FRM)。实验表明,本文的方法对复杂场景中文本检测有效,其F值在CTW1500、ICDAR2015和Total-Text 3个数据集上分别达到了85.6%、87.1%和86.3%。     

软伪标签和多尺度特征融合的行人重识别

传统无监督域自适应行人重识别算法,抑制伪标签噪声效果差、域间泛化能力弱。针对这些问题,提出了一种基于软伪标签和多尺度特征融合的无监督域自适应行人重识别算法。为抑制伪标签噪声,利用并行网络的预测值作为软标签,通过交叉校对方式对伪标签噪声进行纠偏,为无监督域自适应任务提供更鲁棒的软伪标签。为增强域间泛化能力,利用多尺度特征重构和哈达玛积特征融合方法对深浅特征层信息进行处理,实现源域数据到目标域的风格转换,并结合实例和批量归一化网络解决残差网络域自适应性差的问题,增强网络对源域和目标域的泛化能力。实验结果表明,所提算法在Market-to-Duke和Duke-to-Market无监督域自适应任务中都取得了较好的性能,明显优于相关算法。     

基于多尺度注意力特征融合CRNN的声音事件检测

针对声音事件检测中仅在时频维度使用注意力机制的局限性以及卷积层单一导致的特征提取不足问题,本文提出基于多尺度注意力特征融合的卷积循环神经网络(convolutional recurrent neural network,CRNN)模型,以提高声音事件检测性能.首先,提出多尺度注意力模块,实现对局部时频单元和全局通道特征...     

基于HOG和肤色特征的快速行人检测

为了解决单一HOG特征的行人检测方法容易造成的误检和漏检,进一步提高行人检测算法的准确率和速度,本文提出了基于多特征的行人检测算法,将HOG特征和人体重要的肤色特征相结合,使用adaboost算法进行特征学习。在INRIA行人数据集上进行测试,实验表明将HOG和肤色相结合将行人检测的识别率提高了8%,检测速度提高了近30%。     

基于DPM模型的行人检测技术的研究

在行人检测领域,当场景很复杂时,一般行人检测算法往往得不到很好的检测效果。比如在行人很多且靠的很近时,用基于梯度直方图的检测算法时,检测效果不是很好。由P.Felzenszwa提出一种以可变形部件模型为基础的检测算法,能够检测多样变化的目标类型并且在挑战Pascal目标检测中达到较高水平。该算法使用隐变量支持向量机,是一种在支持向量机基础上添加潜在变量而重新构建的支持向量机。本文提出了一种基于可变形部件模型的行人检测算法,通过建立多人体模板,在行人相互靠近有重叠的场景下有着很好的检测效果。     

一种基于运动分析的行人异常行为检测

提出了一种基于运动分析的行为检测方法,用于行人异常行为的检测.利用HSV色彩空间变换法抑制阴影,利用三帧法建立初始化背景模型.将所提取的连续三帧图像的背景像素进行填充融合以实现背景图像的重构,进而更新背景图像,最终完成背景图像的建立.将大津法(Otsu)和背景差分法进行融合以自适应检测前景目标,将目标区域的质心差值、矩...     

基于一阶和二阶聚合通道特征的实时行人检测

为了同时改善实时行人检测的误检率和检测速度,文中引入了二阶聚合通道特征(SOACF)来提高行人检测算法的性能,该算法主要基于图像中的一阶信息聚合通道特征(ACF)检测器,互补了ACF与SOACF的性能,并设计开发了一种加权非最大抑制合并算法。与ACF检测器相比,该合并检测器不仅在INRIA,Caltech和KITTI行人数据集上表现良好,而且在Caltech和KITTI数据集上的误检率分别降低了4%和2%,检测速度比基于ACF的CheckerBoards检测器快了近100倍。     

Shadow detection via multi-scale feature fusion and unsupervised domain adaptation

Shadow detection is significant for scene understanding. As a common scenario, soft shadows have more ambiguous boundaries than hard shadows. However, they are rarely present in the available benchmarks since annotating for them is time-consuming and needs expert help. This paper discusses how to transfer the shadow detection capability from available shadow data to soft shadow data and proposes a novel shadow detection framework (MUSD) based on multi-scale feature fusion and unsupervised domain adaptation. Firstly, we set the existing labeled shadow dataset (i.e., SBU) as the source domain and collect an unlabeled soft shadow dataset (SSD) as the target domain to formulate an unsupervised domain adaptation problem. Next, we design an efficient shadow detection network based on the double attention module and multi-scale feature fusion. Then, we use the global–local feature alignment strategy to align the task-related feature distributions between the source and target domains. This allows us to obtain a robust model and achieve domain adaptation effectively. Extensive experimental results show that our method can detect soft shadows more accurately than existing state-of-the-art methods.     

Weakly supervised semantic segmentation and optimization algorithm based on multi-scale feature model

In order to improve the accuracy of weakly-supervised semantic segmentation method,a segmentation and optimization algorithm that combines multi-scale feature was proposed.The new algorithm firstly constructs a multi-scale feature model based on transfer learning algorithm.In addition,a new classifier was introduced for category prediction to reduce the failure of segmentation due to the prediction of target class information errors.Then the designed multi-scale model was fused with the original transfer learning model by different weights to enhance the generalization performance of the model.Finally,the predictions class credibility was added to adjust the credibility of the corresponding class of pixels in the segmentation map,avoiding false positive segmentation regions.The proposed algorithm was tested on the challenging VOC 2012 dataset,the mean intersection-over-union is 58.8% on validation dataset and 57.5% on test dataset.It outperforms the original transfer-learning algorithm by 12.9% and 12.3%.And it performs favorably against other segmentation methods using weakly-supervised information based on category labels as well.     

融合注意力机制的轻量级摔倒检测

摔倒检测大都依靠传感器设备,此类方法受设备自身和环境因素影响较大,常常无法发挥该有的作用,同时,基于视觉的方法往往实时性较差,鲁棒性不强。针对上述问题,本文提出了一种鲁棒性强、能有效部署在嵌入式设备上的轻量化摔倒检测算法。以YOLOv5为基准模型,首先,融合轻量级注意力机制模块,使网络更关注要识别的目标区域,增强网络的识别精度。其次,使用模型压缩方法对模型进行剪枝,减小模型体积和计算量,使模型轻量化,以提高推理速度和便于部署在嵌入式设备中。最后,对剪枝后的模型进行知识蒸馏,在不提升模型复杂度的前提下提升模型的检测精度。实验结果表明：本文模型相较于基准模型,mAP增加了1.7%,召回率提高了1.2%,模型体积减小了79.1%,浮点运算量降低了70.9%。将本文模型部署在嵌入式设备Jetson Nano上,检测速率达到13.2 frame/s,基本满足实时性摔倒检测的要求。     

基于特征流融合的带噪语音检测算法

针对语音通话中语音段的起始检测性能不佳,检测语音连续性结构受到破坏的问题,提出了一种基于特征流融合的带噪语音检测算法。首先,根据语音特性分别提取时域特征流、谱图特征流和统计特征流;其次,利用不同的语音特征流分别对带噪音频中的语音段进行概率估测;最后,将各个特征流估测得到的语音估测概率进行加权融合,并利用隐马尔可夫模型对语音估测概率进行短时状态处理。通过对复合语音数据库在多类型噪声与不同信噪比条件下的性能测试表明,所提算法相对于基于贝叶斯与DNN分类器的基线模型相比,语音检测正确率分别提高了21.26%与11.01%,显著提高了目标语音的质量。