基于虚拟属性学习的文本-图像行人检索方法

文本-图像行人检索旨在从行人数据库中查找符合特定文本描述的行人图像.近年来受到学术界和工业界的广泛关注.该任务同时面临两个挑战:细粒度检索以及图像与文本之间的异构鸿沟.部分方法提出使用有监督属性学习提取属性相关特征,在细粒度上关联图像和文本.然而属性标签难以获取,导致这类方法在实践中表现不佳.如何在没有属性标注的情况下提取属性相关特征,建立细粒度的跨模态语义关联成为亟待解决的关键问题.为解决这个问题,融合预训练技术提出基于虚拟属性学习的文本-图像行人检索方法,通过无监督属性学习建立细粒度的跨模态语义关联.第一,基于行人属性的不变性和跨模态语义一致性提出语义引导的属性解耦方法,所提方法利用行人的身份标签作为监督信号引导模型解耦属性相关特征.第二,基于属性之间的关联构建语义图提出基于语义推理的特征学习模块,所提模块通过图模型在属性之间交换信息增强特征的跨模态识别能力.在公开的文本-图像行人检索数据集CUHK-PEDES和跨模态检索数据集Flickr30k上与现有方法进行实验对比,实验结果表明了所提方法的有效性.     

基于候选区域和并行卷积神经网络的行人检测

针对行人在部分自然场景图像中所占比例较小（以下简称小目标）,提取的特征容易丢失,检测准确率低的问题,提出基于候选区域和并行卷积神经网络（Parallel Convolutional Neural Network,PCNN）的行人检测方法。对于候选区域提取部分,改进了选择性搜索,使其更符合行人这一类别的候选区域提取;利用Edge Boxes对选择性搜索提取的大量预候选区域进行过滤,最终得到数量少、质量高的候选区域。在利用卷积神经网络（Convolutional Neural Network,CNN）进行特征提取时,针对深层卷积神经网络能够提取到更丰富更抽象的高层特征,但同时对于小目标容易造成特征丢失的问题,加入浅层网络组成并行卷积神经网络（Parallel Convolutional Neural Network,PCNN）提取深、浅层特征输出。最后将所提方法应用于行人检测,实验结果表明,所提方法对于小目标的检测准确率有较好的提升。     

结合网格密度聚类的行人检测候选域生成

目的 行人检测是计算机视觉领域中的重点研究问题。经典的可变形部件模型（DPM）算法在行人检测领域素有高检测精度的优点,但由于在构建特征金字塔前处理过多召回率低的候选区域,导致计算速度偏慢,严重影响系统的实时性。针对该问题,本文对模型中选取候选检测区域的流程进行了改进,提出一种结合网格密度聚类算法和选择性搜索算法的行人检测候选对象生成方法来改进DPM模型。方法 首先使用三帧差法和高斯混合模型收集固定数量的运动物体坐标点,然后结合基于网格密度的聚类算法构建网格坐标模型,生成目标频繁运动区域,同时进行动态掩层处理。随后引入改进的选择性搜索算法,结合支持向量机（SVM）训练得到的行人轮廓宽高比,提取该区域中高置信度的行人候选检测窗口,从而排除大量冗余的区域假设,完成对候选行人检测区域的精筛选,最后融合至DPM算法进行行人检测。结果 所提方法在PETS 2009 Bench-mark数据集上进行检测,实验结果表明,该方法对复杂背景下的检测有较强的稳定性,与传统DPM模型相比,精度提高了1.71%、平均对数漏检率降低2.2%、检测速度提高为3.7倍左右。结论 本文提出一种基于网格密度聚类的行人检测候选域生成算法,能够有效表达行人信息,与其他行人检测算法相比,有更好的精度和更快的速度,在检测率、检测时间方面均有提高,能够实现有效、快速的行人检测,具有实际意义。     

基于深度学习与属性学习相结合的行人再识别

现实情况中缺少大量有标签数据,导致有监督的行人再识别模型训练受到影响。此外,低层特征的缺乏语义特性限制了行人再识别在行人检索、罪犯追踪等中的应用。本文提出了一种基于深度学习与属性学习相结合的行人再识别方法,利用深度学习的无监督模型提取行人图像的本质特征,并引入"属性"概念增强特征的语义表达能力。首先采用卷积自动编码器进行无监督的特征提取,提取的特征然后交由多个属性分类器进行属性分类,并结合统计获得的属性类别映射关系表计算最终类别判定,最后在VIPeR和i-LIDS标准数据集上进行了测试,并与基于优化属性的行人再识别方法（Optimized attribute based re-identification,OAR）、显著性检测对应法（Salience detection correspondence,SDC）等进行了比较,结果表明本方法能够赋予行人再识别较好的语义性能,并在一定程度上提高了识别的准确率,同时获得了较好的零训练样本识别效果。     

多特征协同的双层组合结构行人监控识别方法

在对公共场所人流量统计的过程中,为了有效解决因行人遮挡、粘连所引发的在行人识别上的低检测率、高虚警率、实时性不足的缺点,对聚集型B-Haar特征和Edgelet特征协调进行特征提取,设计了双层组合结构行人识别模型。该模型的上层是在完全二叉树架构下结合局部二元模式改进的Haar特征(称作聚集型B-Haar特征),主管提取候选行人目标,确保较高的检测识别率;下层树状结构使用四分支串联树状结构,利用Edgelet特征并结合贝叶斯原理构建树状决策结构,对候选行人多部位检测然后判断候选目标是否为行人,实现降低虚警概率,保证实时性的目标。经过实验分析表明,所设计的多特征协同双层组合结构行人识别方法与传统的树状结构、串并联结构相比,在实时性、检测率和虚警率上具有明显的整体优势。     

结合运动信息与表观特征的行人检测方法

提出一种结合运动信息与表观特征的行人检测方法.在对通过表观检测子获得的候选检测窗口执行分割验证的框架中,将运动信息融入到基于图像序列的对象分割算法中,通过获取更准确的分割结果来提高对候选检测窗口的检测准确率.该方法利用运动信息更新运动对象的前景/背景分布模型,将颜色信息间接地融入行人检测中,并通过形状特征表现出来,与行人表观检测子形成互补的特性,获得更好的检测结果.上述结论在CAVIAR视频以及行人检测视频中得到了实验验证.     

基于随机森林的层次行人检测算法

针对视频和图像中快速、准确的行人检测问题,提出了一种分层次的、全局信息和局部信息相结合的行人检测算法.该方法以随机森林分类器为基础,利用图像金字塔模型融合行人的多层信息.首先,在低尺度空间利用主方向模板(DOT)特征和随机森林算法训练行人的全局分类器,第一层检测在低尺度空间中进行,找到行人的候选区域;然后,在高尺度空间提取图像块集合,基于部件随机森林训练行人的局部外观和几何约束模型;最后,基于上层的候选区域,在高尺度空间利用霍夫投票进行第二层精确检测.实验结果表明,该方法有更低的时间复杂度,并提升了行人检测的准确率,全局信息和局部信息的层次融合,能有效解决快速、准确的行人检测问题.     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。     

基于BING似物性检测的行人快速检测算法*

针对传统滑动窗行人检测速度慢、实时性差的问题,提出了一种基于似物性的行人快速检测算法。首先,算法通过提取正负训练样本的规范化二进制梯度特征,训练级联SVM分类器得到行人似物检测模型。然后利用尺寸调节和聚类算法对初始候选区域进行聚类融合,进一步优化行人候选窗口区域。最后,提取各候选区域的HOG特征并利用SVM分类器对其进行进一步行人检测。实验结果表明：本算法在保证行人检测率的同时在检测实时性上有明显提高。     

基于视觉选择性注意与IHOG-LBP特征组合 的行人目标快速检测

常规的行人目标检测方法往往以底层特征为基础,采用密集窗口扫描的分类检测模式,其计算资源开销大而难以满足快速性要求。本文引入视觉选择性注意计算进行目标候选区域定位,通过提取候选区域的积分有向梯度直方图IHOG (Integrated Histogram of Oriented Gradient)特征和局部二值模式LBP (Local Binary Patten)特征以形成组合优势,进而通过级联支持向量分类方式对区域内容进行分级检测,可快速得到可靠的行人目标检测结果。实验结果表明：本文方法可在保证检测率稳定的前提下,使检测速度得以大幅度提高,和常规的检测方法相比较具有突出的优势。     

改进的Faster RCNN煤矿井下行人检测算法

针对煤矿井下环境恶劣、光照差、背景混杂、行人模糊、行人多尺度等问题，提出了一种改进的Faster RCNN煤矿井下行人检测方法，使用深度卷积神经网络代替传统的手工设计特征方式自动地从图片中提取特征。利用深度学习通用目标检测框架Faster RCNN，以Faster RCNN算法为基础，对候选区域网络（Region Proposals Network，RPN）结构进行了改进，提出了一种“金字塔RPN”结构，来解决井下行人存在的多尺度问题；同时算法中加入了特征融合技术，将不同卷积层输出的特征图进行融合，增强煤矿井下模糊、遮挡和小目标行人的检测性能。实验结果表明：改进的Faster RCNN可以有效解决井下行人检测问题，在井下行人数据集上获得了90%的检测准确率，并在公测数据集VOC 07上对改进算法进行了验证。     

多通道区域建议的多尺度X光安检图像检测

针对安检X光图像检测中的违禁品尺度差异问题,对Faster RCNN网络进行改进,提出一种基于多通道区域建议网络（muiti-channel region proposal network,MCRPN）。考虑到不同层卷积特征在视觉语义上的互补性,进行多层特征提取,融合VGG16高层较丰富的语义特征和低层较浅的边缘特征;修改多通道RPN中的锚框参数,将生成的多尺度候选目标区域分别映射到对应的特征图上,构建多尺度违禁品检测网络;在多通道上引入膨胀卷积,设计一种多分支膨胀卷积模块（dilated convolutions module,DCM）,增大感受野,增强不同尺度的特征。将改进的算法在自制数据集SIXray_OD上进行实验,检测的平均精度达到84.69%,测性能较原网络提高了6.28%。实验结果表明,改进算法的识别精度有一定提高。     

煤矿井下行人检测算法

针对井下光照不均匀、行人特征与背景的相似度高等导致基于计算机视觉的行人检测技术在井下应用面临很大挑战的问题,提出采用Faster区域卷积神经网络(RCNN)进行煤矿井下行人检测。Faster RCNN行人检测算法采用区域建议网络(RPN)生成候选区域,RPN与Fast RCNN共享卷积层,以提高网络训练和检测速度;在图像特征提取过程中采用动态自适应池化方法对不同池化域进行自适应池化操作,提高了检测准确性。实验结果表明,该算法对于不同环境下图像中的行人均具有较好的检测效果。     

基于深度神经网络的行人头部检测

行人检测已成为安防、智能视频监控、景区人流量统计所依赖的核心技术,最新目标检测方法包括快速的区域卷积神经网络Fast RCNN、单发多重检测器 SSD、部分形变模型DPM等,皆为对行人整体的检测。在大场景下,行人姿态各异,物体间遮挡频繁,只有通过对行人身体部分位置建模,抓住人的局部特征,才能实现准确的定位。利用Faster RCNN深度网络原型,针对行人头部建立检测模型,同时提取行人不同方向的头部特征,并加入空间金字塔池化层,保证检测速率,有效解决大场景下行人的部分遮挡问题,同时清晰地显示人群大致流动方向,相比普通的人头估计,更有利于人流量统计。     

改进的Cascade RCNN行人检测算法研究

在复杂路况下的行人检测中,行人尺寸变化大,导致小尺寸行人漏检率高,增加了行人检测的难度.为了降低行人检测漏检率,提高行人检测精度,在级联区域卷积神经网络(cascade regional convolutional neural network,Cascade RCNN)的基础上,将浅层特征与深层特征融合,进行深层特征...     

改进Mask RCNN算法及其在行人实例分割中的应用

Mask RCNN算法在特征提取过程中存在语义信息丢失的问题,而自然场景中的行人具有姿态不同、遮挡和背景复杂等特点,导致算法应用于行人实例分割时检测准确性较差。对此,提出一种改进的Mask RCNN算法。在Mask RCNN网络的Mask分支中增加串联特征金字塔网络（CFPN）模块,对网络生成的多层特征进行融合,充分利用不同特征层的语义信息。在此基础上,执行RoI Align操作生成行人掩膜。仿照COCO数据集,从生活场景中拍摄1 000张图片,自建一个新的行人数据集。基于该数据集的实验结果表明,改进算法较原算法具有更高的检测精确率。     

结合 Faster RCNN 和相似性度量的行人目标检测

行人检测是计算机视觉领域的一个研究热点,针对目前算法中常采用非极大值抑 制和硬阈值筛选的方法作为后处理,容易造成误检和漏检的问题,提出一种基于相似性度量的 行人目标检测方法。首先,采用 Faster RCNN 生成一系列的目标候选集,应用非极大值抑制对 候选集进行初步筛选,然后由较高置信度的目标区域建立特征模板,再根据特征相似性对较低 置信度的目标区域做进一步判别,最后将筛选后的目标候选集和模板区域作为检测结果。在 VOC、INRIA、Caltech 数据集的实验结果证明,基于相似性度量的算法提高了行人检测的准确率。       

深度学习行人检测方法综述

行人检测技术在智能交通系统、智能安防监控和智能机器人等领域均表现出了极高的应用价值,已经成为计算机视觉领域的重要研究方向之一。得益于深度学习的飞速发展,基于深度卷积神经网络的通用目标检测模型不断拓展应用到行人检测领域,并取得了良好的性能。但是由于行人目标内在的特殊性和复杂性,特别是考虑到复杂场景下的行人遮挡和尺度变化等问题,基于深度学习的行人检测方法也面临着精度及效率的严峻挑战。本文针对上述问题,以基于深度学习的行人检测技术为研究对象,在充分调研文献的基础上,分别从基于锚点框、基于无锚点框以及通用技术改进(例如损失函数改进、非极大值抑制方法等)3个角度,对行人检测算法进行详细划分,并针对性地选取具有代表性的方法进行详细结合和对比分析。本文总结了当前行人检测领域的通用数据集,从数据构成角度分析各数据集应用场景。同时讨论了各类算法在不同数据集上的性能表现,对比分析各算法在不同数据集中的优劣。最后,对行人检测中待解决的问题与未来的研究方法做出预测和展望。如何缓解遮挡导致的特征缺失问题、如何应对单一视角下尺度变化问题、如何提高检测器效率以及如何有效利用多模态信息提高行人检测精度,均是值得进一步...     

基于改进Faster RCNN的安全帽佩戴检测研究

针对已有安全帽佩戴检测算法对部分遮挡、尺寸不一和小目标存在检测难度大、准确率低的问题,提出了基于改进的Faster RCNN和多部件结合的安全帽佩戴检测方法。在原始Faster RCNN上运用多尺度训练和增加锚点数量增强网络检测不同尺寸目标的鲁棒性,并引入防止正负样本不均衡的在线困难样本挖掘策略,然后对检测出的佩戴安全帽工人和安全帽等采用多部件结合方法剔除误检目标。实验表明,相比于原始Faster RCNN,检测准确率提高了7%,对环境的适应性更强。     

基于生成对抗网络学习被遮挡特征的目标检测方法

实际生活中目标间存在的遮挡会造成待检测目标的特征缺失,进而使得检测准确度降低.鉴于此,提出一种用于被遮挡特征学习的生成对抗网络(generative adversarial networks for learning occluded features,GANLOF).被遮挡特征学习网络分为被遮挡特征生成器、鉴别器两个...