高级语义信息辅助的无锚框行人检测研究

为了提高车间监控系统智能化程度和工作场景中行人检测精度,提出了一种基于计算机视觉技术的行人检测方法。采用基于高级语义信息的无锚框特征检测技术,将检测任务简化为中心点和尺度的回归预测。特征提取模块通过四阶段降采样卷积网络,得到多尺度的图像特征并融合。头探测模块分成两路卷积,并行处理特征图,获得中心点热力图和尺度信息,输出检测结果。结果表明,在CityPersons数据集R子集上,MR-2达到11.61%,加入偏移量预测分支后MR-2提升了0.6%。这证明了该人员检测方法的性能优良。     

基于多尺度融合注意力机制的人脸表情识别研究

针对传统卷积神经网络在表情特征提取阶段容易丢失大量有用信息,无法提取到高判别性表情特征,从而导致表情识别率低的问题,提出一种基于多尺度特征融合注意力机制的人脸表情识别方法.首先,采用VGGNet16来提取卷积特征.为了避免表情特征信息的丢失,将网络中不同层次卷积层的输出特征图进行多尺度特征融合,引入上下文信息的同时提取...     

基于历史信息的区域卷积神经网络行人检测

为了解决卷积神经网络在进行连续行人检测时, 检测行人速度较慢, 达不到实时性要求的问题, 采用基于历史信息的区域卷积神经网络行人检测算法, 利用前一幅图像中的检测结果对当前图像的检测过程进行优化, 将前一帧的检测结果作为对当前帧提取推荐区域的参考信息, 并使用当前帧与前一帧的灰度值差异图对当前图像的卷积特征进行过滤, 以缩小滑动窗口检测时的搜索区域。在加州理工学院行人检测数据集上进行了检测实验。结果表明, 结合历史信息的算法与先进的算法相比检测速度提升了2.5倍, 同时检测准确率提升了1.5%。该算法实现了实时行人检测, 设计的网络能有效检测小目标行人。     

基于多信息流动卷积神经网络的行人再识别

行人再识别问题中,由于视角、光照和行人姿态等因素的变化,导致难以提取有效的行人特征,降低识别精度.而深度神经网络在训练样本较少的情况下较难训练,易出现过拟合现象.针对上述问题,本文提出一种多信息流动卷积神经网络（Multi-information Flow Convolutional Neural Network,MiF-CNN）模型,模型中包含一个特殊的卷积结构,该结构中每层卷积层提取到的特征与后续所有卷积层的输入相连接,增强了网络的特征信息流动性和梯度的反向传播效率,使得模型提取到的行人特征更具判别力.采用多损失函数组合方式训练网络模型,更好的区分行人类别.最后利用欧氏距离对行人特征相似性进行排序.在标准行人再识别数据集VIPeR和CUHK01上的实验表明,本文方法进一步提高了行人再识别精度,并有效改善了深度神经网络的过拟合现象.     

语义增强引导特征重建的遮挡行人检测

行人被严重遮挡导致无法提取有效特征是行人检测中出现漏检的一个主要原因。为了解决该问题,提出一种语义增强引导特征重建的遮挡行人检测算法。首先,利用空间和通道之间的依赖性设计了语义特征增强模块,建立全局上下文信息用以增强遮挡行人特征。其次,为关注行人的可见区域,通过自适应特征重建模块生成语义分割图,自适应调整通道的有效权重,增强行人和背景的可判别性。最后,通过多层次级联语义特征增强和自适应特征重建两个模块得到多层次特征图,融合多特征用以最终的行人解析。实验结果表明,该方法在具有挑战性的行人检测基准CityPersons和Caltech上,对严重遮挡目标的漏检率分别实现了47.28%和44.04%,在遮挡行人的检测上相较于其他方法具有较好的鲁棒性。     

融合多尺度信息和跨维特征引导的轻量行人检测

针对复杂道路场景下行人检测精度与速度难以提升的问题,提出一种融合多尺度信息和跨维特征引导的轻量级行人检测算法。首先以高性能检测器YOLOX为基础框架,构建多尺度轻量卷积并嵌入主干网络中,以获取多尺度特征信息。然后设计了一种端到端的轻量特征引导注意力模块,采用跨维通道加权的方式将空间信息与通道信息融合,引导模型关注行人的可视区域。最后为减少模型在轻量化过程中特征信息的损失,使用增大感受野的深度可分离卷积构建特征 融合网络。实验结果表明,相比于其他主流检测算法,所提算法在KITTI数据集上达到了71.03%的检测精度和80 FPS的检测速度,在背景复杂、密集遮挡、尺度不一等场景中都具有较好的鲁棒性和实时性。     

基于深度卷积神经网络的红外图像行人检测

红外图像中的行人检测一直是计算机视觉领域的研究热点与难点。针对传统的红外行人检测方法需要人工设计目标表达特征的弊端,本文从深度学习的角度出发,提出一种可以自动构建目标表达特征的红外行人检测卷积神经网络。在对卷积神经网络的实现原理进行分析的基础上,设计了红外行人检测卷积神经网络的初始结构,然后通过实验对初始结构进行调整,得到最终的检测神经网络。对实拍红外人体数据库进行行人检测的实验结果表明,该方法在保持低虚警率的同时可以对红外图像中的行人进行稳健检测,优于传统方法。     

基于Gist特征与CNN的场景分类方法

针对大多数场景分类方法只能学习浅层特征,忽略图像之间的相关结构信息,提出一种基于Gist特征与卷积神经网络结合的场景图像分类方法.其中Gist特征用于提取场景图像的全局特征,并将其作为深度学习模型的输入,通过逐层训练卷积神经网络,提取更高层次的特征,并用训练好的卷积神经网络进行分类.实验在O&T室外场景图像数据集和MNIST手写体数据集上考察了batchsize、卷积核对分类结果的影响,并与DBN,NN,SVM和CART作为分类器的分类结果进行比较,充分说明了本文方法的有效性.     

一种基于卷积神经网络的轨道交通场景人群计数模型

现有的人群计数方法不能够完全适用于轨道交通场景中,为此,提出一种基于卷积神经网络的人群计数模型。模型采用VGG16作为前端网络提取浅层特征,提出一种基于Inception结构改进的M-Inception结构,结合空洞卷积构成后端网络,增大感受野,适应多监控角度下不同尺寸的行人目标;并提出一种融合行人总数估计损失和密度图损失的加权损失函数。将本文模型与4种现有模型进行对比实验,结果表明,提出的人群计数算法在地铁场景中的平均绝对误差和均方误差仅为1.46和2.13,优于4种对比模型。考虑到模型的实际应用,将模型部署到海思嵌入式芯片上,实测结果表明,模型可在嵌入式芯片上取得较高的计算速度和准确率,满足实际应用场景的需求。     

基于多层特征上下文编码网络的遥感图像场景分类

遥感图像场景分类问题是目前遥感图像处理领域中的研究热点之一。卷积神经网络(Convolutional Neural Networks,CNNs)具有强的特征提取能力,已被广泛应用于遥感图像场景分类中。然而,目前的方法并没有充分考虑并利用CNN不同层间的互补信息和遥感图像的空间上下文信息,导致其相应的分类精度有待提高。针对上述问题,提议一种多层特征上下文编码网络,并将其用于解决遥感图像场景分类问题。所提议网络由两部分组成:1)密集连接的主干网络;2)多尺度上下文编码模块。前者用于融合CNN不同层的特征信息,后者用于对蕴含在多层特征中的空间上下文信息进行编码利用。在两个大规模遥感图像数据集上的实验结果表明,与现有的遥感图像场景分类方法相比,所提出的网络框架取得了显著的分类精度提升。     

卷积神经网络在目标检测中的应用及FPGA实现

针对传统目标检测算法在复杂背景条件下的对红外弱小移动目标的检测能力弱,虚警率高等问题,提出了一种基于卷积神经网络的目标检测方法,分析了卷积神经网络的结构、特点,将卷积神经网络应用到红外弱小目标检测领域,选择卷积神经网络模型,学习训练学习出合适的模型参数,并将算法在以FPGA为核心的硬件平台上进行移植。实验表明,本文的算法实时性好,硬件移植工作量小,在复杂背景下能够得到目标掩码信息、有效检出目标。     

基于增强卷积神经网络的尺度不变人脸检测方法

针对非约束场景下小尺寸人脸检测困难的问题,提出了一种基于增强卷积神经网络的尺度不变人脸检测方法。首先,在SSD基础检测网络的两个浅层特征图上,通过协调聚合当前层特征图和前后两层特征图的特征信息,对当前层特征图的鉴别性和稳健性进行增强。然后,对两个增强特征图进行负样本筛选,通过增加分类的难度来降低由小尺寸锚框引起的人脸检测假正率上升。最后,为原始特征图和增强特征图设置了两种基于锚框尺寸的损失函数,并通过加权求和的方式对其进行融合。在FDDB和WIDER FACE数据集上的测试结果表明,文中所提方法比目前主流人脸检测方法具有更高的检测精度。     

多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取

针对全卷积神经网络多次下采样操作导致的道路边缘细节信息损失和道路提取不准确的问题,本文提出了多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取方法。首先,通过目视解译的方法制作大量的道路提取标签数据;其次,在残差网络ResNet-101的各个残差块中引入膨胀卷积和多尺度特征感知模块,扩大特征点的感受野,避免特征图分辨率减小和道路边缘细节特征的损失;然后,通过叠加融合和上采样操作将各个尺寸的道路特征图进行融合,得到原始分辨率大小的特征图;最后,将特征图输入Sigmoid分类器中进行分类。实验结果表明:本文方法的提取精度优于经典全卷积神经网络模型,准确率达到了98%以上,有效保留了道路的完整性及其边缘的细节信息。     

Convolutional neural networks for multispectral pedestrian detection

In this paper, we present a pedestrian detection method by leveraging multispectral images which consist of color and thermal image information. Our method is based on the observation that a multispectral image enables us to overcome inherent limitations for pedestrian detection under challenging situations, e.g., insufficient illumination, small size pedestrian instances and occlusion. In order to detect pedestrian under such conditions, we apply deep convolutional neural networks (CNNs) for effectively combining color and thermal image information in multispectral images. We present a novel multispectral network that is built from the region-based fully convolutional networks (R-FCN) network model. A network-in-network (NIN) is employed to fuse these information across different modalities. Experimental results on KAIST benchmark demonstrate that our method surpasses the baseline method R-FCN and other proposed architectures.     

基于特征增强模块的小尺度行人检测

行人检测中,小尺度行人时常被漏检、误检。为了提升小尺度行人的检测准确率并且降低其漏检率,该文提出一个特征增强模块。首先,考虑到小尺度行人随着网络加深特征逐渐减少的问题,特征融合策略突破特征金字塔层级结构的约束,融合深层、浅层特征图,保留了大量小尺度行人特征。然后,考虑到小尺度行人特征容易与背景信息发生混淆的问题,通过自注意力模块联合通道注意力模块建模特征图空间、通道关联性,利用小尺度行人上下文信息和通道信息,增强了小尺度行人特征并且抑制了背景信息。最后,基于特征增强模块构建了一个小尺度行人检测器。所提方法在CrowdHuman数据集中小尺度行人的检测准确率为19.8%,检测速度为22帧/s,在CityPersons数据集中小尺度行人的误检率为13.1%。结果表明该方法对于小尺度行人的检测效果优于其他对比算法且实现了较快的检测速度。     

Dense-CNN: Dense convolutional neural network for stereo matching using multiscale feature connection

In spite of the fact that convolutional neural network-based stereo matching models have shown good performance in both accuracy and robustness, the issue of image feature loss in regions of texture-less, complex scenes and occlusions remains. In this paper, we present a dense convolutional neural network-based stereo matching method with multiscale feature connection, named Dense-CNN. First, we construct a novel densely connected network with multiscale convolutional layers to extract rich image features, in which the merged multiscale features with context information are utilized to estimate the cost volume for stereo matching. Second, we plan a novel loss-function strategy to learn the network parameters more reasonably, which can develop the performance of the proposed Dense-CNN model on disparity computation. Finally, we run our Dense-CNN model on the Middlebury and KITTI databases to conduct a comprehensive comparison with several state-of-the-art approaches. The experimental results demonstrate that the proposed method achieved superior performance on computational accuracy and robustness of disparity estimation, especially achieving the significant benefit of feature preservation in ill-posed regions.     

基于点积自注意力卷积神经网络的歌声检测

传统的歌声检测过程往往包含了复杂的特征工程,而基于深度神经网络统一框架的算法则可以利用其强大的学习能力学习到特征,从而忽略特征工程。但是,这些学习到的特征通常得不到重要性区分,在网络中所占权重相同。针对这一问题,提出在卷积神经网络中嵌入点积自注意力模块的算法,该算法通过学习得到各个特征的注意力分布,调整注意力权重,使得卷积神经元在“观察”这些特征时能区分轻重,从而提升网络的整体性能。在实验部分,通过在两个公开数据集下测试,并和基准模型进行对比,证明了该算法对提升歌声检测水平切实有效。      

Context prior-based with residual learning for face detection: A deep convolutional encoder–decoder network

In the field of security, faces are usually blurry, occluded, diverse pose and small in the image captured by an outdoor surveillance camera, which is affected by the external environment such as the camera pose and range, weather conditions, etc. It can be described as a problem of hard face detection in natural images. To solve this problem, we propose a deep convolutional neural network named feature hierarchy encoder–decoder network (FHEDN). It is motivated by two observations from contextual semantic information and the mechanism of multi-scale face detection. The proposed network is a scale-variant style architecture and single stage, which are composed of encoder and decoder subnetworks. Based on the assumption that contextual semantic information around face being auxiliary to detect faces, we introduce a residual mechanism to fuse context prior-based information into face feature and formulate the learning chain to train each encoder–decoder pair. In addition, we discuss some important factors in implement details such as the distribution of training dataset, the scale of feature hierarchy, and anchor box size, etc. They have some impact on the detection performance of the final network. Compared with some state-of-the-art algorithms, our method achieves promising performance on the popular benchmarks including AFW, PASCAL FACE, FDDB, and WIDER FACE. Consequently, the proposed approach can be efficiently implemented and routinely applied to detect faces with severe occlusion and arbitrary pose variations in unconstrained scenes. Our code and results are available on https://github.com/zzxcoder/EvaluationFHEDN.