基于深度学习的单步目标检测器特征增强算法

针对基于深度学习的目标检测网络模型多采用级联的卷积网络结构进行特征提取,没有很好地利用多尺度特征融合的信息,以及卷积往往采用方形卷积核而没有提取出具备方向性的特征等问题,提出了一种特征提取模块,采用不同大小形状的卷积核结合异性卷积核并行提取特征,并进行融合。该类结构相比于级联网络更能提取并融合目标的多尺度特征,同时提取具有方向性的特征。提出的特征增强型单步目标检测器(Feature Enhanced Single Shot Detector,FESSD)网络基于单步目标检测器(Single Shot Detector,SSD),修改了网络结构、加入特征提取模块并采用多层特征融合,在VOC0712数据集上大大提高了检测准确率。     

融合深度扩张网络和轻量化网络的目标检测模型

目标检测作为计算机视觉的一个重要研究方向,近年来在算法性能上有了突破性进展.为了更好的提升两阶段目标检测的精度与速度性能,提出了一种基于迁移学习方法的融合深度扩张卷积网络和轻量化网络的检测模型.首先用扩张卷积网络替换主干网络中部分的卷积残差模块——深度扩张卷积网络D_dNet-65;然后对预训练后的特征图进行压缩操作,并增加一个81类的全连接层以确保正常进行分类和回归操作——轻量化网络结构;最后,引入迁移学习方法并融合D_dNet和轻量化网络结构,通过迁移实现模型的进一步优化.实验在典型的数据集MSCOCO以及VOC07上进行.实验评估表明,本文提出的方法具有良好的有效性和可扩展性.     

基于非对称卷积的孪生网络视觉跟踪算法

针对孪生网络对旋转变化目标特征表达能力不足的问题,该文提出了基于非对称卷积的孪生网络跟踪算法。首先利用卷积核的可加性构建非对称卷积核组,可以将其应用于任意卷积核大小的已有网络结构。接着在孪生网络跟踪框架下,对AlexNet的卷积模块进行替换,并在训练和跟踪阶段对网络进行分别设计。最后在网络的末端并联地添加3个非对称卷积核,分别经过相关运算后得到3个响应图,进行加权融合后选取最大值即为目标的位置。实验结果表明,相比于SiamFC,在OTB2015数据集上精度提高了8.7%,成功率提高了4.5%。     

基于双网络级联卷积神经网络的设计

传统的卷积神经网络通常采用单一的网络结构进行特征提取,但是单一网络结构提取的特征不够充分,导致图片分类的精度不高。针对这个问题提出了采用两种网络同时进行特征提取,再将两种网络级联在一起,得到两种网络的融合特征,使提取的特征更具有辨别性。双网络级联是采用两条支路进行特征提取,一条支路为传统的CNN,另一条支路为在传统的CNN基础上加上残差操作,在下一次特征图降维前通过级联操作将两条不同的网络支路结合在一起。本网络实验采用101_food和caltech256数据集进行测试,将级联后的网络和两条支路网络进行对比,实验最后表现出较好的结果。     

一种改进的全卷积神经网络多聚焦图像融合研究

针对目前多聚焦图像领域算法研究的不足,提出改进的全卷积神经网络多聚焦图像融合算法.和以往的全卷积神经网络模型相比,改进的网络模型更加轻便、网络层级更少.将传统算法鲁棒主成分分析法运用于图像特征提取,在网络特征提取部分采用更小的网络结构,在达到提取更多特征信息的目的的同时减少了网络层级;全连接层与全卷积层的转换通过softmax层对图像进行分类,最后通过设置分类器防止像素点样本偏移,大大提升了运算速率.经过多组实验的彩色灰色数据集验证,改进的融合算法与目前多聚焦图像融合的卷积神经网络算法相比,融合速度大大提升,更具有实际应用率,融合质量也有相应提升,说明此算法相比其他算法更具运用价值.     

基于双通道深度密集特征融合的遥感影像分类

为了提高遥感图像场景分类中特征有效利用率,进而提高遥感影像分类精度,采用基于双通道深度密集特征融合的遥感影像分类方法,进行了理论分析和实验验证。首先通过构建复合密集网络模型, 分别提取图像卷积层特征和全连接层特征;然后为挖掘、利用图像深层信息,通过视觉词袋模型将提取的深层卷积层特征进行重组编码,捕获图像深层局部特征;最后采用线性加权方式将局部和全局特征融合、分类。结果表明,选用数据集UC Merced Land-Use和NWPU-RESISC45进行实验,取得的分类精度分别为93.81%和92.62%。该方法充分利用局部特征和全局特征的互补性,能实现图像深层信息的充分利用和表达。     

利用残差生成对抗网络的高光谱图像分类

针对高光谱图像分类过程中存在的标记样本需求量大和分类精度要求高等问题,提出了一种利用残差生成对抗网络（GAN）的高光谱图像分类方法。该方法以生成对抗网络为基础,使用包含上采样层和卷积层构成的8层残差网络替换生成器的反卷积层网络结构,提高数据的生成能力,使用34层残差卷积网络替换判别器的卷积层网络结构,提高特征提取能力。以Pavia University、Salinas及Indian Pines数据集为实验数据,将所提方法与GAN、CAE-SVM、2DCNN、3DCNN、ResNet进行了比较。实验结果表明,所提方法在总体分类精度、平均分类精度和Kappa系数上均有显著提高,其中总体分类精度在Indian Pines数据集上达到了98.84%,较对比方法分别提高了2.99个百分点、22.03个百分点、12.91个百分点、4.99个百分点、1.79个百分点。所提方法在网络中加入残差结构,增强了浅层网络与深层网络的信息交流,可提取高光谱图像的深层次特征,提高了高光谱图像分类的精度。     

基于深度对抗式网络的人群计数方法

对人群密度大、遮挡严重以及分不均等因素造成人群计数困难的问题,本文提出了一 种深度对抗式网络的人群计数模型, 该模型主要分为生成器网络和判别器网络。首先利用具有良好的迁移能力和特征提取能力VG G16的前十层作为前端模块,以初 步提取特征;然后,为应对人群遮挡严重以及分布不均的情况,使用我们设计的深度扩张卷 积模块来聚合人群信息,并将浅层与 深层人头特征进行融合,以增强网络对人群的适应能力。并在此过程中,使用扩张卷积代替 传统的卷积层,在不损失图像分辨率 的情况下对图像进行特征提取;最后,将密度图与标签密度图输入判别器网络进行判别,目 的是生成与标签密度图更为相似的密 度图,提高人群计数的准确性。实验结果表明,与其他方法相比,本文方法无论是在客观指 标或者主管视觉方面,均具有较好的效果。     

基于VDNet卷积神经网络的羊群计数

为了避免传统羊群计数任务中,羊只之间相互遮挡带来的干扰,提高羊群计数的准确度,采用了视觉几何群(VGG-16)与空洞卷积(DC)相结合的VDNet神经网络羊群计数方法。该方法在网络前端采用去除了全连接层的VGG-16网络提取2-D特征,后端采用6层具有不同空洞率的DC提取更多的高级特征;DC在保持分辨率不变的同时扩大了感受野,替代池化操作,降低了网络的复杂性;最后用一层卷积核大小为1×1的卷积层输出高质量的密度图,通过对密度图像素积分得出输入图片中羊的数量,并进行了理论分析和实验验证。结果表明,VDNet的平均绝对误差为2.51,均方误差为3.74,平均准确率为93%。这一结果对羊群计数任务是有帮助的。     

多层级特征优化融合的遥感图像分割网络

为了从高分辨率遥感图像中准确地分割出地物目标，提出了一种多级特征优化融合的遥感图像分割网络（MRFNet），着重将特征提取骨架网络中不同层级的特征图进行融合，通过融合网络特征图中不同种类的信息来对输出特征图信息进行合理有效的提取和分析。同时使用了逐层的多尺度编码解码模块来细化与高层特征图进行融合的浅层特征图，将不同种类的信息经过优化以后汇聚到高层特征图。然后采用空洞卷积金字塔对高层特征图提取不同感受野的信息，优化了语义分割的输出特征图。通过在ISPRS Vaihingen数据集上进行实验，该网络算法的总体精度达到了90.34%，与经典语义分割网络相比，有效提升了遥感图像目标的检测精度。同时为了证明算法的泛化性，在ISPRS Potsdam数据集上进行了泛化实验取得了91.47%的总体精度，证明了该算法的有效性。     

基于新型多尺度注意力机制的密集人群计数算法

密集人群计数是计算机视觉领域的一个经典问题,仍然受制于尺度不均匀、噪声和遮挡等因素的影响.该文提出一种基于新型多尺度注意力机制的密集人群计数方法.深度网络包括主干网络、特征提取网络和特征融合网络.其中,特征提取网络包括特征支路和注意力支路,采用由并行卷积核函数组成的新型多尺度模块,能够更好地获取不同尺度下的人群特征,以...     

Crowd counting in complex scenes based on an attention aware CNN network

Crowd counting with density estimation has been an active research community due to its significant applications in the fields of public security, video surveillance, traffic monitoring. However, Crowd counting for congested scenes often suffers from some obstacles including severe occlusions, large scale variations, noise interference, etc. In this paper, using the first ten layers of a modified VGG16 and dilated convolution layers as the framework, we have proposed a CNN based crowd counting and density estimation model improved by the attention aware modules with residual connections. To tackle the problem of noise interference, convolutional block attention modules have been introduced into the deep network to segment the foreground and background to focus on interest information, refining deeper features of the input image. To improve information transmission and reuse, residual connections are utilized to link 3 attention blocks. Meanwhile, dilated convolution layers keep larger reception fields and obtain high-resolution density maps. The proposed method has been evaluated on three public benchmarks, i.e. Shanghai Tech A & B, UCF-QNRF and MALL, achieving the mean absolute errors of 64.6 & 8.3, 113.8 and 1.68, respectively. The results outperform some existing excellent approaches. This indicates that the proposed model has high accuracy and better robustness, which is suitable for crowd counting and density estimation in various congested scenes.     

基于残差密集连接与注意力融合的人群计数算法

现有人群计数算法采用多列融合结构来解决单一图像的多尺度问题,但该处理方法不能有效利用低层特征信息,从而导致最终人群计数结果不准确。针对这一缺陷,文中提出一种基于残差密集连接与注意力融合的人群计数算法。该算法的前端利用改进VGG16网络提取低级特征信息。算法后端主分支基于残差密集连接结构,利用残差网络和密集网络结合方式捕获层与层间的特征信息,可高效捕获多尺度信息。侧分支通过引入注意力机制,生成对应尺度注意力图,有效区分特征图的背景和前景,降低了背景噪声的影响。采用3个主流公开数据集对该算法进行验证。实验结果表明,该算法计数有效且计数准确率优于其他算法。     

多尺度特征融合U-Net的遥感影像黑臭水体智能检测

研究采用卫星遥感技术获取高分辨率遥感影像水体样本数据集,基于深度卷积神经网络从高分辨遥感影像中提取水体并进行黑臭水体智能监测,提出了一种改进U-Net的黑臭水体检测网络模型(IWDNet)。基于U-Net结构引入跳跃式多尺度特征融合,结合通道注意力机制、卷积注意力模块、通道与空间注意力机制生成不同多尺度特征融合注意力机制(MFFAM)模块进行对比,并引入空洞卷积扩大网络感受野,最终实现黑臭水体的识别检测。实验证明：基于跳跃式多尺度融合与CBAM注意力机制的黑臭水体检测网络(MFFCBAM-IWNet)模型有效提升了识别精度,在高分辨遥感影像水体样本数据集上表现最佳,总体精度达98.56%,Kappa系数达0.978 4。     

一种基于卷积神经网络的轨道交通场景人群计数模型

现有的人群计数方法不能够完全适用于轨道交通场景中,为此,提出一种基于卷积神经网络的人群计数模型。模型采用VGG16作为前端网络提取浅层特征,提出一种基于Inception结构改进的M-Inception结构,结合空洞卷积构成后端网络,增大感受野,适应多监控角度下不同尺寸的行人目标;并提出一种融合行人总数估计损失和密度图损失的加权损失函数。将本文模型与4种现有模型进行对比实验,结果表明,提出的人群计数算法在地铁场景中的平均绝对误差和均方误差仅为1.46和2.13,优于4种对比模型。考虑到模型的实际应用,将模型部署到海思嵌入式芯片上,实测结果表明,模型可在嵌入式芯片上取得较高的计算速度和准确率,满足实际应用场景的需求。     

基于可变形和深度可分离卷积的立体匹配

针对传统卷积神经网络(convolutional neural network, CNN)在立体匹配过程中存在信息 损失和耗时等问题,提出了基于可变形和深度可 分离卷积的立体匹配算法。在特征提取过程中,利用可变形卷积和可变形卷积核构建残差网 络,完成自适 应学习,扩大有效感受野,从而适应物体的不同形变,获取更详细的特征,减少信息损失, 提高了匹配精 度。在特征聚合阶段,采用深度可分离卷积构建深度可分离聚合网络,在空间维度和通道维 度分别进行卷 积运算,以降低参数量和计算复杂度,保证了匹配实时性。在相关的数据集上进行测试,实 验结果表明, 算法的网络运行时间缩短为1.60 s,在KITTI 2015和 KITTI 2012数据集上三像素错误率分别为2.84%和 2.79%,在SceneFlow数据集上端点误差为1.59 %。相比其他基准网络,减少了网络模型的运算量同时算法精度有很大提升。     

基于深度学习的视频人群计数系统

人群自动计数问题在视频监控领域引起了广泛关注。近年来,卷积神经网络(CNN)模型在人群计数方面取得了良好效果。然而,当前对于基于深度学习的人群计数的研究主要停留在PC端上对单幅静止图片的人群计数,网络模型参数量巨大,网络结构复杂,消耗的计算资源巨大,难以部署于实际的监控视频人群计数系统。因此,本文采用深度学习的方法,通过对网络模型进行裁剪压缩,同时使用TensorRT对模型进行加速,在嵌入式平台上实现了接近实时的人群计数。提出的人群计数平均绝对误差(MAE)为21.6且平均每秒帧数(FPS)为22,在精确度和速度方面达到了一个很好的平衡,在嵌入式平台上运行速度较快,能达到实时的效果。     

An improved deep multiscale crowd counting network with perspective awareness

Crowd counting is a challenging task, which is partly due to the multiscale variation and perspective distortion of crowd images. To solve these problems, an improved deep multiscale crowd counting network with perspective awareness was proposed. This network contains two branches. One branch uses the improved ResNet50 network to extract multiscale features, and the other extracts perspective information using a perspective-aware network formed by fully convolutional networks. The proposed network structure improves the counting accuracy when the crowd scale changes, and reduce the influence of perspective distortion. To accommodate various crowd scenarios, data-driven approaches are used to fine-tune the trained convolutional neural networks (CNN) model of the target scenes. The extensive experiments on three public datasets demonstrate the validity and reliability of the proposed method.