全卷积多并联残差神经网络

随着人工智能的火热发展,深度学习已经在很多领域占有了一席之地.作为深度学习中一个典型网络--残差神经网络模型自提出之日起就成为了众多研究者的关注点.然而,残差神经网络还有很大的改进空间.为了更好地解决反向传播中梯度减小的问题,本文提出了一种改进的残差神经网络,称为全卷积多并联残差神经网络.在该网络中,每一层的特征信息不仅传输到下一层还输出到最后的平均池化层.为了测试该网络的性能,分别在三个数据集(MNIST,CIFAR-10和CIFAR-100)上对比图像分类的结果.实验结果表明,改进后的全卷积多并联残差神经网络与残差网络相比具有更高的分类准确率和更好的泛化能力.     

基于姿态信息的人与物体交互检测模块网络

针对在相对密集场景下检测不佳的普遍现象,提出了基于人体姿态信息输入的模块化神经网络,通过构建绝对姿态特征和相对空间姿态特征来促进人与物体交互关系的检测.该算法主要包含两个分支:a)通过全连接层网络来独立处理每个人体关节点相对于物体的空间姿态特征;b)通过全连接图神经网络来更新每个关节点的绝对姿态特征.最后通过一个行为分类网络基于融合后的特征来进行交互关系的推断.该模块网络结合先进的检测模型VS-GATs在数据集V-COCO和HICO-DET上取得了显著的提升效果:在V-COCO上,比VS-GATs的检测结果提升2 mAP(约4％);在更有挑战性的HICO-DET上,比VS-GATs的检测结果提升0.98 mAP(约4.6％).实验表明了所构建特征的有效性以及设计的网络的优越性.     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于卷积神经网络的软硬触觉感知方法研究

智能机器手的应用已经遍布医疗、军工、农业及装配行业等领域.软硬作为物体的重要物理属性之一,对机器手的抓取控制物体有重大影响.在深度学习框架下,基于卷积神经网络提出了用于触觉感知的软硬物体的识别方法.使用薄膜压力传感器采集手指按压软硬物体的数据,建立训练和测试数据集,在Caffe中训练网络,以模拟触觉识别软硬物体.实验结果显示:对软硬物体的识别准确率达94.52%,表明,卷积神经网络对于识别软硬物体有比较好的分类效果.     

基于遮挡感知卷积神经网络的面部表情识别模型

针对面部遮挡情况下表情特征难以提取的问题,提出一种双通道遮挡感知神经网络模型。设计区域遮挡判定单元并集成到VGG16网络中形成遮挡感知神经网络,提取面部图像中未遮挡区域及遮挡较少区域的表情特征。运用迁移学习算法对卷积层参数进行预训练,减轻训练数据样本不足带来的过拟合问题。通过优化残差网络提取全脸表情相关特征,在此基础上加权融合遮挡感知神经网络和残差网络的输出以识别表情。在CK+、RAF-DB、SFEW这3个公开数据库上进行对比实验,结果表明,该模型平均准确率分别达到97.33%、86%、61.06%,与OPCNN、ResNet、VGG16等传统卷积神经网络模型相比,有效提高了面部遮挡情况下的表情识别精度。     

利用对抗网络改进多标记图像分类

为了更有效地对多标记图像进行分类,提出一个改进的卷积神经网络模型,通过融合多层次特征并利用空间金字塔池化来学习多标记图像中的多尺度特征,同时设计对抗网络生成新的样本辅助模型训练.首先,对传统卷积神经网络模型进行改进,利用空间金字塔池化层替换网络的最后一层,并将在ImageNet上预先训练好的参数传递给该模型;然后,通过将深层特征和浅层特征进行融合,使得模型对不同尺度的物体具有更好的识别能力;最后,设计了一个对抗网络生成带遮挡的样本,使模型对遮挡物体的识别也具有良好的鲁棒性.实验测试在2个基准数据集上进行,文中模型在Corel5K数据集上的平均查准率和平均查全率分别为0.457和0.427,mAP值达到0.442,而在PASCAL VOC 2012数据集上的mAP值则达到0.85.实验结果表明,与当前国际先进的模型相比,该模型具有更好的有效性和更强的鲁棒性.     

多尺度深层特征加强的CME小样本目标检测模型

针对现有的小样本目标检测模型存在对图像全局语义信息考虑不足、输入图像大小不一而导致检测器性能下降的问题,提出了多尺度深层特征加强的CME小样本目标检测模型。利用大量有标签的基类数据和基于残差跳跃的多层卷积神经网络及多尺度特征增强模块训练一个泛化性良好的模型,经过少量有标签的新类数据和基类数据对模型微调,利用微调后的模型进行目标检测。为验证模型的有效性,使用VOC2007和VOC2012数据集对模型进行训练和评估,相关消融实验证明了引入残差跳跃结构的多层卷积神经网络和多尺度特征增强模块的单独使用和组合使用均可进一步增加模型的准确率。在与6个具有代表性的小样本目标检测模型的对比实验中表明,多尺度深层特征加深的CME比最先进的检测器得分平均提高4.75个百分点。     

基于3维点云鸟瞰图的高精度实时目标检测

针对基于3维点云的目标检测问题,提出了一种高精度实时的单阶段深度神经网络,分别在网络特征提取、损失函数设计和训练数据增强等3个方面提出了新的解决方案.首先对点云直接进行体素化来构建鸟瞰图.在特征提取阶段,使用残差结构提取高层语义特征,并融合多层次特征输出稠密的特征图.在回归鸟瞰图上的目标框的同时,在损失函数中考虑二次偏移量以实现更高精度的收敛.在网络训练中,使用不同帧3维点云混合的方式进行数据增强,提高网络的泛化性能.基于KITTI鸟瞰图目标检测数据集的实验结果表明,本文提出的网络仅使用雷达点云的位置信息,在性能上不仅优于目前最先进的鸟瞰图目标检测网络,而且优于融合图像和点云的检测方案,且整个网络运行速度达到20帧/秒,满足实时性要求.     

基于孪生残差神经网络的GF-2影像林地变化检测——以浙江省建德林场为例

森林是世界上生产力最高的可再生自然资源之一,但由于火灾、洪水、砍伐等多种自然或人为因素干扰,森林的生态环境受到严重威胁。准确掌握林地资源变化的情况,可以为森林资源的管理与保护提供有效信息。由于林地类别及树种差异较大,在林地变化检测任务中传统的机器学习变化检测方法难以捕捉深层次语义信息,存在提取特征适应性差、识别能力弱以及因季相导致的伪变化等问题。提出以孪生残差神经网络构建深度学习模型,进行林地变化的检测实验。分别采用残差神经网络ResNet50、添加不同轻量级注意力机制如卷积注意力机制模块CBAM和压缩和激励模块SE 3种不同特征提取方法作为主干特征提取模块。3种主干特征提取网络都基于预训练权重进行训练,通过将提取的多尺度的特征图进行融合,使得不同特征图中信息粗略细节和精细细节互补,从而改善变化检测效果,同时具有相同数量的参数,共享权值的优点。以浙江省建德林场为实验区,获取2015年和2020年两期高分二号卫星影像,构建一套分辨率为1 m的林地变化检测数据集。对孪生残差神经网络变化检测的结果和真实变化标签进行比较,其中主干特征提取网络SE-ResNet50综合结果最好,精确率为0.91...     

改进的SSD行人检测算法

针对行人检测中检测速度慢,不能实现实时性检测的问题,提出一种改进的SSD(Single Shot MultiBox Detector)行人检测算法。改进网络通过调整基础网络中卷积层的数量,去除冗余的卷积层,降低模型复杂度,提高检测速度;不同尺度特征图进行预测之前加入残差块,进一步提取特征,提高准确率。提取PASCAL VOC数据集中的行人图像和INRIA数据集形成混合数据集进行训练,增加模型泛化性,实验证明本方法拥有较高的精度和较快的速度,具有良好的泛化性,满足实时性要求。     

基于图神经网络的代码漏洞检测方法

使用神经网络进行漏洞检测的方案大多基于传统自然语言处理的思路，将源代码当作序列样本处理，忽视了代码中所具有的结构性特征，从而遗漏了可能存在的漏洞。提出了一种基于图神经网络的代码漏洞检测方法，通过中间语言的控制流图特征，实现了函数级别的智能化代码漏洞检测。首先，将源代码编译为中间表示，进而提取其包含结构信息的控制流图，同时使用词向量嵌入算法初始化基本块向量提取代码语义信息；然后，完成拼接生成图结构样本数据，使用多层图神经网络对图结构数据特征进行模型训练和测试。采用开源漏洞样本数据集生成测试数据对所提方法进行了评估，结果显示该方法有效提高了漏洞检测能力。     

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,可以有助于提高模型准确率。     

基于边缘检测及RBF神经网络的遥感图像帧特征动态识别技术

为解决分辨率超限问题,实现对遥感图像帧特征对象的精准识别,提出基于边缘检测及RBF神经网络的遥感图像帧特征动态识别技术。求解微分算子与OTSU阈值,并以此为基础,确定边缘节点追踪参数的取值范围,实现对遥感图像边缘检测。根据RBF神经网络机制的构建标准,推导神经性激活函数,完成RBF神经网络识别模型的设计。在所选遥感图像中,实施帧特征分割处理,再联合动态合并条件,计算超像素指标与并行识别参量,完成基于边缘检测及RBF神经网络的遥感图像帧特征动态识别方法的设计。实验结果表明,在边缘检测与RBF神经网络模型的作用下,主机元件在长、宽、高三个方向上对于遥感图像帧特征对象的识别精度都达到了100%,分辨率超限问题得到较好解决,符合精准识别遥感图像特征的实际应用需求。     

基于异构动态图模型的社交网络节点分类方法

在机器学习领域,与传统的神经网络相比,图神经网络在社交推荐等任务中发挥着越来越重要的作用,但是目前工作中大多数都使用静态图.针对现有静态图神经网络方法难以考虑社交用户动态特性的问题,通过引入动态图模型提出了一种基于异构动态图模型的社交网络节点分类方法.该方法在动态图建模的基础上,通过基于点边交互的节点特征更新机制和基于循环神经网络的时序聚合方法,实现了高效的动态社交网络节点分类.在多个真实数据集上的实验结果表明,提出方法在动态社交网络数据的节点分类方面有较好的效果,对比静态图和动态图的基准方法有显著的提升.     

基于边缘计算的公共交通工具疫情监测系统

现有监测系统无法很好地应对疫情环境下存在的交叉传染以及追溯困难等问题,因此提出了一套基于边缘计算的公共交通检测系统的设计方案。首先,建立图数据库来储存乘车人员与乘车信息,同时使用双数据库模型防止建立索引带来的阻塞,从而完成插入效率与搜索效率的均衡;其次,在车辆人像信息提取中,采用HSV色彩空间对图片进行预处理,并建立人脸三维空间模型来提升神经网络的识别准确率,在目标佩戴口罩时,通过较明显的鼻尖特征点、下颌特征点与未遮挡的鼻梁部特征点回归出其口鼻等特征点信息;最后,通过k度搜索快速找出密切接触乘客。在特征对比测试中,该方案在BioID数据集和PubFig数据集上分别达到了99.44%和99.23%的正确率,且在两数据集上的假阴性率均小于0.01%;在图搜索效率测试中,在浅层次搜索的时候,图数据库与关系型数据库并无较大差异,当搜索层次变深时,图数据库效率更高;在验证理论可行性之后,模拟了公交车与公交站的实际环境,经测试所提系统在其中的识别准确率为99.98%,识别时间平均约为21 ms,符合疫情监测的要求。所提系统设计可以满足疫情时期公共安全的特殊需求,能够实现人员甄别、路径记录、潜在接触者搜索等功能,从而有效地保证公共交通安全。     

深度学习背景下视觉显著性物体检测综述

视觉显著性物体检测是对人类视觉和认知系统的模拟,而深度学习则是对人类大脑计算方式的模拟,将两者有机结合可以有效推动计算机视觉的发展。视觉显著性物体检测的任务是从图像中定位并提取具有明确轮廓的显著性物体实例。随着深度学习的发展,视觉显著性物体检测的精度和效率都得到巨大提升,但仍然面临改进主流算法性能、减少对像素级标注样本的依赖等主要挑战。针对上述挑战,本文从视觉显著性物体检测思想与深度学习方法融合策略的角度对相关论述进行分类总结。1）分析传统显著性物体检测方法带来的启示及其缺点,指出视觉显著性物体检测的核心思路为多层次特征的提取、融合与修整;2）从改进特征编码方式与信息传递结构、提升边缘定位精度、改善注意力机制、提升训练稳定性和控制噪声的角度对循环卷积神经网络、全卷积神经网络和生成对抗网络3种主流算法的性能提升进行分析,从优化弱监督样本处理模块的角度分析了减少对像素级标注样本依赖的方法;3）对协同显著性物体检测、多类别图像显著性物体检测以及未来的研究问题和方向进行介绍,并给出了可能的解决思路。     

注意力引导网络的显著性目标检测

目的 全卷积模型的显著性目标检测大多通过不同层次特征的聚合实现检测,如何更好地提取和聚合特征是一个研究难点。常用的多层次特征融合策略有加法和级联法,但是这些方法忽略了不同卷积层的感受野大小以及产生的特征图对最后显著图的贡献差异等问题。为此,本文结合通道注意力机制和空间注意力机制有选择地逐步聚合深层和浅层的特征信息,更好地处理不同层次特征的传递和聚合,提出了新的显著性检测模型AGNet(attention-guided network),综合利用几种注意力机制对不同特征信息加权解决上述问题。方法 该网络主要由特征提取模块(feature extraction module, FEM)、通道—空间注意力融合模块(channel-spatial attention aggregation module, C-SAAM)和注意力残差细化模块(attention residual refinement module,ARRM)组成,并且通过最小化像素位置感知(pixel position aware, PPA)损失训练网络。其中,C-SAAM旨在有选择地聚合浅层的边缘信息以及深层抽象的语义特征,利用通道注意力和空间注意力避免融合冗余的背景信息对显著性映射造成影响;ARRM进一步细化融合后的输出,并增强下一个阶段的输入。结果 在5个公开数据集上的实验表明,AGNet在多个评价指标上达到最优性能。尤其在DUT-OMRON(Dalian University of Technology-OMRON)数据集上,F-measure指标相比于排名第2的显著性检测模型提高了1.9%,MAE(mean absolute error)指标降低了1.9%。同时,网络具有不错的速度表现,达到实时效果。结论 本文提出的显著性检测模型能够准确地分割出显著目标区域,并提供清晰的局部细节。     

基于视觉显著性检测的图像分类方法

针对传统的图像分类方法对整个图像不分等级处理以及缺乏高层认知的问题,提出了一种基于显著性检测的图像分类方法。首先,利用视觉注意模型进行显著性检测,得到图像的显著区域;然后,利用Gabor滤波方法和脉冲耦合神经网络模型,分别提取该显著区域的纹理特征和时间签名特征;最后,根据提取的纹理特征和时间签名特征,利用支持向量机实现图像分类。实验结果表明,所提方法在SIMPLIcity图像数据集上平均分类正确率达到94.26%,在Caltech数据集上平均分类正确率为95.43%,从而证明,显著性检测与有效的特征提取对图像分类有重要影响。     

深度区域网络方法的细粒度图像分类

目的 在细粒度视觉识别中,难点是对处于相同层级的大类,区分其具有微小差异的子类,为实现准确的分类精度,通常要求具有专业知识,所以细粒度图像分类为计算机视觉的研究提出更高的要求。为了方便普通人在不具备专业知识和专业技能的情况下能够区分物种细粒度类别,进而提出一种基于深度区域网络的卷积神经网络结构。方法 该结构基于深度区域网络,首先,进行深度特征提取任务,使用VGG16层网络和残差101层网络两种结构作为特征提取网络,用于提取深层共享特征,产生特征映射。其次,使用区域建议网络结构,在特征映射上进行卷积,产生目标区域;同时使用兴趣区域（RoI）池化层对特征映射进行最大值池化,实现网络共享。之后将池化后的目标区域输入到区域卷积网络中进行细粒度类别预测和目标边界回归,最终输出网络预测类别及回归边框点坐标。同时还进行了局部遮挡实验,检测局部遮挡部位对于分类正确性的影响,分析局部信息对于鸟类分类的影响情况。结果 该模型针对CUB_200_2011鸟类数据库进行实验,该数据库包含200种细粒度鸟类类别,11 788幅鸟类图片。经过训练及测试,实现VGG16+R-CNN （RPN）和Res101+R-CNN （RPN）两种结构验证正确率分别为90.88%和91.72%,两种结构Top-5验证正确率都超过98%。本文模拟现实环境遮挡情况进行鸟类局部特征遮挡实验,检测分类效果。结论 基于深度区域网络的卷积神经网络模型,提高了细粒度鸟类图像的分类性能,在细粒度鸟类图像的分类上,具有分类精度高、泛化能力好和鲁棒性强的优势,实验发现头部信息对于细粒度鸟类分类识别非常重要。     

基于卷积神经网络的多尺度Logo检测算法

针对自然场景图像中多尺度Logo的检测需求,提出了一种基于卷积神经网络的多尺度Logo检测算法。该算法基于两阶段目标检测的实现思路,通过构建特征金字塔并采取逐层预测的方式实现多尺度候选区域的生成,通过融合卷积神经网络中的多层特征图以增强特征的表达能力。在FlickrLogos-32数据集上的实验结果显示,相比基线方法,所提算法能够提升生成候选区域的召回率,并且在保证大中尺度 Logo 检测精度的前提下,提升小尺度Logo的检测性能,验证了所提算法的优越性。