基于多尺度卷积神经网络的交通标志识别

基于多纵卷积神经网络的交通标志识别算法识别率较高,但识别和训练时间较长,实用性较差。为此,构造一种基于多尺度卷积神经网络的道路交通标志识别模型。通过改进单尺度卷积神经网络中特征提取的基网络,将网络不同层级所产生的特征融合为多尺度特征并提供给分类器,以提高低层特征的利用率。在GTSRB数据集上的实验结果表明,该模型准确识别率达到99.25%,与多纵卷积神经网络模型相比,其在保证高精度的同时,识别和训练时间的降幅均超过90%,更适用于真实路况下交通标志的精准检测。     

一种改进的Mask RCNN特征融合实例分割方法

实例分割需要兼顾像素级的分类准确性和目标实例级的高级语义特性,非常具有挑战性。由于特征金字塔网络低层特征到高层特征的融合路径太长,导致低层特征在整个特征层次中的作用较弱。在特征金字塔网络的基础上,引入一条自下而上的路径来增强整个特征层次,缩短较低层特征与顶部特征之间的融合路径,增强低层特征在整个特征层次中的作用;在卷积神经网络中引入空洞卷积算法扩大卷积感受域,进一步提升掩膜预测准确度。在Microsoft COCO数据集测试结果表明,该方法有效提高了实例分割的准确度。     

基于多特征增强的手部姿态估计方法

手部姿态估计是计算机视觉研究的重要方向之一,在人机交互、虚拟现实、机器人控制等应用领域发挥着重要作用。针对目前手部姿态估计存在特征表示方法单一性的问题,提出手部关键点连接关系特征构建方法与基于手部运动语义关系的关键点特征聚合增强方法,提高手部特征表达与信息共享能力;针对手部目标检测与图像分割等预处理方法中存在的遮挡性问题,设计手部轮廓特征提取方法,提高预处理效果;基于所提出的多特征表示与增强方法,构建了一个基于全卷积结构的深度学习神经网络模型,避免直接回归计算3D姿态信息导致的空间信息丢失问题,从而有效提高了3D手部姿态估计精度。在DO、ED、RHD等多个数据集上与SOTA模型相比,均取得了竞争性的效果,且平均AUC结果达到了93.3%,说明所提出的方法也具有较好普适性。     

基于卷积神经网络的左心室超声图像特征点定位

针对传统级联卷积神经网络（CNN）在左心室超声图像中定位准确度较低的问题，提出一种融合更快速区域卷积神经网络（Faster-RCNN）模型提取区域的级联卷积神经网络，实现对超声图像中左心室心内膜和心外膜轮廓特征点的定位。首先，采用两级级联的方式改进传统级联卷积神经网络的网络结构，第一级网络利用一个改进的卷积网络粗略定位左心室心内膜和心外膜联合的特征点，第二级网络使用四个改进的卷积网络分别对心内膜特征点和心外膜特征点进行位置微调，之后定位输出左心室心内膜和心外膜联合的轮廓特征点位置；然后，将改进的级联卷积神经网络与目标区域提取融合，即利用Faster-RCNN模型提取包含左心室的目标区域并将目标区域送入改进的级联卷积神经网络；最后，由粗到细对左心室轮廓特征点进行定位。实验结果表明，与传统级联卷积神经网络相比，所提方法在左心室超声图像上的定位效果更好，更逼近真实值，在均方根误差的评价标准下，特征点定位准确度提升了32.6个百分点。     

多卷积特征融合的HOG行人检测算法

行人检测是计算机视觉领域中的经典问题,HOG结合SVM的方法是解决这一问题的有效途径,HOG对行人特征的有效描述起到了重要作用。卷积神经网络(CNN)作为一种有效的特征提取方法,通过特征图可以实现对特征更好的描述。提出将卷积神经网络(CNN)与传统的HOG+SVM算法相结合的方法。首先利用CNN在下采样层中可以使用不同的卷积核对数据进行不同角度特征描述的特点,对样本进行多角度浅层特征提取;然后用HOG对得到的浅层特征进行进一步的提取;最后采用支持向量机(SVM)完成训练、分类。实验表明,该方法对于行人检测具有很高的识别率,优于传统方法。     

MS-2HCNN:基于深度学习的高光谱图像信号分类方法

为了能更准确地提取与合并高光谱图像信号中的空间&光谱特征,提出了一种MS-2HCNN结构（Multi Stage-Heightened & Hyperspectral convolutional neural network）。MS-2HCNN通过融合不同的卷积层结果获得了更具判别性的特征,还通过将提取到的光谱和空间信息进行了串接,简化了计算,保证了准确性和可靠的分类性能。此外,提出的多阶段设计可以将上层获得的背景信息与下层获得的精确空间信息相结合,使得它在准确性和复杂度方面比现有的方法更有优势。最后,为了应对样本特征比问题,引入了复杂度更优,精度更好的网络优化器,加之采用的批量归一化方法减少了MS-2HCNN的模型参数并提高了其拟合能力。在不同开源数据集上的分类结果表明了本文方法的有效性。     

结合自适应融合网络与哈希的图像检索算法

卷积神经网络因其对图像识别准确率高而在图像检索领域备受青睐,但处理大规模数据集时,基于卷积神经网络提取的深度特征维度高,容易引发"维度灾难".针对图像检索中深度特征维度高的问题,提出一种基于自适应融合网络特征提取与哈希特征降维的图像检索算法.由于传统哈希处理高维特征复杂度高,因此本文在卷积神经网络中加入自适应融合模块对特征进行重新整合,增强特征表征能力的同时降低特征维度;然后应用稀疏化优化算法对深度特征进行第2次降维,并通过映射获得精简的哈希码;最后,实验以Inception网络作为基础模型,在数据集CIFAR-10和ImageNet上进行了丰富的实验.实验结果表明,该算法能有效提高图像检索效率.     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

基于卷积递归模型的文本分类研究

近年来卷积神经网络和循环神经网络在文本分类领域得到了越来越广泛的的应用。提出一种卷积神经网络和长短时记忆网络特征融合的模型,通过长短期记忆网络作为池化层的替代来获得长期依赖性,从而构建一个联合CNN和RNN的框架来克服单卷积神经网络忽略词语在上下文中语义和语法信息的问题。所提出的方法在减少参数数量和兼顾文本序列全局特征方面起着重要作用,实验结果表明,可以通过更小的框架来实现相同级别的分类性能,并且在准确率方面超越了同类型的其他几种方法。     

面向时空特征融合的GSTIN动作识别网络

视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作.通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network).GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构.GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8％和70.6％,这表明GSTIN与其他动作识别网络相比具有较好的识别性能.     

基于混合卷积神经网络算法的风场预测研究

在农业生产中,准确的风速预报对农作物安全防范有着至关重要的作用。针对云南地区的高海拔和多山,基于卷积神经网络框架,提出了卷积长短时序分析神经网络-卷积门控循环单元神经网络(ConvLSTM-ConvGRU)混合风速预测模型。通过神经网络框架的改进,有效的提高了模型对风场空间特征的提取。利用美国国家环境预报中心(NCEP)提供的再分析风速数据集,使用ConvLSTM、ConvGRU、ConvLSTM-ConvGRU混合模型分别对云南地区的风速进行。实验结果表明：ConvLSTM-ConvGRU混合风速预测模型能够有效对云南地区风场进行预测,相较于另外两个模型提高了预测准确度。     

基于特征融合的图像超分辨率

近年深度卷积神经网络在图像超分辨率领域取得了巨大成功。然而多数基于深度卷积神经的超分辨率模型不能很好地利用来自低分辨率图像的各级特征，从而导致相对较差的性能。本文采用全局特征融合的方法，对全局多层次特征进行联合学习，充分利用各卷积通道特征，通过全局跳跃连接，使网络更注重高频信息的学习，并采用亚像素卷积实现上采样重建，取得了更好的效果。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于时空域深度神经网络的野火视频烟雾检测

针对目前的烟雾检测算法主要基于单一特征或烟雾的多个动静态特征的融合导致检测精度低的问题,提出一种使用卷积神经网络和循环神经网络组合的视频烟雾检测框架来捕获烟雾在空间域和时间域中的特征信息。利用空间流网络部分对运动区域自动提取特征后进行初步的空域的判别;在将空域判断为有烟的基础上进一步通过时间流网络和循环神经网络部分累积一组连续帧之间的运动信息以区分烟雾和非烟雾区域。与现有的使用深度卷积神经网络模型进行对比实验,实验结果表明,该方法具有较高的分类检测准确率。在多个视频场景中进行测试,验证了该算法的有效性。     

基于深度学习的卷积神经网络在图像风格化处理中的应用研究

图像的风格化处理已广泛应用在各个领域,近年来引起了众多学者的研究兴趣。笔者通过对传统风格化处理的相关算法进行分析,发现传统风格化算法在提取图像重要特征、定义图像的重要特征等方面存在一些不足,并指出了图像风格化处理的新方向,为今后图像的风格化处理提供了一个重要参考。     

基于卷积神经网络中层特征学习的交通标志图像识别

为解决目前方法不能有效对交通标志进行检测定位,定位交通标志效率低下,存在误检漏检的问题,提出基于卷积神经网络中层特征学习的交通标志图像识别。计算图像的显著度并输出感兴趣区域;提取底层图像特征,构建优化目标函数并训练视觉词典,使用PCA方法提取交通标志图像特征并与视觉词典进行卷积,通过空间金字塔池化提取多层次特征;使用SoftMax分类器进行分类。结果表明：该方法的召回率为96%,准确率为97%,取得良好效果,小标志的召回率为94.5%,准确率为95.5%,有利于远距离交通标志识别,标志的平均定位时间为0.006 s,实时性强。     

多路径卷积神经网络的轮廓感知

目的 引入视觉信息流的整体和局部处理机制,提出了一种多路径卷积神经网络的轮廓感知新方法。方法 利用高斯金字塔尺度分解获得低分辨率子图,用来表征视觉信息中的整体轮廓;通过2维高斯导函数模拟经典感受野的方向选择性,获得描述细节特征的边界响应子图;构建多路径卷积神经网络,利用具有稀疏编码特性的子网络（Sparse-Net）实现对整体轮廓的快速检测;利用具有冗余度增强编码特性的子网络（Redundancy-Net）实现对局部细节特征提取;对上述多路径卷积神经网络响应进行融合编码,以实现轮廓响应的整体感知和局部检测融合,获取轮廓的精细化感知结果。结果 以美国伯克利大学计算机视觉组提供的数据集BSDS500图库为实验对象,在GTX1080Ti环境下本文Sparse-Net对整体轮廓的检测速度达到42幅/s,为HFL方法1.2幅/s的35倍;而Sparse-Net和Redundancy-Net融合后的检测指标数据集尺度上最优（ODS）、图片尺度上最优（OIS）、平均精度（AP）分别为0.806、0.824、0.846,优于HED （holistically-nested edge detection）方法和RCF （richer convolution features for edge detection）方法,结果表明本文方法能有效突出主体轮廓并抑制纹理背景。结论 多路径卷积神经网络的轮廓感知应用,将有助于进一步理解视觉感知机制,并对减弱卷积神经网络的黑盒特性有着重要的意义。     

基于改进卷积神经网络与听觉谱图的乐器识别

针对传统乐器识别需要音乐的低级声频特征及识别性能依赖特征选取的问题,利用接近人耳感知且低冗余度的听觉谱图作为5层深度卷积网络的输入,逐层抽象出音色的高级时频表示用于乐器识别。为有效捕获听觉谱图中的时频信息,将卷积网络第1层矩形卷积核改进为频率、时间轴上的多尺度卷积核。在IOWA乐器库上进行的仿真实验结果表明,该神经网能获得96. 95%的识别准确率,优于使用单一卷积核的神经网,在相同的网络结构下,基于听觉谱图得到的识别准确率较基于梅尔频率倒谱系数(MFCC)、语谱图分别高出9. 11%、3. 54%,且对打击乐器与同族乐器的错分率均较小。     

基于尺度自适应卷积神经网络的人群计数算法

为解决单幅图像中的人群遮挡和尺度变化问题,提出一种基于多列卷积神经网络的人群计数算法。利用具有不同尺寸感受野的卷积神经网络(CNN)和特征注意力模块自适应提取多尺度人群特征,引入可变形卷积增强CNN网络空间几何形变学习能力并优化特征图,从而生成高质量的密度图。Shanghai Tech和UCF_CC_50数据集上的实验结果表明,该算法能学习输入图和人群密度图之间的映射关系,且计数准确性高、鲁棒性强。     

卷积神经网络特征重要性分析及增强特征选择模型

卷积神经网络等深度神经网络凭借着其强大的表达能力、突出的分类性能,已在不同领域内得到了广泛应用.当面对高维特征时,深度神经网络通常被认为具有较好的鲁棒性,能够隐含地对特征进行选择,但由于网络参数巨大,如果数据量达不到足够的规模,则会导致学习不充分,因而可能无法达到最优的特征选择.而神经网络的黑箱特性使得无法观测神经网络选择了哪些特征,也无法评估其特征选择的能力.为此,以卷积神经网络为例,首先研究如何显式地表达神经网络中的特征重要性,提出了基于感受野的特征贡献度分析方法;其次,将神经网络特征选择与传统特征评价方法进行对比分析发现,在非海量样本的情况下,传统特征评价方法对高重要性特征和噪声特征的识别能力反而能够超过神经网络.因此,进一步地提出了卷积神经网络增强特征选择模型,将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中,以辅助深度神经网络进行特征选择.在基于文本的社交媒体用户属性建模任务下进行了对比实验,结果验证了该模型的有效性.