基于多尺度卷积神经网络的交通标志识别

基于多纵卷积神经网络的交通标志识别算法识别率较高,但识别和训练时间较长,实用性较差。为此,构造一种基于多尺度卷积神经网络的道路交通标志识别模型。通过改进单尺度卷积神经网络中特征提取的基网络,将网络不同层级所产生的特征融合为多尺度特征并提供给分类器,以提高低层特征的利用率。在GTSRB数据集上的实验结果表明,该模型准确识别率达到99.25%,与多纵卷积神经网络模型相比,其在保证高精度的同时,识别和训练时间的降幅均超过90%,更适用于真实路况下交通标志的精准检测。     

基于多尺度多粒度特征的行人重识别

针对现有的基于卷积神经网络的行人重识别方法所提取的特征辨识力不足的问题,提出了一种基于多尺度多粒度特征的行人重识别方法.在训练阶段,该方法在卷积神经网络的不同尺度提取特征;然后对获得的多尺度特征图进行分块和池化,从而得到不同尺度的全局特征和局部特征的多粒度特征,使用不确定性权重调节Softmax损失和三元组损失来对特征...     

自适应融合局部和全局特征的图像质量评价

无参考图像质量评价通过算法来量化图像质量的失真程度。有效建立失真位置与周围空间的依赖关系能提高质量预测的准确性,但目前基于卷积神经网络的无参考图像质量评价方法,仅通过传统的卷积对局部失真区域进行特征提取,无法有效地获取全局的失真关系,容易弱化对失真扭曲等特征表示。因此,提出了一种基于自适应融合局部和全局特征的图像质量评价算法。在待评价图像上进行特征提取时,自适应地构建围绕每个空间位置的长距离空间和通道间的依赖关系,通过全局失真关系来增强局部特征信息的表征能力;增强图像的细节信息,并在不同尺度的特征层上自适应地融合局部和全局失真信息,整合更加丰富的失真特性,进而提高特征的判别性;再将多个尺度上的不同失真信息进行融合获得最终的质量评价得分,这种融合可以避免图像浅层信息的损失。为验证模型的有效性,在真实失真和合成失真数据集上进行实验对比分析,结果表明,在真实失真数据集LIVEC上SROCC达到0.867,对图像质量的预测更符合人类对质量的感知。     

基于改进残差网络的交通标志识别算法

针对模型在下采样过程中不断损失图像的高层次信息,从而导致特征提取不足的问题,本文对ResNet网络结构进行改进,提出基于多尺度特征与注意力机制的交通标志识别方法。首先,通过特征融合的方式将模型各个层次的多尺度特征进行融合,丰富特征语义信息,增强网络的特征提取能力。然后,通过注意力机制强化不同通道特征,提升特征整体的表达能力。结合这2种方法可提升模型的交通标志识别准确率。在GTSRB和BelgiumTS交通标志数据集上的实验结果表明,所提出方法的准确率分别达到99.31%和98.96%,优于前沿的交通标志识别算法。     

基于卷积神经网络融合SIFT特征的人脸表情识别

表情识别技术是计算机从静态表情图像或动态表情图像中识别出特定的表情,是实现人机交互的基础。提出一种融合卷积神经网络(CNN)与SIFT特征的人脸表情识别方法。通过图像预处理得到规范化的表情图像;采用视觉词袋模型将图像提取的SIFT特征作进一步处理,将得到的图像特征向量作为局部特征,CNN提取的特征作为全局特征,全局特征用以描述表情的整体差异,局部特征用以描述表情的局部差异;将提取出的两组特征融合后采用Softmax分类。与流形稀疏表示(Manifold Sparse Representation,MSR)及3DCNN等方法在CK+及FER2013数据集上的实验表明,该方法是一种有效的表情识别方法。     

基于双通道卷积神经网络的交通标志识别算法

针对交通标志图像易受复杂背景、光照、运动模糊等影响导致识别率低和识别速度慢的问题,提出了基于非对称双通道卷积神经网络的交通标志识别方法.通过不同网络结构的两通路提取丰富的特征信息,上层通路使用跃层连接提取的浅层局部特征和深层全局特征,与下层通路提取的精细特征在全连接层进行融合,并使用激活函数LReLUs代替脆弱的ReL...     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

增量角度域损失和多特征融合的地标识别

目的 地标识别是图像和视觉领域一个应用问题,针对地标识别中全局特征对视角变化敏感和局部特征对光线变化敏感等单一特征所存在的问题,提出一种基于增量角度域损失（additive angular margin loss,ArcFace损失）并对多种特征进行融合的弱监督地标识别模型。方法 使用图像检索取Top-1的方法来完成识别任务。首先证明了ArcFace损失参数选取的范围,并于模型训练时使用该范围作为参数选取的依据,接着使用一种有效融合局部特征与全局特征的方法来获取图像特征以用于检索。其中,模型训练过程分为两步,第1步是在谷歌地标数据集上使用ArcFace损失函数微调ImageNet预训练模型权重,第2步是增加注意力机制并训练注意力网络。推理过程分为3个部分：抽取全局特征、获取局部特征和特征融合。具体而言,对输入的查询图像,首先从微调卷积神经网络的特征嵌入层提取全局特征;然后在网络中间层使用注意力机制提取局部特征;最后将两种特征向量横向拼接并用图像检索的方法给出数据库中与当前查询图像最相似的结果。结果 实验结果表明,在巴黎、牛津建筑数据集上,特征融合方法可以使浅层网络达到深层预训练网络的效果,融合特征相比于全局特征（mean average precision,mAP）值提升约1%。实验还表明在神经网络嵌入特征上无需再加入特征白化过程。最后在城市级街景图像中本文模型也取得了较为满意的效果。结论 本模型使用ArcFace损失进行训练且使多种特征相似性结果进行有效互补,提升了模型在实际应用场景中的抗干扰能力。     

融合全局与随机局部特征的鸟类姿态识别模型

为了高效地进行鸟类姿态分类,提出一种基于全局与随机局部特征融合的鸟类姿态识别模型.首先利用融合多分辨率的网络提取鸟类姿态全局特征;然后于网络中浅层与深层的高分辨率特征引入随机定位模块,即根据随机抽取的特征图求取最大值位置,形成包围盒裁剪原图;再将裁剪的局部图片送入子分类网络提取鸟类姿态局部特征;最后将全局和随机局部特征...     

基于深度学习的虹膜人脸多特征融合识别

传统多生物特征融合识别方法中人工设计特征提取存在盲目性和差异性,特征融合存在空间不匹配或维度过高等问题,为此提出一种基于深度学习的多生物特征融合识别方法。通过卷积神经网络(convolutional neural networks,CNN)提取人脸和虹膜特征、参数化t-SNE算法特征降维和支持向量机(support vector machine,SVM)分类组合进行融合识别。实验结果表明,该融合识别方法与单一生物特征识别以及其它融合识别方法相比,鲁棒性增强,识别性能提升明显。     

混合卷积神经网络的人脸验证

人脸验证对于个人身份认证很重要, 它在系统安全和犯罪识别中具有重要意义. 人脸验证的任务是给定一对人脸图像判断是否为相同的身份(即二进制分类). 传统的验证方法包括两个步骤: 特征提取和人脸验证. 本文提出了一个混合卷积神经网络, 用于进行人脸验证, 主要过程分为三个步骤: 特征提取, 特征选择和人脸验证. 这个模型关键点是直接使用混合卷积神经网络从原始像素直接学习相关的视觉特征, 并通过单变量特征选择和主成分分析(PCA)进一步处理特征. 这样可以实现从原始像素提取到具有较好鲁棒性和表达性的特征. 在顶层使用支持向量机(SVM)判读是否为同一个人. 通过实验可以发现混合卷积神经网络模型与传统方法相比在人脸验证得准确率上有着较好的表现.     

基于特征面的分层特征识别

为降低特征识别的复杂度,提出基于特征实体、特征实面和特征虚面概念的层次性特征分类方法.通过构造2类神经网络输入矩阵,利用神经网络在特征识别中所具有的优势,实现基于特征面的分层特征识别方法.实例表明：该方法在识别去除材料的特征时比较有效,但识别特征的范围受到一定限制.     

融合通道层注意力机制的多支路卷积网络抑郁症识别

目的 抑郁症是一种常见的情感性精神障碍,会带来诸多情绪和身体问题。在实践中,临床医生主要通过面对面访谈并结合自身经验评估抑郁症的严重程度。这种诊断方式具有较强的主观性,整个过程比较耗时,且易造成误诊、漏诊。为了客观便捷地评估抑郁症的严重程度,本文围绕面部图像研究深度特征提取及其在抑郁症自动识别中的应用,基于人脸图像的全局和局部特征,构建一种融合通道层注意力机制的多支路卷积网络模型,进行抑郁症严重程度的自动识别。方法 首先从原始视频提取图像,使用多任务级联卷积神经网络检测人脸关键点。在对齐后分别裁剪出整幅人脸图像和眼睛、嘴部区域图像,然后将它们分别送入与通道层注意力机制结合的深度卷积神经网络以提取全局特征和局部特征。在训练时,将训练图像进行标准化预处理,并通过翻转、裁剪等操作增强数据。在特征融合层将3个支路网络提取的特征拼接在一起,最后输出抑郁症严重程度的分值。结果 在AVEC2013（The Continuous Audio/Visual Emotion and Depression Recognition Challenge）抑郁症数据库上平均绝对误差为6.74、均方根误差为8.70,相较于Baseline分别降低4.14和4.91;在AVEC2014抑郁症数据库上平均绝对误差和均方根误差分别为6.56和8.56,相较于Baseline分别降低2.30和2.30。同时,相较于其他抑郁症识别方法,本文方法取得了最低的平均绝对误差和均方根误差。结论 本文方法能够以端到端的形式实现抑郁症的自动识别,将特征提取和抑郁症严重程度识别在统一框架下进行和调优,学习到的多种视觉特征更加具有鉴别性,实验结果表明了该算法的有效性和可行性。     

基于双流对称特征融合网络模型的海洋船舶目标识别

海洋船舶目标识别在民用和军事领域有着重要的战略意义, 本文针对可见光图像和红外图像提出了一种 基于注意力机制的双流对称特征融合网络模型, 以提升复杂感知环境下船舶目标综合识别性能. 该模型利用双流对 称网络并行提取可见光和红外图像特征, 通过构建基于级联平均融合的多级融合层, 有效地利用可见光和红外两种 模态的互补信息获取更加全面的船舶特征描述. 同时将空间注意力机制引入特征融合模块, 增强融合特征图中关 键区域的响应, 进一步提升模型整体识别性能. 在VAIS实际数据集上进行系列实验证明了该模型的有效性, 其识别 精确度能达到87.24%, 综合性能显著优于现有方法.     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

一种特征加权融合人脸识别方法

针对传统人脸识别算法在非限制条件下识别准确率不高的问题,提出了一种特征加权融合人脸识别方法(DLWF⁺)。根据人脸面部左眼、右眼、鼻子、嘴、下巴等5个器官位置,将人脸图像划分成5个局部采样区域;将得到的5个局部采样区域和整幅人脸图像分别输入到对应的神经网络中进行网络权值调整,完成子网络的构建;利用softmax回归求出6个相似度向量并组成相似度矩阵与权向量相乘得出最终的识别结果。经ORL和WFL人脸库上进行实验验证,识别准确率分别达到97%和91.63%。实验结果表明:该算法能够有效提高人脸识别能力,与传统识别算法相比在限制条件和非限制条件下都具有较高的识别准确率。     

多级卷积特征金字塔的细粒度食物图片识别

目的 食物图片具有结构多变、背景干扰大、类间差异小、类内差异大等特点,比普通细粒度图片的识别难度更大。目前在食物图片识别领域,食物图片的识别与分类仍存在精度低、泛化性差等问题。为了提高食物图片的识别与分类精度,充分利用食物图片的全局与局部细节信息,本文提出了一个多级卷积特征金字塔的细粒度食物图片识别模型。方法 本文模型从整体到局部逐级提取特征,将干扰较大的背景信息丢弃,仅针对食物目标区域提取特征。模型主要由食物特征提取网络、注意力区域定位网络和特征融合网格3部分组成,并采用3级食物特征提取网络的级联结构来实现特征由全局到局部的转移。此外,针对食物图片尺度变化大的特点,本文模型在每级食物特征提取网络中加入了特征金字塔结构,提高了模型对目标大小的鲁棒性。结果 本文模型在目前主流公开的食物图片数据集Food-101、ChineseFoodNet和Food-172上进行实验,分别获得了91.4%、82.8%、90.3%的Top-1正确率,与现有方法相比提高了1%~8%。结论 本文提出了一种多级卷积神经网络食物图片识别模型,可以自动定位食物图片区分度较大的区域,融合食物图片的全局与局部特征,实现了食物图片的细粒度识别,有效提高了食物图片的识别精度。实验结果表明,该模型在目前主流食物图片数据集上取得了最好的结果。     

基于姿态校正与姿态融合的2D/3D骨架动作识别方法

针对现有的人体骨架动作识别方法对肢体信息挖掘不足以及时间特征提取不足的问题,提出了一种基于姿态校正模块与姿态融合模块的模型PTF-SGN,实现了对骨架图关键时空信息的充分利用。首先,对骨架图数据进行预处理,挖掘肢体和关节点的位移信息并提取特征;然后,姿态校正模块通过无监督学习的方式获取姿态调整因子,并对人体姿态进行自适应调整,增强了模型在不同环境下的鲁棒性;其次,提出一种基于时间注意力机制的姿态融合模块,学习骨架图中的短时刻特征与长时刻特征并融合长短时刻特征,加强了对时间特征的表征能力;最后,将骨架图的全局时空特征输入到分类网络中得到动作识别结果。在NTU60 RGB+D、NTU120 RGB+D两个3D骨架数据集和Penn-Action、HARPET两个2D骨架数据集上的实验结果表明,该模型能够有效地识别骨架时序数据的动作。     

融合卷积神经网络与多层感知器的鞍部识别方法

针对传统鞍部识别方法中特征选择困难及未考虑鞍部与其它地形要素的共生关系等问题,利用深度卷积神经网络的特征自学习性能,提出了一种卷积神经网络与多层感知器相结合的混合模型实现DEM数据中的鞍部要素识别.首先设计改进的卷积神经网络模型自动提取鞍部的深度特征,经过Softmax分类器得到候选鞍部点,再运用多层感知器对候选鞍部点...