基于空间注意力与图卷积的多标签图像分类算法

针对传统多标签图像分类模型存在难以生成更接近相关标签的高层图像特征,以及因未能利用标签之间的视觉相关性而导致的识别精度不够高等问题,提出了一种基于空间注意力与图卷积的多标签图像分类算法.首先,利用图卷积网络学习标签邻接图特征和使用GLOVE算法,从标签序列获取的标签嵌入;其次,在高层语义信息中引入改进的空间注意力网络以...     

基于改进VGG网络的面部表情识别方法

针对传统面部识别方法中网络模型重要通道特征关注度欠缺、参数过多、准确率低等问题,提出一种基于改进VGG19网络(Visual Geometry Group, VGG19)的表情识别方法。该方法在VGG19网络的每组卷积层之间都加入一个新模块,新模块由三方面组成：SE注意力机制模块、BN批量归一化层、PReLU激活函数,SE模块中的原激活函数ReLU替换为Mish激活函数,加速收敛,提升网络对面部细节关注度;对全连接层参数量进行修改,去除第一层全连接层和第二层全连接层,最大池化层替换为全局混合池化,达到卷积层加全局混合池化、一层全连接层的组合。原网络中全连接层节点数由[4 096,4 096,1 000]改进为[512,7],改善了VGG网络庞大参数量的特征,增加抗过拟合效果。在CK+和FER-2013表情数据集上准确率分别达到98.990%和73.112%,证明所提方法具有较好的泛化性和准确率。     

基于图卷积网络的手指静脉识别方法研究

针对传统手指静脉识别方法往往存在识别率低或者计算量大等问题,本文提出一种基于轻量型图卷积网络的手指静脉识别方法。首先用一个加权图描述一张手指静脉图像,图的顶点特征和加权边集分别由指静脉图像的局部方向能量特征和特征间相关性确定。图数据作为输入,经过基于切比雪夫多项式的图卷积层和由图粗化协助的快速池化层,然后全连接层进行特征整合,再进行分类识别。实验结果显示,该方法识别效率远高于传统算法,并在实验室自制手指静脉数据库达到96.80%的识别率,在不同数据库有较好的普适性。      

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络。以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过减少冗余信息提高识别准确率;接着构建时空特征提取模块获得关注关节点时空关联信息;最终由Softmax层实现动作识别。实验结果表明：在校园安防实景中对拳打、脚踢、倒地、推搡、打耳光和跪地6种典型动作识别准确率分别为94.5%,97.0%,98.5%,95.0%,94.5%,95.5%,识别速度最大为20.6 fps。在UCF101数据集上对比两类基准网络,识别速度和准确率均有提升,验证了方法对其他动作的通用性,可以满足对校园典型暴力行为识别的实时性和可靠性要求。     

三维面部表情识别技术的研究进展

三维采集设备的快速发展,极大推动了三维数据技术的研究。其中,以三维人脸数据为载体的三维面部表情识别研究成果不断涌现。三维面部表情识别可以极大克服二维识别中的姿态和光照变化等方面问题。对三维表情识别技术进行了系统概括,尤其针对三维表情的关键技术,即对表情特征提取、表情编码分类及表情数据库进行了总结分析,并提出了三维表情识别的研究建议。三维面部表情识别技术在识别率上基本满足要求,但实时性上需要进一步优化。相关内容对该领域的研究具有指导意义。     

基于多尺度融合注意力机制的人脸表情识别研究

针对传统卷积神经网络在表情特征提取阶段容易丢失大量有用信息,无法提取到高判别性表情特征,从而导致表情识别率低的问题,提出一种基于多尺度特征融合注意力机制的人脸表情识别方法.首先,采用VGGNet16来提取卷积特征.为了避免表情特征信息的丢失,将网络中不同层次卷积层的输出特征图进行多尺度特征融合,引入上下文信息的同时提取...     

基于关键点LBP特征提取的面部AU组合识别

提出以面部关键点为中心选取子区域,对各个子区域提取（Local binary pattern,LBP）特征,用最近邻分类器进行面部运动单元（Action unit,AU）组合识别。AU的运动与面部特定肌肉的变化有关,基于关键点特征的提取方法可最大限度提取有用的信息,减少冗余信息,与提取整幅面部表情图像的LBP特征方法相比较,其识别结果有明显的优势。     

基于融合DCT和LBP特征提取的面部表情识别

针对离散余弦变换(DCT)只能提取面部表情图像的全局特征,而忽略了临近像素之间的关系、不能提取纹理特征信息、不能准确区分相似表情等问题,提出一种融合离散余弦变换方法和局部二值模式(LBP)特征的表情特征提取方法。该方法首先将人脸图像经过DCT获得的低频系数作为表情的全局特征;然后用LBP对贡献率较大的嘴部、眼睛区域进行局部纹理特征提取,通过将LBP提取到的局部纹理特征与DCT提取到的全局特征进行融合,从而得到更有效的表情特征;最后利用支持向量机(SVM)进行识别。实验结果表明:该方法比单独使用DCT方法提取的表情特征更有利于识别,提高了表情识别的准确性,并将这个表情识别方法用于智能轮椅的控制上,收到了良好的效果。     

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于图卷积神经网络的人体三维重建

针对在人体三维重建任务中人体模型姿势参数的回归会出现不连续性或周期性的问题,以及生成的模型往往不能展现丰富的人体表面细节的问题.本文尝试使用神经网络从输入的原始图像中提取丰富的人体特征,并将所得特征融合到标准人体模型的网格顶点上,然后使用图卷积神经网络直接回归网格顶点的三维坐标,而不是回归人体姿势参数,这样就避免了回归...     

双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,...     

基于注意力机制和稀疏图卷积的行人轨迹预测

行人轨迹预测能够有效降低行人轨迹突变造成的碰撞风险,在智能交通及监控系统等领域有着广泛应用。目前已有的研究大多利用无向图卷积网络对行人间的社会交互关系进行建模,这种方法缺少对行人隐藏状态关联性的考虑,容易产生行人间的冗余交互。针对这一问题,提出一种基于注意力机制和稀疏图卷积的行人轨迹预测模型（DASGCN）,通过构建深度注意力机制,捕捉行人间运动隐藏状态的关联性,从而准确地提取行人运动状态特征。进一步提出自调节稀疏方法,减小冗余信息带来的运动轨迹偏差,解决行人密集无向交互的问题。将所提模型在ETH和UCY数据集上进行验证,其平均位移误差（ADE）和最终位移误差（FDE）分别达到0.36和0.63。实验结果表明,DASGCN对行人轨迹的预测能力要优于传统算法。     

基于BERT和注意力引导图卷积网络的关系抽取

针对现有图卷积网络在关系抽取任务中存在文本语义,语法表征不准确和在不同树结构上并行化计算较难等问题,本文提出一种基于BERT和注意力引导图卷积网络的关系抽取模型。首先,在模型的输入层使用BERT和Bi-LSTM编码出适应于上下文语境的词向量;其次,对输入的树结构采用最短路径为中心的修剪方式,减少树中的无关信息;最后,在模型中引入多头注意力机制,自动学习不同子空间内对关系提取有用的相关子结构,并在TACRED数据集上进行验证。实验结果表明,相对于基线模型,本文提出的模型显著提高了实体关系抽取的F₁值。     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案.首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影...     

人脸面部表情识别的研究进展

随着信息和计算机技术的飞速发展,人脸面部表情识别技术越来越受到重视.本文综述了近年来人脸面部表情识别的研究进展.首先对面部表情识别技术的研究背景和发展历程作了简单的回顾,然后着重介绍了几种主要的识别方法,并力争从理论上对各种方法进行分析和比较,最后简单地讨论了进一步提高面部表情识别率的难点和必须考虑的几个重要方面,进而展望了人脸面部表情识别技术的发展方向.     

多注意力机制下自愈人脸表情识别

人脸表情识别技术在社会生活、刑事侦探等领域中具有重要应用价值和广阔应用前景.现有方法对表情特征提取不充分,使得高维特征易丢失局部关键信息;同时在复杂背景下表情的二义性导致网络泛化能力弱.为解决这些问题,本文提出一种多注意力机制下自愈网络(Multiple Attention Self Curing Network,MASCNet).该网络生成带有注意力权重的多尺度特征,通过融合不同尺度特征,提高网络模型在细粒度下对局部关键信息的表征能力.自注意力机制模块为融合后的特征分配重要性权重,约束不确定性样本在网络训练中所占比重,提高网络的泛化能力.本文方法在FER2013和RAF-DB数据集上的最高的识别正确率分别为74.21%和88.74%.实验结果表明该方法能有效识别人脸表情,优于现有MHBP、AHBRPN等主流方法.     

基于谱特征提取算法的海员表情识别方法研究

基于及时了解和调整海员的工作状态,避免海上交通事故频繁发生的目的,采用了基于空间一致性的谱特征提取表情识别算法。谱特征提取算法是在谱聚类算法理论基础上,通过在进行谱特征提取之前加空间一致性进行约束来改进实现的。通过对海员特定表情(比如疲劳、焦虑等)的识别试验,得出该算法能够有效地提取表情的特征信息,特别是对疲劳焦虑等负面情绪的表情,能有效提高识别率。