基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于光谱注意力图卷积网络的高光谱图像分类

近年来,图卷积网络因其特征聚合的机制,能够同时对单个节点以及近邻节点的特征进行表示,被广泛应用于高光谱图像的分类任务。然而,高光谱图像(HSI)中常存在波段冗余、同物异谱等问题,使得直接利用原始光谱特征构建的初始图可靠性不足,从而导致高光谱图像的分类精度低。为此,该文提出一种基于光谱注意力图卷积网络(SAGCN)的高光谱图像半监督分类方法。首先,利用注意力模块对光谱的局部与全局信息进行交互,以增加重要光谱的权重、减小冗余波段以及噪声波段的权重,从而实现光谱的自适应加权;然后,针对光谱加权处理后的高光谱图像,通过空间-光谱相似性度量构建更为准确的近邻矩阵;最后,通过图卷积对标记和无标记样本进行有效的特征聚合,并使用标记样本的聚合特征训练网络。在Indian Pines, Kennedy Space Center和Botswana 3个真实高光谱图像数据集上的实验结果验证了所提方法的有效性。     

基于关系图卷积神经网络的多标签事件预测

事件预测需要综合考虑的要素众多,现有预测模型多数存在数据稀疏、事件的组合特征及时序特征考虑不足、预测类型单一等问题。为此,提出了基于关系图卷积神经网络的多标签事件预测方法,通过节点特征聚合技术实现数据的稠密化表示。模型利用卷积神经网络的卷积和池化运算,提取预测数据的组合时间段特征信息,并结合长短期记忆网络的时序特征提取能力,进一步提取预测数据的时序规律特征;最后,模型通过全连接的多标签分类器,输出多种类型事件发生的概率值。实验结果表明,所提模型可以支持进行多日期、多类型事件预测,在特定数据集上最高F1值可以达到0.85。     

双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,...     

融合注意力机制的多标签文本分类

多标签文本分类的结果很大程度上受到标签相关性的影响.为了更加细致地处理标签相关性问题,提出一种融合注意力机制的多标签文本分类方法.首先,将文本和标签预处理后,对标签输入采用两种不同的嵌入方式提取特征;其次,运用注意力机制处理信息,针对文本和标签信息,自注意力机制进行特征处理,标签注意力机制和交互注意力机制进行依赖关系处理,进而得到两种不同状态下的表示方式;最后,通过两次融合,充分表示文本标签信息,得到较好的标签分类结果.实验结果显示,较之于基线方法,在精度和归一化折损累计增益上,该方法数据总体有所提高.由此,该方法可以有效地融合文本和标签信息,缓解标签相关性问题,有利于提升多标签文本分类任务性能.     

基于面部关键点和图卷积的表情识别方法

针对现有人脸表情识别方法对于面部细节处的局部特征关注度不足的问题,提出了基于面部关键点和图卷积的人脸表情识别方法CGNet。CGNet将面部图像按面部器官进行分割得到多个分割图像,提取分割图像的多尺度特征并引入空间注意力机制提取细节信息,提升网络对于面部细节的关注度;提取人脸关键点,利用图卷积网络提取出人脸面部的结构信息,提升网络对高维度特征的表示能力。实验结果表明,CGNet是一种高效的表情识别算法,能够获得更有效的面部特征,提高识别准确率。     

基于空间注意力的图像分类网络研究

针对以往的图像分类方法利用手工提取的特征（或通过神经网络提取的特征）、空间信息关注不足等问题,文章提出一种基于空间注意力的图像分类网络。该网络利用空间注意力模块,对深度网络提取的视觉特征进行空间约束。利用特征的空间信息,使得网络能够对特征在空间上的重要性加以区分,从而使其更具判别性。采用CIFAR-10和CIFAR-100测试集分别进行测试,测试结果表明,该文提出的图像分类网络的图像分类效果明显优于其他深度学习方法。     

基于混合图卷积网络模型的节点分类方法

随着互联网和大数据的发展,近年来图表征学习(Graph Representation Learning)受到了广泛关注。图表征学习将图中每一个节点都映射到一个低维向量空间,并且在此空间内保持原有图的结构信息,常常应用于节点分类、链路预测以及社群发现等任务。图卷积网络(Graph Convolutional Networks,GCN)和图注意力网络(Graph Attention Networks,GAT)是基于神经网络的图表征学习方法。GCN模型假设图中所有的边都具有相同的权重,所以认为图中节点间互联的强弱关系是一致的,这是不合理的。虽然GAT模型引入了多个注意力矩阵来学习图中相邻节点之间的重要性,但增加了计算复杂性。因此,提出了一种基于混合图卷积网络模型(GCN Mixture Model,GCN-MM)的方法。该方法充分利用GCN模型与GAT模型各自的优点,结合了图中节点的相邻相似性、结构相似性以及特征多样性。在公共数据集CORA、CITESEER、PUBMED的半监督任务中,它相比GAT模型有效减少了模型的可调整参数数量和训练耗时,同时不影响精度。在CORA和PUBMED数据集的...     

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络。以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过减少冗余信息提高识别准确率;接着构建时空特征提取模块获得关注关节点时空关联信息;最终由Softmax层实现动作识别。实验结果表明：在校园安防实景中对拳打、脚踢、倒地、推搡、打耳光和跪地6种典型动作识别准确率分别为94.5%,97.0%,98.5%,95.0%,94.5%,95.5%,识别速度最大为20.6 fps。在UCF101数据集上对比两类基准网络,识别速度和准确率均有提升,验证了方法对其他动作的通用性,可以满足对校园典型暴力行为识别的实时性和可靠性要求。     

基于图卷积网络的服装评价信息分类问题的研究

随着互联网的快速发展以及电子设备的逐渐普及,越来越多的人选择在网上购物,买家在购买商品之后,可以通过平台提供的评价系统表达自己对服装产品的感受,因此会产生大量的服装评价信息.由于这些评价信息的标签是通过人工选择的,会受到外在因素的影响,所以具有不确定性.这些不确定性产生的误差会影响到平台以及其他用户对服装产品的评判.针...     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

基于图卷积神经网络的人体三维重建

针对在人体三维重建任务中人体模型姿势参数的回归会出现不连续性或周期性的问题,以及生成的模型往往不能展现丰富的人体表面细节的问题.本文尝试使用神经网络从输入的原始图像中提取丰富的人体特征,并将所得特征融合到标准人体模型的网格顶点上,然后使用图卷积神经网络直接回归网格顶点的三维坐标,而不是回归人体姿势参数,这样就避免了回归...     

基于注意力机制和稀疏图卷积的行人轨迹预测

行人轨迹预测能够有效降低行人轨迹突变造成的碰撞风险,在智能交通及监控系统等领域有着广泛应用。目前已有的研究大多利用无向图卷积网络对行人间的社会交互关系进行建模,这种方法缺少对行人隐藏状态关联性的考虑,容易产生行人间的冗余交互。针对这一问题,提出一种基于注意力机制和稀疏图卷积的行人轨迹预测模型（DASGCN）,通过构建深度注意力机制,捕捉行人间运动隐藏状态的关联性,从而准确地提取行人运动状态特征。进一步提出自调节稀疏方法,减小冗余信息带来的运动轨迹偏差,解决行人密集无向交互的问题。将所提模型在ETH和UCY数据集上进行验证,其平均位移误差（ADE）和最终位移误差（FDE）分别达到0.36和0.63。实验结果表明,DASGCN对行人轨迹的预测能力要优于传统算法。     

基于小波变换多尺度积的图像融合算法

图像融合是图像处理中的关键技术之一。它在军事和民用图像处理领域获得了广泛的应用。提出了一种新的基于小波变换多尺度积的图像融合算法,小波变换多尺度积具有放大信号边缘特征和降低信号噪声的特点,有利于在融合图像中保持图像的细节特征。利用统计分析的评判准则,如熵、标准偏差评价图像的融合效果。实验结果表明该方法提高了图像的熵和标准偏差。在保留原图像信息的情况下增强了融合图像的细节信息。     

基于多特征融合技术的商品图像分类

针对网上商品图像的特点,提出了一种多特征融合的分类方法。本文针对颜色和商品图案风格两方面对图像进行分类。首先对商品图像进行分割,再提取特征,颜色特征选择提取颜色直方图特征和颜色矩特征;提取PHOG和SIFT特征来描述图案风格。然后采用基于决策的加权融合方法将两种特征结合起来进行分类,最后在数据集上进行实验,与仅用单一特征分类和使用普通多特征拼接方法作比较,使用本文融合特征的方法进行分类准确率较高,并且其准确率有8%~10%的提升。实验结果表明本文提出的方法是一种有效的商品图像分类方法。     

融合上下文信息图卷积的中文短文本分类方法

针对中文短文本特征提取存在语义特征稀疏的问题,为了弥补图卷积网络不能捕捉长距离上下文关联性的不足,引入双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM),提出BERT BGCN短文本分类模型.首先利用BERT对文本信息进行字符级编码作为图节点的特征值,其次通过全局共享的点互信息(Pointwise Mutual Information,PMI)关系作为节点间的边为每个文档构建一个单独的文本图,再次,聚合图卷积网络和BiLSTM的输出形成融合上下文信息的特征矩阵并输入到下一层的图卷积网络,最后输出到全连接层得到最终分类结果.本模型在3个中文短文本数据集与其他多个基线模型进行比较,实验结果表明,本模型在准确率方面优于其他基线模型.     

基于BERT和注意力引导图卷积网络的关系抽取

针对现有图卷积网络在关系抽取任务中存在文本语义,语法表征不准确和在不同树结构上并行化计算较难等问题,本文提出一种基于BERT和注意力引导图卷积网络的关系抽取模型。首先,在模型的输入层使用BERT和Bi-LSTM编码出适应于上下文语境的词向量;其次,对输入的树结构采用最短路径为中心的修剪方式,减少树中的无关信息;最后,在模型中引入多头注意力机制,自动学习不同子空间内对关系提取有用的相关子结构,并在TACRED数据集上进行验证。实验结果表明,相对于基线模型,本文提出的模型显著提高了实体关系抽取的F₁值。     

多交互图卷积网络用于方面情感分析

方面情感分析旨在识别句子中特定方面的情感极性,是一项细粒度情感分析任务。传统基于注意力机制方法,仅在单词之间进行单一的语义交互,没有建立方面词与文本词的语法信息交互,导致方面词错误地关注到与其语法无关的文本词信息。此外,单词的位置距离特征和语法距离特征,分别体现其在句子线性形式中和句子语法依存树中的位置关系,而基于图卷积网络处理语法信息的方法却忽略距离特征,使距方面词较远的无关信息对其情感分析造成干扰。针对上述问题,该文提出多交互图卷积网络(MIGCN),首先将文本词位置距离特征馈入到每层图卷积网络,同时利用依存树中文本词的语法距离特征对图卷积网络的邻接矩阵加权,最后,设计语义交互和语法交互分别处理单词之间语义和语法信息。实验结果表明,在公共数据集上,准确率和宏F1值均优于基准模型。