基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

深度学习的双人交互行为识别与预测算法研究

基于卷积神经网络的双人交互行为识别算法存在提取的深度特征无法有效表征交互行为序列特性的问题,本文将长短期记忆网络与卷积神经网络模型相结合,提出了一种基于深度学习的双人交互行为识别与预测一体化方法。该方法在训练过程中,完成对卷积神经网络和长短期记忆网络模型的参数训练。在识别与预测过程中,将不同时间比例长度的未知动作类别的视频图像分别送入已经训练好的卷积神经网络模型提取深度特征,再将卷积神经网络提取的深度特征送入长短期记忆网络模型完成对双人交互行为的识别与预测。在国际公开的UT-interaction双人交互行为数据库进行测试的结果表明,该方法在保证计算量适当的同时对交互行为的正确识别率达到了92.31%,并且也可完成对未知动作的初步预测。     

基于超图的多模态情绪识别

近年来多模态情绪识别获得广泛关注,模态间的特征融合决定了情绪识别的效果,现有基于图的情绪特征融合方法多基于二元关系图,在处理三种及以上模态数据时难以实现有效的模态间特征融合,限制了多模态情绪识别的效果.为解决该问题,本文提出基于超图的多模态情绪识别模型（Multi-modal Emotion Recognition Based on Hypergraph,MORAH）,引入超图来建立多模态的多元关系,以此替代现有图结构采用的多个二元关系,实现更加充分、高效的多模态特征融合.具体来说,该模型将多模态特征融合分为两个阶段：超边构建阶段和超图学习阶段.在超边构建阶段,通过胶囊网络实现对序列中每个时间步的信息聚合,并建立单模态的图,然后使用图卷积进行第二次信息聚合,并以此作为下一阶段建立超图的基础,得益于图胶囊聚合方法的加入,MORAH可以同时处理对齐数据和未对齐数据,无需手动对齐;在超图学习阶段,模型建立同一样本不同模态节点之间的关联,以及同类样本所有模态之间的关联,同时,在超图卷积过程中,使用分层多级超边来避免过于平滑的节点嵌入,并使用简化的超图卷积方法来融合模型之间的高级特征,以确保所有...     

基于超图表示的服装兼容性预测模型

针对现有服装兼容性模型都集中探究成对单品之间的兼容性这一问题,提出一种基于超图表示的服装兼容性预测模型。该模型首先基于现有数据集中时尚服装的不同类别和时尚服装间的搭配关系构建了一个服装超图,其中每个节点表示一件衣服,每条超边表示多件衣服组成的套装。为了更好地从超图中推断服装的兼容性,该模型将超图转换为传统图,并利用图神经网络模拟节点之间的复杂交互。最后引入注意力机制计算服装的兼容性得分,增强模型的预测能力。实验结果表明,在服装填空任务和服装兼容性预测两个服装搭配任务上,该模型分别达到了77.29%和96.23%的准确率,较其他基线模型有显著的提升。     

融合时空图卷积的多人交互行为识别

目的 多人交互行为的识别在现实生活中有着广泛应用。现有的关于人类活动分析的研究主要集中在对单人简单行为的视频片段进行分类,而对于理解具有多人之间关系的复杂人类活动的问题还没有得到充分的解决。方法 针对多人交互动作中两人肢体行为的特点,本文提出基于骨架的时空建模方法,将时空建模特征输入到广义图卷积中进行特征学习,通过谱图卷积的高阶快速切比雪夫多项式进行逼近。同时对骨架之间的交互信息进行设计,通过捕获这种额外的交互信息增加动作识别的准确性。为增强时域信息的提取,创新性地将切片循环神经网络（recurrent neural network,RNN）应用于视频动作识别,以捕获整个动作序列依赖性信息。结果 本文在UT-Interaction数据集和SBU数据集上对本文算法进行评估,在UT-Interaction数据集中,与H-LSTCM（hierarchical long short-term concurrent memory）等算法进行了比较,相较于次好算法提高了0.7%,在SBU数据集中,相较于GCNConv（semi-supervised classification with graph convolutional networks）、RotClips+MTCNN（rotating cliips+multi-task convolutional neural netowrk）、SGC（simplifying graph convolutional）等算法分别提升了5.2%、1.03%、1.2%。同时也在SBU数据集中进行了融合实验,分别验证了不同连接与切片RNN的有效性。结论 本文提出的融合时空图卷积的交互识别方法,对于交互类动作的识别具有较高的准确率,普遍适用于对象之间产生互动的行为识别。     

基于改进时空图卷积网络的人员交互行为识别

针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果。在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力。     

基于邻域交互和图神经网络的推荐模型

异质图中包含丰富的关系，图神经网络(Graph Neural Networks, GNNs)能够自然地整合节点关系，因此图神经网络在推荐领域显示出巨大的潜力.然而，现有基于图神经网络的推荐大多聚焦于学习用户和项目的表示，忽略了用户和项目间的交互信息.其次，这些模型很少学习元路径的明确表示.为了解决上述问题，本文提出一种基于邻域交互和图神经网络的推荐模型NGRec.该模型学习用户和项目的表示，并通过元路径引导的邻域来获取用户和项目间的交互，最后将节点表示和交互信息进行融合用于推荐.该模型在得到节点有效表示的基础上，融合节点间的交互，增强了推荐效果.在3种不同类型的异质图上进行大量的实验，证明了所提模型在性能上的提升.     

基于姿态信息的人与物体交互检测模块网络

针对在相对密集场景下检测不佳的普遍现象,提出了基于人体姿态信息输入的模块化神经网络,通过构建绝对姿态特征和相对空间姿态特征来促进人与物体交互关系的检测.该算法主要包含两个分支:a)通过全连接层网络来独立处理每个人体关节点相对于物体的空间姿态特征;b)通过全连接图神经网络来更新每个关节点的绝对姿态特征.最后通过一个行为分类网络基于融合后的特征来进行交互关系的推断.该模块网络结合先进的检测模型VS-GATs在数据集V-COCO和HICO-DET上取得了显著的提升效果:在V-COCO上,比VS-GATs的检测结果提升2 mAP(约4％);在更有挑战性的HICO-DET上,比VS-GATs的检测结果提升0.98 mAP(约4.6％).实验表明了所构建特征的有效性以及设计的网络的优越性.     

自注意力超图池化网络

近年来,将卷积神经网络推广到图数据上的图卷积神经网络引起了广泛关注,主要包括重新定义图的卷积和池化操作.由于图数据只能表达二元关系的局限性,使其在实际应用中表现欠佳.相比之下,超图能够捕获数据的高阶相关性,利用其灵活的超边易于处理复杂的数据表示.然而,现有的超图卷积神经网络还不够成熟,目前尚无有效的超图池化操作.因此,提出了带有自注意机制的超图池化网络,使用超图结构建模,通过引入自注意力的超图卷积操作学习带有高阶数据信息的节点隐藏层特征,再经过超图池化操作选择并保留在结构和内容上的重要节点,进而得到更准确的超图表示.在文本分类、菜肴分类和蛋白质分类任务上的实验结果表明:与目前多种主流方法相比,该方法均取得了更好的效果.     

一种基于图注意力的双分支社会关系识别方法

从图像中挖掘人物间的社会关系在刑侦、隐私防护等领域有重要的作用。现有的图建模方法通过创建人际关系图或构建知识图谱来学习人物关系,取得了良好的效果。但基于图卷积神经网络（GCN）的方法一定程度上忽略了不同特征对特定关系的不同程度的重要性。针对上述问题,提出了一种基于图注意力的双分支社会关系识别模型（GAT-DBSR）,第一个分支提取人物区域以及图像全局特征作为节点,核心是通过图注意力网络和门控机制去更新这些节点以学习人物关系的特征表示。第二个分支通过卷积神经网络提取场景特征来增强对人物关系的识别。最终对两个分支的特征进行融合并分类得到所有的社会关系。该模型在PISC数据集的细粒度关系识别任务上的mAP达到了74.4%,相比基线模型提高了1.2%。在PIPA数据集上的关系识别准确率也有一定的提升。实验结果表明了该模型具有更优越的效果。     

IBNAD:一种基于交互的5G核心网网络功能异常检测模型

现有 5G(5th Generation Mobile Communication Technology)核心网异常检测主要基于信令流量深度解析, 但较少利用核心网网络功能交互关系的作用。针对上述问题, 提出一种基于交互的 5G 核心网网络功能异常检测模型。首先, 该模型以行为分析为驱动, 基于信令流量和网络功能注册数据提取多维属性, 通过行为画像来表征网络功能行为模式, 并采用集成学习算法RFECV(Recursive Feature Elimination with Cross-Validation)进行属性特征选择, 降低特征维度的同时筛选出与区分网络功能行为模式高度相关的属性特征。然后, 模型基于网络功能交互关系对核心网进行图建模, 建模后的图数据融合了网络功能属性信息和交互信息。最后, 模型通过基于空间域的图卷积网络聚合邻域节点属性信息和结构信息来融合行为模式特征, 新生成的节点表示用于分类, 从而将核心网网络功能异常检测问题转化为图节点分类问题。通过在 free5GC 仿真平台上采集数据, 并在搭建的异常检测系统中的实验表明, 该模型的异常检测性能优于基于属性特征分析的传统机器学习模型、基于结构特征分析的图嵌入模型及部分 5G 核心网异常检测模型。10%数据集作为训练集时, 所提模型的准确率比支持向量机模型提高 6.6%, 比Struc2vec 模型提高 13%, 比深度神经网络模型提高 8%。     

面向人-物交互的视觉识别方法研究

从物体识别、动作识别和人-物交互行为识别三者关系角度对人-物交互的视觉识别方法进行了研究。将三者关系建模成统一的人-物交互识别的模型,通过该模型对以动作作为上下境进行物体识别,以物体作为上下境进行动作识别、交互行为识别、基于图模型的对象识别以及由交互行为进行动作和物体识别5个方面进行了详细研究,最后对面向人-物交互识别方法进行了比较。     

基于L0稀疏超图半监督学习的异常用电行为识别

对异常用电行为进行自动分析是电力部门十分关心的问题,故提出一种基于L0稀疏超图半监督学习的用户窃电行为识别算法。与经典图模型中两个顶点的边连接方式不同,超图模型将具有相似特征的多个样本组建为超边,有利于表示用户用电数据间的复杂关联关系。然而常用的K近邻构建超边方法存在超边大小固定,无法有效匹配用户用电数据非均匀分布的缺点。为解决该问题,建立基于L0稀疏重构的超图模型,模型针对每一用户数据建立一个超边,通过L0范数约束的稀疏分解自适应选择与当前用户紧密关联的多个样本,更有利于匹配用户数据的分布结构。继而构建超图拉普拉斯正则约束的半监督分类模型,利用少量的标定样本数据,判别用户用电行为是否存在异常。选取某城市8 900余居民300余天的实际用电数据作为测试样本集,实验结果验证了方法的有效性。     

基于关键姿势的双人交互行为识别

针对双人交互行为识别应用领域广但效率低的问题,提出一种基于关键姿势的双人交互行为识别方法。首先,利用帧间差异比较来提取关键帧;然后,利用骨骼点角度变化的方差和空间关系来确定关键帧中的关键姿势;接着,利用关节距离、角度和关节运动等特征表示关键姿势,每一个关键姿势表示为一个特征矩阵;最后,利用不同的降维和分类组合,选取识别率最优的组合。在SBU交互数据集和自建的交互数据集上评估所提出的识别方法,该方法的识别率分别达到92.47%和94.14%。实验结果表明,通过提取关键姿势的特征形成特征矩阵来表示动作的方法可以有效地提高双人交互行为识别结果。     

基于有向网络非对等关系的异常子图识别算法

图异常检测将实体间通联关系抽象为复杂网络形式表示,旨在利用结构特征识别网络中存在的异常行为与实体,具有关系客观存在且异常可解释较强的优点。目前该类方法主要以无向网络结构为基础提取特征,以达到识别异常的目的,主要关注于连边层面异常结构,对于由集体异常行为构成的异常子图识别问题研究仍较少,缺少对行为方向异常协同关系的分析。传统方法通过提取节点邻域结构特征构建特征空间,并根据节点邻域结构在特征空间中的映射点距离发现离群点,虽可发现结构具有明显差异的异常子图,但忽略了网络结构中节点的实际物理联系,以及行为由于主客体不同所导致个体间关系非对等的实际情况。针对该问题,本文提出了基于有向网络非对等关系的异常子图识别算法,通过连边方向信息提取节点间行为方向特征,度量节点间关系非对等强度,后转化为子图密度形式表示,结合基于密度的异常识别方法挖掘异常,保留了实际物理联系。通过在4种不同异常类型的合成数据集与存在实际异常的真实数据集上进行实验,验证了其具有较高的异常识别精度与鲁棒性。     

面向多中心数据的超图卷积神经网络及应用

近年来,图神经网络在神经性脑疾病诊断中的应用引起了广泛关注。然而,现有研究中使用的图通常只是基于简单的点对点连接,无法反映3个或更多受试者之间的复杂关联,尤其是在多中心数据集中,即由不同医疗机构所使用的不同采集设备和不同受试人群而集成的具有异质性的数据集。为解决医疗影像数据中存在的多中心异质性问题,提出了一种多中心超图数据结构来描述多中心数据之间的关系。这种超图由两种不同的超边构成,一种是描述单个中心内部关系的中心内超边,另一种是描述不同中心之间关系的跨中心超边。另外,还提出了一种超图卷积神经网络来学习节点的特征表示,这种超图卷积由两部分构成,第一部分是超图节点卷积,第二部分是超边卷积。在两个多中心数据集上的实验结果证明了所提方法的有效性。     

基于超图正则化非负Tucker分解的图像聚类算法

针对非负张量分解应用于图像聚类时忽略了高维数据内部几何结构的问题,在经典的张量非负Tucker分解的基础上,添加超图正则项以尽可能多地保留原始数据的内在几何结构信息,提出一种基于超图正则化非负Tucker分解模型HGNTD。通过构造超图刻画数据内部样本间的高阶关系,提高几何结构描述的准确性,针对超图正则化非负张量分解模型,基于交替非负最小二乘法,设计快速有效的超图正则化非负Tucker分解算法求解所给模型,证明算法在非负的条件下是收敛的,最终将算法应用于图像聚类。在Yale和COIL两个常用公开数据集上的实验结果表明,相对于k-means、非负矩阵分解、图正则化非负矩阵分解、非负Tucker分解和图正则化非负Tucker分解等算法,超图正则化非负Tucker分解算法聚类准确度提升了8.6%~11.4%,归一化互信息提升了2.0%~7.5%,具有更好的聚类效果。     

面向异质变分超图自动编码器的超边链接预测模型

如何采用超边建模网络数据中的多元关联关系,实现潜在超边链接关系的预测具有重要的现实意义。现有方法主要集中于研究具有成对关系的网络数据,然而,直接将现有的链接预测方法用于超图网络中的超边链接预测具有一定的局限性。因此,提出基于异质变分超图自动编码器的超边链接预测模型(heterogeneous variational hypergraph autoencoder,HVGAE)。首先,利用超图卷积实现变分超图自动编码器,将超图网络数据转换成一种低维空间表示;其次,加入节点近邻度函数,最大程度地保留其结构信息,从而构建异质超图网络超边链接预测模型。针对三种不同类型的超图网络进行实验,结果表明相比其他的基准方法,HVGAE模型获得了较好的预测结果,说明其能够较好地解决超图网络中的超边链接预测问题。     

基于超图卷积网络和目标多意图感知的会话推荐算法

当前先进的会话推荐算法主要通过图神经网络从全局和目标会话中挖掘项目的成对转换关系,并将目标会话压缩成固定的向量表示,忽略了项目间复杂的高阶信息和目标项目对用户偏好多样性的影响。为此提出了基于超图卷积网络和目标多意图感知的会话推荐算法HCN-TMP。通过学习会话表示来表达用户偏好,首先依据目标会话构建会话图,依据全局会话构建超图,通过意图解纠缠技术将原有反映用户耦合意图的项目嵌入表示转换为项目多因素嵌入表示,再经图注意力网络和超图卷积网络分别学习目标会话节点的会话级和全局级项目表示,并使用距离相关性损失函数增强多因素嵌入块间的独立性;然后嵌入目标会话中节点位置信息,加权每个节点的注意力权重,得到全局级和会话级会话表示;利用对比学习最大化两者互信息,经目标多意图感知,针对不同的目标项目自适应地学习目标会话中多意图的用户偏好,得到目标感知级会话表示,最后线性融合三个级别的会话表示得到最终的会话表示。在Tmall和Nowplaying两个公开数据集上进行大量实验,实验结果验证了HCN-TMP算法的有效性。     

面向时空图建模的图小波卷积神经网络模型

时空图建模是分析图形结构系统中各要素空间关系与时间趋势的一个基础工作.传统的时空图建模方法,主要基于图中节点与节点关系固定的显式结构进行空间关系挖掘,这严重限制了模型的灵活性.此外,未考虑节点间的时空依赖关系的传统建模方法不能捕获节点间的长时时空趋势.为了克服这些缺陷,研究并提出了一种新的用于时空图建模的图神经网络模型,即面向时空图建模的图小波卷积神经网络模型（Graph Wavelet Convolutional Neural Network for Spatiotemporal Graph Modeling,GWNN-STGM）,称为GWNN-STGM.在GWNN-STGM中设计了一个图小波卷积神经网络层,并在该网络层中设计并引入了自适应邻接矩阵进行节点嵌入学习,使得模型能够在不需要结构先验知识的情况下,从数据集中自动发现隐藏的结构信息.此外,GWNN-STGM还包含了一个堆叠的扩张因果卷积网络层,使模型的感受野能够随着卷积网络层数的增加呈指数增长,从而能够处理长时序列.GWNN-STGM成功将图小波卷积神经网络层和扩张因果卷积网络层两个模块进行有效集成.通过在公共交通网络数据集上试验发现,提出的GWNN-STGM的性能优于其他的基准模型,这表明设计的图小波卷积神经网络模型在从输入数据集中探索时空结构方面具有很大的潜力.