基于时尚图谱增强的个性化互补服装推荐

近年来,人们对时尚穿搭有了更高的美学追求。因此,个性化互补服装推荐,即为用户推荐与他/她已购买服装相匹配的互补服装,逐渐吸引了学术界的广泛关注。个性化互补服装推荐不同于一般的推荐任务（如电影推荐）,它推荐的服装需要满足两个条件：1）与目标服装搭配;2）满足用户偏好。因此,相关的现有方法主要是基于时尚单品的多模态数据,着力于建模单品与单品之间的兼容性交互和用户与单品之间的偏好交互,以实现个性化互补服装的推荐。这些方法的缺点主要在于它们将每一个单品-单品交互或者用户-单品交互看作一个独立的数据实例,而忽略了单品的属性知识以及时尚实体（即,用户、单品及属性）之间的高阶交互关系。事实上,与一个单品（如,上衣）搭配的所有互补单品（如,下衣）可能会共享某些相同的属性（如,颜色）;同时,具有类似品味的用户也可能倾向于选择具有类似属性特征的单品。显然,这些时尚实体之间的高阶关系蕴含了丰富的有关单品兼容性和用户偏好的协同信号,因而能够促进个性化互补服装推荐模型性能的提升。据此,本文构建了一个大规模协同时尚图谱,并基于图卷积神经网络（Graph Neural Networks,GNNs）来探索时尚实体之间的高阶关系,进而更好地实现个性化的互补服装推荐。具体地,本文提出了一个新颖的基于时尚图谱增强的个性化互补服装推荐模型（Fashion Graph-enhanced Personalized Complementary Clothing Recommendation）,简称为FG-PCCR。FG-PCCR由两个关键的部分组成：独立的一阶交互建模和协同的高阶交互建模。一方面,独立的一阶交互建模模块基于视觉和文本模态数据,致力于通过神经网络和矩阵分解方法分别对单品-单品搭配交互和用户-单品偏好交互进行综合性建模。另一方面,协同的高阶交互模块基于构建的协同的时尚图谱,通过图神经网络利用信息传播机制来提取高阶的协同信号,进一步丰富用户和单品的向量表示。FG-PCCR模型能够有效整合时尚实体之间的复杂的高阶关系信息,用户和单品的表示学习,进而改进个性化互补推荐的效果。最后,对于给定的用户和目标上衣,我们能够得到推荐的下衣的个性化兼容性分数。另外,在真实的时尚数据集上做的大量实验,充分地验证了本文所提模型FG-PCCR相对于基准方法的优越性。     

基于平移约束的异质超网络表示学习

与仅具有节点成对关系的普通网络不同,超网络的节点之间还存在复杂的元组关系,即,超边。而现有的大多数网络表示学习方法不能有效地捕获复杂的元组关系。针对上述问题,该文提出一种基于平移约束的异质超网络表示学习方法(HRTC)。首先,该方法结合团扩展和星型扩展将抽象为超图的异质超网络转换为抽象为2-截图+关联图的异质网络。然后,提出一种感知节点语义相关性的元路径游走方法来捕获节点之间的语义关系。最后,在训练节点成对关系的同时,通过引入知识表示学习中的平移机制来捕获节点之间的元组关系。实验结果表明,对于链接预测任务,该方法的性能接近于其他最优基线方法;对于超网络重建任务,当超边重建比率大于0.6时,该方法在drug数据集上的性能优于其他最优基线方法,同时该方法在GPS数据集上的平均性能超过其他最优基线方法16.24%。     

基于转化策略的异质超网络表示学习

与传统网络相比,超网络结构更加复杂,并对现有网络表示学习方法提出了很大的挑战。为了克服网络表示学习面临的超网络结构的挑战,提出一种基于转化策略的异质超网络表示学习方法MT2vec。首先,结合团扩展和星型扩展将抽象为超图的异质超网络转换为抽象的2-截图+关联图的异质网络;然后提出一种感知节点语义相关性的元路径游走方法来捕获节点之间的成对关系和元组关系;最后,设计一种结合多层感知器的skip-gram优化模型同时训练节点成对相似性和元组相似性来获得节点表示向量。通过在三个不同类型的超网络数据集上进行实验。结果表明MT2vec算法在链接预测和超网络重建任务中,效果优于其他基线方法。     

交互关系超图卷积模型的双人交互行为识别

为提高学校、商场等公共场所的安全性,实现对监控视频中的偷窃、抢劫和打架斗殴等异常双人交互行为的自动识别,针对现有基于关节点数据的行为识别方法在图的创建中忽略了2个人之间的交互信息,且忽略了单人非自然连接关节点间的交互关系的问题,提出一种基于交互关系超图卷积模型用于双人交互行为的建模与识别。首先针对每一帧的关节点数据构建对应的单人超图以及双人交互关系图,其中超图同时使多个非自然连接节点信息互通,交互关系图强调节点间交互强度。将以上构建的图模型送入时空图卷积对空间和时间信息分别建模,最后通过SoftMax分类器得到识别结果。该算法框架的优势是在图的构建过程中加强考虑双人的交互关系、非自然连接点间结构关系以及四肢灵活的运动特征。在NTU数据集上的测试表明,该算法得到了97.36%的正确识别率,该网络模型提高了双人交互行为特征的表征能力,取得了比现有模型更好的识别效果。     

基于超图的多模态情绪识别

近年来多模态情绪识别获得广泛关注,模态间的特征融合决定了情绪识别的效果,现有基于图的情绪特征融合方法多基于二元关系图,在处理三种及以上模态数据时难以实现有效的模态间特征融合,限制了多模态情绪识别的效果.为解决该问题,本文提出基于超图的多模态情绪识别模型（Multi-modal Emotion Recognition Based on Hypergraph,MORAH）,引入超图来建立多模态的多元关系,以此替代现有图结构采用的多个二元关系,实现更加充分、高效的多模态特征融合.具体来说,该模型将多模态特征融合分为两个阶段：超边构建阶段和超图学习阶段.在超边构建阶段,通过胶囊网络实现对序列中每个时间步的信息聚合,并建立单模态的图,然后使用图卷积进行第二次信息聚合,并以此作为下一阶段建立超图的基础,得益于图胶囊聚合方法的加入,MORAH可以同时处理对齐数据和未对齐数据,无需手动对齐;在超图学习阶段,模型建立同一样本不同模态节点之间的关联,以及同类样本所有模态之间的关联,同时,在超图卷积过程中,使用分层多级超边来避免过于平滑的节点嵌入,并使用简化的超图卷积方法来融合模型之间的高级特征,以确保所有...     

面向多中心数据的超图卷积神经网络及应用

近年来,图神经网络在神经性脑疾病诊断中的应用引起了广泛关注。然而,现有研究中使用的图通常只是基于简单的点对点连接,无法反映3个或更多受试者之间的复杂关联,尤其是在多中心数据集中,即由不同医疗机构所使用的不同采集设备和不同受试人群而集成的具有异质性的数据集。为解决医疗影像数据中存在的多中心异质性问题,提出了一种多中心超图数据结构来描述多中心数据之间的关系。这种超图由两种不同的超边构成,一种是描述单个中心内部关系的中心内超边,另一种是描述不同中心之间关系的跨中心超边。另外,还提出了一种超图卷积神经网络来学习节点的特征表示,这种超图卷积由两部分构成,第一部分是超图节点卷积,第二部分是超边卷积。在两个多中心数据集上的实验结果证明了所提方法的有效性。     

面向异质变分超图自动编码器的超边链接预测模型

如何采用超边建模网络数据中的多元关联关系,实现潜在超边链接关系的预测具有重要的现实意义。现有方法主要集中于研究具有成对关系的网络数据,然而,直接将现有的链接预测方法用于超图网络中的超边链接预测具有一定的局限性。因此,提出基于异质变分超图自动编码器的超边链接预测模型(heterogeneous variational hypergraph autoencoder,HVGAE)。首先,利用超图卷积实现变分超图自动编码器,将超图网络数据转换成一种低维空间表示;其次,加入节点近邻度函数,最大程度地保留其结构信息,从而构建异质超图网络超边链接预测模型。针对三种不同类型的超图网络进行实验,结果表明相比其他的基准方法,HVGAE模型获得了较好的预测结果,说明其能够较好地解决超图网络中的超边链接预测问题。     

基于重启随机游走的图自编码器

针对现有的图自编码器无法捕捉图中节点之间的上下文信息的问题,提出基于重启随机游走的图自编码器.首先,构造两层图卷积网络编码图的拓扑结构和特征,同时进行重启随机游走捕捉节点之间的上下文信息;其次,为了聚合重启随机游走和图卷积网络获得的表示,设计自适应学习策略,根据两种表示的重要性自适应地分配权重.为了证明该方法的有效性,将图最终的表示应用于节点聚类和链路预测任务.实验结果表明,与基线方法相比,提出的方法实现了更先进的性能.     

基于图神经网络的程序脆弱性指数评估方法

软错误会导致隐性偏差,严重影响计算机系统的可靠性。计算程序脆弱性指数是防护隐性偏差的先决条件。针对传统方法中程序语义提取不足,无法全面反映错误传播机理的问题,提出了一种基于图注意力网络的程序脆弱性指数评估方法EpicGNN。将脆弱性指数预测的任务转换为图神经网络的图回归任务,应用不同类型的边来表示不同的指令关系;引入结构化多头自注意力机制量化节点间、节点到图在错误传播中的重要程度;依据该重要性聚合节点信息、图信息形成图的表示向量,并利用回归模型预测脆弱性指数。实验结果表明,EpicGNN在spec2000、spec2006、rodinia等数据集上的平均绝对误差相比现有模型减少了0.037～0.258,对未见过的图仍然有良好的泛化性能。     

自注意力超图池化网络

近年来,将卷积神经网络推广到图数据上的图卷积神经网络引起了广泛关注,主要包括重新定义图的卷积和池化操作.由于图数据只能表达二元关系的局限性,使其在实际应用中表现欠佳.相比之下,超图能够捕获数据的高阶相关性,利用其灵活的超边易于处理复杂的数据表示.然而,现有的超图卷积神经网络还不够成熟,目前尚无有效的超图池化操作.因此,提出了带有自注意机制的超图池化网络,使用超图结构建模,通过引入自注意力的超图卷积操作学习带有高阶数据信息的节点隐藏层特征,再经过超图池化操作选择并保留在结构和内容上的重要节点,进而得到更准确的超图表示.在文本分类、菜肴分类和蛋白质分类任务上的实验结果表明:与目前多种主流方法相比,该方法均取得了更好的效果.     

基于机器学习的时尚穿搭推荐研究综述

时尚产业是全球最具商业利益的产业之一,基于机器学习的时尚穿搭推荐技术利用互联网时尚社区的海量穿搭数据学习穿衣搭配技巧,实现个性化的时尚穿搭推荐服务于时尚产业,受到工业界和学术界的广泛关注。结合时尚穿搭的特点提出了基于机器学习的时尚穿搭推荐基本框架,并在此基础上对近几年国内外相容性预测与诊断、智能穿搭生成等关键技术的相关研究工作进行总结分析,指出该研究领域所面临的挑战性问题和未来的研究方向。     

面向时间感知的知识超图链接预测

知识超图是一种使用多元关系表示现实世界的异构图,但无论在通用领域还是垂直领域,现有的知识超图普遍存在不完整的情况.因此,如何通过知识超图中已有的链接推理缺失的链接是一个具有挑战性的问题.目前大多数研究使用基于多元关系的知识表示学习方法完成知识超图的链接预测任务,但这些方法仅从时间未知的超边中学习实体与关系的嵌入向量,没有考虑时间因素对事实动态演变的影响,导致在动态环境中的预测性能较差.首先,根据本文首次提出的时序知识超图定义,提出时序知识超图链接预测模型,同时从实体角色、位置和时序超边的时间戳中学习实体的静态表征和动态表征,以一定比例融合后作为实体嵌入向量用于链接预测任务,实现对超边时序信息的充分利用.同时,从理论上证明模型具有完全表达性和线性空间复杂度.此外,通过上市公司的公开经营数据构建时序知识超图数据集CB67,并在该数据集上进行了大量实验评估.实验结果表明:模型能够在时序知识超图数据集上有效地执行链接预测任务.     

Hypergraph Models and Algorithms for Data-Pattern-Based Clustering

In traditional approaches for clustering market basket type data, relations among transactions are modeled according to the items occurring in these transactions. However, an individual item might induce different relations in different contexts. Since such contexts might be captured by interesting patterns in the overall data, we represent each transaction as a set of patterns through modifying the conventional pattern semantics. By clustering the patterns in the dataset, we infer a clustering of the transactions represented this way. For this, we propose a novel hypergraph model to represent the relations among the patterns. Instead of a local measure that depends only on common items among patterns, we propose a global measure that is based on the cooccurences of these patterns in the overall data. The success of existing hypergraph partitioning based algorithms in other domains depends on sparsity of the hypergraph and explicit objective metrics. For this, we propose a two-phase clustering approach for the above hypergraph, which is expected to be dense. In the first phase, the vertices of the hypergraph are merged in a multilevel algorithm to obtain large number of high quality clusters. Here, we propose new quality metrics for merging decisions in hypergraph clustering specifically for this domain. In order to enable the use of existing metrics in the second phase, we introduce a vertex-to-cluster affinity concept to devise a method for constructing a sparse hypergraph based on the obtained clustering. The experiments we have performed show the effectiveness of the proposed framework.     

融合超图注意力机制与图卷积网络的信息扩散预测

针对传统的信息预测缺乏对用户全局性依赖挖掘进行研究,提出了一种融合超图注意力机制与图卷积网络的信息扩散预测模型(HGACN)。首先构建用户社交关系子图,采样获得子级联序列,输入图卷积神经网络学习用户社交关系结构特征;其次,综合考虑用户间和级联间的全局依赖,采用超图注意机制(HGAT)学习用户不同时间间隔的交互特征;最后,将学习到的用户表示捕获到嵌入模块,利用门控机制将其融合获得更具表现力的用户表示,利用带掩码的多头注意力机制进行信息预测。在Twitter等五个数据集上的实验结果表明,提出的HGACN模型在hits@N提高了4.4%,map@N提高了2.2%,都显著优于已有的MS-HGAT等扩散预测模型,证明HGACN模型是合理、有效的。这对谣言监测以及恶意账户的检测有非常重大的意义。     

基于赋权有向超图的云计算依赖任务调度研究

如何对依赖任务进行高效合理的调度是云计算急需解决的关键问题之一。对云计算环境下的依赖任务调度系统进行了形式化描述。采用赋权有向无环超图来构造依赖任务调度问题的数学模型,结点对应于依赖任务,有向超边对应于任务之间的执行先后依赖关系。将云计算依赖任务调度问题转换为赋权有向超图的优化划分问题,提出了基于多水平方法和赋权有向超图的依赖任务划分优化算法。设计并实现了基于多水平方法的云计算依赖任务调度原型系统。在CloudSim云计算仿真实验平台下,与Min-Min算法、Max-Min算法进行了对比实验,实验数据对比表明该算法在减少依赖任务执行时间的同时,优化了资源负载均衡性能。     

Time-aware Knowledge Hypergraph Link Prediction

A knowledge hypergraph is a form of heterogeneous graph representing the real world through $n$-ary relations, but existing knowledge hypergraphs are usually incomplete in both general and vertical domains. Therefore, it is challenging to infer the missing links from the existing links in knowledge hypergraphs. Most of the current studies employ knowledge representation learning methods based on $n$-ary relations to accomplish link prediction in knowledge hypergraphs, but they only learn the embedding vectors of entities and relations from time-unknown hyperedges without considering the influence of temporal factors on the dynamic evolution of facts, which results in poor prediction performance in dynamic environments. Firstly, based on the definition of temporal knowledge hypergraphs proposed by this paper for the first time, this paper puts forward a link prediction model for temporal knowledge hypergraphs and learns static and dynamic representations of entities from their roles, positions, and timestamps of temporal hyperedges. Then these representations are merged in a certain proportion and utilized as final entity embedding vectors for link prediction tasks to realize the full exploitation of hyperedge temporal information. Meanwhile, it is theoretically proven that the proposed model is fully expressive with linear space complexity. Additionally, a temporal knowledge hypergraph dataset CB67 is constructed from the public business data of listed companies, and a large number of experimental evaluations are conducted on this dataset. The experimental results show that the proposed model can effectively perform link prediction tasks on the temporal knowledge hypergraph dataset.     

基于多粒度注意力网络的知识超图链接预测

在知识图谱中进行链接预测是图谱补全的有效方法,可以有效地改善知识图谱的数据质量.然而,现实生活中的关系往往是多元的,这些包含多元关系的知识图谱可称为知识超图(knowledgehypergraph,KHG).然而,现有的知识超图链接预测模型忽略了多元关系的平等性(多元关系中实体不存在先后关系)与整体性(多元关系缺少一个实体则不成立).针对以上问题,首先提出了一种知识超图多元关系表示模型,可以直接建模知识超图中的多元关系;然后研究了一种基于多粒度神经网络的链接预测方法(hyperedgepredictionbasedonmulti-granular attentionnetwork,HPMG).该模型将关系划分为多重粒度进行学习,从不同粒度联合完成知识超图的学习和预测,充分考虑了知识超图中不同维度多元关系的整体性.接下来,针对HPMG特征融合不充分的问题,提出了基于多粒度注意力网络的知识超图链接预测方法 HPMG+,结合全局和局部注意力,实现了不同特征的有区分融合,进一步提高了模型的性能.最后,真实数据集上的大量实验结果验证了所提方法的效果显著地优于所有基线方法.     

基于属性分布相似度的超图高维聚类算法研究

在许多聚类应用中,数据对象是具有高维、稀疏、二元的特征。传统聚类算法无法有效地处理此类数据。该文提出一种基于超图模型的高维聚类算法,通过定义对象属性分布特征向量和对象间属性分布相似度,建立超图模型,并应用超图分割法进行聚类。聚类结果通过簇内奇异特征值进行评价。实验结果和算法分析表明,该算法可以有效地进行聚类知识挖掘。