解耦表征学习研究进展

解耦表征学习旨在对影响数据形态的关键因素进行建模,使得某一关键因素的变化仅仅引起数据在某项特征上的变化,而其他的特征不受影响,这有利于应对机器学习在模型可解释性、对象生成和操作以及零样本学习等问题上的挑战,因此解耦表征学习一直是机器学习领域的一个研究热点。从解耦表征学习的历史与动机入手,对解耦表征学习的研究现状以及应用进行归纳总结,分析了解耦表征所具有的不变性、复用性等特性,介绍了基于生成解耦表征变差因素的研究、基于流形相互作用解耦表征变差因素的研究、基于对抗性训练解耦表征变差因素的研究,以及一种变分自编码器β-VAE的研究等最新研究动态。同时,阐述了解耦表征学习的典型应用,并对未来的研究方向作出了展望。     

基于非敏感信息分析的轨迹数据隐私保护发布

针对轨迹数据发布时轨迹和非敏感信息引起的隐私泄露问题,提出一种基于非敏感信息分析的轨迹数据隐私保护发布算法。首先,分析轨迹和非敏感信息的关联性构建轨迹隐私泄露判定模型,得到最小违反序列元组（MVS）,然后借鉴公共子序列的思想,在消除MVS带来的隐私泄露风险时,选择MVS中对轨迹数据损失最小的时序序列作为抑制对象,从而生成具有隐私能力和低数据损失率的匿名轨迹数据集。仿真实验结果表明,与LKC-Local算法和Trad-Local算法相比,在序列长度为3的情况下,该算法平均实例损失率分别降低了6%和30%,平均最大频繁序列（MFS）损失率分别降低了7%和60%,因此所提算法能够有效用于提高推荐服务质量。     

图表示学习方法研究综述

针对图表示方法的相关解析任务进行了研究,从形式化定义出发,首先以不同核心技术作为分类标准将图表示学习方法划分为五大类,其包括基于降维解析、矩阵分解、随机游走、深度学习和其他表示学习方法。其次通过归纳与对比分析梳理各类技术发展脉络,进而深层次展现各类图表示方法的优劣。随后结合图表示学习的常用数据集、评估方法和应用领域的归纳分析,展开动态性、可扩展性、可解释性和可解析性的四维剖析。最后总结并展望了图表示学习的未来研究趋势与发展方向。     

Efficient secure data publishing algorithms for supporting information sharing

Many data sharing applications require that publishing data should protect sensitive information pertaining to individuals, such as diseases of patients, the credit rating of a customer, and the salary of an employee. Meanwhile, certain information is required to be published. In this paper, we consider data-publishing applications where the publisher specifies both sensitive information and shared information. An adversary can infer the real value of a sensitive entry with a high confidence by using publishing data. The goal is to protect sensitive information in the presence of data inference using derived association rules on publishing data. We formulate the inference attack framework, and develop complexity results. We show that computing a safe partial table is an NP-hard problem. We classify the general problem into subcases based on the requirements of publishing information, and propose algorithms for finding a safe partial table to publish. We have conducted an empirical study to evaluate these algorithms on real data. The test results show that the proposed algorithms can produce approximate maximal published data and improve the performance of existing algorithms. Supported by the Program for New Century Excellent Talents in Universities (Grant No. NCET-06-0290), the National Natural Science Foundation of China (Grant Nos. 60828004, 60503036), and the Fok Ying Tong Education Foundation Award (Grant No. 104027)     

面向异质变分超图自动编码器的超边链接预测模型

如何采用超边建模网络数据中的多元关联关系,实现潜在超边链接关系的预测具有重要的现实意义。现有方法主要集中于研究具有成对关系的网络数据,然而,直接将现有的链接预测方法用于超图网络中的超边链接预测具有一定的局限性。因此,提出基于异质变分超图自动编码器的超边链接预测模型(heterogeneous variational hypergraph autoencoder,HVGAE)。首先,利用超图卷积实现变分超图自动编码器,将超图网络数据转换成一种低维空间表示;其次,加入节点近邻度函数,最大程度地保留其结构信息,从而构建异质超图网络超边链接预测模型。针对三种不同类型的超图网络进行实验,结果表明相比其他的基准方法,HVGAE模型获得了较好的预测结果,说明其能够较好地解决超图网络中的超边链接预测问题。     

基于图嵌入编码形态信息的非均匀多任务强化学习方法

传统强化学习方法存在效率低下、泛化性能差、策略模型不可迁移的问题。针对此问题,提出了一种非均匀多任务强化学习方法,通过学习多个强化任务提升效率和泛化性能,将智能体形态构建为图,利用图神经网络能处理任意连接和大小的图来解决状态和动作空间维度不同的非均匀任务,突破模型不可迁移的局限,充分发挥图神经网络天然地利用图结构归纳偏差的优点,实现了模型高效训练和泛化性能提升,并可快速迁移到新任务。多任务学习实验结果表明,与以往方法相比,该方法在多任务学习和迁移学习实验中均表现出更好的性能,在迁移学习实验中展现出更准确的知识迁移。通过引入图结构偏差,使该方法具备更高的效率和更好的迁移泛化性能。     

基于条件函数依赖的隐私保护模型

数据拥有者发布的数据中如果包含条件函数依赖会导致数据的隐私受到攻击,由条件函数依赖产生的属性间的关联会带来潜在的隐私泄露问题。针对现有的隐私保护方法均无法保护包含条件函数依赖的数据的隐私,形式化地定义了基于条件函数依赖的隐私攻击,提出了隐私保护模型l-deduction来对包含条件函数依赖的数据进行隐私保护;并设计了相应的匿名算法来实现l-deduction模型。理论分析和实验结果表明,该方法既能保护包含条件函数依赖的数据的隐私,又具有较小的信息损失度。     

基于层次意图解耦的图卷积神经网络推荐模型

当前意图推荐研究提取出的用户意图趋向扁平化,忽略了意图间的层次关系。针对以上问题,提出了一种基于层次意图解耦的图卷积神经网络推荐模型(HIDR),将用户—项目交互图划分为多个动态交互子图,以刻画从细粒度到粗粒度的用户意图层次图。首先,在每个意图交互子图中根据节点高阶连接性自适应地聚合来自高阶邻域的信息,解耦提取用户细粒度意图表示;然后,依据低层次细粒度意图之间的相似关系在高层网络上构建粗粒度意图超节点,显式建模从细粒度到粗粒度的意图层次结构;最后,将解耦得到的层次意图向量聚合为高质量的用户和项目表示,并进行内积预测和迭代优化。在Gowalla和Amazon-book两个数据集上的实验结果表明,相较于最优基线模型CLSR,HIDR的召回率(recall)分别提升了10.82%、6.63%,归一化折损累计增益(NDCG)分别提升了14.65%、9.63%,精度(precision)分别提升了10.46%和7.73%。     

融合全局结构信息的拓扑优化图卷积网络

基于拓扑优化的图卷积网络(TOGCN)是一类图卷积神经网络(GCNN)模型,它通过网络中的辅助信息优化网络拓扑结构,有利于反映节点间的联系程度;然而TOGCN模型仅注重局部节点之间的关联关系,对网络潜在的全局结构信息关注不足.融合全局特征信息,有助于提高模型的性能和处理信息缺失时的鲁棒性.提出了融合全局结构信息的拓扑优...     

Learning disentangled user representation with multi-view information fusion on social networks

User representation learning is one prominent and critical task of user analysis on social networks, which derives conceptual user representations to improve the inference of user intentions and behaviors. Previous efforts have shown its substantial value in multifarious real-world applications, including product recommendation, textual content modeling, link prediction, and many more. However, existing studies either underutilize multi-view information, or neglect the stringent entanglement among underlying factors that govern user intentions, thus deriving deteriorated representations. To overcome these shortages, this paper proposes an adversarial fusion framework to fully exploit substantial multi-view information for user representation, consisting of a generator and a discriminator. The generator learns representations with a variational autoencoder, and is forced by the adversarial fusion framework to pay specific attention to substantial informative signs, thus integrating multi-view information. Furthermore, the variational autoencoder used in the generator is novelly designed to capture and disentangle the latent factors behind user intentions. By fully utilizing multi-view information and achieving disentanglement, our model learns robust and interpretable user representations. Extensive experiments on both synthetic and real-world datasets demonstrate the superiority of our proposed model.     

基于深度图正则化矩阵分解的多视图聚类算法

针对现实社会中由多种表示或视图组成的多视图数据广泛存在的问题,深度矩阵分解模型因其能够挖掘数据的层次信息而备受关注,但该模型忽略了数据的几何结构信息.为解决以上问题,本文提出基于深度图正则化矩阵分解的多视图聚类算法,通过获取每个视图的局部结构信息和全局结构信息在逐层分解中加入两个图正则化限制,保护多视图数据的几何结构信...     

机器学习系统的隐私和安全问题综述

人工智能已经渗透到生活的各个角落,给人类带来了极大的便利.尤其是近年来,随着机器学习中深度学习这一分支的蓬勃发展,生活中的相关应用越来越多.不幸的是,机器学习系统也面临着许多安全隐患,而机器学习系统的普及更进一步放大了这些风险.为了揭示这些安全隐患并实现一个强大的机器学习系统,对主流的深度学习系统进行了调查.首先设计了一个剖析深度学习系统的分析模型,并界定了调查范围.调查的深度学习系统跨越了4个领域——图像分类、音频语音识别、恶意软件检测和自然语言处理,提取了对应4种类型的安全隐患,并从复杂性、攻击成功率和破坏等多个维度对其进行了表征和度量.随后,调研了针对深度学习系统的防御技术及其特点.最后通过对这些系统的观察,提出了构建健壮的深度学习系统的建议.     

困难样本采样联合对比增强的深度图聚类

针对困难样本挖掘的图聚类算法是最近的研究热点,目前算法存在的主要问题有：对比方法和样本对加权策略缺少良好的融合机制;采样正样本时忽略了视图内部的“假阴性”样本;忽视图级信息对聚类的帮助。针对上述问题,提出困难样本采样联合对比增强的图聚类算法。首先使用自编码器学习嵌入,根据计算的伪标签、相似度、置信度信息为表示学习设计一种自加权对比损失,统一不同视图下节点对比和困难样本对加权策略。通过调整不同置信区域样本对的权重,损失函数驱动模型关注不同类型的困难样本以学习有区分性的特征,提高簇内表示的一致性和簇间表示的差异性,增强对样本的判别能力。其次,图级表示经聚类网络投影,通过聚类对比损失最大化不同视图下聚类的表示一致性。最后联合两种对比损失,利用自监督训练机制进行迭代优化,完成聚类任务。该算法在5个真实数据集上与9个基准聚类算法对比,在4个权威指标上达到最优,聚类性能出色。消融实验表明两个对比模块的有效性和可迁移性。     

医学图像深度学习技术:从卷积到图卷积的发展

以卷积神经网络为代表的深度学习技术推动神经网络在医学图像研究领域不断实现新突破。然而,平移不变性等理论假设限制了卷积神经网络在非欧氏空间数据中的表达能力,是医学图像深度学习技术亟待突破的瓶颈。图卷积技术不仅能够解决非欧氏空间数据的拓扑建模难题,还实现了空间特征提取,是深度学习技术全新的研究方向。本文对图卷积网络在医学图像领域的相关理论及其应用进行综述,旨在系统归纳和全面总结医学图像领域最新的图卷积理论、方法和实践,包括图结构视角下医学图像的专业采集、数据结构的剪枝转换以及特征聚类重构方法;图卷积网络的理论溯源,重要的网络架构和发展脉络;图卷积网络的优化方向和衍生出的跳跃连接、inception、图注意力等重要机制;图卷积网络在医学图像分割、疾病检测和图像重建等方面的实践应用。最后,提出了图卷积网络在医学图像分析领域仍亟待突破的瓶颈问题：1）多模态医学图像学习中,异构图的构建与学习任务的优化;2）特征重构和池化过程中,如何通过构图算法设计与神经架构搜索算法结合,以实现最优图结构的可学习过程转换;3）高质量图结构医学标注数据的大规模低成本生成与生成对抗网络的算法设计。随着人工智能技术的不断发展和医学影像规模的不断扩大,以图卷积为代表的深度学习方法必将在医疗辅助诊断领域取得更大的突破。     

提取全局语义信息的场景图生成算法

目的 场景图能够简洁且结构化地描述图像。现有场景图生成方法重点关注图像的视觉特征,忽视了数据集中丰富的语义信息。同时,受到数据集长尾分布的影响,大多数方法不能很好地对出现概率较小的三元组进行推理,而是趋于得到高频三元组。另外,现有大多数方法都采用相同的网络结构来推理目标和关系类别,不具有针对性。为了解决上述问题,本文提出一种提取全局语义信息的场景图生成算法。方法 网络由语义编码、特征编码、目标推断以及关系推理等4个模块组成。语义编码模块从图像区域描述中提取语义信息并计算全局统计知识,融合得到鲁棒的全局语义信息来辅助不常见三元组的推理。目标编码模块提取图像的视觉特征。目标推断和关系推理模块采用不同的特征融合方法,分别利用门控图神经网络和门控循环单元进行特征学习。在此基础上,在全局统计知识的辅助下进行目标类别和关系类别推理。最后利用解析器构造场景图,进而结构化地描述图像。结果 在公开的视觉基因组数据集上与其他10种方法进行比较,分别实现关系分类、场景图元素分类和场景图生成这3个任务,在限制和不限制每对目标只有一种关系的条件下,平均召回率分别达到了44.2%和55.3%。在可视化实验中,相比...     

融合节点描述属性信息的网络表示学习算法

为融合节点描述信息提升网络表示学习质量，针对社会网络中节点描述属性信息存在的语义信息分散和不完备性问题，提出一种融合节点描述属性的网络表示（NPA-NRL）学习算法。首先，对属性信息进行独热编码，并引入随机扰动的数据集增强策略解决属性信息不完备问题；然后，将属性编码和结构编码拼接作为深度神经网络输入，实现两方面信息的相互补充制约；最后，设计了基于网络同质性的属性相似性度量函数和基于SkipGram模型的结构相似性度量函数，通过联合训练实现融合语义信息挖掘。在GPLUS、OKLAHOMA和UNC三个真实网络数据集上的实验结果表明，和经典的DeepWalk、TADW（Text-Associated DeepWalk）、UPP-SNE（User Profile Preserving Social Network Embedding）和SNE（Social Network Embedding）算法相比，NPA-NRL算法的链路预测AUC（Area Under Curve of ROC）值平均提升2.75%，节点分类F1值平均提升7.10%。     

融合层次类型信息的双向图注意力机制的知识图谱嵌入模型

知识图谱嵌入旨在将实体与关系映射到低维且稠密的向量空间中。目前已有的嵌入模型仍存在以下两个方面的缺陷：现有的模型大多只关注知识图谱的语义信息,而忽略了大量三元组的隐藏信息;现有的模型仅关注了实体的单向信息,而忽略了双向的潜在信息。针对以上问题,提出了一种融合层次类型信息的双向图注意力机制的知识图谱嵌入模型Bi-HTGAT,该模型设计了层次类型注意力机制,考虑不同关系下每种类型的不同实体对中心实体的贡献。同时引入了关系的方向注意力机制,通过融合不同方向的邻居信息来更新实体和关系嵌入,最终聚合两部分信息以得到实体的最终嵌入。在基准数据集上的实验证明,Bi-HTGAT在链接预测任务上性能明显优于其他基线模型,充分证明了Bi-HTGAT能够进一步提高嵌入结果的精准度。     

保留低阶和高阶关系的图表示深度学习集成算法

高质量学习图中节点的低维表示是当前的一个研究热点。现有浅模型的方法无法捕捉图结构的非线性关系,图神经网络技术中的图卷积模型会产生过平滑问题。同时,如何确定不同跳数关系在图表示学习中的作用亦是研究中尚需解决的问题。以解决上述问题为目的,提出一个基于T(T>1)个前馈神经网络的深度学习模型,该框架利用深度模型抽取图结构的非线性关系,T个子模型有效地捕获图的局部和全局(高阶)关系信息,并且它们在最终的向量表示中赋予了不同的作用、从而发挥不同跳数关系的优势。在顶点分类和链接预测任务中的实验结果表明,该框架比现有方法具有竞争力,对比基准算法可以获得20%左右的提升。     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的...     

融合画像和文本信息的轻量级关系图注意推荐模型

针对当前基于图神经网络的推荐系统受数据稀疏影响推荐效率不高的问题,提出融合画像和文本信息的轻量级关系图注意推荐模型(LightRGAN)。首先,利用用户画像和项目画像初始化用户和项目的嵌入表示。其次,引入评论、项目描述和项目类型作为辅助信息,并通过基于多头注意力机制的文本嵌入网络挖掘同一用户评论集和描述集中文本之间的潜在联系。然后,通过融合注意力机制的轻量级关系图卷积网络学习用户和项目的嵌入表示。最后,对各层嵌入表示加权求和并通过预测网络计算匹配分数。在三个公开数据集上的实验结果表明LightRGAN的效果优于多个现有的基线模型,评估指标HR@20、NDCG@20较最优基线模型最少提升了2.58%、2.37%。