基于节点和信息特征的社会网络信息传播模型

随着在线社会网络的快速发展,越来越多的人开始利用微博或Twitter来传播信息或分享观点.研究社会网络中的信息传播规律对于意见领袖挖掘、舆情监控、品牌营销等有着重要意义.虽然有关社会网络中的信息传播模型已经得到广泛研究,但是影响网络中节点之间信息传播的因素有哪些,以及如何刻画信息传播过程,仍然是一个有待深入研究的重要内容.传统的传播模型及其扩展模型更多地从网络结构出发研究信息传播,很大程度上忽视了节点属性和信息内容的影响.从多个维度提取信息传播的特征,包括节点属性特征和信息内容特征,对节点间传播概率和传播延迟进行建模,提出一个细粒度的在线社会网络信息传播模型.利用随机梯度下降算法学习模型中的各个特征的权重.另外,针对模型的传播预测功能,在新浪微博真实数据集上进行了实验,结果表明,在预测准确率方面,所提出的模型要优于其他同类模型,如异步独立级联模型、NetRate模型.     

基于级联时空特征的信息传播预测方法

现有信息传播预测方法对级联序列和拓扑结构独立建模,难以学习级联时序特征和结构特征在嵌入空间的交互表达,造成对信息传播动态演化的刻画不足.因此,文中提出基于级联时空特征的信息传播预测方法.基于社交关系网络和传播路径构建异质图,使用图神经网络学习异质图和社交关系网络节点的结构上下文,引入门控循环单元提取级联时序特征,融合结构上下文和时序特征,构建级联时空特征,进行信息传播的微观预测.在Twitter、Memes数据集上的实验表明,文中方法性能得到一定提升.     

Text-CRNN+attention架构下的多类别文本信息分类

迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分类。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后在RNN进行序列特征建模时引入attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失,最后完成时间和空间上的特征提取。实验结果表明,提出的模型较其他模型准确率提升了2%~3%;在提取文本特征时,该模型既保证了数据的局部相关性又起到强化序列特征的有效组合能力。     

基于图注意力网络的信息级联外源因素建模研究

现有的信息级联预测方法忽略了外源因素对传播级联演化过程的影响以及个体在外源因素影响下的行为偏好,同时对底层的社交网络图结构信息的分析效果欠佳。为解决上述问题,该文提出基于图注意力网络的信息传播外源因素建模方法,利用图注意力机制提取社交图的结构信息,通过卷积神经网络对传播级联的时序信息进行分析,从而捕获外源因素的影响,利用循环神经网络对传播路径进行建模,最后在考虑到个体受外源因素的影响程度后进行级联预测。在Twitter、Douban和Memetracker三个真实数据集上的实验结果表明,相比于同类工作,该文提出的级联预测模型的性能较优。     

一种基于图卷积网络的文本多标签学习方法

多标签学习广泛应用于文本分类、标签推荐、主题标注等.最近,基于深度学习技术的多标签学习受到广泛关注,针对如何在多标签学习中有效挖掘并利用高阶标签关系的问题,提出一种基于图卷积网络探究标签高阶关系的模型TMLLGCN.该模型采用GCN的映射函数从数据驱动的标签表示中生成对象分类器挖掘标签高阶关系.首先,采用深度学习方法提取文本特征,然后以数据驱动方式获得基础标签关联表示矩阵,为更好地建模高阶关系及提高模型效果,在基础标签关联表示矩阵上考虑未标记标签集对已知标签集的影响进行标签补全,并以此相关性矩阵指导GCN中标签节点之间的信息传播,最后将提取的文本特征应用到学习高阶标签关系的图卷积网络分类器进行端到端训练,综合标签关联和特征信息作为最终的预测结果.在实际多标签数据集上的实验结果表明,提出的模型能够有效建模标签高阶关系且提升了多标签学习的效果.     

基于时空注意力的社交网络信息级联预测模型

针对目前信息级联预测模型的构建多基于级联的时序信息或者空间拓扑结构、极少考虑两者的结合问题,该文提出一种面向社交网络的基于深度学习方法的信息级联预测(Information Cascade Prediction, ICP)模型。首先,使用拉普拉斯矩阵对级联节点采样,生成空间序列;然后,通过结合了图卷积网络的双向循环神经网络学习节点的时序信息和空间结构信息;最后,通过注意力机制对信息级联的时序信息和空间信息进行联合建模并在真实数据集上进行实验。实验结果表明: 与现有研究相比该文提出的ICP模型具有较高的预测精度,预测精度损失降低约为1%～8%,表明ICP模型是合理、有效的。     

新浪微博网信息传播分析与预测

文中以新浪微博为研究对象,以分析新浪微博的信息转发与传播特征为研究目的,并对传播行为进行预测.在获取大量新浪微博在线数据的基础上,对各种可能影响用户转发行为的因素进行统计、分析,挖掘各种影响因素特征并进行建模.提出基于用户属性、社交关系和微博内容三类综合特征,使用机器学习的分类方法,对给定微博的用户转发行为进行预测.基于微博网关注关系拓扑,利用概率级联模型对给定微博的转发路径进行预测,为预测微博的影响范围提供依据.文中通过实验分析了新浪微博符合复杂网络特征、社交类特征对转发行为有重要影响,并验证了传播预测的有效性.     

基于深度学习的在线学习成绩预测研究

通过分析在线学习平台中的教育文本,能挖掘其所蕴含的情感、认知等信息进行学业预测.然而目前在线学习成绩预测大多基于结构化数据,难以深入、精准地挖掘学习者的状态、情感等信息,影响到预测的准确性.采用深度学习技术,其中CNN模型能够有效提取局部特征,而LSTM模型能够考虑全局文本顺序的优势,能对教育短文本数据进行分类和细粒度情感倾向分析,挖掘其包含的影响学习成绩的因素,实现对在线学习成绩的有效预测.     

基于层次特征提取的文本分类研究

随着信息技术的发展,文本信息数据正在爆炸式增长,从众多的文本数据中有效地获取有用信息是一个值得研究的问题。针对该任务提出基于层次特征提取的文本分类模型,考虑文本中句子级别的语义内容以及文本级别的语义内容,依次使用两种神经网络模型建模句子级的语义内容和文本级的语义内容,从而得到关于文本的全面特征,进而基于此特征对文本进行分类。实验结果表明,该方法能够更加准确地提取文本的特征,具有更高的分类准确度。     

逾期风险预测的宽度和深度学习

逾期风险控制是信用贷款服务的关键业务环节,直接影响放贷企业的收益率和坏账率。随着移动互联网的发展,信贷类金融服务已经惠及普罗大众,逾期风控也从以往依赖规则的人工判断,转为利用大量客户数据构建的信贷模型,以预测客户的逾期概率。相关模型包括传统的机器学习模型和深度学习模型,前者可解释性强、预测能力较弱;后者预测能力强、可解释性较差,且容易发生过拟合。因此,如何融合传统机器学习模型和深度学习模型,一直是信贷数据建模的研究热点。受到推荐系统中宽度和深度学习模型的启发,信贷模型首先可以使用传统机器学习来捕捉结构化数据的特征,同时使用深度学习来捕捉非结构化数据的特征,然后合并两部分学习得到的特征,将其经过线性变换后,最后得到预测的客户的逾期概率。所提模型中和了传统机器学习模型和深度学习模型的优点。实验结果表明,其具有更强的预测客户逾期概率的能力。     

可解释的层次注意力机制网络危重症预警

准确性和可解释性是决定预测模型是否能够成功应用的两个主要因素。Logistic回归等统计分析模型尽管预测精度不高,但因其易于表达而被广泛采用。与之相对的基于循环神经网络（RNN）或卷积神经网络（CNN）等深度学习“黑盒模型”,准确率较高却通常难以理解。在医疗领域上述因素的权衡是目前相关研究面临的巨大挑战,通过对某三甲医院CIS系统采集住院患者生理指标数据进行实验分析,建立了基于可解释的层次注意力网络（Interpretable Hierarchical Attention Network,IHAN）用于提前预警患者抢救过程中可能并发的危急重症。IHAN在实验准确率方面优于其他神经网络模型,并且能够模仿人类的行为,重点关注患者生理数据中时间及风险因素两个维度上的异常,在保持较高准确率的情况下,同时达到了较好的可解释性。     

面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

基于图神经网络的异构信任推荐算法

传统基于图神经网络的社交推荐算法通过加强用户和项目特征的学习提升预测精度,但随着用户数据日益稀疏和社交关系趋于复杂,推荐质量提升缓慢。为挖掘用户和项目的潜在关联关系,提出一种结合图神经网络的异构信任推荐算法（GraphTrust）。在显式信任关系的基础上获取用户的潜在好友,根据动态影响力传播模型将图神经网络中的节点和边进行分类,通过不同类型的边在不同节点间进行影响力传播扩散,捕捉隐藏在高阶网络结构中的影响力扩散特征,并使用户和项目的潜在特征随着影响力传播过程达到平衡状态,最终将用户交互的项目特征作为辅助特征与用户特征聚合进行评分预测。在Yelp和Flickr数据集上的实验结果表明,当潜在特征维数为64时,GraphTrust算法相比于DiffNet++算法的命中率和归一化折损累计增益分别提升了13.2%、22.2%和20.4%、25.5%,在一定程度上提高了推荐过程的可解释性和预测精度,并且缓解了数据稀疏问题。     

An effective and interpretable method for document classification

As the number of documents has been rapidly increasing in recent time, automatic text categorization is becoming a more important and fundamental task in information retrieval and text mining. Accuracy and interpretability are two important aspects of a text classifier. While the accuracy of a classifier measures the ability to correctly classify unseen data, interpretability is the ability of the classifier to be understood by humans and provide reasons why each data instance is assigned to a label. This paper proposes an interpretable classification method by exploiting the Dirichlet process mixture model of von Mises–Fisher distributions for directional data. By using the labeled information of the training data explicitly and determining automatically the number of topics for each class, the learned topics are coherent, relevant and discriminative. They help interpret as well as distinguish classes. Our experimental results showed the advantages of our approach in terms of separability, interpretability and effectiveness in classification task of datasets with high dimension and complex distribution. Our method is highly competitive with state-of-the-art approaches.     

基于深度LightGBM集成学习模型的谷歌商店顾客购买力预测

针对轻量化梯度促进机（LightGBM）等集成学习模型只对数据信息进行一次挖掘,无法自动地细化数据挖掘粒度或通过深入挖掘得到更多的数据中潜在内部关联信息的问题,提出了深度LightGBM集成学习模型,该模型由滑动窗口和加深两部分组成。首先,通过滑动窗口使得集成学习模型能够自动地细化数据挖掘粒度,从而更加深入地挖掘数据中潜在的内部关联信息,同时赋予模型一定的表示学习能力。然后,基于滑动窗口,用加深步骤进一步地提升模型的表示学习能力。最后,结合特征工程对数据集进行处理。在谷歌商店数据集上进行的实验结果表明,所提深度集成学习模型相较原始集成学习模型的预测精度高出6.16个百分点。所提方法能够自动地细化数据挖掘粒度,从而获取更多数据集中的潜在信息,并且深度LightGBM集成学习模型与传统深度神经网络相比是非神经网络的深度模型,参数更少,可解释性更强。     

基于先验MASK注意力机制的视频问答方案

视频问答是深度学习领域的研究热点之一,广泛应用于安防和广告等系统中.在注意力机制框架下,建立先验MASK注意力机制模型,使用Faster R-CNN模型提取视频关键帧以及视频中的对象标签,将其与问题文本特征进行3种注意力加权,利用MASK屏蔽与问题无关的答案,从而增强模型的可解释性.实验结果表明,该模型在视频问答任务中...     

Neural generators of sparse local linear models for achieving both accuracy and interpretability

For reliability, it is important for the predictions made by machine learning methods to be interpretable by humans. In general, deep neural networks (DNNs) can provide accurate predictions, although it is difficult to interpret why such predictions are obtained by the DNNs. On the other hand, interpretation of linear models is easy, although their predictive performance is low because real-world data are often intrinsically non-linear. To combine both the benefits of the high predictive performance of DNNs and the high interpretability of linear models into a single model, we propose neural generators of sparse local linear models (NGSLL). Sparse local linear models have high flexibility because they can approximate non-linear functions. NGSLL generates sparse linear weights for each sample using DNNs that take the original representations of each sample (e.g., word sequence) and their simplified representations (e.g., bag-of-words) as input. By extracting features from the original representations, the weights can contain rich information and achieve a high predictive performance. In addition, the prediction is interpretable because it is obtained through the inner product between the simplified representations and the sparse weights, where only a small number of weights are selected by our gate module in NGSLL. In experiments on image, text and tabular datasets, we demonstrate the effectiveness of NGSLL quantitatively and qualitatively by evaluating the prediction performance and visualizing generated weights.     

Adversarial attacks on text classification models using layer-wise relevance propagation

Due to the nested nonlinear structure inside neural networks, most existing deep learning models are treated as black boxes, and they are highly vulnerable to adversarial attacks. On the one hand, adversarial examples shed light on the decision-making process of these opaque models to interrogate the interpretability. On the other hand, interpretability can be used as a powerful tool to assist in the generation of adversarial examples by affording transparency on the relative contribution of each input feature to the final prediction. Recently, a post-hoc explanatory method, layer-wise relevance propagation (LRP), shows significant value in instance-wise explanations. In this paper, we attempt to optimize the recently proposed explanation-based attack algorithms (EAAs) on text classification models with LRP. We empirically show that LRP provides good explanations and benefits existing EAAs notably. Apart from that, we propose a LRP-based simple but effective EAA, LRPTricker. LRPTricker uses LRP to identify important words and subsequently performs typo-based perturbations on these words to generate the adversarial texts. The extensive experiments show that LRPTricker is able to reduce the performance of text classification models significantly with infinitesimal perturbations as well as lead to high scalability.     

大规模图神经网络系统综述

图神经网络(GNN)是一类基于深度学习的处理图域信息的方法,它通过将图广播操作和深度学习算法结合,可以让图的结构信息和顶点属性信息都参与到学习中,在顶点分类、图分类、链接预测等应用中表现出良好的效果和可解释性,已成为一种广泛应用的图分析方法.然而现有主流的深度学习框架(如TensorFlow、PyTorch等)没有为图...