深度学习可解释性内涵和分类

近年来,深度学习在多个行业得到了广泛应用,效果显著。深度学习虽然具有数学统计原理基础,但是对于任务知识表征学习尚缺乏明确解释。对深度学习理论研究的缺乏将导致即时可以通过各种训练方法使得模型得到满意输出,但不能解释模型内部究竟如何进行工作才得到有效结果。本文从深度学习可解释性内涵和分类角度出发,阐述了深度学习可解释性,以期有助于其他学者研究。     

面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

基于出行模式的注意力机制可解释性探索

为了探索深度注意力模型在地铁出行预测任务中的可解释性,提出基于出行模式的注意力权重擦除方法和可解释性评估框架。利用提出的地铁出行深度注意力框架搭建预测模型,使用广州地铁羊城通数据构造三种不同长度出行序列数据集进行模型训练和验证,达到70%以上准确率;通过单一出行模式的注意力权重擦除实验发现,擦除最大注意力权重的出行模式比随机模式更能显著地影响模型预测结果,但大多数样本不发生预测结果的变化。即注意力机制在该条件下提供的可解释性信息是有限的,且该信息量随着序列长度增加而减小;通过一组出行模式注意力权重擦除实验结果表明,按注意力权重降序擦除能最快使模型预测结果发生变化,并且模型能稳定地对重要的出行模式的出行记录分配注意力权重,即注意力机制在该条件下较好地提供了可解释性信息,且该信息量随着序列长度增加而增大。     

基于层次混合注意力机制的文本分类模型

文本分类是自然语言处理领域的核心任务之一,深度学习的发展给文本分类带来更广阔的发展前景.针对当前基于深度学习的文本分类方法在长文本分类中的优势和不足,该文提出一种文本分类模型,在层次模型基础上引入混合注意力机制来关注文本中的重要部分.首先,按照文档的层次结构分别对句子和文档进行编码;其次,在每个层级分别使用注意力机制....     

内容感知的可解释性路面病害检测模型

针对实际场景中高分辨路面图像难以直接作为现有卷积神经网络（convolutional neural network,CNN）的输入、现有预处理及下采样算法无法有效感知并保留原始路面图像中低占比的病害区域信息等问题,借助于可视化解释的技术手段,设计了一种即插即用的图像内容自适应感知模块（adaptive perception module,APM）,既平衡了高分辨路面图像与CNN输入限制,又能够自适应感知激活前景病害区域,从而实现高分辨路面图像中病害类型的快速准确检测,构建可信路面病害视觉检测软件系统. APM利用大卷积核和下采样残差操作降低原始图像分辨率并获取图像浅层特征表示;通过注意力机制自适应感知并激活图像中路面病害区域信息,过滤无关的背景信息.利用联合学习的方式,无需额外监督信息完成对APM的训练.通过可视化解释方法辅助选择和设计APM的具体结构,在最新公开数据集CQUBPMDD上的实验结果表明：APM相比于现有的图像预处理采样算法均有明显提升,分类准确率最高为84.47%;在CQU-BPDD上的实验结果及APM决策效果可视化分析表明APM具备良好的泛化性与鲁棒性.实验代码已开源...     

基于文本注意力的推荐系统可解释性研究

可解释性能够提高用户对推荐系统的信任度并且提升推荐系统的说服力和透明性,因此有许多工作都致力于实现推荐系统的可解释性。由于评论中包含了丰富的信息,能够体现用户偏好与情感信息,同时包含了对应商品所具有的特性,最近的一些基于评论的深度推荐系统有效地提高了推荐系统的可解释性。这些基于评论的深度推荐系统中内置的注意力机制能够从对应的评论中识别出有用的语义单元（例如词、属性或者评论）,而推荐系统通过这些高权重的语义单元做出决策,从而增强推荐系统的可解释性。但可解释性在很多工作中仅作为一个辅助性的子任务,只在一些案例研究中来做出一些定性的比较,来说明推荐系统是具有可解释性的,到目前为止并没有一个能够综合地评估基于评论推荐系统可解释性的方法。本文首先根据在注意力权重计算机制的不同,将这些具有可解释性的基于评论的推荐系统分为三类：基于注意力的推荐系统,基于交互的推荐系统,基于属性的推荐系统,随后选取了五个最先进的基于评论的深度推荐系统,通过推荐系统内置的注意力机制获得的评论权重文档,在三个真实数据集上进行了人工标注,分别量化地评价推荐系统的可解释性。标注的结果表明不同的基于评论的深度推荐系统的可解释性是具有优劣之分的,但当前的基于评论的深度推荐系统都有超过一半的可能性能够捕捉到用户对目标评论的偏好信息。在评估的五个推荐系统中,并没有哪个推荐系统在所有的数据中具有绝对的优势。也就是说,这些推荐系统在推荐可解释性方面是相互补充的。通过进一步的数据分析发现,如果推荐系统具有更精确的分数预测结果,那推荐系统通过注意力机制获得的高权重的信息确实更能够体现用户的偏好或者商品特征,说明推荐系统内置的注意力机制在提高可解释性的同时也能够提高预测精度;并且发现相较于长评论,推荐系统更容易捕捉到较短的评论中的特征信息;而可解释性评分高的推荐系统会更可能地为形容词赋予较高的权重。本文也为推荐系统可解释性评估进一步研究和探索更好的基于评论的推荐系统解决方案提供了一些启示。     

基于可解释性的Android恶意软件检测

针对Android恶意软件检测,通常仅有检测结果缺乏对其检测结果的可解释性.基于此,从可解释性的角度分析Android恶意软件检测,综合利用多层感知机和注意力机制提出一种可解释性的Android恶意软件检测方法(multilayer perceptron attention-method, MLP＿At).通过提取Android恶意软件的应用权限和应用程序接口(application programming interface, API)特征来进行数据预处理生成特征信息,采用多层感知机对特征学习.最后,利用BP算法对学习到的数据进行分类识别.在多层感知机中引入注意力机制,以捕获敏感特征,根据敏感特征生成描述来解释应用的核心恶意行为.实验结果表明所提方法能有效检测恶意软件,与SVM、RF、XGBoost相比准确率分别提高了3.65%、3.70%和2.93%,并能准确地揭示软件的恶意行为.此外,该方法还可以解释样本被错误分类的原因.     

基于改进BERT-BiGRU模型的文本情感分类研究

针对目前网络评论文本情感分类准确性不高的问题,提出一种基于BERT和双向门控循环单元（BiGRU）的改进模型,使用能够表征文本丰富语义特征的BERT模型进行词向量表示,结合能够长期保留文本上下文关联信息的BiGRU神经网络提高模型的分类效果,并在此基础上引入注意力机制,突出文本中更能表达分类结果的情感词权重,提高情感分类的准确率。将上述模型分别在Acllmdb＿v1和酒店评论两个公开数据集上进行测试,实验结果表明,该模型在中、英文文本情感分类任务中都获得了良好的性能。     

基于BiGRU-attention神经网络的文本情感分类模型

针对双向长短时记忆神经（BiLSTM）模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环（BiGRU）神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制（attention）层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90.54%,损失率是0.2430,时间代价是1100 s,验证了 BiGRU-attention模型的有效性。     

基于分类的中文文本摘要方法

自动文本摘要是自然语言处理领域中一项重要的研究内容,根据实现方式的不同其分为摘录式和理解式,其中理解式文摘是基于不同的形式对原始文档的中心内容和概念的重新表示,生成的文摘中的词语无需与原始文档相同。提出了一种基于分类的理解式文摘模型。该模型将基于递归神经网络的编码-解码结构与分类结构相结合,并充分利用监督信息,从而获得更多的摘要特性;通过在编码-解码结构中使用注意力机制,模型能更精确地获取原文的中心内容。模型的两部分可以同时在大数据集下进行训练优化,训练过程简单且有效。所提模型表现出了优异的自动摘要性能。     

基于词嵌入与记忆网络的方面情感分类

用户评论往往同时包含多个方面、多种情感,如何正确判断一条评论中不同方面的情感倾向性是方面情感分析的难点.文中提出基于词嵌入与记忆网络的方面情感分类.通过在记忆网络的不同模块引入方面词向量,加强方面词的语义信息,指导注意力机制捕捉方面相关的上下文信息,提升方面情感分类效果.在SemEval 2014任务4的短文本英文评论数据集和文中标注的长文本中文新闻数据集上实验表明,文中方法分类效果较好,在记忆网络框架下引入方面词嵌入信息是有效的.     

基于卷积记忆网络的视角级微博情感分类*

现有记忆网络模型中的上下文词之间相互独立,未考虑词序信息对微博情感的影响.因此文中提出基于卷积记忆网络的视角级微博情感分类方法,利用记忆网络可以有效对查询词与文本之间的语义关系进行建模这一特点,将视角与上下文进行抽象处理.通过卷积操作对上下文进行词序拓展,并利用这一结果捕获文中不同词语在上下文中的注意力信号,用于文本的加权表示.在3个公开数据集上的实验表明,相比已有方法,文中方法的正确率和宏F1值效果更好.     

基于辅助记忆循环神经网络的视角级情感分析

现有视角级情感分析方法大多数利用视角词信息从句子中提取特征,不能同时利用视角和视角词信息,导致模型性能较低,为此文中提出基于辅助记忆循环神经网络的视角级情感分析方法.首先通过深度双向长短期记忆网络和单词的位置信息构建位置权重记忆,利用注意力机制结合视角词建立视角记忆.再联合位置权重记忆和视角记忆输入多层门循环单元,得到视角情感特征.最后由归一化函数识别情感极性.实验表明,相对基准实验,文中方法在3个公开数据集上的效果更好,该方法是有效的.     

基于Wasserstein距离分层注意力模型的跨域情感分类

跨领域情感分类任务旨在利用已知情感标签的源域数据对缺乏标记数据的目标域进行情感倾向性分析.文中提出基于Wasserstein距离的分层注意力模型,结合Attention机制,采用分层模型进行特征提取,将Wasserstein距离作为域差异度量方式,通过对抗式训练自动捕获领域共享特征.进一步构造辅助任务捕获与共享特征共现的领域独有特征,结合两种特征表示完成跨域情感分类任务.在亚马逊评论等数据集上的实验表明,文中模型仅利用领域共享特征就达到较高的正确率,在不同的跨领域对之间具有较好的稳定性.     

多头注意力记忆网络的对象级情感分类

细粒度的情感分类任务需要识别文本当中与评论对象相关度最高的观点词并进行情感极性分类.文中利用多头注意力机制改进记忆网络,提取不同对象情感分类特征,实现对象级情感分类.将文本的词嵌入向量存储在记忆组件中,使用多头注意力机制在多个特征空间同时建模文本整体语义与对象相关语义.利用前馈网络层整合多个特征空间下的信息作为分类特征.在SemEval-2014数据集及扩充的数据集上实验表明,文中方法有利于缓解方法的选择性偏好.     

融合词性和注意力的卷积神经网络对象级情感分类方法

多个对象同时讨论时,对文本的情感分析结果与针对特定对象的情感倾向可能不一致,对象级情感分类任务需在文本整体语义的场景下,重点关注与给定对象相关的内容.文中提出融合词性和注意力的卷积神经网络对象级情感分类方法.引入词性信息,通过长短时记忆神经网络建模输入序列,构建对象注意力,将注意力融入到卷积神经网络结构中分析关于给定对象的情感倾向.词性信息有助于捕获与对象具有修饰关系的内容和弱化内容或距离相近但无搭配关系的句子成分的影响.结合长短时记忆神经网络和卷积神经网络结构建模文本,更有利于同时建模文本整体语义与对象相关语义.在SemEval2014数据集上的实验表明,文中方法取得优于基于长短时记忆神经网络的注意力机制方法的分类效果.     

基于知识图谱与循环注意力网络的视角级情感分析

现有的视角级情感分析方法难以解决单词在不同语境下“一词多义”问题,因此性能受限.针对上述问题,文中提出基于知识图谱与循环注意力网络的视角级情感分析方法.首先,利用动态注意力机制,结合双向长短时记忆网络的文本表示和知识图谱中的同义词信息,获得知识感知状态向量.再联合位置信息构造记忆内容,并输入多层门限循环单元,计算视角词情感特征,进行视角级文本情感分类.在3个公开数据集上的实验表明,文中方法分类效果较优     

基于上下文保持能力的方面级情感分类模型

方面级情感分类可发现语句在不同方面隐藏的情感特征.文中基于特定方面的图卷积网络的框架,构建基于上下文保持能力的方面级情感分类模型.在图卷积层中引入上下文门控单元,整合前一层输出中的有用信息.在基于图卷积网络的模型中加入多粒度注意力计算模块,描述方面词与上下文在情感表达上的相互关系.在5个公开数据集上的实验表明,文中模型...     

基于模糊相关的Web文档分类方法

面对Internet上不断增长的巨大信息量,如何使用户获得有趣的和有用的信息已成为信息检索急需解决的问题。由于Web文档往往具有不确定的特征,使得利用模糊集合理论对信息检索过程的不确定性建立模型成为可能。文章提出了一种基于模糊相关技术的Web文档分类方法,实验结果表明,该方法比基于向量空间模型的Web分类方法有较高的分类精度。     

基于阻塞先验知识的文本层次分类模型

文本层次分类中阻塞现象是影响层次分类器性能的重要原因。针对这一问题,提出基于阻塞先验知识的文本层次分类模型。该模型包括两部分:首先对阻塞分布进行估计,提出“阻塞对”识别技术,重点在于获取严重的阻塞方向;其次,把分析出的阻塞先验知识融合到分类过程中,利用层次拓扑结构修正算法,引导阻塞文本“回归”正确分类路径。在中文语料TanCorp上的实验表明,该算法在没有额外增加分类器数目的前提下,能有效改善层次分类性能,是解决层次分类阻塞问题的一种方法。另外,与平面分类算法比较后,该算法更稳定。