快速近似计算Shapley值的归因解释方法

Shapley值归因解释方法虽然能更准确量化解释结果, 但过高的计算复杂度严重影响了该方法的实用性. 本文引入KD树重新整理待解释模型的预测数据, 通过在KD树上插入虚节点, 使之满足TreeSHAP算法的使用条件, 在此基础上提出了KDSHAP方法. 该方法解除了TreeSHAP算法仅能解释树结构模型的限制, 将该算法计算Shapley值的高效性放宽到对所有的黑盒模型的解释中, 同时保证了计算准确度. 通过实验对比分析, KDSHAP方法的可靠性, 以及在解释高维输入模型时的适用性.     

基于解释的学习

近几年来,在机器学习领域,人们对基于解释的学习方法产生了极大兴趣。本文首先通过一个例子说明该学习方法,然后作了一般描述,并把它与基于类似的学习进行了比较,最后详尽讨论了基于解释的学习中的两个重要方面:操作性和不完善域论。     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.     

解释学习进展

本文对解释学习近期的研究进行了论述,包括解释学习机制,当前解释学习研究的几个重要问题:如可操作性的形式化定义、典型解释学习过程的解释与概括、针对不完善领域理论的多种解决办法等,还就解释学习特点、总体发展状况及今后研究方向提出了看法。     

基于解释的学习的一般性与操作性研究

基于解释的学习是机器学习领域中迅速发展的一种学习方法。本文对它的一般性和操作性及其之间的矛盾作了一些分析，并对矛盾的解决提出了办法，旨在使学到的新的知识结构既有一定的适用面，又能有效地用于解决实际问题。     

解释学习的效用问题

近年来,在机器学习领域,基于解释的学习引起了广泛的兴趣。解释学习是一种演绎学习方法,根据领域理论对训练实例进行解释,经过推广后获得新的知识。从可操作性的角度看,解释学习并没有学到真正新的知识,只是一种知识转换,它把原先不可操作的概念描述转换为可操作的目标概念描述,而使系统的性能得以提高。但原来的可操作性定义并没有考虑到解释学习的效用(utility)问题,人们发现这样的解释学习并不总能提高系统的性能,而是在大多数情况下会使系统的行为比未经学习时更差,这使得效用问题与不完善理论问题一样成为解     

随机森林的可解释性可视分析方法研究

由于随机森林算法在很多情况下都以“黑盒”的方式存在,对于用户而言,参数调整,训练甚至最终构建的模型细节是隐蔽的,这导致了随机森林模型的可解释性非常差,在一定程度上阻碍了该模型在一些诸如医学诊断、司法、安全领域等需要透明化和可解释需求比较高的领域使用。影响该模型可解释性挑战主要来源于特征选择和数据的随机性。同时随机森林包含许多决策树,用户很难理解和比较所有决策树的结构和属性。为了解决上述问题,设计并实现了可视分析系统FORESTVis,该系统包括树视图、部分依赖图、t-SNE投影图、特征视图等多个交互式可视化组件,借助该系统,相关研究人员和从业人员可以直观地了解随机森林的基本结构和工作机制,并协助用户对模型的性能进行评估。使用Kaggle公开数据集上进行案例分析,验证了该方法的可行性和有效性。     

关于解释学习逻辑构架的一些扩充

近来,在机器学习研究领域中,解释学习倍受重视,而其中心机制——解释推广却受限于一阶逻辑,为支持高阶对象和模态概念,本文介绍了两种扩充 Horn 逻辑表示域的方法,并通过例子说明了解释推广在扩充表示域中的实现。     

实例学习与解释学习的结合

实例学习和基于解释的学习是机器学习领域中具有代表性的、研究得最为深刻的两种学习方法,但由于这两种学习方法都存在一定缺陷,使它们在实际应用中受到较大的限制。在关于人类概念形成的心理学理论的基础上,本文讨论一个基于实例和解释的学习模型,将这两种学习方法有机结合在一起,一方面使用领域知识指导归纳学习过程:另一方面用归纳学习弥补领域知识之不完善。其学习机理更加接近人类学习的认知过程——抽象思维过程,取得了较好的学习效果。     

构造性归纳综述

1.引言机器学习是人工智能领域的一个长期的研究热点,其研究目标,就是利用计算机来模拟、实现各种形式的学习行为。学习涉及两方面的内容:知识获取和技能获取。前者是从外界获得新的信息,后者是完善已得到的知识。对于这两方面在机器学习领域中有两种主要的学习典范。一种称为符号经验式学习——SEL(Symbolic Empirical Learning)——研究知识获取的本质问题,这种方法试图从事先提供的概念例子中分析出概念相应的规则,或称为描述。这是一种从具体到一般的推理过程,我们称之为归纳,因     

知识图谱可解释推理研究综述

面向知识图谱的知识推理旨在通过已有的知识图谱事实,去推断新的事实,进而实现知识库的补全.近年来,尽管基于分布式表示学习的方法在推理任务上取得了巨大的成功,但是他们的黑盒属性使得模型无法为预测出的事实做出解释.所以,如何设计用户可理解、可信赖的推理模型成为了人们关注的问题.从可解释性的基本概念出发,系统梳理了面向知识图谱的可解释知识推理的相关工作,具体介绍了事前可解释推理模型和事后可解释推理模型的研究进展;根据可解释范围的大小,将事前可解释推理模型进一步细分为全局可解释的推理和局部可解释的推理;在事后解释模型中,回顾了推理模型的代表方法,并详细介绍提供事后解释的两类解释方法.此外,还总结了可解释知识推理在医疗、金融领域的应用.随后,对可解释知识推理的现状进行概述,最后展望了可解释知识推理的未来发展方向,以期进一步推动可解释推理的发展和应用.     

融合机器学习与知识推理的可解释性框架

针对基于规则的可解释性模型可能出现的规则无法反映模型真实决策情况的问题, 提出了一种融合机器学习和知识推理两种途径的可解释性框架. 框架演进目标特征结果和推理结果, 在二者相同且都较为可靠的情况下实现可解释性. 目标特征结果通过机器学习模型直接得到, 推理结果通过子特征分类结果结合规则进行知识推理得到, 两个结果是否可靠通过计算可信度来判断. 使用面向液基细胞学检查图像的融合学习与推理的某类宫颈癌细胞识别案例对框架进行验证, 实验表明, 该框架能够赋予模型的真实决策结果以可解释性, 并在迭代过程中提升了分类精度. 这帮助人们理解系统做出决策的逻辑, 以及更好地了解结果可能失败的原因.     

基于先验知识的非负矩阵半可解释三因子分解算法

非负矩阵三因子分解是潜在因子模型中的重要组成部分,由于能将原始数据矩阵分解为三个相互约束的潜因子矩阵,被广泛应用于推荐系统、迁移学习等研究领域,但目前还没有非负矩阵三因子分解的可解释性方面的研究工作.鉴于此,将用户评论文本信息当作先验知识,设计了一种基于先验知识的非负矩阵半可解释三因子分解(PE-NMTF)算法.首先利...     

Support Vector的几何解释及其在联想记忆中的应用

利用闭凸集上的投影解释support vector的几何意义，利用支持超平面讨论线性分类器的设计问题，对线性可分情形，Support vector由一类数据集合闭凸包在另一类数据集合闭凸包上投影的非零系数向量组成，SVM所决定的超平面位于两投影点关于各自数据集合支持超平面的中间，作为应用，文中给出一种设计理想联想记忆前馈神经网络的方法，它是FP算法的一般化。     

基于FEBM和模糊神经网络的模糊概念识别

在基于解释的机器学习问题上,近期提出的模糊模型FEBM(Fuzzy Explanation-Based Model)为模糊概念的识别和分类提供了一种很好的解决手段.在对该模型当对象的解释谓词在[0,1]上取确值的情况时,计算"对象属于概念C的真值"的公式进行适当调整的基础上,结合神经网络可以用于模式识别和分类的特点,提出了一种基于模糊神经网络和FEBM的模糊概念识别方法.实验表明,该方法是有效的和可行的,是关于该模型应用的一个极为有意义的尝试.     

利用LIME对脓毒症预测模型进行可解释性分析

针对机器学习应用于脓毒症预测存在预测准确率低和可解释性不足的问题,提出了利用LIME对基于机器学习的脓毒症预测模型进行可解释性分析.模型由预测和解释两部分组成:预测部分使用XGBoost和线性回归(LR),首先通过XGBoost进行特征提取,再利用LR对提取到的特征进行分类;解释部分使用LIME模型提取出关键的预测指标对模型进行解释.实验结果表明,通过XGBoost+LR模型进行脓毒症预测的准确率为99％,受试者工作特征曲线下面积(AUROC)为0.984,优于单独使用XGBoost(准确率:95％,AUROC:0.953)和LR(准确率:53％,AUROC:0.556)或者LGBM(准确率:90％,AUROC:0.974),同时通过LIME能有效地提取出前10个最重要的指标,对脓毒症预测模型进行可解释性分析,提高了模型的可信度.     

深度学习可解释性综述

随着数据量呈爆发式增长，深度学习理论与技术取得突破性进展，深度学习模型在众多分类与预测任务(图像、文本、语音和视频数据等)中表现出色，促进了深度学习的规模化与产业化应用。然而，深度学习模型的高度非线性导致其内部逻辑不明晰，并常常被视为“黑箱”模型，这也限制了其在关键领域(如医疗、金融和自动驾驶等)的应用。因此，研究深度学习的可解释性是非常必要的。首先对深度学习的现状进行简要概述，阐述深度学习可解释性的定义及必要性；其次对深度学习可解释性的研究现状进行分析，从内在可解释模型、基于归因的解释和基于非归因的解释3个角度对解释方法进行概述；然后介绍深度学习可解释性的定性和定量评估指标；最后讨论深度学习可解释性的应用以及未来发展方向。     

面向加密流量分类的深度可解释方法

目前的深度学习模型在加密流量分类任务上相较于传统机器学习方法的性能优势显著，然而由于它固有的黑盒特性，用户无法获知深度学习模型作出分类决策的机理。为了在保证分类准确率的同时提高深度学习模型的可信度，提出一种面向加密流量分类深度学习模型的可解释方法，包括基于原型的流量层级主动解释和基于特征相似显著图的数据包层级被动解释。首先，利用基于原型的流量原型网络（FlowProtoNet），在训练时自动提取各类流量的典型片段，即流量原型；其次，在测试时计算出待测流量与各类原型的相似度，从而在分类的同时实现训练集的溯源解释；然后，为进一步提升可视化解释能力，提出梯度加权的特征相似度显著图（Grad-SSM）方法。Grad-SSM首先通过梯度对特征图加权，过滤分类决策无关区域；接着，计算待测流量与FlowProtoNet提取的原型之间的推土机距离（EMD）得到相似矩阵，从而通过比较测试流量与该类原型，实现注意力热图的进一步聚焦。在ISCX VPN-nonVPN数据集上，所提方法的准确率达到96.86%，与不可解释的人工智能方法持平，而FlowProtoNet能通过给出与原型的相似度，进一步提供分类依据...