基于代理模型的XAI可解释性量化评估方法

可解释人工智能(explainable artificial intelligence, XAI)近年来发展迅速,已出现多种人工智能模型的解释技术,但是目前缺乏XAI可解释性的定量评估方法.已有评估方法大多需借助用户实验进行评估,这种方法耗时长且成本高昂.针对基于代理模型的XAI,提出一种可解释性量化评估方法.首先,针对这类XAI设计一些指标并给出计算方法,构建包含10个指标的评估指标体系,从一致性、用户理解性、因果性、有效性、稳定性5个维度来评估XAI的可解释性;然后,对于包含多个指标的维度,将熵权法与TOPSIS相结合,建立综合评估模型来评估该维度上的可解释性;最后,将该评估方法用于评估6个基于规则代理模型的XAI的可解释性.实验结果表明,所提出方法能够展现XAI在不同维度上的可解释性水平,用户可根据需求选取合适的XAI.     

深度学习模型可解释性研究综述

深度学习技术以数据驱动学习的特点,在自然语言处理、图像处理、语音识别等领域取得了巨大成就。但由于深度学习模型网络过深、参数多、复杂度高等特性,该模型做出的决策及中间过程让人类难以理解,因此探究深度学习的可解释性成为当前人工智能领域研究的新课题。以深度学习模型可解释性为研究对象,对其研究进展进行总结阐述。从自解释模型、特定模型解释、不可知模型解释、因果可解释性四个方面对主要可解释性方法进行总结分析。列举出可解释性相关技术的应用,讨论当前可解释性研究存在的问题并进行展望,以推动深度学习可解释性研究框架的进一步发展。     

深度学习模型可解释性的研究进展

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。     

一种面向中小规模数据集的模糊分类方法

虽然Takagi-Sugeno-Kang （TSK）模糊分类器在一些重要场合已经取得了广泛应用,但如何提高其分类性能和增强其可解释性,仍然是目前的研究热点.提出一种随机划分与组合特征且规则具有高可解释性的深度TSK模糊分类器（RCC-DTSK-C）,但和其他分类器构造不同的是：（1） RCC-DTSK-C由很多基训练单元构成,这些基训练单元可以被独立训练;（2）每一个基训练单元的隐含层通过模糊规则的可解释性来表达,而这些模糊规则又是通过随机划分、随机组合来进行特征选择的;（3）基于栈式结构理论,源数据集作为相同的输入空间被映射到每一个独立的基训练单元中,这样就有效地保证了源数据的所有特征在每一个独立的训练单元中都得以保留.实验结果表明,RCC-DTSK-C具有良好的分类性能和可解释性.     

可解释的知识图谱推理方法综述

近年来,以深度学习模型为基础的人工智能研究不断取得突破性进展,但其大多具有黑盒性,不利于人类认知推理过程,导致高性能的复杂算法、模型及系统普遍缺乏决策的透明度和可解释性。在国防、医疗、网络与信息安全等对可解释性要求严格的关键领域,推理方法的不可解释性对推理结果及相关回溯造成较大影响,因此,需要将可解释性融入这些算法和系统中,通过显式的可解释知识推理辅助相关预测任务,形成一个可靠的行为解释机制。知识图谱作为最新的知识表达方式之一,通过对语义网络进行建模,以结构化的形式描述客观世界中实体及关系,被广泛应用于知识推理。基于知识图谱的知识推理在离散符号表示的基础上,通过推理路径、逻辑规则等辅助手段,对推理过程进行解释,为实现可解释人工智能提供重要途径。针对可解释知识图谱推理这一领域进行了全面的综述。阐述了可解释人工智能和知识推理相关概念。详细介绍近年来可解释知识图谱推理方法的最新研究进展,从人工智能的3个研究范式角度出发,总结了不同的知识图谱推理方法。提出对可解释的知识图谱推理研究前景和未来研究方向。     

基于视角-规则的深度TSK模糊分类器及其在多元癫痫脑电信号识别中的应用

在癫痫脑电信号分类检测中,传统机器学习方法分类效果不理想,深度学习模型虽然具有较好的特征学习优势,但其“黑盒”学习方式不具备可解释性,不能很好地应用于临床辅助诊断;并且,现有的多视角深度TSK模糊系统难以有效表征各视角特征之间的相关性.针对以上问题,提出一种基于视角-规则的深度Takagi-SugenoKang (TSK)模糊分类器(view-to-rule Takagi-Sugeno-Kang fuzzy classifier, VR-TSK-FC),并将其应用于多元癫痫脑电信号检测中.该算法在原始数据上构建前件规则以保证模型的可解释性,利用一维卷积神经网络(1-dimensional convolutional neural network, 1D-CNN)从多角度抓取多元脑电信号深度特征.每个模糊规则的后件部分分别采用一个视角的脑电信号深度特征作为其后件变量,视角-规则的学习方式提高了VR-TSK-FC表征能力.在Bonn和CHB-MIT数据集上, VR-TSK-FC算法模糊逻辑推理过程保证可解释的基础上达到了较好分类效果.     

面向不平衡数据的深度TSK模糊分类器

为了进一步提升Takagi-Sugeno-Kang(TSK)模糊分类器在不平衡数据集上的泛化能力和保持其较好的语义可解释性，受集成学习的启发，提出面向不平衡数据的深度TSK模糊分类器(A Deep TSK Fuzzy Classifier for Imbalanced Data, ID-TSK-FC).ID-TSK-FC主要由一个不平衡全局线性回归子分类器(Imbalanced Global Linear Regression Sub-Classifier, IGLRc)和多个不平衡TSK模糊子分类器(Imbalanced TSK Fuzzy Sub-Classifier, I-TSK-FC)组成.根据人类“从全局粗糙到局部精细”的认知行为和栈式叠加泛化原理，ID-TSK-FC首先在所有原始训练样本上训练一个IGLRc,获得全局粗糙的分类结果.然后根据IGLRc的输出，识别原始训练样本中的非线性分布训练样本.在非线性分布训练样本上，以栈式深度结构生成多个局部I-TSK-FC,获得局部精细的结果.最后，对于栈式堆叠IGLRc和所有I-TSK-FC的输出，使用基于最小距离投票原理，得到ID...     

面向自闭症辅助诊断的深度对比模糊神经网络

静息态功能磁共振成像(rs-fMRI)可有效反映大脑活动状况，然而rs-fMRI数据的高随机性和自闭症谱系障碍(ASD)内在的高异质性给ASD计算机辅助诊断带来了不确定性。提出一种基于对比损失的Takagi-Sugeno-Kang(TSK)深度模糊神经网络CL-DeepTSK，结合多输出TSK(MO-TSK)模糊系统与多层感知机(MLP)有效缓解数据不确定性对模型的影响，提升TSK模糊系统的表达能力，并使模型更具可解释性。使用对比损失目标学习准则对MO-TSK与MLP进行联合优化，提高训练样本缺乏时的模型泛化性能。在ABIDE数据集上的实验结果表明，CLDeepTSK的平均正确率和AUC指标分别达到70.0%和0.773，同时获得了30个最具鉴别性的功能连接。上述实验结果证明了CL-DeepTSK能够有效地进行自闭症辅助诊断，并且具有较高的可解释性。     

强化学习可解释性基础问题探索和方法综述

强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法.然而,作为一类机器学习算法,强化学习也面临着机器学习领域的公共难题,即难以被人理解.缺乏可解释性限制了强化学习在安全敏感领域中的应用,如医疗、驾驶等,并导致强化学习在环境仿真、任务泛化等问题中缺乏普遍适用的解决方案.为了克服强化学习的这一弱点,涌现了大量强化学习可解释性(explainable reinforcement learning,XRL)的研究.然而,学术界对XRL尚缺乏一致认识.因此,探索XRL的基础性问题,并对现有工作进行综述.具体而言,首先探讨父问题——人工智能可解释性,对人工智能可解释性的已有定义进行了汇总;其次,构建一套可解释性领域的理论体系,从而描述XRL与人工智能可解释性的共同问题,包括界定智能算法和机械算法、定义解释的含义、讨论影响可解释性的因素、划分解释的直观性;然后,根据强化学习本身的特征,定义XRL的3个独有问题,即环境解释、任务解释、策略解释;之后,对现有方法进行系统地归类,并对XRL的最新进展进行综述;最后,展望XRL领域的潜在研究方向.     

深度学习可解释性研究综述

随着深度学习的广泛应用,人类越来越依赖于大量采用深度学习技术的复杂系统,然而,深度学习模型的黑盒特性对其在关键任务应用中的使用提出了挑战,引发了道德和法律方面的担忧,因此,使深度学习模型具有可解释性是使它们令人信服首先要解决的问题。于是,关于可解释的人工智能领域的研究应运而生,主要集中于向人类观察者明确解释模型的决策或行为。对深度学习可解释性的研究现状进行综述,为进一步深入研究建立更高效且具有可解释性的深度学习模型确立良好的基础。首先,对深度学习可解释性进行了概述,阐明可解释性研究的需求和定义;然后,从解释深度学习模型的逻辑规则、决策归因和内部结构表示这三个方面出发介绍了几种可解释性研究的典型模型和算法,另外还指出了三种常见的内置可解释模型的构建方法;最后,简单介绍了忠实度、准确性、鲁棒性和可理解性这四种评价指标,并讨论了深度学习可解释性未来可能的发展方向。     

模糊聚类计算的最佳算法

给出模糊关系传递闭包在对应模糊图上的几何意义,并提出一个基于图连通分支计算的模糊聚类最佳算法.对任给的n个样本,新算法最坏情况下的时间复杂性函数T(n)满足O(n)≤T(n)≤O(n²).与经典的基于模糊传递闭包计算的模糊聚类算法的O(n³logn)计算时间相比,新算法至少降低了O(n相似文献   

模糊线性支持向量回归机

该文研究了当训练点的输出为三角模糊数时,支持向量回归机的构建问题。首先将模糊回归问题转化为模糊分类问题,并将求模糊最优分类超平面问题转化为求解带有模糊决策的机会约束规划问题。利用基于模糊模拟的遗传算法求解带有模糊决策的机会约束规划,得到模糊最优分类超平面(模糊方程),解模糊方程得到模糊回归函数。在此基础上,得出模糊线性支持向量回归机(算法)。从而较好地解决了支持向量机中含有模糊信息的模糊回归问题。最后,给出显示模糊线性支持向量回归机特点的模糊支持向量集的定义。     

一种基于关系模型的模糊数据库系统模型

数据库管理系统的广泛应用，使得数据库的研究也随之快速发展，如何表达模糊数据，如何执行模糊查询越来越成为数据库研究的重要课题之一，提出一个基于关系模型的模糊数据库系统的理论模型，利用模糊集的方法表达模糊数据，模糊查询和模糊关系，最后给出了一个模糊数据库系统实现的例子。     

一种基于模糊感知器的模糊神经分类器

隶属函数应能客观反映模式的不确定性分布情况, 模糊神经分类器中为每个输入特征划分相同数量的模糊变量显然是不合理的. 针对这一问题, 根据模糊积分的思想, 本文通过分析隶属函数的变化曲线来确定模糊密度, 以此为依据为输入特征划分合适的模糊变量, 并以Iris数据集为例验证了该方法的有效性.     

一种基于模糊感知器的模糊神经分类器

隶属函数应能客观反映模式的不确定性分布情况,模糊神经分类器中为每个输入特征划分相同数量的模糊变量显然是不合理的.针对这一问题,根据模糊积分的思想,本文通过分析隶属函数的变化曲线来确定模糊密度,以此为依据为输入特征划分合适的模糊变量,并以Iris数据集为例验证了该方法的有效性.     

基于改进的模糊神经学习算法的模糊规则优化

对“改进的模糊神经学习算法”(DevelopedNeuro-FuzzyLearningAlgorithm)简单介绍,并针对这一新算法的缺点,提出了新的聚类方法得到最佳的规则数,利用模糊权值优化规则来改进这个算法,降低算法的时间复杂度,简化神经网络。     

模糊本体之必然:基于人的认知特征的分析

本体是人对客观事物及其相互关系的认知成果,表现形式为概念及概念关系,二者均以语词称之。人只能自如应用有限的语词,致使人的认知有两个必备特征:一个语词指称多个概念,即以变动概念外延的方式减少概念的数量;一个语词指称多个概念关系,即以隶属度的形式归并概念关系的种类。前者对应模糊概念,后者引出模糊概念关系,由两者构成的模糊本体就是符合人的认知规律的客观世界在人脑中的必然反映。作为科学术语的"模糊",是指有效解决语词有限性与客观事物无限性矛盾的认知方式。模糊本体是本体的一般形式,更接近客观世界之真实,其模糊识别与模糊推理的功能更有利于支持人的认知活动。模糊本体内置于机器是信息处理智能化之必然,模糊本体表示的机器形式目前为OWL文档。举例示意了模糊本体的构建过程。     

Uncertain probabilities III: the continuous case

We consider joint probability density functions where some of the parameters are uncertain. We model these uncertainties using fuzzy numbers producing fuzzy joint probability density functions. Then we study the fuzzy marginal densities, the fuzzy conditional densities and fuzzy correlation. We look at one particular fuzzy joint density: the fuzzy bivariate normal. An application in fuzzy reliability theory is presented.     

一种基于模糊熵的模糊分类算法

在模糊ID3算法中,用模糊分类熵选择扩展属性,以自顶向下的方式递归地构建模糊决策树,对数据进行分类。提出了一种基于属性模糊熵的模糊分类算法,不同于模糊ID3算法,模糊条件属性的模糊熵作为权值用来对相对模糊频率进行加权,综合考虑各个模糊条件属性对分类的贡献。实例分析和实验结果表明了这一算法的有效性。     

模糊控制器输出值不变的两个充分条件

模糊控制器通常由模糊化、模糊推理以及清晰化三部分构成, 而模糊推理决定了一个由输入论域到输出论域的模糊映射. 当模糊映射为常值映射时, 任意选择模糊化和去模糊化方式, 模糊控制器的输出值不因输入信号变化而改变. 本文给出了模糊映射为常值映射的两个充分条件, 并将结论从单入单出模糊系统推广到多入单出模糊系统.