LSTM变体模型在径流预测中的性能及其可解释性

基于湘江流域1999—2013年实测水文气象数据,采用LSTM模型和其变体模型研究多个预见期下不同输入变量和不同模型结构对径流预测结果的影响,评估LSTM模型及其变体模型在短期径流预测中的性能,基于排列重要性法和积分梯度法探究了LSTM模型对流域径流预测的可解释性。结果表明：在历史径流输入数据的基础上增加有效的水文气象变量输入,可以明显改善模型的预测效果,输入变量的改变比模型结构的差异对预测结果的影响更大;随着预见期的增大,降水数据的加入对预测效果表现出不同程度的提升,预见期为1 d时,预测结果的纳什效率系数(NSE)提升2.0%,预见期为2～4 d时,NSE提升可达13.6%;降水和历史径流在预测中起着重要的作用,而前期湿润条件与降水事件的共同作用是湘江流域洪水的主要诱发因素;LSTM模型可反映两种不同的输入输出关系,这两种关系对应于近期降雨和历史降雨两种洪水诱发机制。     

融合机器学习与知识推理的可解释性框架

针对基于规则的可解释性模型可能出现的规则无法反映模型真实决策情况的问题, 提出了一种融合机器学习和知识推理两种途径的可解释性框架. 框架演进目标特征结果和推理结果, 在二者相同且都较为可靠的情况下实现可解释性. 目标特征结果通过机器学习模型直接得到, 推理结果通过子特征分类结果结合规则进行知识推理得到, 两个结果是否可靠通过计算可信度来判断. 使用面向液基细胞学检查图像的融合学习与推理的某类宫颈癌细胞识别案例对框架进行验证, 实验表明, 该框架能够赋予模型的真实决策结果以可解释性, 并在迭代过程中提升了分类精度. 这帮助人们理解系统做出决策的逻辑, 以及更好地了解结果可能失败的原因.     

基于知识图谱和Bi-LSTM的推荐算法

目前现有基于模型的推荐算法多是将评分数据输入到深度学习模型中进行训练,得出推荐结果。其缺陷在于无法对预测结果进行可解释性分析。除此之外,无法有效地解决算法的冷启动问题。因此,本文提出一种基于知识图谱和Bi-LSTM的推荐算法,来有效解决算法的可解释性和冷启动问题。首先将获取到的数据集进行预处理,生成预编码向量,根据数据集结点的连接性,构建专业领域知识图谱。其次利用知识图谱的元路径提取技术获取到多条用户-物品路径信息,将其输入到Bi-LSTM中,在路径经过的各结点处加入一层注意力机制,目的是为了模型能够有效地获取到较远结点的信息。最后将多条路径的训练结果输入到平均池化层中,用以区分不同路径的重要程度,利用交叉熵损失函数对模型进行训练,从而得出预测结果。实验结果表明,与传统基于循环神经网络模型的推荐算法相比,该算法可有效地提升算法的可解释性以及预测准确性,并缓解算法的冷启动问题。     

基于图算法半监督学习的反洗钱模型可解释性研究

讨论异常检测、图算法EnvolveGCN在AML中的运用;利用两大数据集,对基准算法进行试验;特别是图结构数据中半监督学习可利用标签传播等.对策建议使用机器学习金融科技赋能反洗钱工作.     

结合模拟退火与规则约简的模糊系统优化方法

从数据中学习模糊系统是其智能建模的重要方法之一,针对目前模糊系统建模及优化方法对于学习后的模糊系统的规则数以及结构优化关注不足而影响了其精度和可解释性的问题,提出了一种结合模拟退火与基于支持度约简规则的模糊系统优化方法。该方法通过支持度约简系统冗余规则进而提高模糊系统的可解释性;同时利用模拟退火算法优化模糊系统的隶属度函数参数进一步提高模糊系统的精度。针对回归任务,与BP（Back Propagation）神经网络、径向基（Radial Basis Function,RBF）神经网络以及经典的模糊算法WM（Wang-Mendel）在不同领域的3个经典数据集上进行实验比较,实验结果表明：该算法在预测方面取得了更高的精度;与WM算法相比,所提算法中规则数明显减少,进一步提高了系统的可解释性。     

深度学习模型可解释性研究综述

深度学习技术以数据驱动学习的特点,在自然语言处理、图像处理、语音识别等领域取得了巨大成就。但由于深度学习模型网络过深、参数多、复杂度高等特性,该模型做出的决策及中间过程让人类难以理解,因此探究深度学习的可解释性成为当前人工智能领域研究的新课题。以深度学习模型可解释性为研究对象,对其研究进展进行总结阐述。从自解释模型、特定模型解释、不可知模型解释、因果可解释性四个方面对主要可解释性方法进行总结分析。列举出可解释性相关技术的应用,讨论当前可解释性研究存在的问题并进行展望,以推动深度学习可解释性研究框架的进一步发展。     

多粒度融合的模糊规则系统图像特征学习

当前最流行的图像特征学习方法是深度神经网络,该类方法无需人工参与即可自动地通过特征学习提取高效的特征,用于分类识别等任务。然而,深度神经网络图像特征抽取方法目前也面临着诸多挑战,其有效性严重依赖大规模的数据,且通常被视为黑盒模型,解释性较差。针对上述挑战,以基于模糊规则推理的TSK模糊系统(TSK-FS)为基础,提出了一种适用于不同规模数据集且易于理解的特征学习方法——多粒度融合的模糊规则系统图像特征学习算法。该方法通过基于规则的TSK-FS抽取图像特征,因而特征学习过程是可以利用规则进行解释的。其次,多粒度扫描也使得其特征学习能力进一步提升。在不同规模的图像数据集上进行了充分的实验,实验结果表明该方法在图像数据集上具有较好的有效性。     

基于LightGBM算法的光伏并网系统孤岛检测及其集成的可解释研究

针对智能孤岛检测方法欠缺对数据集划分过程中标签分布不均问题的考虑,以及该领域尚未对复杂智能孤岛检测模型的决策进行可解释性分析,提出了一种基于轻梯度提升机(LightGBM)算法的孤岛检测模型。采用分层抽样的K折交叉验证检测模型的分类性能,解决数据标签分布不均的问题;提出基于决策树的Shapley值加性解释方法为主干,融合累计局部效应图和局部代理模型的集成可解释分析框架,从全局性和局部性角度对光伏并网系统的孤岛状态检测进行归因分析。算例仿真结果表明,所提模型能在传统检测方法的检测盲区中实现精确且快速的动态孤岛检测,且在电压波动、系统故障等情况下均未发生误判。基于集成的归因分析方法解决了单一可解释方法的欠合理性问题,揭示了模型输入电气特征自变量与孤岛检测响应因变量之间的关系,提高了模型的可信度。     

模糊认知图在时间序列预测中的应用综述

时间序列预测是基于当前及历史数据对未来演化趋势的推演.准确的、可解释的时间序列预测是进行科学决策的关键技术支撑,广泛应用于金融、交通、气象等诸多领域.具有可解释性和强推理能力的模糊认知图已在时间序列预测中取得较好的效果,但目前尚无文献对该方法进行全面综述.为此,本文首先对模糊认知图及扩展的高阶模糊认知图、直觉模糊认知图和深度模糊认知图进行梳理,并在此基础上归纳了学习模糊认知图的优化算法.其次,具体介绍了模糊认知图以及扩展的模糊认知图在时间序列预测中的应用,并做出系统性的总结.最后,对模糊认知图在时间序列预测中的发展趋势进行展望.     

预训练语言模型实体匹配的可解释性

实体匹配可以判断两个数据集中的记录是否指向同一现实世界实体,对于大数据集成、社交网络分析、网络语义数据管理等任务不可或缺.作为在自然语言处理、计算机视觉中取得大量成功的深度学习技术,预训练语言模型在实体识别任务上也取得了优于传统方法的效果,引起了大量研究人员的关注.然而,基于预训练语言模型的实体匹配技术效果不稳定、匹配结果不可解释,给这一技术在大数据集成中的应用带来了很大的不确定性.同时,现有的实体匹配模型解释方法主要面向机器学习方法进行模型无关的解释,在预训练语言模型上的适用性存在缺陷.因此,以Ditto、JointBERT等BERT类实体匹配模型为例,提出3种面向预训练语言模型实体匹配技术的模型解释方法来解决这个问题:(1)针对序列化操作中关系数据属性序的敏感性,对于错分样本,利用数据集元特征和属性相似度实现属性序反事实生成;(2)作为传统属性重要性衡量的补充,通过预训练语言模型注意力机制权重来衡量并可视化模型处理数据时的关联性;(3)基于序列化后的句子向量,使用k近邻搜索技术召回与错分样本相似的可解释性优良的样本,增强低置信度的预训练语言模型预测结果.在真实公开数据集上的实验结果...