LSTM变体模型在径流预测中的性能及其可解释性

基于湘江流域1999—2013年实测水文气象数据,采用LSTM模型和其变体模型研究多个预见期下不同输入变量和不同模型结构对径流预测结果的影响,评估LSTM模型及其变体模型在短期径流预测中的性能,基于排列重要性法和积分梯度法探究了LSTM模型对流域径流预测的可解释性。结果表明：在历史径流输入数据的基础上增加有效的水文气象变量输入,可以明显改善模型的预测效果,输入变量的改变比模型结构的差异对预测结果的影响更大;随着预见期的增大,降水数据的加入对预测效果表现出不同程度的提升,预见期为1 d时,预测结果的纳什效率系数(NSE)提升2.0%,预见期为2～4 d时,NSE提升可达13.6%;降水和历史径流在预测中起着重要的作用,而前期湿润条件与降水事件的共同作用是湘江流域洪水的主要诱发因素;LSTM模型可反映两种不同的输入输出关系,这两种关系对应于近期降雨和历史降雨两种洪水诱发机制。     

融合机器学习与知识推理的可解释性框架

针对基于规则的可解释性模型可能出现的规则无法反映模型真实决策情况的问题, 提出了一种融合机器学习和知识推理两种途径的可解释性框架. 框架演进目标特征结果和推理结果, 在二者相同且都较为可靠的情况下实现可解释性. 目标特征结果通过机器学习模型直接得到, 推理结果通过子特征分类结果结合规则进行知识推理得到, 两个结果是否可靠通过计算可信度来判断. 使用面向液基细胞学检查图像的融合学习与推理的某类宫颈癌细胞识别案例对框架进行验证, 实验表明, 该框架能够赋予模型的真实决策结果以可解释性, 并在迭代过程中提升了分类精度. 这帮助人们理解系统做出决策的逻辑, 以及更好地了解结果可能失败的原因.     

基于知识图谱和Bi-LSTM的推荐算法

目前现有基于模型的推荐算法多是将评分数据输入到深度学习模型中进行训练,得出推荐结果。其缺陷在于无法对预测结果进行可解释性分析。除此之外,无法有效地解决算法的冷启动问题。因此,本文提出一种基于知识图谱和Bi-LSTM的推荐算法,来有效解决算法的可解释性和冷启动问题。首先将获取到的数据集进行预处理,生成预编码向量,根据数据集结点的连接性,构建专业领域知识图谱。其次利用知识图谱的元路径提取技术获取到多条用户-物品路径信息,将其输入到Bi-LSTM中,在路径经过的各结点处加入一层注意力机制,目的是为了模型能够有效地获取到较远结点的信息。最后将多条路径的训练结果输入到平均池化层中,用以区分不同路径的重要程度,利用交叉熵损失函数对模型进行训练,从而得出预测结果。实验结果表明,与传统基于循环神经网络模型的推荐算法相比,该算法可有效地提升算法的可解释性以及预测准确性,并缓解算法的冷启动问题。     

A novel deep learning prediction model for concrete dam displacements using interpretable mixed attention mechanism

Dam displacements can effectively reflect its operational status, and thus establishing a reliable displacement prediction model is important for dam health monitoring. The majority of the existing data-driven models, however, focus on static regression relationships, which cannot capture the long-term temporal dependencies and adaptively select the most relevant influencing factors to perform predictions. Moreover, the emerging modeling tools such as machine learning (ML) and deep learning (DL) are mostly black-box models, which makes their physical interpretation challenging and greatly limits their practical engineering applications. To address these issues, this paper proposes an interpretable mixed attention mechanism long short-term memory (MAM-LSTM) model based on an encoder-decoder architecture, which is formulated in two stages. In the encoder stage, a factor attention mechanism is developed to adaptively select the highly influential factors at each time step by referring to the previous hidden state. In the decoder stage, a temporal attention mechanism is introduced to properly extract the key time segments by identifying the relevant hidden states across all the time steps. For interpretation purpose, our emphasis is placed on the quantification and visualization of factor and temporal attention weights. Finally, the effectiveness of the proposed model is verified using monitoring data collected from a real-world dam, where its accuracy is compared to a classical statistical model, conventional ML models, and homogeneous DL models. The comparison demonstrates that the MAM-LSTM model outperforms the other models in most cases. Furthermore, the interpretation of global attention weights confirms the physical rationality of our attention-based model. This work addresses the research gap in interpretable artificial intelligence for dam displacement prediction and delivers a model with both high-accuracy and interpretability.     

基于LightGBM算法的光伏并网系统孤岛检测及其集成的可解释研究

针对智能孤岛检测方法欠缺对数据集划分过程中标签分布不均问题的考虑,以及该领域尚未对复杂智能孤岛检测模型的决策进行可解释性分析,提出了一种基于轻梯度提升机(LightGBM)算法的孤岛检测模型。采用分层抽样的K折交叉验证检测模型的分类性能,解决数据标签分布不均的问题;提出基于决策树的Shapley值加性解释方法为主干,融合累计局部效应图和局部代理模型的集成可解释分析框架,从全局性和局部性角度对光伏并网系统的孤岛状态检测进行归因分析。算例仿真结果表明,所提模型能在传统检测方法的检测盲区中实现精确且快速的动态孤岛检测,且在电压波动、系统故障等情况下均未发生误判。基于集成的归因分析方法解决了单一可解释方法的欠合理性问题,揭示了模型输入电气特征自变量与孤岛检测响应因变量之间的关系,提高了模型的可信度。     

重新找回人工智能的可解释性

针对深度神经网络AI研究的可解释性瓶颈，指出刚性逻辑（数理形式逻辑）和二值神经元等价，二值神经网络可转换成逻辑表达式，有强可解释性。深度神经网络一味增加中间层数来拟合大数据，没有适时通过抽象把最小粒度的数据（原子）变成粒度较大的知识（分子），再把较小粒度的知识变成较大粒度的知识，把原有的强可解释性淹没在中间层次的汪洋大海中。要支持多粒度的知识处理，需把刚性逻辑扩张为柔性命题逻辑（命题级数理辩证逻辑），把二值神经元扩张为柔性神经元，才能保持强可解释性。本文详细介绍了从刚性逻辑到柔性逻辑的扩张过程和成果，最后介绍了它们在AI研究中的应用，这是重新找回AI研究强可解释性的最佳途径。     

强化学习的可解释方法分类研究

强化学习能够在动态复杂环境中实现自主学习,这使其在法律、医学、金融等领域有着广泛应用。但强化学习仍面临着全局状态空间不可观测、对奖励函数强依赖和因果关系不确定等诸多问题,导致其可解释性弱,严重影响其在相关领域的推广,会遭遇诸如难以判断决策是否违反社会法律道德的要求,是否准确及值得信任等的限制。为了进一步了解强化学习可解释性研究现状,从可解释模型、可解释策略、环境交互、可视化等方面展开讨论。基于此,对强化学习可解释性研究现状进行系统论述,对其可解释方法进行归类阐述,最后提出强化学习可解释性的未来发展方向。     

基于多目标遗传算法的TS模糊模型设计

提出一种利用遗传算法进行TS模糊模型的优化设计方法。首先定义了TS模糊模型的精确性指标,给出模糊模型解释性的必要条件。然后利用模糊聚类算法和最小二乘法辨识初始的模糊模型;利用多目标遗传算法优化模糊模型;为提高模型的解释性,在遗传算法中利用基于相似性的模糊集合和模糊规则简化方法对模型进行约简。最后利用该方法进行一类二阶合成非线性动态系统的建模,仿真结果验证了该方法的有效性。     

深度学习的可解释性研究综述

近年来,深度学习在很多领域得到广泛应用;然而,由于深度神经网络模型的高度非线性操作,导致其可解释性较差,并常常被称为“黑箱”模型,无法应用于一些对性能要求较高的关键领域;因此,对深度学习的可解释性开展研究是很有必要的。首先,简单介绍了深度学习;然后,围绕深度学习的可解释性,从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析;同时,展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用;最后,讨论了深度学习可解释性研究存在的问题及未来的发展方向。     

基于出行模式的注意力机制可解释性探索

为了探索深度注意力模型在地铁出行预测任务中的可解释性,提出基于出行模式的注意力权重擦除方法和可解释性评估框架。利用提出的地铁出行深度注意力框架搭建预测模型,使用广州地铁羊城通数据构造三种不同长度出行序列数据集进行模型训练和验证,达到70%以上准确率;通过单一出行模式的注意力权重擦除实验发现,擦除最大注意力权重的出行模式比随机模式更能显著地影响模型预测结果,但大多数样本不发生预测结果的变化。即注意力机制在该条件下提供的可解释性信息是有限的,且该信息量随着序列长度增加而减小;通过一组出行模式注意力权重擦除实验结果表明,按注意力权重降序擦除能最快使模型预测结果发生变化,并且模型能稳定地对重要的出行模式的出行记录分配注意力权重,即注意力机制在该条件下较好地提供了可解释性信息,且该信息量随着序列长度增加而增大。