LSTM变体模型在径流预测中的性能及其可解释性

基于湘江流域1999—2013年实测水文气象数据,采用LSTM模型和其变体模型研究多个预见期下不同输入变量和不同模型结构对径流预测结果的影响,评估LSTM模型及其变体模型在短期径流预测中的性能,基于排列重要性法和积分梯度法探究了LSTM模型对流域径流预测的可解释性。结果表明：在历史径流输入数据的基础上增加有效的水文气象变量输入,可以明显改善模型的预测效果,输入变量的改变比模型结构的差异对预测结果的影响更大;随着预见期的增大,降水数据的加入对预测效果表现出不同程度的提升,预见期为1 d时,预测结果的纳什效率系数(NSE)提升2.0%,预见期为2～4 d时,NSE提升可达13.6%;降水和历史径流在预测中起着重要的作用,而前期湿润条件与降水事件的共同作用是湘江流域洪水的主要诱发因素;LSTM模型可反映两种不同的输入输出关系,这两种关系对应于近期降雨和历史降雨两种洪水诱发机制。     

融合机器学习与知识推理的可解释性框架

针对基于规则的可解释性模型可能出现的规则无法反映模型真实决策情况的问题, 提出了一种融合机器学习和知识推理两种途径的可解释性框架. 框架演进目标特征结果和推理结果, 在二者相同且都较为可靠的情况下实现可解释性. 目标特征结果通过机器学习模型直接得到, 推理结果通过子特征分类结果结合规则进行知识推理得到, 两个结果是否可靠通过计算可信度来判断. 使用面向液基细胞学检查图像的融合学习与推理的某类宫颈癌细胞识别案例对框架进行验证, 实验表明, 该框架能够赋予模型的真实决策结果以可解释性, 并在迭代过程中提升了分类精度. 这帮助人们理解系统做出决策的逻辑, 以及更好地了解结果可能失败的原因.     

基于知识图谱和Bi-LSTM的推荐算法

目前现有基于模型的推荐算法多是将评分数据输入到深度学习模型中进行训练,得出推荐结果。其缺陷在于无法对预测结果进行可解释性分析。除此之外,无法有效地解决算法的冷启动问题。因此,本文提出一种基于知识图谱和Bi-LSTM的推荐算法,来有效解决算法的可解释性和冷启动问题。首先将获取到的数据集进行预处理,生成预编码向量,根据数据集结点的连接性,构建专业领域知识图谱。其次利用知识图谱的元路径提取技术获取到多条用户-物品路径信息,将其输入到Bi-LSTM中,在路径经过的各结点处加入一层注意力机制,目的是为了模型能够有效地获取到较远结点的信息。最后将多条路径的训练结果输入到平均池化层中,用以区分不同路径的重要程度,利用交叉熵损失函数对模型进行训练,从而得出预测结果。实验结果表明,与传统基于循环神经网络模型的推荐算法相比,该算法可有效地提升算法的可解释性以及预测准确性,并缓解算法的冷启动问题。     

A novel deep learning prediction model for concrete dam displacements using interpretable mixed attention mechanism

Dam displacements can effectively reflect its operational status, and thus establishing a reliable displacement prediction model is important for dam health monitoring. The majority of the existing data-driven models, however, focus on static regression relationships, which cannot capture the long-term temporal dependencies and adaptively select the most relevant influencing factors to perform predictions. Moreover, the emerging modeling tools such as machine learning (ML) and deep learning (DL) are mostly black-box models, which makes their physical interpretation challenging and greatly limits their practical engineering applications. To address these issues, this paper proposes an interpretable mixed attention mechanism long short-term memory (MAM-LSTM) model based on an encoder-decoder architecture, which is formulated in two stages. In the encoder stage, a factor attention mechanism is developed to adaptively select the highly influential factors at each time step by referring to the previous hidden state. In the decoder stage, a temporal attention mechanism is introduced to properly extract the key time segments by identifying the relevant hidden states across all the time steps. For interpretation purpose, our emphasis is placed on the quantification and visualization of factor and temporal attention weights. Finally, the effectiveness of the proposed model is verified using monitoring data collected from a real-world dam, where its accuracy is compared to a classical statistical model, conventional ML models, and homogeneous DL models. The comparison demonstrates that the MAM-LSTM model outperforms the other models in most cases. Furthermore, the interpretation of global attention weights confirms the physical rationality of our attention-based model. This work addresses the research gap in interpretable artificial intelligence for dam displacement prediction and delivers a model with both high-accuracy and interpretability.     

结合模拟退火与规则约简的模糊系统优化方法

从数据中学习模糊系统是其智能建模的重要方法之一,针对目前模糊系统建模及优化方法对于学习后的模糊系统的规则数以及结构优化关注不足而影响了其精度和可解释性的问题,提出了一种结合模拟退火与基于支持度约简规则的模糊系统优化方法。该方法通过支持度约简系统冗余规则进而提高模糊系统的可解释性;同时利用模拟退火算法优化模糊系统的隶属度函数参数进一步提高模糊系统的精度。针对回归任务,与BP（Back Propagation）神经网络、径向基（Radial Basis Function,RBF）神经网络以及经典的模糊算法WM（Wang-Mendel）在不同领域的3个经典数据集上进行实验比较,实验结果表明：该算法在预测方面取得了更高的精度;与WM算法相比,所提算法中规则数明显减少,进一步提高了系统的可解释性。     

深度学习模型可解释性研究综述

深度学习技术以数据驱动学习的特点,在自然语言处理、图像处理、语音识别等领域取得了巨大成就。但由于深度学习模型网络过深、参数多、复杂度高等特性,该模型做出的决策及中间过程让人类难以理解,因此探究深度学习的可解释性成为当前人工智能领域研究的新课题。以深度学习模型可解释性为研究对象,对其研究进展进行总结阐述。从自解释模型、特定模型解释、不可知模型解释、因果可解释性四个方面对主要可解释性方法进行总结分析。列举出可解释性相关技术的应用,讨论当前可解释性研究存在的问题并进行展望,以推动深度学习可解释性研究框架的进一步发展。     

多粒度融合的模糊规则系统图像特征学习

当前最流行的图像特征学习方法是深度神经网络,该类方法无需人工参与即可自动地通过特征学习提取高效的特征,用于分类识别等任务。然而,深度神经网络图像特征抽取方法目前也面临着诸多挑战,其有效性严重依赖大规模的数据,且通常被视为黑盒模型,解释性较差。针对上述挑战,以基于模糊规则推理的TSK模糊系统(TSK-FS)为基础,提出了一种适用于不同规模数据集且易于理解的特征学习方法——多粒度融合的模糊规则系统图像特征学习算法。该方法通过基于规则的TSK-FS抽取图像特征,因而特征学习过程是可以利用规则进行解释的。其次,多粒度扫描也使得其特征学习能力进一步提升。在不同规模的图像数据集上进行了充分的实验,实验结果表明该方法在图像数据集上具有较好的有效性。     

基于LightGBM算法的光伏并网系统孤岛检测及其集成的可解释研究

针对智能孤岛检测方法欠缺对数据集划分过程中标签分布不均问题的考虑,以及该领域尚未对复杂智能孤岛检测模型的决策进行可解释性分析,提出了一种基于轻梯度提升机(LightGBM)算法的孤岛检测模型。采用分层抽样的K折交叉验证检测模型的分类性能,解决数据标签分布不均的问题;提出基于决策树的Shapley值加性解释方法为主干,融合累计局部效应图和局部代理模型的集成可解释分析框架,从全局性和局部性角度对光伏并网系统的孤岛状态检测进行归因分析。算例仿真结果表明,所提模型能在传统检测方法的检测盲区中实现精确且快速的动态孤岛检测,且在电压波动、系统故障等情况下均未发生误判。基于集成的归因分析方法解决了单一可解释方法的欠合理性问题,揭示了模型输入电气特征自变量与孤岛检测响应因变量之间的关系,提高了模型的可信度。     

重新找回人工智能的可解释性

针对深度神经网络AI研究的可解释性瓶颈，指出刚性逻辑（数理形式逻辑）和二值神经元等价，二值神经网络可转换成逻辑表达式，有强可解释性。深度神经网络一味增加中间层数来拟合大数据，没有适时通过抽象把最小粒度的数据（原子）变成粒度较大的知识（分子），再把较小粒度的知识变成较大粒度的知识，把原有的强可解释性淹没在中间层次的汪洋大海中。要支持多粒度的知识处理，需把刚性逻辑扩张为柔性命题逻辑（命题级数理辩证逻辑），把二值神经元扩张为柔性神经元，才能保持强可解释性。本文详细介绍了从刚性逻辑到柔性逻辑的扩张过程和成果，最后介绍了它们在AI研究中的应用，这是重新找回AI研究强可解释性的最佳途径。     

基于多目标遗传算法的TS模糊模型设计

提出一种利用遗传算法进行TS模糊模型的优化设计方法。首先定义了TS模糊模型的精确性指标,给出模糊模型解释性的必要条件。然后利用模糊聚类算法和最小二乘法辨识初始的模糊模型;利用多目标遗传算法优化模糊模型;为提高模型的解释性,在遗传算法中利用基于相似性的模糊集合和模糊规则简化方法对模型进行约简。最后利用该方法进行一类二阶合成非线性动态系统的建模,仿真结果验证了该方法的有效性。