A novel deep learning prediction model for concrete dam displacements using interpretable mixed attention mechanism

Dam displacements can effectively reflect its operational status, and thus establishing a reliable displacement prediction model is important for dam health monitoring. The majority of the existing data-driven models, however, focus on static regression relationships, which cannot capture the long-term temporal dependencies and adaptively select the most relevant influencing factors to perform predictions. Moreover, the emerging modeling tools such as machine learning (ML) and deep learning (DL) are mostly black-box models, which makes their physical interpretation challenging and greatly limits their practical engineering applications. To address these issues, this paper proposes an interpretable mixed attention mechanism long short-term memory (MAM-LSTM) model based on an encoder-decoder architecture, which is formulated in two stages. In the encoder stage, a factor attention mechanism is developed to adaptively select the highly influential factors at each time step by referring to the previous hidden state. In the decoder stage, a temporal attention mechanism is introduced to properly extract the key time segments by identifying the relevant hidden states across all the time steps. For interpretation purpose, our emphasis is placed on the quantification and visualization of factor and temporal attention weights. Finally, the effectiveness of the proposed model is verified using monitoring data collected from a real-world dam, where its accuracy is compared to a classical statistical model, conventional ML models, and homogeneous DL models. The comparison demonstrates that the MAM-LSTM model outperforms the other models in most cases. Furthermore, the interpretation of global attention weights confirms the physical rationality of our attention-based model. This work addresses the research gap in interpretable artificial intelligence for dam displacement prediction and delivers a model with both high-accuracy and interpretability.     

虹膜呈现攻击检测综述

虹膜识别技术因唯一性、稳定性、非接触性、准确性等特性广泛应用于各类现实场景中. 然而, 现有的许多虹膜识别系统在认证过程中仍然容易遭受各种攻击的干扰, 导致安全性方面可能存在风险隐患. 在不同的攻击类型中, 呈现攻击(Presentation attacks, PAs)由于出现在早期的虹膜图像获取阶段, 且形式变化多端, 因而虹膜呈现攻击检测(Iris presentation attack detection, IPAD)成为虹膜识别技术中首先需要解决的安全问题之一, 得到了学术界和产业界的广泛重视. 本综述是目前已知第一篇虹膜呈现攻击检测领域的中文综述, 旨在帮助研究人员快速、全面地了解该领域的相关知识以及发展动态. 总体来说, 本文对虹膜呈现攻击检测的难点、术语和攻击类型、主流方法、公共数据集、比赛及可解释性等方面进行全面归纳. 具体而言, 首先介绍虹膜呈现攻击检测的背景、虹膜识别系统现存的安全漏洞与呈现攻击的目的. 其次, 按照是否使用额外硬件设备将检测方法分为基于硬件与基于软件的方法两大类, 并在基于软件的方法中按照特征提取的方式作出进一步归纳和分析. 此外, 还整理了开源方法、可申请的公开数据集以及概括了历届相关比赛. 最后, 对虹膜呈现攻击检测未来可能的发展方向进行了展望.     

基于多目标遗传算法的TS模糊模型设计

提出一种利用遗传算法进行TS模糊模型的优化设计方法。首先定义了TS模糊模型的精确性指标,给出模糊模型解释性的必要条件。然后利用模糊聚类算法和最小二乘法辨识初始的模糊模型;利用多目标遗传算法优化模糊模型;为提高模型的解释性,在遗传算法中利用基于相似性的模糊集合和模糊规则简化方法对模型进行约简。最后利用该方法进行一类二阶合成非线性动态系统的建模,仿真结果验证了该方法的有效性。     

卷积神经网络表征可视化研究综述

近年来, 深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展, 这些任务多以卷积神经网络为基础搭建识别模型, 训练后的模型拥有优异的自动特征提取和预测性能, 能够为用户提供“输入–输出”形式的端到端解决方案. 然而, 由于分布式的特征编码和越来越复杂的模型结构, 人们始终无法准确理解卷积神经网络模型内部知识表示, 以及促使其做出特定决策的潜在原因. 另一方面, 卷积神经网络模型在一些高风险领域的应用, 也要求对其决策原因进行充分了解, 方能获取用户信任. 因此, 卷积神经网络的可解释性问题逐渐受到关注. 研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法, 包括事后解释方法和构建自解释的模型等, 这些方法各有侧重和优势, 从多方面对卷积神经网络进行特征分析和决策解释. 表征可视化是其中一种重要的卷积神经网络可解释性方法, 能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现, 从而快速获取对卷积神经网络内部特征和决策的理解, 具有过程简单和效果直观的特点. 对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾, 按照以下几个方面组织内容: 表征可视化研究的提起、相关概念及内容、可视化方法、可视化的效果评估及可视化的应用, 重点关注了表征可视化方法的分类及算法的具体过程. 最后是总结和对该领域仍存在的难点及未来研究趋势进行了展望.     

基于出行模式的注意力机制可解释性探索

为了探索深度注意力模型在地铁出行预测任务中的可解释性,提出基于出行模式的注意力权重擦除方法和可解释性评估框架。利用提出的地铁出行深度注意力框架搭建预测模型,使用广州地铁羊城通数据构造三种不同长度出行序列数据集进行模型训练和验证,达到70%以上准确率;通过单一出行模式的注意力权重擦除实验发现,擦除最大注意力权重的出行模式比随机模式更能显著地影响模型预测结果,但大多数样本不发生预测结果的变化。即注意力机制在该条件下提供的可解释性信息是有限的,且该信息量随着序列长度增加而减小;通过一组出行模式注意力权重擦除实验结果表明,按注意力权重降序擦除能最快使模型预测结果发生变化,并且模型能稳定地对重要的出行模式的出行记录分配注意力权重,即注意力机制在该条件下较好地提供了可解释性信息,且该信息量随着序列长度增加而增大。     

重新找回人工智能的可解释性

针对深度神经网络AI研究的可解释性瓶颈，指出刚性逻辑（数理形式逻辑）和二值神经元等价，二值神经网络可转换成逻辑表达式，有强可解释性。深度神经网络一味增加中间层数来拟合大数据，没有适时通过抽象把最小粒度的数据（原子）变成粒度较大的知识（分子），再把较小粒度的知识变成较大粒度的知识，把原有的强可解释性淹没在中间层次的汪洋大海中。要支持多粒度的知识处理，需把刚性逻辑扩张为柔性命题逻辑（命题级数理辩证逻辑），把二值神经元扩张为柔性神经元，才能保持强可解释性。本文详细介绍了从刚性逻辑到柔性逻辑的扩张过程和成果，最后介绍了它们在AI研究中的应用，这是重新找回AI研究强可解释性的最佳途径。     

深度学习的可解释性研究综述

近年来,深度学习在很多领域得到广泛应用;然而,由于深度神经网络模型的高度非线性操作,导致其可解释性较差,并常常被称为“黑箱”模型,无法应用于一些对性能要求较高的关键领域;因此,对深度学习的可解释性开展研究是很有必要的。首先,简单介绍了深度学习;然后,围绕深度学习的可解释性,从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析;同时,展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用;最后,讨论了深度学习可解释性研究存在的问题及未来的发展方向。     

强化学习的可解释方法分类研究

强化学习能够在动态复杂环境中实现自主学习,这使其在法律、医学、金融等领域有着广泛应用。但强化学习仍面临着全局状态空间不可观测、对奖励函数强依赖和因果关系不确定等诸多问题,导致其可解释性弱,严重影响其在相关领域的推广,会遭遇诸如难以判断决策是否违反社会法律道德的要求,是否准确及值得信任等的限制。为了进一步了解强化学习可解释性研究现状,从可解释模型、可解释策略、环境交互、可视化等方面展开讨论。基于此,对强化学习可解释性研究现状进行系统论述,对其可解释方法进行归类阐述,最后提出强化学习可解释性的未来发展方向。     

基于对抗补丁的可泛化的Grad-CAM攻击方法

为了验证Grad-CAM解释方法的脆弱性,提出了一种基于对抗补丁的Grad-CAM攻击方法.通过在CNN分类损失函数后添加对Grad-CAM类激活图的约束项,可以针对性地优化出一个对抗补丁并合成对抗图像.该对抗图像可在分类结果保持不变的情况下,使Grad-CAM解释结果偏向补丁区域,实现对解释结果的攻击.同时,通过在数...     

Structural performance assessment of GFRP elastic gridshells by machine learning interpretability methods

The prediction of structural performance plays a significant role in damage assessment of glass fiber reinforcement polymer (GFRP) elastic gridshell structures. Machine learning (ML) approaches are implemented in this study, to predict maximum stress and displacement of GFRP elastic gridshell structures. Several ML algorithms, including linear regression (LR), ridge regression (RR), support vector regression (SVR), K-nearest neighbors (KNN), decision tree (DT), random forest (RF), adaptive boosting (AdaBoost), extreme gradient boosting (XGBoost), category boosting (CatBoost), and light gradient boosting machine (LightGBM), are implemented in this study. Output features of structural performance considered in this study are the maximum stress as f₁(x) and the maximum displacement to self-weight ratio as f₂(x). A comparative study is conducted and the Catboost model presents the highest prediction accuracy. Finally, interpretable ML approaches, including shapely additive explanations (SHAP), partial dependence plot (PDP), and accumulated local effects (ALE), are applied to explain the predictions. SHAP is employed to describe the importance of each variable to structural performance both locally and globally. The results of sensitivity analysis (SA), feature importance of the CatBoost model and SHAP approach indicate the same parameters as the most significant variables for f₁(x) and f₂(x).