一种预测流程剩余时间的可解释特征分层方法

流程剩余时间预测对于业务异常的预防和干预有着重要的价值和意义.现有的剩余时间预测方法通过深度学习技术达到了更高的准确率,然而大多数深度模型结构复杂难以解释预测结果,即不可解释问题.此外,剩余时间预测除了活动这一关键属性还会根据领域知识选择若干其他属性作为预测模型的输入特征,缺少通用的特征选择方法,对于预测的准确率和模型的可解释性存在一定的影响.针对上述问题,提出基于可解释特征分层模型(explainable feature-based hierarchical model,EFH model)的流程剩余时间预测框架.具体而言,首先提出特征自选择策略,通过基于优先级的后向特征删除和基于特征重要性值的前向特征选择,得到对预测任务具有积极影响的属性作为模型输入.然后提出可解释特征分层模型架构,通过逐层加入不同特征得到每层的预测结果,解释特征值与预测结果的内在联系.采用LightGBM (light gradient boosting machine)和LSTM (long short-term memory)算法实例化所提方法,框架是通用的,不限于选用算法.最后在8个真实事件日志上与最新方法进行比较.实验结果表明所提方法能够选取出有效特征,提高预测的准确率,并解释预测结果.     

Dr.Deep:基于医疗特征上下文学习的患者健康状态可解释评估

深度学习是当前医疗多变量时序数据分析的主流方法.临床辅助决策关乎病人生命健康,因此深度模型需要抽取患者个性化表示,保证较高的分析、预测准确率;同时还需提供足够的可解释性,即能解释模型给出分析、预测结论的依据.而现有工作暂未能匹配医疗领域多变量时间序列数据的特性来进行个性化表示学习,同时源于深度学习的黑盒性质,现有模型大都可解释性不足,难以满足临床应用的需求.在此背景下,提出了基于医疗特征上下文学习的患者健康状态可解释评估方法Dr.Deep,将各变量的时序特征分别编码,利用多头去协同的自注意力机制,学习不同特征之间关联关系;提出了基于压缩激励机制的特征跳连编码,提升模型对最新病情变化的敏感性并针对不同患者情况分析特征重要性.实验表明:Dr.Deep在重症监护患者脓毒症预测、新冠肺炎重症患者出院时间预测等任务中相比业界方法性能提升,且可以针对不同患者的不同指标自适应学习其重要性作为可解释性的关键因素.同时设计并实现了基于医疗多变量时序数据分析的医生临床辅助系统,该系统建立病人的健康表示学习和预后预测模型并可视化患者病情进展以便医生分析.实验代码已开源于https://github.com/Accountable-Machine-Intelligence/Dr.Deep.所设计的智能医生可视化交互系统已发布于http://47.93.42.104/challenge/100049.     

融合XGBoost与SHAP的冠心病预测及其特征分析模型

为了解决冠心病诊断模型中性能无法满足临床应用要求、缺乏可解释性的问题,提出一种融合XGBoost与SHAP的冠心病预测及其特征分析模型。在对数据集进行特征工程的基础上,将处理好的数据集输入XGBoost模型进行训练,并且对模型进行优化,进一步提高了模型的性能表现;其次,与基于SVM、朴素贝叶斯等六种机器学习模型以及八种主流机器学习模型进行实验对比,参数优化后的XGBoost模型在准确率、特异度、F1值和AUC值四个指标上分别达到0.9942、0.9970、0.9941和0.9998,均优于已有模型;最后引入SHAP框架增强模型可解释性,综合四种模型特征重要性排序结果,识别出影响冠心病的重要因素,为医生作出正确的诊断提供决策参考。     

基于可解释基拆解和知识图谱的深度神经网络可视化

近年来,以卷积神经网络(CNN)等为代表的深度学习模型,以其深度分层学习,无标签化学习等优势,已在图像识别为代表的各个领域得到日益广泛的应用.然而,深度神经网络模型由于其内在的黑盒原理,对其内部工作机制的解释仍然面临巨大挑战,其可解释性问题已成为了研究界和工业界的前沿性热点研究课题.针对现有研究存在的缺乏基于图谱的可解释性方法的问题,以及可解释基模型的图谱构建优势,本文提出了一种基于可解释基拆解和知识图谱的深度神经网络可视化方法.首先采用一种面向可解释基模型特征拆解结构的知识图谱构建方法,构建了场景和解释特征之间的解释关系和并列关系等图谱信息;利用场景-特征的解释关系网络,提出了一种基于Jaccard系数的场景间相似度聚类方法;针对现有可解释基模型对相似的场景,其解释特征重合率可能很高的问题,提出了一种基于场景的判别性特征提取方法,在特征拆解结果中能对每一类样本分别提取出能够区别此类和其他类并且拥有同等重要性的拆解特征(即判别性特征);针对现有可解释基的深度网络可视化测试缺乏保真度测试的问题,提出了一种适于深度神经网络的保真度测试方法.保真度测试和人类置信度测试,均表明本文所提方法可取得优异效果.     

基于深度学习的铁路图像场景分类优化研究

铁路检测、监测领域产生海量的图像数据,基于图像场景进行分类对图像后续分析、管理具有重要价值.本文提出一种结合深度卷积神经神经网络DCNN （Deep Convolutional Neural Networks）与梯度类激活映射Grad-CAM （Grad Class Activation Mapping）的可视化场景分类模型,DCNN在铁路场景分类图像数据集进行迁移学习,实现特征提取,Grad-CAM根据梯度全局平均计算权重实现对类别的加权热力图及激活分数计算,提升分类模型可解释性.实验中对比了不同的DCNN网络结构对铁路图像场景分类任务性能影响,对场景分类模型实现可视化解释,基于可视化模型提出了通过降低数据集内部偏差提升模型分类能力的优化流程,验证了深度学习技术对于图像场景分类任务的有效性.     

一种基于QoS的云负载均衡机制的研究

提出一种基于QoS的云负载均衡机制,即:构建QoS模型和云资源模型;建立资源度量与QoS属性之间的映射;对虚拟机实例负载状况和虚拟机集群资源利用状况进行量化评估;感知用户的QoS并对比所监控的云节点的资源度量情况,根据对比结果,通过任务调度算法和弹性伸缩算法分别实现任务的分发和虚拟机集群的弹性伸缩,最终达到优化的负载均衡的目的.通过模拟试验,结果表明本方法与Round robin算法相比,有更好的负载均衡效果.     

一种基于MBRC值的关系型数据库负载能耗预测模型

数据库负载的能耗解析与建模是构建节能的绿色数据库的基础。针对数据库负载的高能耗问题,将SQL语句消耗的系统资源(CPU和磁盘)映射为时间代价与功率代价,为数据库负载构建能耗预测模型。首先,根据负载的系统资源消耗模式,计算负载的功耗代价;然后,根据负载资源消耗产生的时间代价,为负载构建动态能耗预测模型;最后,利用MBRC值的设置对预测模型的准确度进行深入的研究。实验结果表明,所构建的预测模型能够对数据库负载的能量消耗进行较准确的预测,预测模型的准确度研究有助于在不同的系统环境配置下提升动态能耗预测模型的稳定性与精确度。     

面向目标用户的深度学习模型可视化综述

深度学习模型在某些场景的实际应用中要求其具备一定的可解释性, 而视觉是人类认识周围世界的基本工具, 可视化技术能够将模型训练过程从不可见的黑盒状态转换为可交互分析的视觉过程, 从而有效提高模型的可信性和可解释度. 目前, 国内外相关领域缺少有关深度学习模型可视化工具的综述, 也缺乏对不同用户实际需求的研究和使用体验的评估. 因此, 本文通过调研近年来学术界模型可解释性和可视化相关文献, 总结可视化工具在不同领域的应用现状, 提出面向目标用户的可视化工具分类方法及依据, 对每一类工具从可视化内容、计算成本等方面进行介绍和对比, 以便不同用户选取与部署合适的工具. 最后在此基础上讨论可视化领域存在的问题并加以展望.     

集群服务器在混合请求下的负载均衡优化算法

针对Web集群服务器在处理分配混合页面访问任务时开环负载均衡算法导致局部服务器负载偏高而降低系统效率的问题,建立了一类基于动态调节的闭环负载分配策略。根据服务器处理Web访问页面类型的特点,建立静态页面与动态页面混合处理的负载量模型,形成处理不同服务请求与负载均衡的内在动态映射关系,以此优化静态页面缓存与调用方式,并基于服务器负载率动态预测和均衡指标,采用负载率偏差最小的任务权重最优分配模型,确定服务器集群的最优任务权重,实现了服务器集群处理混合页面访问的负载均衡分配策略和算法。仿真结果验证了负载均衡算法的正确性和有效性,可以达到更好的负载均衡效果。     

高负载下数据库动态性能预测模型的研究与应用

数据库性能预测具有可利用的历史数据较少和受外界不确定性因素影响较大的特点,传统的单一、静态预测模型很难满足生产实际的需要。本文重点介绍在高负载下,通过构建数据库动态预测组合模型,克服传统马尔科夫链方法的不足,可以有效预测在逻辑读剧增的情况下导致的SQL性能问题。建立灰色-马尔科夫链预测模型,预测随机时间序列数据的总体发展趋势,使用这些技术可以在Oracle数据库系统处于高负载状态下,对SQL语句执行情况做出准确的性能预测,迅速定位性能瓶颈,有效预防性能问题。     

卷积神经网络表征可视化研究综述

近年来, 深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展, 这些任务多以卷积神经网络为基础搭建识别模型, 训练后的模型拥有优异的自动特征提取和预测性能, 能够为用户提供“输入–输出”形式的端到端解决方案. 然而, 由于分布式的特征编码和越来越复杂的模型结构, 人们始终无法准确理解卷积神经网络模型内部知识表示, 以及促使其做出特定决策的潜在原因. 另一方面, 卷积神经网络模型在一些高风险领域的应用, 也要求对其决策原因进行充分了解, 方能获取用户信任. 因此, 卷积神经网络的可解释性问题逐渐受到关注. 研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法, 包括事后解释方法和构建自解释的模型等, 这些方法各有侧重和优势, 从多方面对卷积神经网络进行特征分析和决策解释. 表征可视化是其中一种重要的卷积神经网络可解释性方法, 能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现, 从而快速获取对卷积神经网络内部特征和决策的理解, 具有过程简单和效果直观的特点. 对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾, 按照以下几个方面组织内容: 表征可视化研究的提起、相关概念及内容、可视化方法、可视化的效果评估及可视化的应用, 重点关注了表征可视化方法的分类及算法的具体过程. 最后是总结和对该领域仍存在的难点及未来研究趋势进行了展望.     

一种基于多视角数据属性的决策表Petri网挖掘方法

当处理高度可变的流程时,已有的自动过程挖掘技术产生的模型可能并不能真实反映流程运行中不同决策点之间规则的变化情况。从声明性过程挖掘的角度出发,提出了一种具备可视化规则的决策表Petri网挖掘方法,实现真实日志到声明性过程决策表Petri网模型的映射。首先,形式化了决策表Petri网模型及其携带的规则分析决策表,并对模型的静态语义和动态语义进行定义;其次,通过扩展属性的添加,分析流程内部属性和事件属性是否会对决策产生影响,并通过规则分析决策表的异常值属性,判断规则的异常程度;最后,在一组人工日志和真实事件日志的基础上进行实验仿真,并与数据Petri网的挖掘技术进行分析对比。实验结果表明所提方法在反映流程运行中规则的变化情况具有一定优势,并为数据流异常检测提供数值可解释性;同时,所设计的决策表Petri网挖掘方法可以将决策信息与模型结构整合在一起,为过程模型的可变性建模提供形式化基础。     

云系统中面向海量多媒体数据的动态任务调度算法

在云计算环境下,对处理海量多媒体数据的作业以及任务调度与资源分配算法进行建模,在此模型下提出一种云计算环境下面向海量多媒体数据的动态任务调度算法.算法以云系统中海量多媒体数据文件的分块多副本存储形式为基础来规划并行处理任务,以文件块和副本的映射关系为特征对云系统中数据节点执行聚类,以已执行完毕任务的历史反馈信息为基础来动态调度未执行任务.实验结果表明提出的算法对提高系统资源利用率和负载均衡有显著效果.     

利用LIME对脓毒症预测模型进行可解释性分析

针对机器学习应用于脓毒症预测存在预测准确率低和可解释性不足的问题,提出了利用LIME对基于机器学习的脓毒症预测模型进行可解释性分析.模型由预测和解释两部分组成:预测部分使用XGBoost和线性回归(LR),首先通过XGBoost进行特征提取,再利用LR对提取到的特征进行分类;解释部分使用LIME模型提取出关键的预测指标对模型进行解释.实验结果表明,通过XGBoost+LR模型进行脓毒症预测的准确率为99％,受试者工作特征曲线下面积(AUROC)为0.984,优于单独使用XGBoost(准确率:95％,AUROC:0.953)和LR(准确率:53％,AUROC:0.556)或者LGBM(准确率:90％,AUROC:0.974),同时通过LIME能有效地提取出前10个最重要的指标,对脓毒症预测模型进行可解释性分析,提高了模型的可信度.     

面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

基于数据库负载的SQL能耗预测模型

传统数据库以性能(吞吐量、响应时间)为首要优化目标,忽略了数据库系统的能量消耗。在一味追求性能的同时,高能耗问题日益突出,为数据库负载构建能耗模型是构建绿色数据库的基础。通过量化查询负载执行过程中对系统资源(CPU与磁盘)的消耗,将资源消耗产生的时间代价和功耗代价转化为时间代价预测模型和功率代价预测模型,在单站点数据库服务器上实现了为数据库系统构建资源单位代价统一的能耗预测模型。采用多元线性回归工具拟合模型的重要参数,实验结果验证了能耗预测模型的可行性;并分别在静态与动态的系统环境下对系统不同类型查询负载的能耗进行预测与评价,验证了该模型的准确性,使得提出的能耗模型适合于构建能耗感知的绿色数据库。     

基于局部注意力图互迁移的可解释性优化方法

目前,深度学习模型已被广泛部署于各个工业领域.然而,深度学习模型具有的复杂性与不可解释性已成为其应用于高风险领域最主要的瓶颈.在深度学习模型可解释性方法中,最重要的方法是可视化解释方法,其中注意力图是可视化解释方法的主要表现方式,可通过对样本图像中的决策区域进行标注,来直观地展示模型决策依据.目前已有的基于注意力图的可...     

云计算中心多用户网络资源负载均衡控制研究

在控制网络资源负载均衡时，由于不同传输链路的传输能力不同，难以满足适应性调节，为此提出云计算中心多用户网络资源负载均衡控制方法。首先，构建云计算中心网络模型，并以传输链路的带宽参数作为模型的约束；其次，以云计算中心网络传输链路的最大利用率达到最小化状态为目标，结合每条链路当前执行传输任务的状态及实际传输效率，实现对网络资源负载的均衡配置；最后，进行测试分析。测试结果表明，采用设计方法后网络的吞吐量能够结合实际的流量负载实现适应性调节。     

基于神经回路策略的无线网络流量可解释性预测方法

针对无线网络流量预测任务中模型的“黑箱”问题,提出基于神经回路策略（NeuralCircuitPolicy,NCP）的高可解释性流量预测模型。首先,采用均值滤波分解流量数据的趋势、残差分量来增强特征表示;其次,构建紧凑的NCP框架以可信学习策略捕捉流量长期时变关系;最后,通过全连接层得到预测结果。实验表明,该方法以可解释的方式实现了精准的无线网络流量预测。     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.