NeuronSup:基于偏见神经元抑制的深度模型去偏方法

随着深度学习的广泛应用,研究者在关注模型分类性能的同时,还需要关注模型的决策是否公平可信。存在决策偏见的深度模型会造成极大的负面影响,因此如何维持深度模型的分类正确率,同时提高模型的决策公平至关重要。目前已有工作提出了较多方法,用于改善模型的个体公平,但是这些方法仍然在去偏效果、去偏后模型可用性、去偏效率等方面存在缺陷。为此,文中分析了深度模型存在个体偏见时神经元异常激活现象,提出了一种基于偏见神经元抑制的模型去偏方法NeuronSup,具有显著降低个体偏见、对主任务性能影响小、时间复杂度低等优势。具体而言,首先根据深度模型部分神经元由于个体偏见而产生异常激活的现象提出了偏见神经元的概念。然后,利用歧视样本对查找深度模型中的偏见神经元,通过抑制偏见神经元的异常激活大幅降低深度模型的个体偏见,并且根据每个神经元的最大权重边确定主任务性能神经元,通过保持深度模型的主任务性能神经元参数不变,来减小去偏操作对深度模型分类性能造成的影响。因为NeuronSup只对深度模型中的特定神经元进行去偏操作,所以时间复杂度更低,效率更高。最后,在3个真实数据集的6种敏感属性上开展去偏实验,与5种对比算法相...     

深度学习推荐模型中的注意力机制研究综述

探讨注意力机制如何帮助推荐模型动态关注有助于执行当前推荐任务输入的特定部分.分析注意力机制网络框架及其输入数据的权重计算方法,分别从标准注意力机制、协同注意力机制、自注意力机制、层级注意力机制和多头注意力机制这五个角度出发,归纳分析其如何采用关键策略、算法或技术来计算当前输入数据的权重,并通过计算出的权重以使推荐模型可...     

面向图像识别的公平性研究进展

在过去的几十年里,图像识别技术经历了迅速发展,并深刻地改变着人类社会的进程。发展图像识别技术的目的是通过减少人力劳动和增加便利来造福人类。然而,最近的研究和应用表明,图像识别系统可能会表现出偏见甚至歧视行为,从而对个人和社会产生潜在的负面影响。因此,图像识别的公平性研究受到广泛关注,避免图像识别系统可能给人们带来的偏见与歧视,才能使人完全信任该项技术并与之和谐相处。本文对图像识别的公平性研究进行了全面的梳理回顾。首先,简要介绍了偏见3个方面的来源,即数据不平衡、属性间的虚假关联和群体差异性;其次,对于常用的数据集和评价指标进行汇总;然后,将现有的去偏见算法划分为重加权（重采样）、图像增强、特征增强、特征解耦、度量学习、模型自适应和后处理7类,并分别对各类方法进行介绍,阐述了各方法的优缺点;最后,对该领域的未来研究方向和机遇挑战进行了总结和展望。整体而言,学术界对图像识别公平性的研究已经取得了较大的进展,然而该领域仍处于发展初期,数据集和评价指标仍有待完善,针对未知偏见的公平性算法有待研究,准确率和公平性的权衡困境有待突破,针对细分任务的独特发展趋势开始呈现,视频数据的去偏见算法逐渐受到关注。     

基于深度学习的声学模型研究

近年来,深度学习凭借其优越的性能广泛应用于图像处理、自然语言处理、语音识别等领域,它对性能的提升远超于以往的传统方法.论文采取循环神经网络(Recurrent Neural Networks,RNN)中的长短期记忆模型(Long Short Time Memory,LSTM)实现了语音识别中的声学模型构建,并增加反向时...     

面向三维模型多样化分类的深度集成学习

基于深度学习的三维模型分类方法大都面向特定的具体任务,在面向三维模型多样化分类任务时表现不佳,泛用性不足。为此,提出了一种通用的端到端的深度集成学习模型E2E-DEL(end-to-end deep ensemble learning),由多个初级学习器和一个集成学习器组成,可以自动学习复杂三维模型的复合特征信息;并使用层次迭代式学习策略,综合考量不同层次网络的特征学习能力,合理平衡各个初级学习器的子特征学习和集成学习器的集成特征学习效果,自适应于三维模型多样化分类任务。基于此,设计了一种面向多视图的深度集成学习网络MV-DEL(multi-view deep ensemble learning),应用于一般性、细粒度、零样本三种不同类型的三维模型分类任务中。在多个公开数据集上的实验验证了该方法具有良好的泛化性与普适性。     

面向深度学习的公平性研究综述

深度学习是机器学习研究中的一个重要领域,它具有强大的特征提取能力,且在许多应用中表现出先进的性能,因此在工业界中被广泛应用.然而,由于训练数据标注和模型设计存在偏见,现有的研究表明深度学习在某些应用中可能会强化人类的偏见和歧视,导致决策过程中的不公平现象产生,从而对个人和社会产生潜在的负面影响.为提高深度学习的应用可靠性、推动其在公平领域的发展,针对已有的研究工作,从数据和模型2方面出发,综述了深度学习应用中的偏见来源、针对不同类型偏见的去偏方法、评估去偏效果的公平性评价指标、以及目前主流的去偏平台,最后总结现有公平性研究领域存在的开放问题以及未来的发展趋势.     

学习分析技术支持的在线深度学习的模型构建

本文将深度学习与学习分析相结合,从评价学习层次、教师深度教学能力、反思且主动地学习、学习内容的适切性四个方面阐释了学习分析对在线深度学习的影响,并在分析在线学习行为和学习分析过程的基础上,构建了学习分析技术支持的在线深度学习的模型,试图促进学习分析与在线学习融合模式的深入讨论.     

深度学习模型可解释性的研究进展

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。     

深度学习模型在医院财务预测中的应用

为了对医疗机构的可持续性经营能力进行高效、准确的监管与预警,提出将先进的深度学习模型应用于医院财务预测中,以便为决策者提供有价值的参考信息.首先,对医院财务系统中的数据进行解析与提取,并通过归一化和特征选择进行数据样本预处理;然后利用处理后的数据样本训练深度信念网络,获得网络的相关参数;最后利用深度信念网络模型进行财务...     

深度学习加速技术研究

深度学习是近年来机器学习的研究热点,并已广泛应用于不同领域. 但由于训练模型复杂和训练集规模庞大等原因导致的深度学习性能问题已成为其发展的一大阻碍. 近年来计算机硬件的快速发展,尤其是处理器核数的不断增加和整体运算能力的快速提高,给深度学习加速提供了硬件基础,然而其训练算法并行度低和内存开销巨大等问题使得加速研究工作困难重重. 首先介绍了深度学习的背景和训练算法,对当前主要的深度学习加速研究工作进行归纳总结. 在此基础上,对经典的深度学习模型进行性能测试,分析了深度学习及并行算法的性能问题. 最后,对深度学习的未来发展进行了展望.     

基于深度学习的入侵检测模型综述

随着深度学习技术的不断深入发展,基于深度学习的入侵检测模型已成为网络安全领域的研究热点。对网络入侵检测中常用的数据预处理操作进行了总结;重点对卷积神经网络、长短期记忆网络、自编码器和生成式对抗网络等当前流行的基于深度学习的入侵检测模型进行了分析和比较;并简单说明了基于深度学习的入侵检测模型研究中常用的数据集;指出了现有基于深度学习的入侵检测模型在数据集时效、实时性、普适性、模型训练时间等方面存在的问题和今后可能的研究重点。     

深度学习模型可解释性研究综述

深度学习技术以数据驱动学习的特点,在自然语言处理、图像处理、语音识别等领域取得了巨大成就.但由于深度学习模型网络过深、参数多、复杂度高等特性,该模型做出的决策及中间过程让人类难以理解,因此探究深度学习的可解释性成为当前人工智能领域研究的新课题.以深度学习模型可解释性为研究对象,对其研究进展进行总结阐述.从自解释模型、特...     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,...     

深度学习模型鲁棒性研究综述

在大数据时代下,深度学习理论和技术取得的突破性进展,为人工智能提供了数据和算法层面的强有力支撑,同时促进了深度学习的规模化和产业化发展.然而,尽管深度学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.为了构建安全可靠的深度学习系统,消除深度学习模型在实际部署应用中的潜在安全风险,深度学习模型鲁棒性分...     

面向目标用户的深度学习模型可视化综述

深度学习模型在某些场景的实际应用中要求其具备一定的可解释性, 而视觉是人类认识周围世界的基本工具, 可视化技术能够将模型训练过程从不可见的黑盒状态转换为可交互分析的视觉过程, 从而有效提高模型的可信性和可解释度. 目前, 国内外相关领域缺少有关深度学习模型可视化工具的综述, 也缺乏对不同用户实际需求的研究和使用体验的评估. 因此, 本文通过调研近年来学术界模型可解释性和可视化相关文献, 总结可视化工具在不同领域的应用现状, 提出面向目标用户的可视化工具分类方法及依据, 对每一类工具从可视化内容、计算成本等方面进行介绍和对比, 以便不同用户选取与部署合适的工具. 最后在此基础上讨论可视化领域存在的问题并加以展望.