NeuronSup:基于偏见神经元抑制的深度模型去偏方法

随着深度学习的广泛应用,研究者在关注模型分类性能的同时,还需要关注模型的决策是否公平可信。存在决策偏见的深度模型会造成极大的负面影响,因此如何维持深度模型的分类正确率,同时提高模型的决策公平至关重要。目前已有工作提出了较多方法,用于改善模型的个体公平,但是这些方法仍然在去偏效果、去偏后模型可用性、去偏效率等方面存在缺陷。为此,文中分析了深度模型存在个体偏见时神经元异常激活现象,提出了一种基于偏见神经元抑制的模型去偏方法NeuronSup,具有显著降低个体偏见、对主任务性能影响小、时间复杂度低等优势。具体而言,首先根据深度模型部分神经元由于个体偏见而产生异常激活的现象提出了偏见神经元的概念。然后,利用歧视样本对查找深度模型中的偏见神经元,通过抑制偏见神经元的异常激活大幅降低深度模型的个体偏见,并且根据每个神经元的最大权重边确定主任务性能神经元,通过保持深度模型的主任务性能神经元参数不变,来减小去偏操作对深度模型分类性能造成的影响。因为NeuronSup只对深度模型中的特定神经元进行去偏操作,所以时间复杂度更低,效率更高。最后,在3个真实数据集的6种敏感属性上开展去偏实验,与5种对比算法相...     

深度学习模型版权保护技术研究综述

深度学习模型在许多任务中取得出色的成绩,也逐渐被广泛应用到众多领域。由于训练一个性能优越的深度神经网络成本高昂,因此深度学习模型可以视作模型所有者的知识产权。然而深度学习模型设计之初并未考虑模型的安全问题,在其快速发展的同时面临的安全问题也逐渐突显出来。随着模型训练云平台的部署与应用,深度学习模型被盗取、恶意分发、转卖的威胁大大增加。由于深度学习模型有巨大的实用价值,恶意攻击者非法窃取模型会严重侵犯模型所有者的权益,保护深度学习模型版权迫在眉睫。针对这一问题,近年来有很多关于保护深度学习模型版权的方案陆续被提出,包括基于数字水印技术实现模型所有权验证以及基于水印或加密技术实现模型访问控制等。本文总结梳理了当前研究现状,并探讨了未来可能的研究方向。文章首先介绍了深度学习模型水印、后门攻击的基本概念以及对模型水印的要求;然后,基于不同的分类指标,从方案的实现功能、实现方式、实现时间、以及验证方式的不同,对现有深度学习模型版权保护方案进行全面细致的总结与分类;并且从检测攻击、逃逸攻击、去除攻击及欺诈攻击四个方面,归纳总结了针对深度学习模型版权保护方案的攻击方法;最后,总结研究现状并对未来的关键研究方向进行展望。希望本文详细的梳理总结可以为该领域后续的研究提供有益的参考。     

深度学习推荐模型中的注意力机制研究综述

探讨注意力机制如何帮助推荐模型动态关注有助于执行当前推荐任务输入的特定部分.分析注意力机制网络框架及其输入数据的权重计算方法,分别从标准注意力机制、协同注意力机制、自注意力机制、层级注意力机制和多头注意力机制这五个角度出发,归纳分析其如何采用关键策略、算法或技术来计算当前输入数据的权重,并通过计算出的权重以使推荐模型可...     

面向图像识别的公平性研究进展

在过去的几十年里,图像识别技术经历了迅速发展,并深刻地改变着人类社会的进程。发展图像识别技术的目的是通过减少人力劳动和增加便利来造福人类。然而,最近的研究和应用表明,图像识别系统可能会表现出偏见甚至歧视行为,从而对个人和社会产生潜在的负面影响。因此,图像识别的公平性研究受到广泛关注,避免图像识别系统可能给人们带来的偏见与歧视,才能使人完全信任该项技术并与之和谐相处。本文对图像识别的公平性研究进行了全面的梳理回顾。首先,简要介绍了偏见3个方面的来源,即数据不平衡、属性间的虚假关联和群体差异性;其次,对于常用的数据集和评价指标进行汇总;然后,将现有的去偏见算法划分为重加权（重采样）、图像增强、特征增强、特征解耦、度量学习、模型自适应和后处理7类,并分别对各类方法进行介绍,阐述了各方法的优缺点;最后,对该领域的未来研究方向和机遇挑战进行了总结和展望。整体而言,学术界对图像识别公平性的研究已经取得了较大的进展,然而该领域仍处于发展初期,数据集和评价指标仍有待完善,针对未知偏见的公平性算法有待研究,准确率和公平性的权衡困境有待突破,针对细分任务的独特发展趋势开始呈现,视频数据的去偏见算法逐渐受到关注。     

基于深度学习的声学模型研究

近年来,深度学习凭借其优越的性能广泛应用于图像处理、自然语言处理、语音识别等领域,它对性能的提升远超于以往的传统方法.论文采取循环神经网络(Recurrent Neural Networks,RNN)中的长短期记忆模型(Long Short Time Memory,LSTM)实现了语音识别中的声学模型构建,并增加反向时...     

面向三维模型多样化分类的深度集成学习

基于深度学习的三维模型分类方法大都面向特定的具体任务;在面向三维模型多样化分类任务时表现不佳;泛用性不足。为此;提出了一种通用的端到端的深度集成学习模型E2E-DEL（end-to-end deep ensemble learning）;由多个初级学习器和一个集成学习器组成;可以自动学习复杂三维模型的复合特征信息;并使用层次迭代式学习策略;综合考量不同层次网络的特征学习能力;合理平衡各个初级学习器的子特征学习和集成学习器的集成特征学习效果;自适应于三维模型多样化分类任务。基于此;设计了一种面向多视图的深度集成学习网络MV-DEL（multi-view deep ensemble learning）;应用于一般性、细粒度、零样本三种不同类型的三维模型分类任务中。在多个公开数据集上的实验验证了该方法具有良好的泛化性与普适性。     

面向深度学习的公平性研究综述

深度学习是机器学习研究中的一个重要领域,它具有强大的特征提取能力,且在许多应用中表现出先进的性能,因此在工业界中被广泛应用.然而,由于训练数据标注和模型设计存在偏见,现有的研究表明深度学习在某些应用中可能会强化人类的偏见和歧视,导致决策过程中的不公平现象产生,从而对个人和社会产生潜在的负面影响.为提高深度学习的应用可靠性、推动其在公平领域的发展,针对已有的研究工作,从数据和模型2方面出发,综述了深度学习应用中的偏见来源、针对不同类型偏见的去偏方法、评估去偏效果的公平性评价指标、以及目前主流的去偏平台,最后总结现有公平性研究领域存在的开放问题以及未来的发展趋势.     

学习分析技术支持的在线深度学习的模型构建

本文将深度学习与学习分析相结合,从评价学习层次、教师深度教学能力、反思且主动地学习、学习内容的适切性四个方面阐释了学习分析对在线深度学习的影响,并在分析在线学习行为和学习分析过程的基础上,构建了学习分析技术支持的在线深度学习的模型,试图促进学习分析与在线学习融合模式的深入讨论.     

深度学习模型在医院财务预测中的应用

为了对医疗机构的可持续性经营能力进行高效、准确的监管与预警,提出将先进的深度学习模型应用于医院财务预测中,以便为决策者提供有价值的参考信息.首先,对医院财务系统中的数据进行解析与提取,并通过归一化和特征选择进行数据样本预处理;然后利用处理后的数据样本训练深度信念网络,获得网络的相关参数;最后利用深度信念网络模型进行财务...     

深度学习模型可解释性的研究进展

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。     

算法公平与公平计算

算法公平问题由来已久,且随着社会变革历程不断花样翻新. 随着数字化转型的加速推进,算法公平问题的根源逐渐由社会偏见转向数据偏见与模型偏见,算法给人带来的剥削变得更为隐蔽,而影响更为深远. 尽管社会科学各领域对公平问题研究已久,但大部分仅停留在定性的表述上. 作为计算机科学与社会科学的交叉问题,数字化转型下的算法公平不仅要继承社会科学各领域的基本理论,更要具备公平计算的方法与能力. 由此,从算法公平的内涵出发,从社会偏见、数据偏见与模型偏见3个维度总结现有的算法公平计算方法,最后对算法公平指标和公平方法进行实验对比,进而分析算法公平计算面临的挑战. 实验表明,原始模型的公平性与准确性之间存在权衡关系,公平方法的公平性与准确性之间存在一致关系. 在公平指标上,不同公平指标之间的相关性差异较大,这说明了多样的公平指标的重要性. 在公平方法上,单一的公平方法效果有限,这说明了探索公平方法组合的重要性.     

基于GAED-MADDPG多智能体强化学习的协作策略研究

目前多智能体强化学习算法多采用集中学习,分散行动的框架。该框架存在算法收敛时间过长和可能无法收敛的问题。为了加快多智能体的集体学习时间,提出多智能体分组学习策略。通过使用循环神经网络预测出多智能体的分组矩阵,通过在分组内部共享智能体之间经验的机制,提高了多智能体的团队学习效率;同时,为了弥补分组带来的智能体无法共享信息的问题,提出了信息微量的概念在所有智能体之间传递部分全局信息;为了加强分组内部优秀经验的留存,提出了推迟组内优秀智能体死亡时间的生灭过程。最后,在迷宫实验中,训练时间比MADDPG减少12%;夺旗实验中,训练时间比MADDPG减少17%。     

基于联邦共识机制的多视频流带宽分配策略

针对瓶颈链路中视频带宽分配不均导致的用户QoE不公平以及带宽利用率低的问题,提出了一种基于联邦深度强化学习的分布式视频流公平调度策略。该策略能够根据客户端网络状态和视频QoE等级动态生成带宽分配权重因子,服务器端的拥塞控制算法则根据带宽分配权重因子为瓶颈链路中的每个视频流分配带宽,以保障瓶颈链路中视频流的公平传输。每个视频终端都运行一个带宽分配agent,且多个agent以联邦学习的方式周期性地训练,以便代理模型能够快速收敛。带宽分配agent通过共识机制同步联邦训练参数,实现了在异步播放请求条件下带宽分配agent模型参数的分布式聚合,并确保了agent模型参数的安全共享。实验结果表明,与最新方案相比,提出策略在QoE公平性和整体QoE效率方面分别提高了10%和7%,这表明提出策略在解决视频流带宽分配不均问题和提升用户体验方面具有潜力和有效性。     

深度学习模型安全性测试与评价技术研究进展

深度学习模型因其卓越的性能表现而在众多领域得到广泛运用。然而,当遇到干扰数据的输入时,深度学习模型常常会产生意外的错误,这在自动驾驶系统等安全性要求较高的应用中会导致严重的后果。探究深度学习模型安全性的相关测试与评价技术,对于深入掌握模型内部的结构弱点、全面维护深度学习模型的安全及推动人工智能技术的广泛应用具有至关重要的作用。本文全面探讨了深度学习模型安全性的五个关键测试维度：准确性、鲁棒性、公正性、可解释性、隐私性。深入解析了当前普遍的深度学习模型安全测试技术和广泛接受的评价准则。对于每一种测试技术,阐述了其关注的核心点。同时,展望了深度学习模型安全性测试与评价技术的演进方向和面临的难题。     

基于DCGAN的雷达辐射源信号个体识别算法

雷达辐射源个体识别技术通过提取雷达细微特征判定载体身份属性,是电子对抗领域的热点研究方向之一。通过深度学习识别雷达辐射源指纹是当前的主流方法,然而训练网络需要大量的数据样本,当数据样本不足时,容易造成识别准确率不高等突出问题。基于此,提出了一种基于深度卷积对抗网络（Deep Convolutional Generative Adversarial Networks,DCGAN）的雷达辐射源信号个体识别算法,首先采用双谱切片对信号进行特征提取,然后构建了基于DCGAN的识别网络,最后通过实采数据验证了算法的有效性。实验结果表明,在样本缺失较为严重的条件下,所提出的算法能实现小样本条件下的雷达辐射源识别,识别准确率达到90%,完全满足日常需求。     

标签差网络在噪声标签数据集中的应用

噪声标签在实际数据集中普遍存在,这将严重影响深度神经网络的学习效果。针对此问题,提出了一种基于标签差学习的噪声标签数据识别与数据再标记方法。该方法设计两种不同的伪标签生成策略,利用基础网络所识别的干净数据生成人工噪声数据集,并计算该数据集的标签差向量或标签差矩阵;以强化相似类别间的关联性为目标,利用全连接层与单行卷积核,设计标签差向量网络与标签差矩阵网络等两种噪声学习网络直接学习样本数据的噪声概率;设计与噪声率线性相关的阈值,对干净数据与噪声数据进行判断。通过设计实验,对包括伪标签生成策略、网络结构、训练迭代次数等影响网络识别性能的因素进行分析。在公开数据集上的测试表明,在多种噪声分布情况中,该算法在保持干净数据的准确率与召回率基本稳定的前提下,能显著提高噪声数据的准确率与召回率,提高幅度最大为16.45%及21.01%。