多模态深度学习综述

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。     

大规模图神经网络系统综述

图神经网络(GNN)是一类基于深度学习的处理图域信息的方法,它通过将图广播操作和深度学习算法结合,可以让图的结构信息和顶点属性信息都参与到学习中,在顶点分类、图分类、链接预测等应用中表现出良好的效果和可解释性,已成为一种广泛应用的图分析方法.然而现有主流的深度学习框架(如TensorFlow、PyTorch等)没有为图...     

基于脑启发的类脑协同控制研究的新进展

类脑智能是公认的人工智能重要研究方向之一,同时也是对脑科学,脑医学领域的重要补充。目前,类脑智能的研究仍是偏重于传统的计算机科学,在脑启发,模仿脑的路上还有很多难关需要攻克。本文研究以脉冲神经网络为基础,通过脑启发的方式对传统脉冲神经网络进行优化,建立一种类脑协同控制系统。该系统将为类人型机器人和外骨骼技术的发展提供一条新的思路。     

深度多模态表示学习的研究综述

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。     

解决一类博弈问题的神经网络系统

从博弈问题的固有属性出发，探讨了解决博弈问题的新途径，并阐述了如何建造解决一类博弈问题的神经网络系统。所建的对弈实验系统运行效果良好，这表明用神经网络来解决博弈问题有着广阔的前景。     

解决一类博弈问题的神经网络系统

从博弈问题的固有属性出发，探讨了解决博弈问题的新途径，并阐述了如何建造解决一类博弈问题的神经网络系统。所建的对养实验系统运行效果良好，这表明用神经网络来解决博弈问题有着广阔的前景。     

基于语义网络的神经网络系统

文章通过分析语义网络知识表示及神经网络研究的各自特点与现状,提出了将基于语义网络的知识表示方法引入神经网络知识处理中的设想,并作了一些初步的探讨。     

深度神经网络结构搜索综述

深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错。为此,自动化的神经网络结构搜索成为研究热点。神经网络结构搜索（neural architecture search,NAS）主要由搜索空间、搜索策略与性能评估方法3部分组成。在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构。根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构。在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能。在ImageNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30%的计算量,并且top-1分类精度提升了3.2%;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比（mean intersection over union,mIOU）,同时减小一半以上的计算量。神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势。     

大规模类脑计算系统BiCoSS: 架构、实现及应用

人脑具有协同多种认知功能的能力与极强的自主学习能力, 随着脑与神经科学的快速发展, 亟需计算结构模拟人脑的、性能更强大的计算平台进行人脑智能与认知行为机制的进一步探索. 受人脑神经机制的启发, 本文提出了基于神经认知计算架构的众核类脑计算系统BiCoSS, 该系统以并行计算的现场可编程门阵列(Field-programmable gate array, FPGA)为核心处理器, 以地址事件表达的神经放电作为信息传递载体, 以具有认知计算功能的神经元作为信息处理单元, 实现了四百万神经元数量级大规模神经元网络认知行为的实时计算, 填补了从细胞动力学层面理解人脑认知功能的鸿沟. 实验结果从计算能力、计算效率、功耗、通信效率、可扩展性等方面显示了BiCoSS系统的优越性能. BiCoSS通过人脑信息处理的计算架构以更贴近神经科学本质的模式实现了类脑智能; 同时, BiCoSS为神经认知和类脑计算的研究和应用提供了新的有效手段.     

深度神经网络后门防御综述

深度学习在各领域全面应用的同时, 在其训练阶段和推理阶段也面临着诸多安全威胁。神经网络后门攻击是一类典型的面向深度学习的攻击方式, 攻击者通过在训练阶段采用数据投毒、模型编辑或迁移学习等手段, 向深度神经网络模型中植入非法后门, 使得后门触发器在推理阶段出现时, 模型输出会按照攻击者的意图偏斜。这类攻击赋予攻击者在一定条件下操控模型输出的能力, 具有极强的隐蔽性和破坏性。 因此, 有效防御神经网络后门攻击是保证智能化服务安全的重要任务之一, 也是智能化算法对抗研究的重要问题之一。本文从计算机视觉领域出发, 综述了面向深度神经网络后门攻击的防御技术。首先, 对神经网络后门攻击和防御的基础概念进行阐述, 分析了神经网络后门攻击的三种策略以及建立后门防御机制的阶段和位置。然后,根据防御机制建立的不同阶段或位置, 将目前典型的后门防御方法分为数据集级、模型级、输入级和可认证鲁棒性防御四类。每一类方法进行了详细的分析和总结, 分析了各类方法的适用场景、建立阶段和研究现状。同时, 从防御的原理、手段和场景等角度对每一类涉及到的具体防御方法进行了综合比较。最后, 在上述分析的基础上, 从针对新型后门攻击的防御方法、其他领域后门防御方法、更通用的后门防御方法、和防御评价基准等角度对后门防御的未来研究方向进行了展望。     

一种与人工神经网络结合的人工内分泌系统模型

人体的内分泌系统具有强大的自适应、自调节能力.在人体的内分泌系统中,甲状腺激素能使人类在紧急情况下产生异常迅速的反应,从而增加人类的生存概率.本文借鉴甲状腺激素的分泌,储存和释放机制,提出一种新的与人工神经网络结合的人工内分泌模型,称为TAES(Thyroid hormone inspired Artificial Endocrine System)模型.TAES模型可以增加控制系统对动态环境的适应性.本文将TAES模型应用于机器人避障实验中.实验结果表明,该系统可以增加机器人在紧急情况下的避障能力.     

广义聚类神经网络GC

聚类分析神经网络的输入样本序列具有各种不同的空间分布性态,这就要求采用不同的相似匹配准则。本文以广义距离和广义相似匹配准则为基本概念,介绍了广义聚类神经网络ＧＣ的设计思想和网络的学习训练方法,该方法具有广泛的适用性。     

基于大数据深度神经网络与Agent的大规模任务处理方法

因大规模任务处理模型在处理实际任务请求通常是基于历史数据的,若总依据经验和以往知识判断,会出现许多无法识别并处理的任务,以及出现模型过拟合等问题.提出了一种基于深度神经网络的计算模型进行大规模任务部署,并引用Agent强化学习效用进行评价,实现最佳虚拟网络映射方案.实验结果表明,这种BD T ard方法法能满足大规模任务请求,稳定系统长期收益,保障了大数据环境下大规模任务处理的高效执行.     

基于深度神经网络的图像碎片化信息问答算法

大量结构无序、内容片面的碎片化信息以文本、图像、视频、网页等不同模态的形式,高度分散存储在不同数据源中,现有的研究通过构建视觉问答系统(visual question answering, VQA),实现对多模态碎片化信息的提取、表达和理解.视觉问答任务给定与图像相关的一个问题,推理相应的答案.在视觉问答任务的基本背景下,以设计出完备的图像碎片化信息问答的框架与算法为目标,重点研究包括图像特征提取、问题文本特征提取、多模态特征融合和答案推理的模型与算法.构建深度神经网络模型提取用于表示图像与问题信息的特征,结合注意力机制与变分推断方法关联图像与问题2种模态特征并推理答案.实验结果表明：该模型能够有效提取和理解多模态碎片化信息,并提高视觉问答任务的准确率.     

基于深度卷积神经网络的语音信号去噪关键技术研究

随着人工智能技术的不断创新发展,语音识别技术一直在迭代升级,而语音去噪是语音识别领域中关键研究点之一.由于这些外界干扰声的存在,就使得原本的语音信号变得不再纯净,或多或少会对所需传输的语音信号有所影响.传统的信号分析以傅立叶变换为基础,但傅立叶分析属于全局变换,变换只能全部在时域变换或在频域变换.因此,傅里叶变换不能获...     

Decentralized Network Management Using Distributed Artificial Intelligence

Centralized approaches to Network Management have demonstrated a clear inadequacy for efficient management of large and heterogeneous computer networks. Considerable research is being carried out on decentralized approaches for network management. This paper presents the work on a practical application of Distributed Artificial Intelligence for computer network management. The objective is to implement a software platform using only Intelligent Autonomous Agents, integrated with the SNMP environment.