一种基于池计算的宽度学习系统

宽度学习系统(BLS)是一种基于RVFLN的高效增量学习系统,具有快速且精度高的特点.为了实现BLS对时间序列的精确预测,结合回声状态网络(ESN)的储备池结构,提出一种基于池计算的宽度学习系统(RCBLS).该系统通过在强化层引入简单环型储备池连接,以并行的储备池代替原系统中的前馈连接,使RCBLS具有一定的回声状态...     

一种基于局部扰动的图像对抗样本生成方法

近年来, 随着人工智能的研究和发展, 深度学习被广泛应用。深度学习在自然语言处理、计算机视觉等多个领域表现出良好的效果。特别是计算机视觉方面, 在图像识别和图像分类中, 深度学习具备非常高的准确性。然而越来越多的研究表明, 深度神经网络存在着安全隐患, 其中就包括对抗样本攻击。对抗样本是一种人为加入特定扰动的数据样本, 这种特殊样本在传递给已训练好的模型时, 神经网络模型会输出与预期结果不同的结果。在安全性要求较高的场景下, 对抗样本显然会对采用深度神经网络的应用产生威胁。目前国内外对于对抗样本的研究主要集中在图片领域, 图像对抗样本就是在图片中加入特殊信息的图片数据, 使基于神经网络的图像分类模型做出错误的分类。已有的图像对抗样本方法主要采用全局扰动方法,即将这些扰动信息添加在整张图片上。相比于全局扰动, 局部扰动将生成的扰动信息添加到图片的非重点区域, 从而使得对抗样本隐蔽性更强, 更难被人眼发现。本文提出了一种生成局部扰动的图像对抗样本方法。该方法首先使用 Yolo 目标检测方法识别出图片中的重点位置区域, 然后以 MIFGSM 方法为基础, 结合 Curls 方法中提到的先梯度下降再梯度上升的思想,在非重点区域添加扰动信息, 从而生成局部扰动的对抗样本。实验结果表明, 在对抗扰动区域减小的情况下可以实现与全局扰动相同的攻击成功率。     

一种抗噪的钢印打码字符识别方法

针对总间隔支持向量机对噪声敏感的问题,引入pinball损失函数,提出基于pinball损失函数的总间隔支持向量机。同时提出噪声环境下的钢印打码字符识别方法,首先对钢印图像的字体进行预处理,然后使用基于pinball损失函数的总间隔支持向量机对图像特征进行分类。实验结果分析表明本文提出的基于pinball损失函数的总间隔支持向量机可以较好地应用于噪声环境下的钢印打码字符识别,在分类效果和ROC曲线指标上具有令人满意的效果。     

一种具有抗噪性的图像分割方法

基于图论的图像分割方法对有噪声污染的图像必须先进行预处理,算法自身不能抑制噪声。针对该问题,提出一种具有抗噪性的图像分割方法。该方法将图谱划分测度作为划分目标与背景的阈值分割准则,采用基于灰度值的权值矩阵代替基于图像像素个数的权值矩阵,描述像素之间的关联,并在图权计算中增加像素点与其邻域的空间相关信息,以提高算法的抗噪性。实验结果表明,使用该方法进行图像分割具有较好的分割效果,抑制噪声能力较强。     

一种基于叶分量分析的带有监督信息的在线学习方法

在一些模式识别应用中,具有类属信息的样本数量较少,此时监督学习算法会遇到小样本问题,导致分类器的识别精度大幅低于预期水平.基于叶分量分析,提出一种带监督信息的在线学习方法.该方法在训练过程进行监督学习,而在模式识别阶段能够在对输入样本进行分类的同时基于这些样本进行非监督在线学习,因此实现了监督学习与非监督学习的结合.在小本量情况下,在线学习可以弥补训练阶段监督学习的不足,仍能保证获得较高的识别精度.实验证明,该方法能够有效克服小样本问题.     

一种小样本支持向量机控制器在两足机器人步态控制的研究

神经网络等传统的机器学习方法是基于样本数目无穷大的经验风险最小化原则,这对非确定环境下有限样本的步态学习控制非常不利．针对两足机器人面临的非确定环境适应性难题,提出了一种基于支持向量机（SVM）的两足机器人步态控制方法,解决了小样本条件下的步态学习控制问题．提出了一种基于混合核的步态回归方法,仿真研究表明了这种方法比全局核和局部核分别单独用于步态学习时有优越性．SVM以踝关节及髋关节的轨迹作为输入,相应的满足ZMP判据的上体轨迹作为输出,利用有限的理想步态样本对机器人上体轨迹与腿部轨迹之间的动态运动关系进行学习,然后将训练好的SVM置入机器人控制系统,从而增强了步态控制的鲁棒性,有利于实现两足机器人在非结构环境下的稳定步行．仿真结果表明了所提方法的优越性．     

一种基于过抽样技术的非平衡数据集分类方法

非平衡数据集的分类问题是机器学习领域的一个研究热点。针对非平衡数据集分类困难的问题,特别是由于非平衡分布引起的少数类识别能力低下的问题,提出了一种改进算法,AdaBoost-SVM-OBMS。该算法结合Boosting算法和基于错分样本产生新样本的过抽样技术。在新算法中,以支持向量机为元分类器,每次Boosting迭代中标记出错分的样本点,然后在错分样本点与其近邻间随机产生一定数量与错分样本同一类别的新样本点。新产生样本点加入原训练集中重新训练学习,以提高分类困难样本的识别能力。在AUC,F-value和G-mean 3个不同价格的评价指标下8个benchmark数据集上对AdaBoost-SVM-OBMS算法与AdaBoost-SVM算法和APLSC算法进行了对比实验,实验结果表明了AdaBoost-SVM-OBMS算法在非平衡数据集分类中的有效性。     

一种基于多通道联合估计的非局部均值彩色图像去噪方法

提出一种基于多通道联合估计的非局部均值彩色图像去噪方法,包括彩色通道联合去噪和彩色通道融合去噪两个步骤：在彩色通道联合去噪步骤,采用经典的彩色图像非局部均值去噪算法对噪声彩色图像去噪,得到预去噪图像作为彩色通道融合去噪步骤的输入;在彩色通道融合去噪步骤,采用广义多通道非局部均值去噪算法对预去噪图像再次去噪,去噪过程应用预去噪图像三通道高频成分的相似性。实验结果表明,与其他经典彩色图像去噪方法相比,本文方法在主观和客观上均具有竞争性。     

一种深度强化学习的C-RAN动态资源分配方法

移动边缘计算(MEC)技术已成为云无线接入网(C-RAN)提供近距离服务的一个很有前途的例子,从而减少了服务延迟,节约了能源消耗.本文考虑一个多用户MEC系统,解决了计算卸载策略和资源分配策略问题.我们将延迟总成本和能耗作为优化目标,在一个动态的环境中获得一个最优的策略.提出了一个基于深度强化学习的优化框架来解决资源分配问题,利用深度神经网络(DNN)对批评者的价值函数进行估计,从当前状态直接提取信息,不需要获取准确的信道状态.从而降低了优化目标的状态空间复杂度.参与者使用另一个DNN来表示参数随机策略,并在批评者的帮助下改进策略.仿真结果表明,与其它方案相比,该方案显著降低了总功耗.     

脉冲神经网络研究进展综述

近年来,起源于计算神经科学的脉冲神经网络因其具有丰富的时空动力学特征、多样的编码机制、契合硬件的事件驱动特性等优势,在神经形态工程和类脑计算领域已得到广泛的关注.脉冲神经网络与当前计算机科学导向的以深度卷积网络为代表的人工神经网络的交叉融合被认为是发展人工通用智能的有力途径.对此,回顾了脉冲神经网络的发展历程,将其划分为神经元模型、训练算法、编程框架、数据集以及硬件芯片等5个重点方向,全方位介绍脉冲神经网络的最新进展和内涵,讨论并分析了脉冲神经网络领域各个重点方向的发展机遇和挑战.希望本综述能够吸引不同学科的研究者,通过跨学科的思想交流与合作研究,推动脉冲神经网络领域的发展.     

神经网络集成

神经网络集成通过训练多个神经网络并将成结论进行合成,可以显著地提高学习系统的泛化能力。它不仅有助于科学家对机器学习和神经的深入研究,还有助于普通工程技术人员利用神经网络技术来解决真实世界中的问题。因此,它被视为一种广阔应用前景的工程化神经计算技术,已经成为机器学习和神经计算领域的研究热点。该文从实现方法、理论分析和应用成果等三个方面综述了神经网络集成的国际研究现状,并对该领域值得进一步研究的一些问题进行了讨论。     

类脑机的思想与体系结构综述

经典计算机的理论边界在1936年就由图灵确定了,冯·诺依曼体系结构计算机也受限于图灵机模型.囿于神经形态器件的缺失,神经网络模型一直在经典计算机上运行.然而,冯·诺依曼体系结构与神经网络的异步并行结构及通信机制并不匹配,表现之一是功耗巨大,发展面向神经网络的体系结构,对于人工智能乃至一般意义上的信息处理都是重要方向.类脑机是仿照生物神经网络、采用神经形态器件构造的、以时空信息处理为特征的智能机器.类脑机的思想在计算机发明之前就提出了,研究开发实践也已经进行了30多年,多台类脑系统已经上线运行,其中SpiNNaker专注于类脑系统的体系结构研究,提出了一种行之有效的类脑方案.未来20年左右,预计模式动物大脑和人脑的精细解析将逐步完成,模拟生物神经元和神经突触信息处理功能的神经形态器件及集成工艺将逐步成熟,结构逼近大脑、性能远超大脑的类脑机有望实现.类脑机像生物大脑一样都是脉冲神经网络,神经形态器件具有真正的随机性,因此类脑机具备丰富的非线性动力学行为.已证明任何图灵机均可由脉冲神经网络构造出来,类脑机在理论上是否能够超越图灵机,是需要突破的一个重大问题.     

基于注意力机制回声状态神经网络的混沌系统预测

混沌系统在电路、保密通讯、加密解密等方面具有重要的研究意义.由于其对初值非常敏感,传统的统计学时间序列预测方法在处理混沌时间序列预测问题是具有挑战的.回声状态网络是一种特殊的循环神经网络,在复杂动态系统动力学与控制方面具有优势.经典的回声状态网络将每个样本置于同一地位,然而实际问题中不同的样本的重要性往往是有差异的.本文提出注意力机制回声状态神经网络模型,将回声状态网络与注意力机制相结合体现样本之间的差异性以及样本之间的相互作用对预测的影响.对混沌系统的预测结果表明注意力机制回声状态神经网络具有更好的预测性能.     

一种基于神经网络集成的规则学习算法

将神经网络集成与规则学习相结合,提出了一种基于神经网络集成的规则学习算法．该算法以神经网络集成作为规则学习的前端,利用其产生出规则学习所用的数据集,在此基础上进行规则学习．在UCl机器学习数据库上的实验结果表明,该算法可以产生泛化能力非常强的规则．     

面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

带反脉冲的同质脉冲神经膜系统

脉冲神经膜系统是一种膜系统中吸收了脉冲神经网络特点的新型生物计算装置,具有强大的计算能力.带反脉冲的同质脉冲神经膜系统是使用了两种对象(称为脉冲和反脉冲)、且其中每个神经元具有相同规则集合的一种脉冲神经膜系统的变体.本文研究了无延迟规则和突触权值情况下的带反脉冲同质脉冲神经膜系统的计算通用性问题,证明了这种P系统无论是工作在产生模式,还是接收模式下都是计算通用的.本文解答了曾湘祥等人提出的关于是否存在无延迟规则的同质脉冲神经膜系统和如何移除突触权值的两个公开问题.     

Structural information aware deep semi-supervised recurrent neural network for sentiment analysis

With the development of Internet, people are more likely to post and propagate opinions online. Sentiment analysis is then becoming an important challenge to understand the polarity beneath these comments. Currently a lot of approaches from natural language processing’s perspective have been employed to conduct this task. The widely used ones include bag-of-words and semantic oriented analysis methods. In this research, we further investigate the structural information among words, phrases and sentences within the comments to conduct the sentiment analysis. The idea is inspired by the fact that the structural information is playing important role in identifying the overall statement’s polarity. As a result a novel sentiment analysis model is proposed based on recurrent neural network, which takes the partial document as input and then the next parts to predict the sentiment label distribution rather than the next word. The proposed method learns words representation simultaneously the sentiment distribution. Experimental studies have been conducted on commonly used datasets and the results have shown its promising potential.     

循环神经网络研究综述

循环神经网络是神经网络序列模型的主要实现形式,近几年得到迅速发展,其是机器翻译、机器问题回答、序列视频分析的标准处理手段,也是对于手写体自动合成、语音处理和图像生成等问题的主流建模手段.鉴于此,循环神经网络的各分支按照网络结构进行详细分类,大致分为3大类:一是衍生循环神经网络,这类网络是基于基本RNNs模型的结构衍生变体,即对RNNs的内部结构进行修改;二是组合循环神经网络,这类网络将其他一些经典的网络模型或结构与第一类衍生循环神经网络进行组合,得到更好的模型效果,是一种非常有效的手段;三是混合循环神经网络,这类网络模型既有不同网络模型的组合,又在RNNs内部结构上进行修改,是同属于前两类网络分类的结构.为了更加深入地理解循环神经网络,进一步介绍与循环神经网络经常混为一谈的递归神经网络结构以及递归神经网络与循环神经网络的区别和联系.在详略描述上述模型的应用背景、网络结构以及模型变种后,对各个模型的特点进行总结和比较,并对循环神经网络模型进行展望和总结.