用随机神经网络优化求解改进算法的研究

随机神经网络是一种仿照实际的生物神经网络的生理机制而定义的网络，其网络结构及应用具有自身的特点。在详细讨论了动态随机神经网络求解典型NP优化问题TSP的算法的同时，特别提出了一种有效改进算法，使得参数在简单选取的情况下保证能量函数的下降，在组合优化问题上具有普遍意义，并且在10城市TSP对改进算法进行验证，指出RNN是解决TSP问题的有效途径。     

非饱和区扩展的RNN算法优化

针对长短时记忆网络(LSTM)型循环神经网络(RNN)收敛速度慢,提出了扩展激活函数非饱和区的RNN算法优化.针对LSTM型RNN的训练过程收敛速度慢的原因以及激活函数的性质,提出了加快RNN训练过程收敛的解决方法.通过字符级语言模型对优化方法进行了验证,结果表明:非饱和区扩展的RNN算法优化有效地加快了RNN训练过程的收敛.     

基于AM-RPPO的双足机器人适应性行走控制算法

提出了一种带有注意力机制和循环近端策略优化(AM-RPPO)的深度强化学习(DRL)方法并将其应用于双足机器人的适应性行走控制.首先,对未知环境下双足机器人关节空间行走控制问题依照部分可观测马尔可夫决策过程(POMDP)进行建模,指出了DRL算法近端策略优化(PPO)对真实状态的估计存在偏差的问题.其次,引入循环神经网络(RNN)架构,分析了RNN对时序环境观测状态不同于多层感知机的正向传播过程,说明了RNN相对于传统神经网络的优势,并且将RNN分别嵌入动作生成网络和价值函数生成网络中.再次,引入在深度学习诸多领域应用广泛的注意力机制(AM),利用AM建立基于不同时间步的状态,求得最终价值函数的权重差异化模型.最后,通过仿真实验验证了提出的AM-RPPO算法对存在高维状态信息输入的双足机器人控制问题的有效性.     

基于改进LSTM模型的古诗自动生成系统研究

近年来,研究者在利用循环神经网络(RecurrentNeuralNetwork,RNN)进行古诗自动生成方面取得了显著的效果。但RNN存在梯度问题,导致处理时间跨度较长的序列时RNN并不具备长期记忆存储功能。随后,出现的基于长短期记忆网络(LongShort-TermMemory,LSTM)古诗自动生成方法在一定程度上解决了RNN的梯度问题。本文将LSTM改进的门控循环单元(GateRecurrentUnit,GRU)应用在古诗自动生成技术上,并利用Adagrad优化算法对GRU模型进行优化,最后利用Tkinter设计GUI界面进行操作和查看。实验表明,相对于传统的LTSM,GRU在古诗自动生成方面生成的古诗效果更好。     

基于FPGA的递归神经网络加速器的研究进展

递归神经网络(RNN)近些年来被越来越多地应用在机器学习领域,尤其是在处理序列学习任务中,相比CNN等神经网络性能更为优异。但是RNN及其变体,如LSTM、GRU等全连接网络的计算及存储复杂性较高,导致其推理计算慢,很难被应用在产品中。一方面,传统的计算平台CPU不适合处理RNN的大规模矩阵运算;另一方面,硬件加速平台GPU的共享内存和全局内存使基于GPU的RNN加速器的功耗比较高。FPGA 由于其并行计算及低功耗的特性,近些年来被越来越多地用来做 RNN 加速器的硬件平台。对近些年基于FPGA的RNN加速器进行了研究,将其中用到的数据优化算法及硬件架构设计技术进行了总结介绍,并进一步提出了未来研究的方向。     

深度记忆网络研究进展

近年来,随着深度神经网络的快速发展,它在越来越多的领域中有了广泛的应用.深度神经网络模型在处理有序列依赖关系的预测问题时,需要利用之前学习到的信息进行记忆.在一般的神经网络模型中,数据经过多个神经元节点传输会损失很多关键的信息,因此需要具有记忆能力的神经网络模型,我们把它们统称为记忆网络.本文首先介绍了记忆网络的基础模型,包括循环神经网络(RNN)、长短期记忆神经网络(LSTM)、神经图灵机(NTM)、记忆神经网络(MN)和变送器(Transformer).其中,RNN和LSTM是通过隐单元对前一时刻信息的处理来记忆信息,NTM和NM是通过使用外部存储器来进行记忆,而变送器使用注意力机制来选择性记忆.本文对这些模型进了对比,并分析了各个记忆方法的问题和不足.然后根据基础模型的不同,本文对常见的记忆网络模型进行了系统的阐述、分类和总结,包括其模型结构和算法.接着介绍了记忆网络在不同领域和场景下的应用,最后对记忆网络的未来研究方向进行了展望.     

基于SMOTE和RNN的肾移植排斥反应预测

肾移植手术在当今的应用越来越广泛,对于排斥反应的预测变得更加重要。针对排斥反应数据特点中存在的数据的维度高、数据时序性、样本不均衡等问题,将循环神经网络应用于肾移植排斥反应的预测,本文提出一种结合SMOTE(Synthetic Minority Over-sampling Technique)以及RNN(Recurrent Neural Network)的算法。该方法先处理数据,降低正负样本的不平衡度,且解决样本量不足的问题,再根据RNN的学习过程进行关键参数调整、优化。经过实验发现,该方法可以有效提升正负分类的准确率,与传统的马尔可夫时间序列预测算法相比,准确率提高了16.7%,传统RNN训练经过优化后,相对错误率下降了5.03%,可以使用该方法进行肾移植排斥反应的有效预测。     

基于Dropout深度卷积神经网络的ST段波形分类算法

心电信号的ST段波形变化是心肌损伤等心血管类疾病临床诊断的重要辅助手段之一.针对ST段波形分类以及深度卷积神经网络过拟合问题,提出一种基于概率随机舍弃神经元建立子网络的Dropout深度卷积神经网络,通过心电信号数据去噪、ST段候选段筛选、神经网络卷积与下采样运算过程,实现ST段波形样本训练与测试.仿真实验对比分析了算法的波形分类准确率、卷积核个数影响和Dropout对算法泛化能力影响,与专家手工标注、BP、RNN和DCNN等方法进行比较,实验结果表明Dropout DCNN能够有效提高卷积神经网络泛化能力,提升算法的可用性.     

基于演化深度强化学习的符号网络影响最大化研究

近年来,随着互联网信息传播以及新型冠状病毒COVID-19传播链阻断等重大应用问题的出现,社会网络影响最大化问题的研究受到了科学界广泛关注.影响最大化问题旨在根据特定应用问题的传播模型,识别出最优影响种子节点集,最大化其信息传播影响.现有影响最大化算法主要针对单连接影响传播模型,将影响最大化问题模拟为离散的影响力种子节点组合选取优化问题.然而,这些算法具有较高的计算时间复杂度,且无法解决具有大规模冲突关系的符号网络影响最大化问题.针对上述问题,首先,构建适用于符号网络的正负影响传播模型以及影响最大化优化模型.其次,通过引入由神经网络构成的deep Q network来选取种子节点集,将离散的种子节点组合选取问题转化为更易优化的网络权重连续优化问题.最后,提出基于演化深度强化学习的符号网络影响最大化算法SEDRL-IM.该算法将演化算法的个体视作策略,结合演化算法的无梯度全局搜索以及强化学习的局部搜索特性,实现对deep Q network权重优化问题解的有效搜索,从而找到最优影响种子节点集.在基准符号网络以及真实社交网络数据集上的大量实验结果表明,所提算法在影响传播范围与求解效率上都优...     

面向GPU计算平台的神经网络卷积性能优化

图像检测、识别任务已经被应用在越来越多的生产生活场景中,基于卷积神经网络的方法凭借着精度高的特点被广泛应用.但是卷积神经网络存在着权重参数多、对算力要求高的问题,算力有限且型号多样的边缘计算设备使得这些应用在使用中受限.在跨平台上运行高性能代码,以及基于GPU的卷积神经网络优化愈发重要.针对卷积神经网络中的卷积规模和其他通用矩阵乘(general matrix multiplication, GEMM)方法的不足,根据分块规模、分支执行、访存和计算比例,提出了一种针对卷积神经网络规模优化的GEMM优化方法,将其应用于Winograd算法,并结合算子合并,实现对卷积进一步优化.同时基于遍历的自调优选择性能最优的卷积算子,结合离线编译、内存池、16 b量化、网络规模裁剪等方法,来提升卷积神经网络的性能.最后在AMD V1605B平台上进行实验验证算法的效果,通过和其他GEMM算法以及深度学习网络的性能进行对比,验证了该方法能够获得比GEMM算法和Winograd算法更好的加速效果,并能有效地加速卷积神经网络.     

Robust Recurrent Neural Network Control of Biped Robot

In this paper, a recurrent neural network (RNN) control scheme is proposed for a biped robot trajectory tracking system. An adaptive online training algorithm is optimized to improve the transient response of the network via so-called conic sector theorem. Furthermore, L ₂-stability of weight estimation error of RNN is guaranteed such that the robustness of the controller is ensured in the presence of uncertainties. In consideration of practical applications, the algorithm is developed in the discrete-time domain. Simulations for a seven-link robot model are presented to justify the advantage of the proposed approach. We give comparisons between the standard PD control and the proposed RNN compensation method.     

Neuro-fuzzy position control of demining tele-operation system based on RNN modeling

The paper considers the neuro-fuzzy position control of multi-finger robot hand in tele-operation system—an active master–slave hand system (MSHS) for demining. Recently, fuzzy control systems utilizing artificial intelligent techniques are also being actively investigated in robotic area. Neural network with their powerful learning capability are being sought as the basis for many adaptive control systems where on-line adaptation can be implemented. Fuzzy logic on the other hand has been proved to be rather popular in many control system applications providing a rule-base like structure. In this paper, the design and optimization process of fuzzy position controller is supported by learning techniques derived from neural network where a radial basis function (RBF) neural network is implemented to learn fuzzy rules and membership functions with predictor of recurrent neural network (RNN) model. The results of experiment show that based on the predictive capability of RNN model neuro-fuzzy controller with good adaptation and robustness capability can be designed.     

Design of Adaptive Robot Control System Using Recurrent Neural Network

The use of a new Recurrent Neural Network (RNN) for controlling a robot manipulator is presented in this paper. The RNN is a modification of Elman network. In order to solve load uncertainties, a fast-load adaptive identification is also employed in a control system. The weight parameters of the network are updated using the standard Back-Propagation (BP) learning algorithm. The proposed control system is consisted of a NN controller, fast-load adaptation and PID-Robust controller. A general feedforward neural network (FNN) and a Diagonal Recurrent Network (DRN) are utilised for comparison with the proposed RNN. A two-link planar robot manipulator is used to evaluate and compare performance of the proposed NN and the control scheme. The convergence and accuracy of the proposed control scheme is proved.     

小波混沌神经网络模拟退火参数研究

小波混沌神经网络已经成功地解决了函数优化和组合优化问题。研究了分段指数退火函数的Morlet小波混沌神经元模型,给出了分段小波混沌神经元的倒分岔图和Lyapunov指数图。在小波混沌神经网络的基础上,加入了分段指数退火函数,提出了一种新的改进的小波混沌神经网络,并把它应用到函数优化和组合优化问题中。仿真结果表明,改善了小波混沌神经网络的寻优能力,改进的小波混沌神经网络优于原来的小波混沌神经网络。     

Static, Dynamic, and Hybrid Neural Networks in Forecasting Inflation

The back-propagation neural network (BPN) model has been the most popular form of artificial neural network model used for forecasting, particularly in economics and finance. It is a static (feed-forward) model which has a learning process in both hidden and output layers. In this paper we compare the performance of the BPN model with that of two other neural network models, viz., the radial basis function network (RBFN) model and the recurrent neural network (RNN) model, in the context of forecasting inflation. The RBFN model is a hybrid model with a learning process that is much faster than the BPN model and that is able to generate almost the same results as the BPN model. The RNN model is a dynamic model which allows feedback from other layers to the input layer, enabling it to capture the dynamic behavior of the series. The results of the ANN models are also compared with those of the econometric time series models.     

Design and implementation of a random neural network routing engine

Random neural network (RNN) is an analytically tractable spiked neural network model that has been implemented in software for a wide range of applications for over a decade. This paper presents the hardware implementation of the RNN model. Recently, cognitive packet networks (CPN) is proposed as an alternative packet network architecture where there is no routing table, instead the RNN based reinforcement learning is used to route packets. Particularly, we describe implementation details for the RNN based routing engine of a CPN network processor chip: the smart packet processor (SPP). The SPP is a dual port device that stores, modifies, and interprets the defining characteristics of multiple RNN models. In addition to hardware design improvements over the software implementation such as the dual access memory, output calculation step, and reduced output calculation module, this paper introduces a major modification to the reinforcement learning algorithm used in the original CPN specification such that the number of weight terms are reduced from 2n/sup 2/ to 2n. This not only yields significant memory savings, but it also simplifies the calculations for the steady state probabilities (neuron outputs in RNN). Simulations have been conducted to confirm the proper functionality for the isolated SPP design as well as for the multiple SPP's in a networked environment.     

基于深度特征聚类和RNN的电网故障诊断

针对传统方法难以利用大量时序数据和无标签数据对电网进行故障诊断的问题,提出了基于深度特征聚类和循环神经网络(RNN)的电网智能故障诊断方法.该方法首先利用卷积神经网络搭建起特征提取器来提取时序数据的高层特征,然后对提取的特征进行半监督聚类,为无标签样本获得对应的标签,从而可以确定无标签样本所属的故障类别并加以利用;然后...