服务器性能预测的递归神经元网络方法

正确有效地预测服务器性能负载,是计算机系统性能管理系统的一个重要环节。通常,传统的预测方法有最小二乘、二次指数平滑法等,但这些模型往往不能很好地捕捉服务器性能负载数据的时序关系。利用基于局部回归的递归神经网络（RNN）,采用改进的RPROP学习算法进行服务器性能负载的预测。并与传统的二次指数平滑法相比较,实验结果证明,RNN得到的预测结果要比二次指数平滑法高出5个百分点以上,并且有较强的预测能力,可以预测较长周期的数据。     

应用递归神经网络学习周期运动吸引子轨迹

采用递归神经网络学习非线性周期运动的吸引子轨迹．网络的拓扑结构基于非线性系统的状态空间表达式,网络权值通过时序反向传播算法调整．探讨了不同样本轨迹和网络结构对递归神经网络预测性能的影响．神经网络的性能评估建立在多条测试样本轨迹的基础上,可以更为客观地评价递归神经网络预测性能．对van der Pol方程的仿真结果表明:网络的泛化能力对训练样本轨迹的依赖性较强,从不同训练轨迹上得到的递归神经网络性能差异较大;需要选择合适的递归神经网络结构参数以提高神经网络的泛化能力．     

基于混合卷积神经网络和循环神经网络的入侵检测模型

针对电力信息网络中的高级持续性威胁问题,提出一种基于混合卷积神经网络（CNN）和循环神经网络（RNN）的入侵检测模型。该模型根据网络数据流量的统计特征对当前网络状态进行分类。首先,获取日志文件中网络流量的各统计值,进行特征编码、归一化等预处理工作;然后,通过深度卷积神经网络中可变卷积核提取不同主机入侵流量之间空间相关特征;最后,将已经处理好的包含空间相关特征的数据在时间上错开排列,利用深度循环神经网络挖掘入侵流量的时间相关特征。实验结果表明,该模型相对于传统的机器学习模型在曲线下方的面积（AUC）上提升了7.5%~14.0%,同时误报率降低了83.7%~52.7%。所提模型能准确地识别网络流量的类别,大幅降低误报率。     

Learning how to grasp based on neural network retraining

Humans have an incredible capacity to manipulate objects using dextrous hands. A large number of studies indicate that robot learning by demonstration is a promising strategy to improve robotic manipulation and grasping performance. Concerning this subject we can ask: How does a robot learn how to grasp? This work presents a method that allows a robot to learn new grasps. The method is based on neural network retraining. With this approach we aim to enable a robot to learn new grasps through a supervisor. The proposed method can be applied for 2D and 3D cases. Extensive object databases were generated to evaluate the method performance in both 2D and 3D cases. A total of 8100 abstract shapes were generated for 2D cases and 11700 abstract shapes for 3D cases. Simulation results with a computational supervisor show that a robotic system can learn new grasps and improve its performance through the proposed HRH (Hopfield-RBF-Hopfield) grasp learning approach.     

基于递归神经网络的网络流量组合预测模型

为了提高网络流量的预测精度,提出了一种基于Elman递归神经网络,小波和自回归的网络流量组合预测模型.对流量时间序列进行小波分解,得到小波变换尺度系数序列和小波系数序列,对具有平稳特征的尺度系数序列用AR模型进行预测:而对体现了网络流量非线性、非平稳特性的小波系数序列使用Elman递归神经网络进行预测,最后通过Mallat算法重构得到网络流量的预测值.     

基于动态神经网络集成的驾驶员行为学习算法*

特定交通环境下的驾驶员行为的变化是一个非线性的复杂系统,传统的驾驶决策模型和车辆行驶模型难以体现驾驶员的感知、判断、决策、动作等一系列心理、生理活动的不确定性和不一致性,而人工神经网络特别适合于因果间不易建立明确联系的问题。提出了基于神经网络集成的驾驶员行为学习算法DNNIA,该算法的有效性通过标准数据集和仿真实验得到了验证,学习到的诸如驾驶员踩踏踏板的习惯行为的仿真结果与采集的样本数据总体趋势较为一致,且实现了系统泛化性能的提高。     

MRNN:一种新的基于改进型递归神经网络的WSN动态建模方法:应用于故障检测

提出了一种适用于无线传感器网络WSN的故障检测方法,该方法运用改进的递归神经网络MRNN为WSN的节点、节点的动态特性以及节点间的关系建立相关模型,对WSN节点进行识别和故障检测。MRNN的输入选择建模节点的先前输出值及其邻居节点的当前及先前输出值,模型基于一种新的改进的反向传播型神经网络,该神经网络的输入以及传感器网络的拓扑结构基于通用的非线性传感器模型。仿真实验将MRNN方法与卡尔曼滤波法进行了全面的比较。实验表明,MRNN在置信因子较小的情况下与卡尔曼滤波方法相比有较高的故障检测精度。     

基于神经网络的改进行为协调控制及其在智能轮椅路径规划中的应用

针对传统的基于行为的智能轮椅的路径规划方法在室外非结构环境下的路径规划效果差的问题,提出一种新的智能轮椅的路径规划算法.该算法利用模糊逻辑设计了基本控制行为,并在此基础上结合大量实际经验使用神经网络设计了行为协调控制器.改进的算法将仲裁机制和命令融合机制2种行为协调方法有效结合起来,并吸收了这2种行为协调方法的优点,从而改善了系统的反应速度,极大提高了控制精确;另一方面,该算法还可以识别陷阱区域并通过自主改变行为的权重方法控制轮椅逃出陷阱区域,因而具备了较强的人工智能特征.仿真和实物实验验证了该算法智能性高且实现简单,适用于室外非结构化环境下的机器人路径规划.     

机器人动态神经网络导航算法的研究和实现

针对Pioneer3-DX 移动机器人, 提出了基于强化学习的自主导航策略, 完成了基于动态神经网络的移动机器人导航算法设计. 动态神经网络可以根据机器人环境状态的复杂程度自动地调整其结构, 实时地实现机器人的状态与其导航动作之间的映射关系, 有效地解决了强化学习中状态变量表的维数爆炸问题. 通过对Pioneer3-DX移动机器人导航进行仿真和实物实验, 证明该方法的有效性, 且导航效果明显优于人工势场法.     

Sensor data reconstruction using bidirectional recurrent neural network with application to bridge monitoring

Sensors are now commonly employed for monitoring and controlling of engineering systems. Despite significant advances in sensor technologies and their reliability, sensor fault is inevitable. Sensor data reconstruction methods have been studied to recover the missing or faulty sensor data, as well as to enable sensor fault detection and identification. Most existing sensor data reconstruction methods use only the spatial correlations among the sensor data, but they rarely consider the temporal correlations among the data. Use of temporal correlations among the sensor data can potentially improve the accuracy for reconstructing the data. This paper presents a data-driven bidirectional recurrent neural network (BRNN) for sensor data reconstruction, taking into consideration the spatiotemporal correlations among the sensor data. The methodology is demonstrated using the sensor data collected from the Telegraph Road Bridge located along the I-275 Corridor in Michigan. The results show that the BRNN-based method performs better than other current data-driven methods for accurately reconstructing the sensor data.     

Identification of time-series signals using a dynamic neural network with GA-based training

We propose a dynamic neural network (DNN) that realizes a dynamic property and has a network structure with the properties of inertia, viscosity, and stiffness without time-delayed input elements, and a training algorithm based on a genetic algorithm (GA). In a previous study, we proposed a modified training algorithm for the DNN based on the error back-propagation method. However, in the previous method it was necessary to determine the values of the DNN property parameters by trial and error. In the newly proposed DNN, the GA is designed to train not only the connecting weights but also the property parameters of the DNN. Simulation results show that the DNN trained by the GA obtains good performance for time-series patterns generated from an unknown system, and provides a higher performance than the conventional neural network. This work was presented in part at the 10th International Symposium on Artificial Life and Robotics, 0ita, Japan, February 4–6, 2005     

融合注意力机制与孪生神经网络的更新日志主题学习模型

为进一步挖掘更新日志信息,提出了基于注意力机制的孪生双向LSTM网络模型,对更新日志进行分类以实现主题标注,并辅助定位代码缺陷位置。该模型提出了具有安全特色的分词工具实现日志预处理,借助双向LSTM网络学习更新日志语义信息,通过孪生神经网络解决更新日志自身存在的过拟合模式问题并高质量扩充数据集,提升泛化能力。针对多语句组成的更新日志进行序列化训练,通过注意力机制对语句影响性进行区分。针对缺陷修复类的部分日志基于LLVM工具进行改进,生成映射表进行日志内容搜索,定位源码中缺陷模块的位置。大量实验结果表明,所提模型分类效果具有强泛化能力,且较其他文本分类通用方法在准确率、F₁值等指标提升近10%,具有理想的日志分类效果与主题学习效果。     

孤立点检测改进径向基神经网络动态预测模型

提出一种基于凝聚层次聚类消除孤立点的新方法,借助聚类树识别孤立点。去除孤立点后,利用RBF网络建立动态预测模型,实验结果表明,网络的训练和泛化性能较消除孤立点前有明显提高。说明凝聚层次聚类方法用在孤立点检测方面是有效可行的,消除孤立点后建立的模型收敛速度快,泛化能力更优。     

基于图像矩与神经网络的机器人四自由度视觉伺服

针对传统的视觉伺服方法中图像几何特征的标记、提取与匹配过程复杂且通用性差等问题,本文提出了一种基于图像矩的机器人四自由度(4DOF)视觉伺服方法.首先建立了眼在手系统中图像矩与机器人位姿之间的非线性增量变换关系,为利用图像矩进行机器人视觉伺服控制提供了理论基础,然后在未对摄像机与手眼关系进行标定的情况下,利用反向传播(BP)神经网络的非线性映射特性设计了基于图像矩的机器人视觉伺服控制方案,最后用训练好的神经刚络进行了视觉伺服跟踪控制.实验结果表明基于本文算法可实现0.5 mm的位置与0.5°的姿态跟踪精度,验证了算法的的有效性与较好的伺服性能.     

小波神经网络模型的确定性预测及应用

针对神经网络模型预测结果的随机性,构建了一种紧致性小波神经网络工具箱。该方法将小波函数移植到BP网络隐层,并采用一种随机确定状态命令获得确定的预测结果。与编程实现的小波神经网络和BP网络比较,该方法适合于大批量数据训练,对数据样本的适应能力和鲁棒性强,尤其对高频随机时间序列有更好的适应能力,具有预测结果确定及实用性强等特点,可显著提高模型的训练速度、预测精度和预测效率。基于小波包变换和小波神经网络的瓦斯涌出量预测实验证明了所提方法的有效性。     

基于层次注意力机制神经网络模型的虚假评论识别

针对虚假评论识别任务中传统离散模型难以捕捉到整个评论文本的全局语义信息的问题，提出了一种基于层次注意力机制的神经网络模型。首先，采用不同的神经网络模型对评论文本的篇章结构进行建模，探讨哪种神经网络模型能够获得最好的篇章表示；然后，基于用户视图和产品视图的两种注意力机制对评论文本进行建模，用户视图关注评论文本中用户的偏好，而产品视图关注评论文本中产品的特征；最后，将两个视图学习的评论表示拼接以作为预测虚假评论的最终表示。以准确率作为评估指标，在Yelp数据集上进行了实验。实验结果表明，所提出的层次注意力机制的神经网络模型表现最好，其准确率超出了传统离散模型和现有的神经网络基准模型1至4个百分点。     

分段线性回归和动态加权神经网络融合的高炉料位预测

针对高炉料位难以连续高精度测量的问题,提出了一种基于分段线性回归和动态加权神经网络的高炉料位信息预测方法.首先,通过分析高炉布料机制和料位检测数据特点,提出了一种面向雷达和机械探尺检测数据时间序列的联合划分方法,用于提取高炉料位的周期性变化特征;然后,利用该变化特征构建分段线性回归模型,获得能准确描述料位变化的回归曲线;最后,以回归统计指标为权重调节系数,利用动态加权径向基神经网络对料位信息进行预测.实例验证表明,该方法融合了机械探尺检测数据精度高以及雷达检测数据连续性好的特点,实现了高炉料位信息的实时有效预测.     

Adaptive tracking control of nonlinear systems with dynamic uncertainties using neural network

In this paper, an adaptive neural tracking control approach is proposed for a class of nonlinear systems with dynamic uncertainties. The radial basis function neural networks (RBFNNs) are used to estimate the unknown nonlinear uncertainties, and then a novel adaptive neural scheme is developed, via backstepping technique. In the controller design, instead of using RBFNN to approximate each unknown function, we lump all unknown functions into a suitable unknown function that is approximated by only a RBFNN in each step of the backstepping. It is shown that the designed controller can guarantee that all signals in the closed-loop system are semi-globally bounded and the tracking error finally converges to a small domain around the origin. Two examples are given to demonstrate the effectiveness of the proposed control scheme.     

灰色神经网络在股价预测中的应用研究

股票价格受多种因素的综合影响,具有趋势性、较大波动性和随机性等变化特点,单一模型难准确对其变化规律进行准确描述,将灰色理论和BP神经网络相结合构建一种股票价格组合预测模型。采用灰色GM（1,1）预测模型动态预测股票价格变化趋势,运用BP神经网络对灰色GM（1,1）模型预测结果进行修正,以提高股票价格预测精度。采用ST东北高（600003）股票价格对预测模型性能进行测试,结果表明,组合预测模型提高了股票价格的预测精度,更能挖掘股票价格变化规律。     

基于多重注意力机制的图神经网络股市波动预测方法

股票市场是金融市场关键组成部分,因此对股票市场波动的研究对合理化控制金融市场风险、提高投资收益提供了重要支持,一直以来都是学术界和相关业界的关注焦点,然而,股票市场会受到各种因素的影响。面对股票市场中多源化、异构化的信息,如何高效挖掘、融合股票市场的多源异构数据具有挑战性。为了充分解释不同信息及信息间相互作用对于股票市场价格波动的影响,提出一种基于多重注意力机制的图神经网络来预测股票市场的价格波动。首先,引入关系维度构建股票市场交易数据和新闻文本的异构子图,并利用多重注意力机制实现图数据的融合;其次,通过图神经网络门控循环单元（GRU）进行图分类,在此基础上完成对股票市场中上证综合指数、沪深300指数、深证成份指数这三个重要指数波动的预测。实验结果表明,从异构信息特性角度,相较于股票市场交易数据,股市新闻信息对于股票价格影响存在滞后性;从异构信息融合角度,所提方法与支持向量机（SVM）、随机森林、多核k-means （MKKM）聚类等算法相比,预测准确率分别提升了17.88个百分点、30.00个百分点和38.00个百分点,并进行了模型交易策略的量化投资模拟。