基于特征提取和长短期记忆神经网络的铣刀磨损量预测

高速铣削加工过程中,铣刀的磨损会影响工件加工质量、生产效率和制造成本等,因而精准的刀具磨损量预测可优化生产决策,避免因刀具磨损而带来的损失.为了提高刀具磨损预测精度,文章提出了一种基于特征提取及长短期记忆神经网络(L S T M)的铣刀磨损量预测方法,该方法基于工业过程中产生的时间序列数据,通过对数据的时域特征、频域特...     

多变量系统的隐式广义预测自校正控制算法

针对双输入双输出机炉协调控制系统,介绍了一种隐式广义预测自校正控制算法并对其进行仿真研究,分析仿真结果,总结参数变化对整个系统性能的影响,结果证实了算法的有效性。     

基于动态路由序列生成模型的多标签文本分类方法

现实世界中,多标签文本比单标签文本具有更广泛的应用场景,但其输出空间的庞大给分类任务带来了更多的挑战。将多标签文本分类问题看作标签序列生成问题,把序列生成模型（SGM）应用于多标签文本分类领域,并针对该模型的顺序结构容易产生累积误差等不足,构建了基于动态路由（DR）的序列生成模型（DR-SGM）。该模型基于Encoder-Decoder模式：Encoder层中使用双向长短期记忆（Bi-LSTM）神经网络+Attention进行语义信息编码;Decoder层设计了一种基于动态路由的解码器结构,该结构在隐含层后添加了动态路由聚合层,利用路由参数的全局共享减弱了累积误差产生的影响。同时,动态路由能捕获文本中部分-部分、部分-整体的位置信息,并且通过优化动态路由算法进一步提高了语义聚合效果。将DR-SGM应用于多标签文本分类,实验结果表明,在RCV1-V2、AAPD和Slashdot数据集上,多标签文本分类效果得到了有效的提升。     

基于栈式自编码器模型的汇率时间序列预测

针对目前具有非线性特征的金融时间序列浅层模型预测精度有限的问题,提出一种由底层的栈式自编码器和顶层的回归神经元组成的栈式自编码神经网络预测模型。首先利用自编码器的无监督学习机制对时间序列进行特征识别与学习,逐层贪婪学习神经网络各层,之后将栈式自编码器扩展为有监督机制的SAEP模型,将SAE学习到的参数用于初始化神经网络,最后利用有监督学习对权值进行微调。实验设计利用汇率时间序列作为训练及测试样本,与目前较成熟的方法进行对比实验,验证了所提出的模型在汇率时序预测应用中的有效性。     

基于循环神经网络的数据库查询开销预测

数据库负载管理、性能调优中,开销预测模型是提高其效率的关键技术。首先,由于数据库系统的复杂性和计算机资源的竞争,很难精确地估计不同操作的开销。其次,由于查询计划结构的复杂性,现有研究更多使用笼统的查询信息,而很少利用查询计划中操作层面的信息,并依据这些信息来获得开销模型。另外,现有的研究大多没有真正预测查询的执行时间,而是预测了类似查询优化器中开销模型生成的开销。为了减少负载管理的复杂性,本文提出了基于循环神经网络的精细模型来预测查询开销,以查询计划中的操作行为和其实际运行时间作为特征提取的来源。特别地,考虑到查询计划结构的复杂性,本文采用一种特殊的循环神经网络,长短期记忆（Long-Short Term Memory,LSTM）。给一个特定的查询计划,在该计划实际执行之前,模型就能产生其预测的执行时间。这会比现有数据库的查询优化器产生的开销预估结果（任意单位）更具有参考性;也优于需要在执行开始之后才能预测的查询进度指示器。本文提出的这种创新方法来预测查询执行时间,可以用于解决数据库负载管理中的关键问题。通过实验验证,模型的正确率高于71%,一定程度上证明了方法的可行性。     

基于Transformer和多特征融合的DGA域名检测方法

针对域名生成算法生成的恶意域名隐蔽性高，现有方法在恶意域名检测上准确率不高的问题，提出一种基于Transformer和多特征融合的DGA域名检测方法。该方法使用Transformer编码器捕获域名字符的全局信息，通过并行深度卷积神经网络获取不同粒度的长距离上下文特征，同时引入双向长短期记忆网络BiLSTM和自注意力机制Self-Attention结合浅层CNN得到浅层时空特征，融合长距离上下文特征和浅层时空特征进行DGA域名检测。实验结果表明，所提方法在恶意域名检测方法上有更好的性能。相对于CNN、LSTM、L-PCAL和SW-DRN,所提方法在二分类实验中准确率分别提升了1.72%,1.10%,0.75%和0.34%;在多分类实验中准确率分别提升了1.75%,1.29%,0.88%和0.83%。     

基于循环神经网络的正交网格的自动化生成算法

随着计算机图形学、工业设计、自然科学等领域的飞速发展,对高质量的科学计算方法的需求随之增大,而这些科学计算的方法离不开高质量的网格生成算法。对于常用的正交网格生成算法,是否能减少计算量以及是否能降低的人工干预等问题仍是它们所面临的主要挑战。针对这些挑战,对于单连通的目标区域,提出了基于循环神经网络之一的长短期记忆网络（LSTM）和Schwarz-Christoffel共形映射（SC映射）的正交网格自动化生成算法。首先,利用基于SC映射的Gridgen-c工具的基本条件将网格生成问题转换为一个带线性限制条件的整数规划问题。接着,利用预处理后的GADM数据集和LSTM训练获得能计算目标多边形区域每个顶点转角类型的概率的分类器。该分类器可以大幅度降低整数规划问题的时间复杂度,使该问题能被自动化且快速地求解。最后以简单图形区域、动画图形区域、地理边界区域为样例,进行网格生成实验。结果表明：对于简单图形区域,所提算法均能达到最优解;而对于具有复杂边界的动画图形区域和地理边界区域,实例网格结果表明,所提算法能使这些目标区域的计算量分别降低88.42%和91.16%,且能自动化地生成较好的正交网格。     

结合视觉注意机制与递归神经网络的图像检索

目的 图像检索是计算机视觉的一项重要任务。图像检索的关键是图像的内容描述,复杂图像的内容描述很具有挑战性。传统的方法用固定长度的向量描述图像内容,为此提出一种变长序列描述模型,目的是丰富特征编码的信息表达能力,提高检索精度。方法 本文提出序列描述模型,用可变长度特征序列描述图像。序列描述模型首先用CNN(convolutional neural network)提取底层特征,然后用中间层LSTM(long short-term memory)产生局部特征的相关性表示,最后用视觉注意LSTM(attention LSTM)产生一组向量描述一幅图像。通过匈牙利算法计算图像之间的相似性完成图像检索任务。模型采用标签级别的triplet loss函数进行端对端的训练。结果 在MIRFLICKR-25K和NUS-WIDE数据集上进行图像检索实验,并和相关算法进行比较。相对于其他方法,本文模型检索精度提高了512个百分点。相对于定长的图像描述方式,本文模型在多标签数据集上能够显著改善检索效果。结论 本文提出了新的图像序列描述模型,可以显著改善检索效果,适用于多标签图像的检索任务。     

基于递归神经网络的跌倒检测系统

针对现有跌倒检测方法存在适应性差和功能较单一等问题，引入递归神经网络，通过发掘位置传感器数据之间的内在联系提高检测跌倒行为的效果。首先，设计了传感器、训练与检测输入数据的序列化表示方法，为发掘其中与跌倒和接近跌倒行为相关的内在关联提供了基础；接着，给出了用于跌倒检测的RNN训练算法以及基于RNN的跌倒检测算法，将跌倒检测转换为输入序列的分类问题；最后，在前期实现的基于分布式神经元大规模RNN系统的基础上，在Spark平台上实现了基于RNN的跌倒检测系统，使用Fall_adl_data数据集进行了测试与分析，验证了其能有效提高跌倒检测的准确率和召回率，F值相比现有跌倒检测系统提高12%和7%，同时能有效检测出接近跌倒的行为，有助于及时采取保护措施减少伤害。     

基于递归神经网络的网络流量组合预测模型

为了提高网络流量的预测精度,提出了一种基于Elman递归神经网络,小波和自回归的网络流量组合预测模型.对流量时间序列进行小波分解,得到小波变换尺度系数序列和小波系数序列,对具有平稳特征的尺度系数序列用AR模型进行预测:而对体现了网络流量非线性、非平稳特性的小波系数序列使用Elman递归神经网络进行预测,最后通过Mallat算法重构得到网络流量的预测值.     

基于混合卷积神经网络和循环神经网络的入侵检测模型

针对电力信息网络中的高级持续性威胁问题,提出一种基于混合卷积神经网络（CNN）和循环神经网络（RNN）的入侵检测模型。该模型根据网络数据流量的统计特征对当前网络状态进行分类。首先,获取日志文件中网络流量的各统计值,进行特征编码、归一化等预处理工作;然后,通过深度卷积神经网络中可变卷积核提取不同主机入侵流量之间空间相关特征;最后,将已经处理好的包含空间相关特征的数据在时间上错开排列,利用深度循环神经网络挖掘入侵流量的时间相关特征。实验结果表明,该模型相对于传统的机器学习模型在曲线下方的面积（AUC）上提升了7.5%~14.0%,同时误报率降低了83.7%~52.7%。所提模型能准确地识别网络流量的类别,大幅降低误报率。     

基于双向长短时记忆单元和卷积神经网络的多语种文本分类方法

针对日渐丰富的多语种文本数据,为了实现对同一类别体系下不同语种的文本分类,充分发挥多语种文本信息的价值,提出一种结合双向长短时记忆单元和卷积神经网络的多语种文本分类模型BiLSTM-CNN模型。针对每个语种,利用双向长短时记忆神经网络提取文本特征,并引入卷积神经网络进行特征优化,获得各语种更深层次的文本表示,最后将各语种的文本表示级联输入到softmax函数预测类别。在中英朝科技文献平行数据集上进行了实验验证,实验结果表明,该方法相比于基准方法分类正确率提高了4%,且对任一语种文本均能正确分类,具有良好的扩展性。     

基于自组织递归模糊神经网络的PM2.5浓度预测

针对PM2.5浓度非线性动态变化的特点,提出了一种自组织递归模糊神经网络(self-organizing recurrent fuzzy neural network,SORFNN)方法预测PM2.5小时浓度。首先,通过分析影响PM2.5浓度的多种因素,利用主成分分析法(principal component analysis,PCA)筛选出与PM2.5浓度相关性较强的特征变量作为神经网络的输入变量。然后,根据ε准则和偏最小二乘算法(partial least squares,PLS)进行规则化层神经元的增删,实现递归模糊神经网络结构的自动调整,并采用学习率自适应的梯度下降算法调整模型中心、宽度和权值等参数,建立PM2.5预测模型。最后,利用典型非线性系统辨识和实际PM2.5浓度预测实验进行验证。实验结果表明,所设计的自组织递归模糊神经网络结构精简且预测精度高,较好地满足了PM2.5实时预测的要求。     

Remaining useful life prediction of bearing based on stacked autoencoder and recurrent neural network

Remaining Useful Life (RUL) prediction play a crucial part in bearing maintenance, which directly affects the production efficiency and safety of equipment. Moreover, the accuracy of the prediction model is constrained by the feature extraction process and full life data of bearings. In this paper, the life prediction method of faulty rolling bearing with limited data is presented including degradation state model and RUL prediction model. In order to obtain health indication (HI) without human interference in the degradation state modeling stage, the bottleneck structure of Stacked Autoencoder (SAE) is utilized to fuse the four selected features into one HI using Intelligent Maintenance Systems (IMS) bearing dataset as training sample. In RUL prediction model, the Long Short-Term Memory (LSTM) neural network is carried out to establish the model with Standard deviation (Std) input and HI training label. In order to solve the problem of large training error caused by insufficient data in the failure stage of bearing acceleration test, the third-order spline curve interpolation is utilized to enhance the data points. Through parameter analysis, the RMSE and MAE of the test set on the prediction model are 0.032582 and 0.024038, respectively. Furthermore, the effectiveness of the proposed method is further validated by dataset from Case Western Reserve University (CWRU) with different bearing fault degrees. The analysis indicates that the RUL prediction of bearing fault data is consistent with the size of artificial added faults, that is,the more severe the fault the shorter the time of remaining life. The results validate that the proposed method can effectively extract the bearing health state by incorporating feature fusion and establish accurately prediction model for bearing remaining life.     

基于序列到序列神经网络模型的古诗自动生成方法

计算机写诗是实现计算机写作的第一步,目前计算机写诗普遍存在主题不明确、诗的内容与写作意图不一致的问题。为改善这些问题,效仿古人写诗的过程,提出了一种两个阶段生成古诗的方法。第一阶段获取写诗大纲,采用TextRank算法对用户输入文本提取关键词,并提出一种基于注意力机制的序列到序列神经网络模型用于关键词扩展;第二阶段根据写诗大纲生成每一行诗句,并提出一种包含双编码器和注意力机制的序列到序列神经网络模型用于古诗生成。最后通过对实验结果的评估验证了提出方法的有效性。与基准方法相比,该方法生成的古诗的主题意义更加明确,诗所表现的内容和写作意图更加一致。     

基于混合神经网络的智能问答算法

为让用户通过输入自然语言就可以跟机器进行交互,实现文本的智能问答,提出基于混合神经网络的智能问答算法。将LSTM (long short-term memory)和CNN (convolutional neural network)相结合。利用LSTM计算问题和答案的语义特征,针对语义特征的选择进行改进。采用CNN对LSTM得到的语义特征进行筛选;通过计算问题和答案特征之间的相似度得到该模型的目标函数,给出问题对应的正确答案。仿真结果验证了该算法的可行性及有效性。