基于改进Seq2Seq的翻译机器人纠错系统设计

针对传统英语翻译的语法纠错系统存在英语语法错误检测准确率低，纠正效果不佳的问题，提出一种基于Seq2Seq神经网络的英语翻译语法纠错模型。首先，采用Seq2Seq神经网络中的Encode部分对输入序列进行建模，并输出此序列的语义向量；然后在Decode部分引入Attention机制，实现原始序列到目标序列的直接映射，从而完成英语语法纠错。实验结果表明，在CoNLL2018数据集的英语语法纠错测试结果中，本模型的准确率、召回率和F_0.5值分别为35.44%、40.68%和32.56%,均高于传统CAMB语法纠错模型。在英语冠词错误纠正结果中，本方法的F_0.5取值为32.36%,比传统UIUC方法和Corpus GEC方法高出了7.02%和2.76%;介词错误纠错实验中，本方法比另外两种方法高出了5.91%和13.15%。综合分析可知，本模型对英语翻译语法纠错准确率和精度更高，对比于传统的语法纠错模型纠错效果更好，可在英语翻译机器人语法纠错系统中进行广泛应用和推广。     

基于Bi-LSTM的财金文本情感分类研究

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络(Bi-LSTM)模型。利用双向循环长短时记忆神经网络(Bi-LSTM)提取文本的上下文信息;然后,对已提取的上下文特征利用LSTM进行局部语义特征提取;最后,采用语法规则,构建情感分类器。通过与RNN、Bi-LSTM等单一模型对比。实验结果表明,多层LSTM结构相比传统RNN(循环神经网络)的ROUGE(语义恢复度)值更高,具有较好的学习能力。     

基于深度学习的藏文分词方法

重点研究将深度学习技术应用于藏文分词任务,采用多种深度神经网络模型,包括循环神经网络(RNN)、双向循环神经网络(Bi RNN)、层叠循环神经网络(Stacked RNN)、长短期记忆模型(LSTM)和编码器-标注器长短期记忆模型(Encoder-Labeler LSTM)。多种模型在以法律文本、政府公文、新闻为主的分词语料中进行实验,实验数据表明,编码器-标注器长短期记忆模型得到的分词结果最好,分词准确率可以达到92.96%,召回率为93.30%,F值为93.13%。     

基于深度学习的文本自动纠错系统设计与实现

为解决办公人员在进行文档写作时存在各种文本格式和内容错误的问题,设计基于深度学习的文本自动纠错系统,用于辅助办公人员的写作和校对工作;分析办公人员的文本纠错需求,并进行文本格式与内容纠错方法研究;设计系统由写作模板生成、文本格式纠错和文本内容纠错三个功能组成;首先,设计文本要素识别与检查算法并基于VBA技术实现文本格式校对;然后基于Seq2Seq深度学习模型训练字词、语法和标点符号查错模型完成公文内容纠错,并根据办公人员工作需求建立纠错辅助字库提升系统纠错准确率;最终,通过系统测试实验结果表明,设计系统能够极大地提升办公人员写作效率并减轻文本校对工作负担。     

基于机器视觉的英语语法自动纠错系统设计

以文本识别为基础,进行英语语法自动纠错时,往往依靠人眼识别方式,使得自动纠错系统的F_0.5值较低。因此,提出基于机器视觉的英语语法自动纠错系统设计。硬件方面,针对CCD相机和存储器进行设计。软件方法,针对包含英语文本内容的图像,运用机器视觉技术设计一种自动化文本识别算法,准确提取待处理的文本信息。依托于英语翻译原理提取语法特征,并以此为基础创建语法错误检测方法。选取seq2seq模型作为基本框架,结合Soft Attention机制,构建英语语法自动纠错模型。再引入反馈过滤机制,对自动纠错结果进行检验。系统测试结果表明：所提出的纠错系统F_0.5值保持在0.5以上,且对于长句子的语法纠错效果强于短句子,满足了英语语法自动纠错需求。     

基于word2vec和双向LSTM的情感分类深度模型

针对社交网络文本传统情感分类模型存在先验知识依赖以及语义理解不足的问题,提出一种基于word2vec和双向长短时记忆循环神经网络的情感分类模型—WEEF-BILSTM。采用基于CBOW（continuous bag-of-words）方式的word2vec模型针对语料训练词向量,减小词向量间的稀疏度,通过双向LSTM神经网络获取更为完整的文本上下文信息从而提取出深度词向量特征,继而使用one-versus-one SVM对其进行情感分类。实验结果表明,提出的WEEF-BILSTM模型较其他模型分类效果更好,能达到更优的准确率和◢F◣值。     

改进遗传神经网络算法在自动借阅图书系统故障检测中的应用研究

为进一步提高图书借阅服务系统的故障检测性能，提出一种改进的神经网络预测模型进行图书自动借阅系统的故障诊断。其中，使用遗传算法对神经网络进行改进，解决神经网络存在的易陷入局部最小值和梯度消失问题，并进行图书自动借阅系统的电路故障预测。实验结果表明，与其他模型相比，本研究提出的遗传神经网络具有更好的性能，AUC值和准确率分别达到了0.711 27、85.3%;在进行图书自动借阅系统的电路故障预测时，对于两个电路元件的故障预测误差分别为1.362 5E-07和3.259 2E-05。以上结果表明，使用本研究的遗传神经网络模型进行图书自动借阅的故障检测时能够取得良好的效果，具有一定的实际应用价值。     

基于改进GRU的高速公路交通流量预测模型

交通流量预测常用于改善交通阻塞控制,是构建智能交通系统的基本技术之一。为了能够准确、高精度预测高速公路交通流量,充分利用交通流量的随机性、非线性及周期性等特征,设计了基于改进门控循环网络高速公路交通流预测模型,采用平均绝对误差(MAE)等3项评估指标,依托广西高速公路的交通流量数据集和芬兰公共交通管理局某自动测量站(LAM)收集的道路交通信息上进行实例应用,并与长短期记忆神经网络(LSTM)和门控循环网络(GRU)进行对比。以芬兰数据集为例分析,在三层神经网络结构上采用adam优化器的改进GRU模型预测精度更高,其RMSE值为8.672 9,MAE值为6.199 1,MAPE值为24.76%;在广西数据集上可得到同样的结论,三项指标均优于LSTM和GRU。进一步验证了所提模型的准确性和稳定性,以及在高速公路流量预测方面的实用性。     

新的基于融合向量的DGA域名检测方法

由于词典类DGA域名的字符分布随机性低,单词组合随机性高,基于传统机器学习的恶意域名检测方法难以识别,虽然利用LSTM等深度学习的检测方法能捕捉域名字符序列特征,但缺乏局部词根组合特征,检测准确率低。针对以上问题,提出一种基于融合嵌入层的DGA域名检测方法。在域名词嵌入阶段,基于分词技术,进行字符和词根的融合嵌入向量表示,结合一维卷积神经网络（CNN）和双向门控循环单元（BiGRU）,构建混合的深度学习模型,实现DGA域名检测。实验表明,该方法与单一采用CNN或LSTM模型相比,在域名二分类任务中的准确率分别提高3.1%和4.3%,针对词典类DGA家族matsnu、suppobox、ngioweb的检测具有更高的精确率。     

注意力机制LSTM虚拟机能耗建模方法

云计算平台因海量资源池带来了巨大的能耗开销。以虚拟机为粒度，进行灰色关联度分析，采用Hypervisor技术监控虚拟机运行状态参数，引入注意力机制进行LSTM虚拟机能耗建模，模型激活函数采用LeakRelu函数。实验数据呈现能耗模型的实时功率平均误差为5.6%。实验模型对比LSTM、MLP、SVM及K近邻算法，选用WordCount与Sort任务进行虚拟机能耗模型测评，实验结果表明，能耗建模质量优于LSTM、MLP、SVM及K近邻算法。     

基于神经网络的智能外语翻译机器人语义纠错系统

针对传统语法错误纠正系统存在并行化程度低的问题，提出以神经语法错误纠正基线模型为基础模型，在基于循环神经网络编码器-解码器基础上对其进行改进，并构建一个基于自注意力机制的语法错误纠正模型—Transformer,通过此模型提升语法纠正效果。实验结果表明，Transformer模型在对冠词、名词、介词、形容词等语法错误进行纠错时，其纠错召回率明显高于传统的MLConv模型，且本模型的计算并行化程度更高。由此说明，基于自注意力机制的语法错误纠正模型性能更为优越，构建的Transformer系统在语法错误纠正中具有可行性。     

面向BSP-CNN的短文本情感倾向性分类研究

针对消费短文本评论中的情感倾向性分类问题,提出了一种BSP-CNN混合神经网络模型。模型先使用双向简单循环单元（BiSRU）对数据进行特征表示,再使用逐点卷积神经网络（P-CNN）进一步学习语义特征,并输出情感倾向性分类结果。实验结果表明,与传统的长短期记忆神经网络（LSTM）和卷积神经网络（CNN）相比,BSP-CNN混合神经网络模型有效简化了计算,缩短了运行时间,并且在不同大小和不同文本长度的数据集上均能取得更高的F1值。     

基于多层双向SRU与注意力模型的加密流量分类方法

基于传统循环神经网络的加密流量分类方法普遍存在并行性较差、模型运行效率较低等问题。为实现加密流量的快速准确分类,提出一种基于多层双向简单循环单元（SRU）与注意力（MLBSRU-A）模型的加密流量分类方法。将特征学习和分类统一到一个端到端模型中,利用SRU模型高度并行化的序列建模能力来提高整体运行效率。为了提升MLBSRU-A模型的分类精度,堆叠多层双向SRU网络使其自动地从原始流量中提取特征,并引入注意力机制为特征赋予不同的权重,从而提高重要特征之间的区分度。实验结果表明,在公开数据集ISCX VPN-nonVPN上,MLBSRU-A模型具有较高的分类精度和运行效率,与BGRUA模型相比,MLBSRU-A的细粒度分类准确率提高4.34%,训练时间减少55.38%,在USTC-TFC 2016数据集上,MLBSRU-A模型对未知加密恶意流量的检测准确率达到99.50%,细粒度分类准确率为98.84%,其兼具对未知加密恶意流量的高精度检测能力以及对加密恶意流量的细粒度分类能力。     

基于机器视觉的英语自动翻译语法错误检测系统研究

针对传统手写英语字体存在语法错误检测准确率低，导致语法纠错效果不佳的问题。提出基于机器视觉的手写英语自动翻译语法错误检测系统。首先触发采集传感器，利用工业相机对手写英语字体进行拍摄和字体采集；然后利用处理算法对手写英语字体轮廓进行提取和识别定位；之后对识别字体特征进行重排序处理；最后通过训练后的基于BERT的英语语法错误检测模型进行语法错误检测。实验表明，对比于其他语法错误检测模型，本模型在测试集上的检测精确度明显更高，其最高可达90%。在120幅不同类别的英语手写图像中，本系统的英语语法检错正确率高达99.62%,比传统的人工检测方法高出了41.66%,且本系统进行语法错误检测的所用时间控制在25 s以下，相较于人工检测方式低了5倍。由此可知，本系统可实现手写英语字体的准确识别和分类，通过本模型能够提升手写英语语法错误检测率和效率，从而进一步提高了语法纠错效果。     

融合注意力机制与孪生神经网络的更新日志主题学习模型

为进一步挖掘更新日志信息,提出了基于注意力机制的孪生双向LSTM网络模型,对更新日志进行分类以实现主题标注,并辅助定位代码缺陷位置。该模型提出了具有安全特色的分词工具实现日志预处理,借助双向LSTM网络学习更新日志语义信息,通过孪生神经网络解决更新日志自身存在的过拟合模式问题并高质量扩充数据集,提升泛化能力。针对多语句组成的更新日志进行序列化训练,通过注意力机制对语句影响性进行区分。针对缺陷修复类的部分日志基于LLVM工具进行改进,生成映射表进行日志内容搜索,定位源码中缺陷模块的位置。大量实验结果表明,所提模型分类效果具有强泛化能力,且较其他文本分类通用方法在准确率、F₁值等指标提升近10%,具有理想的日志分类效果与主题学习效果。     

基于Payload2Vec的Tor匿名网络流量识别和分类

为有效识别和分类Tor匿名网络流量，提出基于有效载荷嵌入模型（Payload to Vector）的分类方法。首先将数据包字节序列直接转换为字符串，利用滑动窗口对字符串分割，得到流量字符串。然后将流量字符用高维向量表示，进一步引入基于多头自注意力机制的双向长短期记忆模型（Bidirectional Long Short-Term Memory,Bi-LSTM）。实验表明该方法相比传统LSTM神经网络提高44%的Tor流量识别准确率和64%的Tor流量分类准确率，并且大幅度提升模型训练速度，验证该模型的准确性与可行性。     

基于Bi-LSTM的质量控制图模式识别

为提高制造过程质量智能控制的控制效果,提出了一种基于双向长短时间记忆网络(Bidirectional LSTM,Bi-LSTM)的控制图失控模式识别方法。文中分析了其分类的基本原理,构建了控制图模式识别模型,并通过蒙特卡洛仿真方法生成仿真数据集,进行仿真实验验证。仿真实验结果表明,Bi-LSTM用于控制图模式识别,准确率相对多层感知机(MLP)、贝叶斯分类器有了显著提升,相比支持向量机(SVM)具有效率上的明显优势,且在大样本下识别准确率更高。     

基于一维卷积神经网络的HTTP慢速DoS攻击检测方法

为解决HTTP慢速拒绝服务（SHDoS）攻击流量检测在攻击频率变化时出现的准确率降低的问题，提出一种基于一维卷积神经网络（CNN）的SHDoS攻击流量检测方法。首先，该方法在多种攻击频率下对三种类型的SHDoS攻击流量进行报文采样和数据流提取；之后，设计了一种数据流转换算法，将采集的攻击数据流转换为一维序列并进行去重；最后，使用一维CNN构建分类模型，该模型通过卷积核来提取序列片段，并从片段中学习攻击样本的局部模式，从而使模型对多种攻击频率的数据流都具备检测能力。实验结果显示，与基于循环神经网络（RNN）、长短期记忆（LSTM）网络及双向长短期记忆（Bi-LSTM）网络构建的分类模型相比，该模型对未知攻击频率的样本同样具有较好的检测能力，在验证集上的检测准确率和精确率分别达到了96.76%和94.13%。结果表明所提方法能够满足对不同攻击频率的SHDoS流量进行检测的需求。     

基于多注意力长短时记忆的实体属性情感分析

属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题，提出了一种融合多注意力和属性上下文的长短时记忆（LSTM-MATT-AC）神经网络模型。在双向长短时记忆（LSTM）的不同位置加入不同类型的注意力机制，充分利用多注意力机制的优势，让模型能够从不同的角度关注句子中特定属性的情感信息，弥补了单一注意力机制的不足；同时，融合双向LSTM独立编码的属性上下文语义信息，获取更深层次的情感特征，有效识别特定属性的情感极性；最后在SemEval2014 Task4和Twitter数据集上进行实验，验证了不同注意力机制和独立上下文处理方式对属性情感分析模型的有效性。实验结果表明，模型在Restaurant、Laptop和Twitter领域数据集上的准确率分别达到了80.6%、75.1%和71.1%，较之前基于神经网络的情感分析模型在准确率上有了进一步的提高。     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。