融合语言特征和神经网络的英语机器翻译研究

为提升英语机器翻译的准确性和翻译质量,提出一种基于融合语言特征和神经网络的英语机器翻译模型。其中,首先Word2vec模型对英语词向量进行处理,以此提取语言特征,然后利用改进的Encoder-Decoder模型构建机器翻译模型,最后构建双语语料库,并将该训练好的机器模型进行迁移学习,进行大规模训练。结果表明,在循环神经网络机器翻译中融合语言特征和迁移学习后,英汉翻译BLEU值分别提高了0.18和0.14,说明在神经网络翻译质量有很大提升,且对比于单一的机器翻译模型和只采用迁移学习的机器翻译模型,本模型显著提升翻译质量。     

基于改进seq2seq模型的英汉翻译研究

目前机器翻译主要对印欧语系进行优化与评测,很少有对中文进行优化的,而且机器翻译领域效果最好的基于注意力机制的神经机器翻译模型-seq2seq模型也没有考虑到不同语言间语法的变换。提出一种优化的英汉翻译模型,使用不同的文本预处理和嵌入层参数初始化方法,并改进seq2seq模型结构,在编码器和解码器之间添加一层用于语法变化的转换层。通过预处理,能缩减翻译模型的参数规模和训练时间20%,且翻译性能提高0.4 BLEU。使用转换层的seq2seq模型在翻译性能上提升0.7～1.0 BLEU。实验表明,在规模大小不同的语料英汉翻译任务中,该模型与现有的基于注意力机制的seq2seq主流模型相比,训练时长一致,性能提高了1～2 BLEU。     

基于信息熵模型的英汉翻译机器人控制方法

英汉翻译机器人在进行自动翻译的过程中常常因为无法对部分词语进行精准定义导致翻译效率低、翻译结果不够精准,为解决这一问题,提出基于信息熵模型的英汉翻译机器人控制方法,提升翻译的精准度和翻译效率。基于信息熵模型对词库进行扩充,分为基础词库、专业词库及新词词库等,然后构建语义模型完成词库特征的自动化提取,实现英汉翻译机器人的自动翻译。仿真实验结果表明：本方法的翻译准确率高达99.5%,远高于其他对比方法,并且本方法迭代500次就可达到翻译最优,迭代次数远低于其余对比方法,本方法可有效提升英汉翻译机器人的翻译质量和翻译效率,值得推广。     

基于Bi-LSTM和迁移学习的多元汇率预测研究

提出了一种基于双向长短期记忆网络(Bidirectional Long Short-term Memory,Bi-LSTM)的模型来预测外汇市场的短期趋势,利用迁移学习,将短期模型应用到长期汇率预测中,结果表明,使用迁移学习进行长期汇率预测不仅节省了预测模型的训练时间,而且提升了预测模型的准确度。     

基于双LSTM融合的类人机器人实时表情再现方法

为提高机器人表情再现的时空相似度和运动平滑度,结合序列到序列的深度学习模型,提出一种基于双LSTM(长短期记忆)融合的类人机器人实时表情再现方法.在离线机械建模阶段,首先构建逆向机械模型以实现面部特征序列到电机控制序列的逆向映射,并进一步提出运动趋势模型以规整电机连续运动的平滑度;然后,引入加权目标函数以实现两模型的融合和参数优化.在在线表情迁移阶段,以表演者面部特征序列作为融合模型的输入,并在最优参数下完成表演者面部特征序列到机器人控制序列的端-端翻译,从而达到机器人表情的帧-帧再现.实验结果表明:融合模型的电机控制偏差不超过8%,且表情再现的时空相似度和运动平滑度大于85%.与相关方法相比,提出的方法在控制偏差、时空相似度和运动平滑度方面均有较大提升.     

基于知识蒸馏的宫颈细胞图像分类研究

宫颈癌筛查对宫颈癌预防和早期宫颈癌诊断具有重要意义。针对现有宫颈细胞图像分类模型泛化能力不足、参数量大、对硬件要求高且难以部署终端等问题,提出一种基于知识蒸馏的宫颈细胞图像分类方法。使用残差网络为骨干网络,以ResNet18为基础学生网络,引入知识蒸馏机制使用ResNet34作为教师网络进行指导学习。采用迁移学习方法提高教师模型基准精度;将教师网络概率预测知识通过知识蒸馏传递给学生网络进行学习,以提升学生模型分类准确率。实验结果表明：知识蒸馏优化后的学生网络ResNet18精度高达95.59%,相比未优化前精度91.13%提升了4.46个百分点。蒸馏优化后的模型参数量小、精度高,网络的整体性能优秀,为建立临床轻量级宫颈细胞图像分类模型研究提供了参考。     

结合Bert与Bi-LSTM的英文文本分类模型

作为自然语言处理技术中的底层任务之一,文本分类任务对于上游任务有非常重要的辅助价值。而随着最近几年深度学习广泛应用于NLP中的上下游任务的趋势,深度学习在下游任务文本分类中性能不错。但是目前的基于深层学习网络的模型在捕捉文本序列的长距离型上下文语义信息进行建模方面仍有不足,同时也没有引入语言信息来辅助分类器进行分类。针对这些问题,提出了一种新颖的结合Bert与Bi-LSTM的英文文本分类模。该模型不仅能够通过Bert预训练语言模型引入语言信息提升分类的准确性,还能基于Bi-LSTM网络去捕捉双向的上下文语义依赖信息对文本进行显示建模。具体而言,该模型主要有输入层、Bert预训练语言模型层、Bi-LSTM层以及分类器层搭建而成。实验结果表明,与现有的分类模型相比较,所提出的Bert-Bi-LSTM模型在MR数据集、SST-2数据集以及CoLA数据集测试中达到了最高的分类准确率,分别为86.2%、91.5%与83.2%,大大提升了英文文本分类模型的性能。     

基于答案知识库的汉英翻译自动评分系统应用

为了提高汉英翻译自动评分的准确性和适应度水平,提出基于答案知识库的汉英翻译自动评分方法,建立汉英翻译的知识库模型.通过语义本体特征分析方法与属性特征提取的方法相结合的方法进行汉英翻译自动评分的知识特征提取,通过二元语义多尺度分析和综合评价的方法进行汉英翻译自动评分和答案的知识库模型构造,结合英汉翻译的上下文语义集实现汉英翻译自动评分和答案知识库构造.实际应用分析结果表明,采用该方法进行汉英翻译自动评分设计的评分准确性较高,知识库分布的饱含度水平较好,提高了汉英翻译自动评分能力.     

基于语言特征和迁移学习的机器翻译系统研究

针对传统翻译系统对低资源语言翻译效果差的问题,以印度英语翻译为研究对象,提出一种基于语言特征与迁移学习的机器翻译方法。通过采用Finetune技术对已构建的英语-汉语机器翻译系统RNN模型进行迁移学习,采用Bert词向量模型提取训练印度英语语言特征,并以印度英语语言特征为参数输入通过迁移学习的RNN模型,实现了较为准确的印度英语-汉语机器翻译。仿真结果表明,相较于基于传统RNN模型的机器翻译系统,所提方法对印度英语语句翻译效果更好,BLEU值提高了44%,达到0.26;相较于目前常用的成熟机器翻译系统,所提方法的BLEU值均得到不同程度地提升,具有一定的有效性和实际应用价值。     

面向故障间格兰杰因果发现的霍克斯过程研究

现有因果关系建模方法应用于故障事件序列时,难以有效引入因果先验,使得算法结果过于稠密,同时在稀疏、时间精度低的数据上因果关系可靠性较差。将不同故障类型事件的因果关系建模为基于霍克斯过程的格兰杰因果关系,提出一种面向故障序列的格兰杰因果发现的霍克斯过程模型。将霍克斯过程拓展到离散时间域,解决低时间精度数据的建模问题,并通过构造基于贝叶斯信息准则的目标函数,保证因果结构稀疏性,进而利用基于EM算法与爬山法的迭代优化算法引入因果先验,提高模型的可靠性。实验结果表明,该方法在由不同参数生成的模拟数据上均表现突出,且在两个通信网络的真实数据集中,F1评分相比ADM4、MLE-SGL、TSSO和PCMCI算法提升15.18%以上。而通过引入根因标注和因果依赖性先验,算法的F1评分进一步提升22.43%以上,验证了引入先验的有效性。     

融合词典特征的Bi-LSTM-WCRF中文人名识别

受限于标注语料的领域和规模以及类别不均衡,中文人名识别性能偏低。相比人名识别训练语料,人名词典获取较为容易,利用词典提升人名识别性能有待进一步研究。该文提取人名词典特征,融入到双向长短期记忆(Bi-LSTM)网络模型中,在损失函数中提高人名标签权重,设计加权条件随机场(WCRF)。从人名词典中获取姓和名相关的特征信息,Bi-LSTM网络捕获句子中上下文信息,WCRF提高人名识别的召回率。在《人民日报》语料和工程法律领域语料上进行实验,结果表明: 在领域测试语料上,与基于隐马尔可夫模型的方法相比,人名识别的F₁值提高18.34%,与传统Bi-LSTM-CRF模型相比,召回率提高15.53%,F₁提高8.83%。WCRF还可以应用到其他类别不均衡的序列标注或分类问题中。     

基于Bi-LSTM网络机制的自然语言自动化对标系统设计

针对CNAS评审现场不符合项自动化对标研究，设计一种基于Bi-LSTM网络机制的自然语言自动化对标系统，用于辅助评审员现场对不符合项对标的工作。首先，阐述了Bi-LSTM的基本原理和网络框架，并引入embedding与Attention层对其网络结构进行优化；然后引入了SimCSE无监督模式，以及采用同义词替换的方法对数据集进行增强和扩充；根据CNAS实验室评审常见不符合项构建语料库，并对其进行预处理和分词，紧接着训练数据集和评价网络模型，最后通过实验与传统的DSSM、SVM模型进行对比，实验结果表明：基于Bi-LSTM网络机制模型的训练、检索耗时为三个模型中最短，且从准确率折线图中可以看出，本研究设计的模型准确率高达85.5%,同时随着数据量的不断增加，准确率还能继续提高。因此，本研究设计的模型性能效果最佳。     

基于元学习的小样本遥感图像分类

为改善传统分类算法在小样本遥感图像分类上效果差的缺陷,提升模型的快速学习能力,提出融合迁移学习和元学习的小样本分类算法.设计基于长短期记忆网络的元学习器,通过门控结构拟合网络参数更新方式最下化损失下界,具有自动学习分类器参数更新方式的机制,相比于传统方法,能够有效扩展优化算法的搜索空间;考虑样本的跨类别知识转移和训练时...     

基于人机交互和特征提取的英汉翻译系统研究

为了提高英汉翻译系统的翻译精度,提出一种基于人机交互和特征提取的英汉翻译系统模型。首先,为了实现翻译特征语境特征的提取,通过特征提取算法提取语义翻译语境矩阵和非语义翻译语境矩阵;其次,为度量同一翻译环境下的两个语义向量之间的相似度,选择余弦相似度函数计算翻译相似度。将翻译相似度引入英汉翻译系统模型,通过比较两个语义向量之间的翻译相似度实现英汉之间的翻译。与SOA、SCA和SLA对比可知,基于人机交互和特征提取的英汉翻译具有更高的准确率、精确率和召回率,为英语翻译提供新的方法和途径。     

基于深度学习的英语短语译文智能校对系统

针对英语短语译文智能校对查错F1-score值低问题,提出基于深度学习的英语短语译文智能校对系统。硬件方面,针对晶振电路和接口电路进行设计。软件方面,根据自动翻译流程提取语义融合的特征参量,创建语义本体概念树。从实体词信息、逻辑关系信息、短语长度信息三个维度抽取句子特征,设计英汉短语对齐算法。依托于深度学习原理和Seq2Seq模型,加入了Bi-LSTM单元和注意力机制,通过网络训练得出自动化短语译文校对规则,生成智能校对模型。最后,采用Teacher Forcing强制训练的方式,构造解码端的训练与预测函数,完成智能校对系统的整体设计。系统测试结果表明：所提系统的查错F1-score值为0.93,相比文献[3]、文献[4]系统提升了26%与24%。     

基于双向长短时记忆和卷积Transformer的声学词嵌入模型

示例查询语音关键词检测中,卷积神经网络（CNN）或者循环神经网络（RNN）提取到的声学词嵌入语音信息有限,为更好地表示语音内容以及改善模型的性能,提出一种基于双向长短时记忆（Bi-LSTM）和卷积Transformer的声学词嵌入模型。首先,使用Bi-LSTM提取特征、对语音序列进行建模,并通过叠加方式来提高模型的学习能力;其次,为了能在捕获全局信息的同时学习到局部信息,将CNN和Transformer编码器并联连接组成卷积Transformer,充分利用它在特征提取上的优势,聚合更多有效的信息,提高嵌入的区分性。在对比损失约束下,所提模型平均精度达到了94.36%,与基于注意力的Bi-LSTM模型相比,平均精度提高了1.76%。实验结果表明,所提模型可以有效改善模型性能,更好地实现示例查询语音关键词检测。     

基于模型结构先验的神经机器翻译研究

随着国际交流的增加，有必要对机器翻译模型进行研究，以提高英语翻译的质量。研究开发了一个基于分层先验模型结构的神经机器翻译框架模型，并利用定向动态路由对其进行改进。实验结果表明，FRNN+PRNN模型的翻译性能得到了大幅提升，优化后模型在测试集MT04、MT05、MT06上面的翻译结果分值分别为48.13、45.98、42.85,评分值远远高于RNMT模型和优化前模型。优化后模型在人工和自动评价中的翻译质量分值均最高，具有最高的翻译质量和最少的遗漏、重复翻译；NMT、优化前模型、优化后模型的CDR值分别为0.80、0.76、0.73,说明优化后模型具有很好的翻译忠实度和翻译质量。     

跨领域文本的可迁移情绪分析方法

随着移动互联网的迅猛发展,社交网络平台充斥着大量带有情绪色彩的文本数据,对此类文本中的情绪进行分析研究不仅有助于了解网民的态度和情感,而且对科研机构和政府掌握社会的情绪变化及走向有着重要作用。传统的情感分析主要对情感倾向进行分析,无法精确、多维度地描述出文本的情绪,为了解决这个问题,文中对文本的情绪分析进行研究。首先针对不同领域文本数据集中情绪标签缺乏的问题,提出了一个基于深度学习的可迁移情绪分类的情感分析模型FMRo-BLA,该模型对通用领域文本进行预训练,然后通过基于参数的迁移学习、特征融合和FGM对抗学习,将预训练模型应用于特定领域的下游情感分析任务中,最后在微博的公开数据集上进行对比实验。结果表明,该方法相比于目前性能最好的RoBERTa预训练语言模型,在目标领域数据集上F1值有5.93%的提升,进一步加入迁移学习后F1值有12.38%的提升。     

基于Payload2Vec的Tor匿名网络流量识别和分类

为有效识别和分类Tor匿名网络流量，提出基于有效载荷嵌入模型（Payload to Vector）的分类方法。首先将数据包字节序列直接转换为字符串，利用滑动窗口对字符串分割，得到流量字符串。然后将流量字符用高维向量表示，进一步引入基于多头自注意力机制的双向长短期记忆模型（Bidirectional Long Short-Term Memory,Bi-LSTM）。实验表明该方法相比传统LSTM神经网络提高44%的Tor流量识别准确率和64%的Tor流量分类准确率，并且大幅度提升模型训练速度，验证该模型的准确性与可行性。     

一种解决数据异构问题的联邦学习方法

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统,源数据不出本地,降低了隐私泄露的风险,同时本地也获得优化训练模型。但是由于各节点之间的身份、行为、环境等不同,导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差,从而形成数据异构问题。针对上述问题,提出了基于节点优化的数据共享模型参数聚类算法,将聚类和数据共享同时应用到联邦学习系统中,该方法既能够有效地减少数据异构对联邦学习的影响,也加快了本地模型收敛的速度。同时,设计了一种评估全局共享模型收敛程度的方法,用于判断节点聚类的时机。最后,采用数据集EMNIST、CIFAR-10进行了实验和性能分析,验证了共享比例大小对各个节点收敛速度、准确率的影响,并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明,当引入数据共享后各节点的收敛速度以及准确率都有所提升,而当聚类与数据共享同时引入到联邦学习训练后,与FedAvg算法对比,其准确度提高10%～15%,表明了该方法针对联邦学习数据异构问题上有着良好的效果。