基于改进注意力机制模型的智能英语翻译方法研究

使用神经机器算法对英语进行翻译是当前研究的热点,采用传统序列神经框架进行英语翻译,其对长距离信息的捕获能力过差,自身有较大的局限性。然而,目前的改进框架,例如循环神经网络翻译效果也并不理想。文中针对传统机器翻译算法的不足,建立了注意力编解码模型,将注意力机制与神经网络框架相结合,并基于TensorFlow对整个英语翻译系统进行实现,由此提高了翻译精度。实验测试结果表明,文中所构建算法模型的BLUE值相比于传统机器学习算法均有不同程度的提升,证明了文中所提算法模型的性能相较于传统模型有较为明显的提高。     

融合翻译知识的机器翻译质量估计算法研究

传统的BLEU评价指标,在机器翻译质量评分方面存在着一定的局限,因此,新的机器翻译质量估计也随之产生。基于此,对融合翻译知识的机器翻译质量估计进行了探讨,重点分析了翻译质量估计的新模型和新算法,以及如何对算法进行训练,以期为今后的相关工作提供借鉴。     

用户反馈和模式识别相融合的机器翻译优化研究

目前机器翻译无法进行高质量翻译,以提升机器翻译译文质量为目标,提出了用户反馈和模式识别相融合的机器翻译优化方法。首先提取不同用户置信度特征,建立用户置信度评价模型,通过评价模型区分不同用户反馈的翻译内容,将置信度评价结果较高的机器翻译结果利用模式识别算法进行优化,通过搜索算法判断关键词是否属于椭球公式,符合要求的关键词即为机器翻译最终优化结果。最后进行了仿真实验,结果表明,文中方法的机器翻译优化结果BLEU值、NIST值高,困惑度低,可以提高机器翻译质量。     

基于自监督对比学习的深度神经网络对抗鲁棒性提升

基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对抗鲁棒性的有效提升方法是采用最大化网络损失的对抗样本重训练深度网络,但是现有的对抗训练过程生成对抗样本时需要类别标记信息,并且会大大降低无攻击数据集上的泛化性能。本文提出一种基于自监督对比学习的深度神经网络对抗鲁棒性提升方法,充分利用大量存在的无标记数据改善模型在对抗场景中的预测稳定性和泛化性。采用孪生网络架构,最大化训练样本与其无监督对抗样本间的多隐层表征相似性,增强模型的内在鲁棒性。本文所提方法可以用于预训练模型的鲁棒性提升,也可以与对抗训练相结合最大化模型的“预训练+微调”鲁棒性,在遥感图像场景分类数据集上的实验结果证明了所提方法的有效性和灵活性。      

基于卷积神经网络的图像分类算法综述

随着大数据的到来以及计算能力的提高,深度学习(Deep Learning, DL)席卷全球。传统的图像分类方法难以处理庞大的图像数据以及无法满足人们对图像分类精度和速度上的要求,基于卷积神经网络(Convolutional Neural Network, CNN)的图像分类方法冲破了传统图像分类方法的瓶颈,成为目前图像分类的主流算法,如何有效利用卷积神经网络来进行图像分类成为国内外计算机视觉领域研究的热点。本文在对卷积神经网络进行系统的研究并且深入研究卷积神经网络在图像处理中的应用后,给出了基于卷积神经网络的图像分类所采用的主流结构模型、优缺点、时间/空间复杂度、模型训练过程中可能遇到的问题和相应的解决方案,与此同时也对基于深度学习的图像分类拓展模型的生成式对抗网络和胶囊网络进行介绍;然后通过仿真实验验证了在图像分类精度上,基于卷积神经网络的图像分类方法优于传统图像分类方法,同时综合比较了目前较为流行的卷积神经网络模型之间的性能差异并进一步验证了各种模型的优缺点;最后对于过拟合问题、数据集构建方法、生成式对抗网络及胶囊网络性能进行相关实验及分析。      

基于人工智能的深度神经网络优化英语机器翻译

机器翻译是一个持续研究的领域,其主要目的是消除语言障碍。随着技术的不断发展,机器翻译在过去几十年里经历了从早期的目标语言直接替换源语言的方法到如今的数据驱动模型的范式转变,其中包括统计和神经机器翻译方法。文中采用一种基于神经网络的深度学习技术,专注于英语翻译,同时还使用了Bahdanau注意机制。为了支撑研究,使用了约30 923个句子的平行语料库,其中包含一些新闻和日常生活中常用的句子。拟议的系统遵循70:30的标准进行了训练和测试。为评估拟议系统的效率,采用了多个自动评估指标,如BLEU、F-measure、NIST、WER等。研究表明,拟议的模型在BLEU分数上取得了平均45.83的结果,显示了其在英语翻译任务上的优异表现。     

基于格栅优化与拓扑解析的配网数据分析算法

针对传统的配电网造价数据分析模型存在运算时间长、准确性高度依赖人工等问题,文中基于格栅理论思想,将BP神经网络与启发式算法相结合,提出了一种配电网造价数据分析算法。该算法以BP神经网络为数据处理工具,利用狼群算法对参数加以优化,进而提升了模型的全局搜索能力。为提高模型的计算精度,还引入主成分分析法实现对输入数据的降维。使分类结果更加精确后,再通过解析配电网网络拓扑获得关键参数并进行训练。实验测试中,该算法的相对误差值与运算时间分别为6.11%及30.19 s,综合性能在对比算法中也为最优,由此证明了该算法的精确度和运算效率良好,故具有一定的工程应用价值。     

数字图像识别的代价函数选择和性能评价

针对传统二次代价函数在卷积神经网络训练过程中图像识别准确率不高的问题,提出基于交叉熵代价函数的卷积神经网络算法。经数学推导,证明交叉熵代价函数较二次代价函数在图像识别中精度更高,并应用MNIST数据集和CIFAR-10数据集,使用AlexNet卷积神经网络,分别采用二次代价函数和交叉熵代价函数对图像识别模型进行训练,当数字图像识别精确率和损失值稳定后,使用测试数据对代价函数进行多次测试,对比识别准确率。仿真结果表明,此方法不仅能提高数字图像识别的准确率,而且相较于传统的代价函数,训练模型速度更快,明显缩减了训练深度神经网络模型的过程。     

基于掩码矩阵-BERT注意力机制的神经机器翻译

BERT在各种自然语言处理任务上取得了优异的效果，但是，其在跨语言任务上并没有取得很好的结果，尤其是在机器翻译任务上。文中提出BERT增强的神经机器翻译（BE-NMT）模型，该模型分为三部分来提升神经机器翻译（NMT）模型对BERT输出表征的利用。首先，针对BERT在NMT任务上微调所造成的知识遗忘，使用一种掩码矩阵（MASKING）策略来缓解这种情况；其次，使用注意力机制的方式将BERT的输出表征融入NMT模型中，同时更好地权衡了模型中的多个注意力机制；最后，融合BERT的多层隐藏层输出来补充其最后一层隐藏层输出缺失的语言信息。在多个翻译任务上进行实验，结果表明提出的模型明显优于基线模型，在联合国平行语料库英文→中文翻译任务上提高了1.93个BLEU值。此外，文中的模型在其他翻译任务上也取得了不错的提升。     

基于多尺度梯度的轻量级生成对抗网络

随着生成对抗网络研究的推进，网络模型的计算量急剧增加，其自身的训练不稳定问题依然存在，生成图像的质量也有待提升。为解决以上问题，文中提出一种轻量级生成对抗网络模型，引入多尺度梯度结构解决训练不稳定的问题。通过融合自注意力机制和动态卷积的思想，利用循环模块和图像增强模块，在保持较少参数的前提下提高模型的学习能力。对文中所提算法进行验证，实验结果表明该算法在CelebA数据集上的IS(Inception Score)值为2.75,FID(Fréchet Inception Distance)值为70.1,在LSUN数据集上的IS值为2.61, FID值为73.2,相比SAGAN、DCGAN等经典模型性有所提高，验证了该算法可行性和性能。     

多机制合并注意力的多路径神经机器翻译方法

注意力机制是目前神经机器翻译的主流技术,目 前已提出了多种注意力生成机制,各 机制生成的注意力各有优劣,但每种机制都不能充分利用全部已知信息,其结果和理论上的 真实注意力具有一定差距,影响翻译质量。本文提出一种基于民主决策的合并注意力生成方 法,将多种注意力生成机制所产生的注意力进行加权叠加与归一化后,所生成的值作为新的 注意力,用于指导解码器的翻译过程。类似民主决策会比独断专行的决策获得更好的决策准 确度,该机制可以获得相对更为准确的注意力,进而提升翻译质量。基于上述方法,本文在 CNN、Transformer、Tree Transformer三个算法的基础上,生成合并注意力,提出MA-CTT 算 法,在开放德英语料(IWSLT14)上,MA-CTT获得了32.61的BLEU, 翻译准确度明显高于各基础算法。     

Korean Morphological Analysis for Korean-Vietnamese Statistical Machine Translation

This paper describes the experiments with Korean-to-Vietnamese statistical machine translation (SMT). The fact that Korean is a morphologically complex language that does not have clear optimal word boundaries causes a major problem of translating into or from Korean. To solve this problem, we present a method to conduct a Korean morphological analysis by using a pre-analyzed partial word-phrase dictionary (PWD). Besides, we build a Korean-Vietnamese parallel corpus for training SMT models by collecting text from multilingual magazines. Then, we apply such a morphology analysis to Korean sentences that are included in the collected parallel corpus as a preprocessing step. The experiment results demonstrate a remarkable improvement of Korean-to-Vietnamese translation quality in term of bi-lingual evaluation understudy (BLEU).     

一种基于残差网络的改进网络流量分类算法

基于卷积神经网络的网络流量分类算法中,为了提高分类准确度,其结构设计日趋复杂,容易出现梯度下滑甚至梯度消失,导致预测准确度不升反降。文章提出了一种基于残差网络的改进流量分类算法,引入残差网络层代替传统卷积神经网络中的卷积层和池化层,不仅缓解了传统卷积网络因层次太深导致难以训练的问题,同时与传统卷积运算相比,所提出的残差网络在训练时学习到的数据特征信息更加全面,训练后的模型也更加准确。仿真结果表明,改进后的算法比常规的神经网络算法表现更佳,分类准确度从92.05%提高到了96.18%。     

一种多语言机制英语在线翻译辅助系统

文中通过对以词组为本的统计式机器翻译系统(Statistical machine translation system,SMT)进行词对应方法的优化和筛选来建立多语言机制的英语在线翻译辅助系统.通过M1模型来计算平行语料库中语言字与字之间可能的配对几率,以EM演算法求取未知资料状况下的参数最大值.通过设置条件值参数作为...     

短语统计机器翻译的句法调序模型

为了处理统计机器翻译中的长距离调序,在基于短语的统计翻译模型的基础上提出了句法调序模型.该模型按照短语切分来分割句法树结构,从而能够避免短语和句法结构的不一致性.在该模型中依据短语对齐和短语内词对齐确定句法树部分结构的调序顺序,依据各个节点上的调序概率计算子结构的调序概率,作为对数线性模型的特征函数.该模型的实验结果比经典的短语统计翻译模型的BLEU评分有明显提高.结果表明句法调序模型对于基于短语的统计机器翻译是有效的,能够较好地将句法知识和短语翻译过程结合起来.     

基于复述增广的医疗领域机器翻译

医疗机器翻译对于跨境医疗、医疗文献翻译等应用具有重要价值.汉英神经机器翻译依靠深度学习强大的建模能力和大规模双语平行数据取得了长足的进步.神经机器翻译通常依赖于大规模的平行句对训练翻译模型.目前,汉英翻译数据主要以新闻、政策等领域数据为主,缺少医疗领域的数据,导致医疗领域的汉英机器翻译效果不佳.针对医疗垂直领域机器翻译...     

基于GA-BP神经网络的茶叶蔗糖量检测模型研究

采用近红外光谱技术结合反向传播人工神经网络算法建立了茶叶中蔗糖含量的检测模型,并通过引入遗传算法改进了模型预测质量.预测模型采用120个茶叶掺蔗糖样品的傅里叶变换漫反射光谱数据建立.对另外42个样品的预测结果表明,基于传统的反向传播人工神经网络算法模型的相关系数为0.738 0,预测均方根误差为3.075 4,正确识别率为83.3％;增加遗传算法后相关系数提高到0.941 9,预测均方根误差为1.3176,正确率为88.1％,训练误差减小一个量级以上.实验结果表明,反向传播人工神经网络模型可用来检测茶叶中的蔗糖含量,同时,引入遗传算法优化了神经网络的初始权值和阈值,使预测误差更小.     

Network traffic classification method basing on CNN

Since the feature selection process will directly affect the accuracy of the traffic classification based on the traditional machine learning method,a traffic classification algorithm based on convolution neural network was tailored.First,the min-max normalization method was utilized to process the traffic data and map them into gray images,which would be used as the input data of convolution neural network to realize the independent feature learning.Then,an improved structure of the classical convolution neural network was proposed,and the parameters of the feature map and the full connection layer were designed to select the optimal classification model to realize the traffic classification.The tailored method can improve the classification accuracy without the complex operation of the network traffic.A series of simulation test results with the public data sets and real data sets show that compared with the traditional classification methods,the tailored convolution neural network traffic classification method can improve the accuracy and reduce the time of classification.