基于多编码器多解码器的大规模维汉神经网络机器翻译模型

为提升维汉机器翻译模型的翻译能力,该文提出使用多编码器多解码器的结构,搭建大规模的维汉神经网络机器翻译模型。相比于单编码器单解码器的浅层的小模型,多编码器多解码器模型具有多个编码器,可以对源语言进行多层次、多视角的压缩表示;同时具有多个解码器,可以增强目标语言的生成能力。实验证明,在大规模的训练数据上,使用该方法搭建的大规模维汉神经网络机器翻译模型,译文质量可以大幅度地超过基于短语的统计机器翻译模型和基本的神经网络翻译模型。该文还针对维汉翻译源端语言和目标端语言的翻译单元粒度进行了实验,发现维吾尔语端使用字节对编码单元、汉语端使用字单元,可以消除对汉语分词器的依赖,做到和双端都使用字节对编码单元可比的效果。     

语义图支持的阅读理解型问题的自动生成

问题自动生成是人工智能领域的一项技术,其目标是根据输入的文本模拟人类的能力,自动生成相关问题。目前的问题自动生成研究主要基于通用数据集生成问题,缺乏专门针对教育领域的问题生成研究。为此,专注于面向中学生的问题自动生成进行研究。构建一个专门为问题生成模型训练需求而设计的数据集RACE4QG,以满足中学生教育领域的独特需求;开发一个端到端的问题自动生成模型,该模型训练于数据集RACE4Q,并采用改进型“编码器-解码器”方案,编码器主要采用两层双向门控循环单元,其输入为单词和答案标记的嵌入表示,编码器的隐藏层采用门控自注意力机制获得“文章和答案”的联合表示后,再输入到解码器生成问题。试验结果显示,该模型优于最优基线模型,3个评价指标BLEU-4、ROUGE-L和METEOR分别提高了3.61%、1.66%和1.44%。     

基于对抗训练和卷积神经网络的面部图像修复

为了有效地修复大面积破损的面部图像,使用了解码器-编码器结构的卷积神经网络作为生成模型,并在其部分层之间增加skip-connection,以增强生成模型的结构信息预测能力,同时引入对抗训练策略优化生成模型。该模型首先训练一个判别模型识别真实图像,再利用其判别待修复图像输入生成模型后所得到的输出是否为真实,以此为生成模型提供优化梯度。结合了卷积神经网络的结构信息预测能力和GANs对抗策略的优化能力,提高了图像补全的效果。在CelebA人脸数据集上进行的实验结果表明,该方法在补全大面积破损的图像任务上性能明显优于其他方法。     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,...     

基于预训练语言模型的案件要素识别方法

案件要素识别指将案件描述中重要事实描述自动抽取出来,并根据领域专家设计的要素体系进行分类,是智慧司法领域的重要研究内容。基于传统神经网络的文本编码难以提取深层次特征,基于阈值的多标签分类难以捕获标签间的依赖关系,因此该文提出了基于预训练语言模型的多标签文本分类模型。该模型采用以Layer-attentive策略进行特征融合的语言模型作为编码器,使用基于LSTM的序列生成模型作为解码器。在“CAIL2019”数据集上进行实验,该方法比基于循环神经网络的算法在F₁值上平均可提升7.4%,在相同超参数设置下宏平均F₁值比基础语言模型(BERT)平均提升3.2%。     

基于生成对抗网络的知识蒸馏数据增强

在图像分类和工业视觉检测过程中,缺陷样本量少导致神经网络分类器训练效率低及检测精度差,直接采用原始的离散标签又无法使网络分类器学习到不同类别间的相似度信息。针对上述问题,在区域丢弃算法的基础上,提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补,减少区域丢弃产生的非信息噪声。在补丁生成网络中,保留生成对抗网络的编码器-解码器结构,利用编码器卷积层提取特征,通过解码器对特征图上采样生成补丁。在样本标签生成过程中,采用知识蒸馏算法中的教师-学生训练模式,按照交叉检验方式训练教师模型,根据教师模型生成的软标签对学生模型的训练进行指导,提高学生模型对特征的学习能力。实验结果表明,与区域丢弃算法相比,该算法在CIFAR-100、CIFAR-10数据集图像分类任务上的Top-1 Err、Top-5 Err分别降低3.1、0.8、0.5、0.6个百分点,在汽车转向器轴承数据集语义分割任务上的平均交并比和识别准确率分别提高2.8、2.3个百分点。     

基于卷积块注意力模块的图像描述生成模型

图像描述生成模型是使用自然语言描述图片的内容及其属性之间关系的算法模型.对现有模型描述质量不高、图片重要部分特征提取不足和模型过于复杂的问题进行了研究,提出了一种基于卷积块注意力机制模块(CBAM)的图像描述生成模型.该模型采用编码器-解码器结构,在特征提取网络Inception-v4中加入CBAM,并作为编码器提取图片的重要特征信息,将其送入解码器长短期记忆网络(LSTM)中,生成对应图片的描述语句.采用MSCOCO2014数据集中训练集和验证集进行训练和测试,使用多个评价准则评估模型的准确性.实验结果表明,改进后模型的评价准则得分优于其他模型,其中Model2实验能够更好地提取到图像特征,生成更加准确的描述.     

基于结构感知双编码器的代码注释自动生成

在软件开发过程中,性能良好的代码注释工具能够提高开发效率并降低维护成本。部分研究者将代码注释自动生成看作将源代码翻译成自然语言注释的翻译任务,但仅考虑源代码的序列信息而忽略了代码内部的结构特性。为此,在常见端到端翻译模型的基础上,利用代码抽象语法树将源代码的结构信息嵌入到编码器解码器翻译模型中,提出一种基于结构感知的双编码器解码器模型,该模型综合考虑源代码的序列信息与代码内部的结构特性。在真实数据集上的实验结果表明,相比PBMT、Seq2seq模型,该模型的BLEU得分较高,且生成的注释更准确和易读。     

ChatGPT大模型技术发展与应用

通过回顾深度学习、语言模型、语义表示和预训练技术的发展历程,全面解析了ChatGPT的技术渊源和演进路线。在语言模型方面,从早期的N-gram统计方法逐步演进到神经网络语言模型,通过对机器翻译技术的研究和影响也催生了Transformer的出现,继而又推动了神经网络语言模型的发展。在语义表示和预训练技术发展方面,从早期的TF-IDF、pLSA和LDA等统计方法发展到Word2Vec等基于神经网络的词向量表示,继而发展到ELMo、BERT和GPT-2等预训练语言模型,预训练框架日益成熟,为模型提供了丰富的语义知识。GPT-3的出现揭示了大语言模型的潜力,但依然存在幻觉问题,如生成不可控、知识谬误及逻辑推理能力差等。为了缓解这些问题,ChatGPT通过指令学习、监督微调、基于人类反馈的强化学习等方式在GPT-3.5上进一步与人类进行对齐学习,效果不断提升。ChatGPT等大模型的出现,标志着该领域技术进入新的发展阶段,为人机交互以及通用人工智能的发展开辟了新的可能。     

基于多模态特征频域融合的零样本指称图像分割

为了解决语义分割应用到现实世界的下游任务时无法处理未定义类别的问题,提出了指称对象分割任务,该任务根据自然语言文本的描述找到图像中对应的目标。现有方法大多使用一个跨模态解码器来融合从视觉编码器和语言编码器中独立提取的特征,但是这种方法无法有效利用图像的边缘特征且训练复杂。CLIP（contrastive language-image pre-training）是一个强大的预训练视觉语言跨模态模型,能够有效提取图像与文本特征,因此提出一种在频域融合CLIP编码后的多模态特征方法。首先,使用无监督模型对图像进行粗粒度分割,并提取自然语言文本中的名词用于后续任务。接着利用CLIP的图像编码器与文本编码器分别对图像与文本进行编码。然后使用小波变换分解图像与文本特征,可以充分利用图像的边缘特征与图像内的位置信息在频域进行分解并融合,并在频域分别对图像特征与文本特征进行融合,并将融合后的特征进行反变换。最后将文本特征与图像特征进行逐像素匹配,得到分割结果,并在常用的数据集上进行测试。实验结果证明,网络在无训练零样本的条件下取得了良好的效果,并且具有较好的鲁棒性与泛化能力。     

Sub-classes of the monoid of left cancellative languages

A language A is left cancellative if from AB=AC, it follows that B=C, for any two languages B and C. Semi-singular and inf-singular languages are two disjoint sub-sets of left cancellative languages and are introduced by Hsieh and Shyr [Left cancellative elements in the monoid of languages, Soochow J. Math. 4 (1978), pp. 7–15]. In this paper, we further study them. It is shown that all non-dense and all maximal left cancellative languages are semi-singular while all right dense left cancellative languages are inf-singular. Finally, a theorem shows that there is a left cancellative language which is neither semi-singular nor inf-singular.     

基于语言计算方法的语言认知实验综述

人脑对语言的理解过程十分复杂,涉及多个脑网络和加工机制。以往的工作大多采用严格控制的实验设计,针对特定的语言现象展开研究,导致了研究结论趋于碎片化,无法形成关于大脑语言理解的总体结论。另一方面,深度学习的出现引发了语言计算领域的技术变革,语言计算模型在多个任务上达到甚至超越了人类的水平。这为进行全局性、高生态效度的人脑语言理解实验带来可能性,促进了语言认知实验中引入语言计算模型方法的快速发展。那么,利用新兴的语言计算方法可以为大脑语言认知机理的研究带来哪些新的机遇和启发呢？该文归纳总结了利用语言计算方法进行语言认知实验的相关工作,并对未来发展趋势予以展望。     

在Lab VIEW中调用MATLAB的一种方法

LabVIEW和MATLAB是目前工程技术领域中比较流行的两种软件,功能强大但又各自存在着不足,本文介绍了在LabVIEW中通过MATLAB Script节点调用MATLAB应用程序的方法及注意事项,从而实现扬长避短,更好发挥各自的长处,例程运行的结果证明这种调用可以很好地实现,并且,这种调用的实现为开发一些大型的系统提供了有力的工具。     

C语言的语义特点

C语言是目前最流行的计算机语言之一,它兼有传统高级语言和汇编语言的优点,概念简洁,风格灵活,内涵相当丰富。要真正掌握该语言的精髓和理解其语义并非易事。本文对C语言的语义特点作了深入探讨,并给出了一些重要概念,最后,列举了若干在编程中的常见错误。     

程序设计语言的演进

本文对程序设计语言的发展演进特征进行了分析，着重分析了比较了目前流行的面向对象程序设计语言。     

维吾尔语KP_V句型的文法手语编辑系统的设计

自然语言书面表达通过文字符号载体来实现,聋哑学生经过专门的训练才能掌握理解和运用书面语言的能力。为实现基于虚拟人的手语合成技术的维吾尔文书面语用手语符号表达,对维吾尔语KP_V句型分析,提出了该句型的文本内容用手势语和手指语表示的转换方法,给出了维吾尔文法手语编辑系统的流程。系统通过虚拟人建模、手语库构建、姿态编辑,运用插值算法合成显示播放,实现了维吾尔文法手语编辑。该研究对基于拼音文字的维吾尔文本转换为混合手势语和手指的手语合成系统设计与实现具有参考意义。     

C-Script设计与实现

随着Internet的快速发展,跨平台运行应用程序需求的不断增长,诸如VBScript和JavascriPt等解释运行的脚本语言得到了广泛应用。文章介绍了C－Script的设计与实现,并将其应用于网络协议设计与测试系统。     

C-Script设计与实现

随着Internet的快速发展,跨平台运行应用程序需求的不断增长,诸如VBScript和JavascriPt等解释运行的脚本语言得到了广泛应用。文章介绍了C－Script的设计与实现,并将其应用于网络协议设计与测试系统。     

The systems programming language,Malus

This paper reports on the design and development of a high level language, Malus, for use in implementing a time-sharing system. Emphasized are the ways that the language and its compiler accommodate the specialized requirements of systems programming and programmers. Among these are the need to generate highly efficient object code, to allow inter-programmer communication by program self-documentation, and to define and organize system tables and data. In addition, the Malus compiler is highly modular; thus the language may be modified or augmented in response to user needs unforeseen during langauge design. Systems programs cannot be machine independent and Malus allows explicit control of emitted code when an application requires particular efficiency or use of privileged instructions. There is also a facility allowing nested redefinition of identifiers. Efficient storage management and data access is effected by the availability of based structures, a register storage class and built-in functions to facilitate their use. Malus is evaluated both in terms of some general criteria for systems implementation languages and by an appraisal of user reactions. While this assessment shows a few areas where the language might be improved, it is felt that Malus is a valuable and effective tool for systems implementation.     

Developing Language Technologies with the Support of Language Resources and Evaluation Programs

The role of language resources and language technology evaluation is now recognized as being crucial for the development of written and spoken language processing systems. Given the increasing challenge of multilingualism in Europe, the development of language technologies requires a more internationally distributed effort. This paper first describes several recent and on-going activities in France aimed at the development of language resources and evaluation. We then outline a new project intended to enhance collaboration, cooperation, and resource sharing among the international language processing research community.