基于句法的统计机器翻译综述

本文对基于句法的统计机器翻译进行了综述。按照模型所基于的语法不同,将基于句法的统计机器翻译分为两大类 基于形式化语法和基于语言学语法。对这两个不同类别,我们分别介绍它们代表性的工作,包括模型的构建、训练和解码器的设计等,并对比了各个模型的优点和缺点。最后我们对基于句法的统计机器翻译进行了总结,指出设计句法模型时要注意的问题,并对未来的发展趋势进行了预测。     

基于统计学习模型的句法分析方法综述

句法分析是自然语言处理领域中重要的基础研究问题之一。近年来,基于统计学习模型的句法分析方法研究受到了广泛关注,多种模型与算法先后被提出。从采用的学习模型和算法类型着手,该文系统地对各种主流和前沿方法进行了归纳与分类,着重对各类模型和算法的思想进行了分析和对比,并对中文句法分析的研究现状进行了综述;最后,对句法分析下一步的研究方向与趋势进行了展望。     

蒙古文依存句法分析

近年来,依存句法分析逐渐成为自然语言处理领域中的研究热点。然而,蒙古文的依存句法分析尚未得到足够的重视。基于最大生成树模型在蒙古文依存关系树库TMDT上进行了蒙古文依存句法分析的研究。在简要介绍蒙古文的特点和蒙古文依存关系树库TMDT之后,详细讨论了最大生成树模型。为找到该模型在蒙古文依存句法分析中合适的特征,重点通过实验对8种特征及其组合在句法分析中的性能进行了比较。结果显示,Basic Unigram Features、Basic Bi-gram Features以及C-C sibling Features这3种特征的组合性能最佳。本研究为蒙古文依存句法分析奠定了基础。     

基于统计的句法分析方法研究

在概述统计句法分析主要特征的基础上,对目前主流分析方法进行了深入分析,提出了实用化的基于统计的句法分析器必须引入结构信息、上下文信息、词汇信息以及语义信息才能提高性能和可靠性的观点。总结了基于统计的汉语句法分析方法当前的研究现状,最后探讨了基于统计的汉语句法分析方法的不足之处和发展趋势。     

基于句法分析的代码摘要技术

针对词袋模型忽略了词条之间语义关系和概念结构的问题,提出一种基于句法分析的代码摘要技术。首先,该技术利用词性标注识别出最有可能体现代码特性的关键词;然后,通过块分析修正在词性标注过程中可能引入的错误;其次,对标识出的关键词进行降噪,以减少文本噪声带来的不利影响;最后,从关键词中选取若干个权值最高的词以组成代码摘要。实验结果表明,与基于词频-逆文档频率(TF-IDF)和基于TF-IDF扩展的代码摘要技术对比,所提技术生成的代码摘要与参考答案的重叠率(overlap)至少分别提高了9%和6%,说明该技术能够生成更加准确的代码摘要。     

融合丰富语言知识的汉语统计句法分析

知识获取一直以来是自然语言处理中的瓶颈,基于树库的统计句法分析也不例外。树库中潜在隐含的语言知识是非常丰富的,但它们并不是可以直接得到,往往需要特定的策略才能将它们融合到模型中。我们的汉语统计句法分析模型从3 个方面融合潜在的丰富语言知识:1) 重新标注树库中的非递归名词短语和非递归动词短语;2) 设计新的中心词映射表;3) 引进上下文配置框架以更具体地描述二元依存结构。由于融合了以上三种潜在语言知识,模型的F1 值提高了2137 % ,完全匹配正确率提高了5136 %。     

基于语法功能匹配的汉语句法分析算法

以语法功能匹配作为句法分析的基本方法,以100万词清华973树库作为语法功能调查的主要资源,实现了一种基于语法功能匹配的句法分析算法。该算法能有效减少伪歧义,具有良好的分析效率,其分析结果包含了丰富而准确的语法信息。实验表明,短语正确率与召回率在封闭测试和开放测试中分别达到75.17%、73.69%和65.06%、56.55%。     

句法分析中基于词汇化树邻接语法的数据增强方法

句法分析是自然语言处理的基础技术,主流的由数据驱动的神经网络句法分析模型需要大规模的标注数据,但是通过人工标注扩展树库成本很高,因此如何利用现有标注树库进行数据增强成为研究焦点。在汉语句法分析的数据增强任务中,对于给定的标注树库,要求数据增强所生成的句子满足如下条件：第一,要求生成句具有多样化且完整的句法树结构;第二,要求生成句具有合理的语义。对此,我们首次提出基于词汇化树邻接语法的数据增强方法。针对第一个需求,该文设计实现基于词汇化树邻接语法的词汇化树抽取算法与句法树合成算法,基于该语法可以在句法树之间进行“接插”和“替换”的操作,从而推导生成新的句法树,并且用语言学的知识保证生成句符合语法规则且具有完整的句法树结构。针对第二个需求,该文利用语言模型对生成句进行语义合理性评估,选取语义合理的句子作为最终的增强数据,从而获取高质量的标注树库。我们以汉语为例开展研究,在汉语树库CTB5上进行句法分析的数据增强评测实验。实验结果显示,在小样本(CTB5的20%)实验中,通过该方法得到的增强数据使依存句法分析和成分句法分析的精度分别提高1.39%和2.14%。在鲁棒性实验中,该文通过构建扩展...     

XML解析技术分析与总结

随着XML的广泛应用,大量的信息都将通过XML文档来进行存储、交换,因此XML解析技术成为XML应用的关键。本文通过对4种解析技术进行分析和总结,同时本文也介绍了XML解析技术的实现细节,总结归纳了在应用系统中选择合适的XML解析技术的方法,加深理解实现选择解析技术的原则。     

上下文相关图文法分析及其应用初探

图文法是一种对可视化语言进行形式化定义的元语言，具有表达自然、能力强大的特点.随着使用可视化语言的最终用户编程技术的广泛应用，图文法分析尤其是上下文相关图文法分析在工程应用中的重要性日益突出.国内外相关文献或着重于纯理论探讨，或局限于特定语法类的特定应用，不利于工程应用人员参考.本文选取简洁明了的符号体系，介绍上下文相关图文法分析的一般性过程，并将其中规则选取关键步骤描述为CSP问题，利用已有的针对CSP问题的优化方法来优化算法，介绍了现有的优化方法并给出实现算法;同时，结合自身实践，讨论其在一个面向体系结构的Web服务集成系统中的应用.     

合成目标化合物析分系统

在化学反应处理的计算模型的基础上,完成了一个实验性的目标化合物析分系统（Target Parsing System,TPS）。目前它主要用于测试和优化反应规则的选择和表述方法。TPS的工作逻辑基本上模仿人的思维过程,它通过对目标分子析分找出谋略键。根据谋略键将目标分子分拆成前体,再通过对原料库的检索确定是否已是可得原料等3个步骤完成反合成分析。通过对一些小分子和天然产物的测试,表明它已能给出令人满意的反合成分析结果。由于TPS在知识量上的局限性,对复杂化合物的析分还不可能达到实用水平。但是,可以预见通过对知识库的扩充和对TPS的不断完善,它有望发展成为一个真正意义上的计算机辅助合成设计系统。     

Parallel Transitional Rules of Items in Parsing

Context-free Grammars（CFGs）, which are connected with linear Arrays, can be parsed in parallel on IL（i） structures and store items of the form [ij,B→η＊] in these structures. In this algorithm, what can be found in this transferring process are the efficiency and superiority of the algorithm. The transferring rules of IL（i） are portrayed in detail in this paper, and it can avoid the uselessness of transferring items in these circular structures, and the transferring process under these definitions is also given out.     

基于统计模型的海水运动仿真

人们常用建立物理模型的方式来达到模拟自然现象,然后通过OpenGL绘制出来;同时OpenGL本身也有用于模拟自然现象的粒子系统。对海水的模拟通常通过建立海水动力学模型来达到,而该文介绍通过建立统计模型的方式来模拟自然现象,提出了通过建立统计模型来模拟海水的运动的方法,并对其加以实现。     

数据库技术在经济综合统计信息系统中的应用

本文介绍了湖南省国民经济综合统计信息数据库系统的建设情况。重点说明了它所采用的“一维”表的数据结构以及在这种数据结构上应用PowerBuilder开发的数据库应用系统。正是由于采用了“一维”表的数据结构,使得开发出来的数据库系统能独立于统计指标体系,适应统计方法制度的变化,实现了综合统计信息的长期存储和高效检索。     

Parsing an extension to CODASYL FORTRAN DML

The FORTRAN data manipulation language specified by CODASYL requires that parameters be identified by keywords and appear in a prescribed order. These restrictions can largely be removed. A method of parsing the resultant data manipulation language using database structures is described.     

HTTP协议流解析系统的设计与实现

在分析了理想的HTTP协议和现实的HTTP流的差别前提下,利用状态转换图的方法设计和实现了一个在真实大流量实时环境下的HTTP协议流解析系统,并且给出其中的关键技术。     

Towards Incremental Parsing of Natural Language Using Recursive Neural Networks

In this paper we develop novel algorithmic ideas for building a natural language parser grounded upon the hypothesis of incrementality. Although widely accepted and experimentally supported under a cognitive perspective as a model of the human parser, the incrementality assumption has never been exploited for building automatic parsers of unconstrained real texts. The essentials of the hypothesis are that words are processed in a left-to-right fashion, and the syntactic structure is kept totally connected at each step.Our proposal relies on a machine learning technique for predicting the correctness of partial syntactic structures that are built during the parsing process. A recursive neural network architecture is employed for computing predictions after a training phase on examples drawn from a corpus of parsed sentences, the Penn Treebank. Our results indicate the viability of the approach and lay out the premises for a novel generation of algorithms for natural language processing which more closely model human parsing. These algorithms may prove very useful in the development of efficient parsers.