基于ALEX的ATLAS词法分析器设计与实现

针对IEEE Std ATLAS 716标准,利用基于Windows操作平台的集成开发工具Parser Generator,设计并实现了ATLAS词法分析器,分析了该词法分析器进行ATLAs词法分析的过程.实践证明,利用该方法编写词法分析器简单易行,且构造的词法分析器准确性高,易于扩展.     

词法分析工具在数据文件中的应用

词法分析是程序编译中的重要组成模块,它的任务是识别源程序中最小的语法单位.本文使用flex作为构建词法分析工具,把应用推广到数据文件分析中,并以生物大数据文件为例子,使用词法分析工具构建数据文件分析器,对文件中的数据进行检索和分析,展示词法分析工具的广阔应用.     

VHDL高级综合前词法语法分析的研究与实现

利用YACC与LEX来完成VHDL语言高级综合前端的词法与语法分析器设计。介绍词法分析模块，语法分析模块以及错误处理模块的设计方法。利用Windows平台卞的Parser Generator 2．0生成词法与语法的C文件，在Visual C＋＋6．0中编译该C文件，生成可执行程序。     

自动词法分析程序生成器LEX的实现

从正则式出发,逐步构造能够识别这些正则式所定义的单词列的最小确定有限自动机,是LEX的核心工作,它包括有自动机化、确定化和最小化三个算法。本文具体给出了它们的实现。显然,通过这样具体地介绍LEX的实现技术,对于解决许多可归结或部分可归结为正则式识别的问题,诸如词法分析、模式识别和文本编辑等,具有实际的指导意义。     

通用的自然语言词法分析机制

本文提出了一种通用的自然语言词法分析技术,其处理机构不仅可以独立于具体自然语言,而且又具有适合于未来智能计算机直接处理的规则形式和实现过程.文中还详细讨论了独立于自然语言的词法分析技术,以及我们在IMT/EC系统中实现的词法分析机制的工作原理.     

编译器前端自动构造的研究与实现

编译器是高级语言的工作基础,它本身是一种复杂的程序.文中研究并实现了编译器前端的自动构造技术,能大大提高编译类软件的开发效率.重点讨论了如何合理设置接口,以便综合运用词法、语法分析器的自动构造工具LEX和YACC.提出了预置三级错误陷阱来分别俘获源程序词法、语法、语义错误的思想,能减少错误级联,并能更准确地报告错误的性质.作者已应用该技术编写出一个面向C语言的并行语言编译器前端,验证了该技术是可行的和高效的.     

基于C语言编译器的词法分析浅析

编译器是高级语言执行前必须使用的一个环节,它的作用是将自然语言转换成机器语言,而词法分析又是编译器整个工作的第一步——词素解析,笔者从词法分析的任务、基本词素、词法分析工具和DFA几个方面对词法分析进行浅析。     

C语言词法语法分析工具CParser的设计与实现

程序分析技术包括控制流分析、数据流分析、别名分析、程序切片和程序插桩等技术,在程序理解,代码重构、代码优化和软件自动化调试等方面有着重要的应用,而词法分析和语法分析技术是程序分析技术的基础。本文设计与实现了一个轻量级的C语言词法语法分析工具CParser,通过词法分析、预处理和语法分析三个步骤,实现了根据源代码建立相应的抽象语法树的功能。工具使用简单方便,而且能够完整支持C99标准,可用于克隆代码检测、软件错误定位等后续研究工作。     

一个词法分析器构造过程模拟器的设计与实现

词法分析器是编译器的第一个组成部分,是后续部分的基础,同时,词法分析也广泛应用在很多软件中,所以理解词法分析器的构造原理比较重要。设计并实现的模拟器能够以表格和图形的方式展示词法分析器的构造过程,并可以形象模拟词法分析器从源程序中识别单词的过程。     

维吾尔语词法分析的有向图模型

维吾尔语是典型的黏着性语言,其派生能力很强,具有丰富的形态变化,同时遵循语音和谐规律,生成过程中会出现弱化、增音、脱落等音变现象.这些特性决定了维吾尔语词法分析的难点,包括词干提取、发生音变字母的还原以及标注.将维吾尔语词的层次结构引入到词法分析研究中,提出了维吾尔语词法分析的有向图模型,该模型将维吾尔语词法分析描述为有向图结构,图中节点表示词干、词缀及其相应标注,其边表示节点之间的转移或生成概率并将此概率作为候选择优的依据.针对维吾尔语在形态变化过程中发生的音变现象,又提出基于词内字母对齐算法的自动还原模型,该模型将音变现象泛化到每个字母上的假设之下,将还原问题转变成类似于词性标注问题,再利用统计方法进行还原.在对新疆多语种信息技术重点实验室手工标注的《维吾尔语百万词词法分析语料库》上进行的实验中,取得了词干提取正确率为94.7%,词干与各词缀切分并标注的F值达到92.6%的好成绩.     

基于关键词抽取的自动文摘算法?

针对生成文摘内容不完整的问题,利用相邻词的共现频率进行未登录词识别,提出一种通过词汇链的构建进行中文关键词抽取和文摘生成的算法,并给出一种采用《知网》为知识库构建词汇链的方法。通过计算词义相似度构建词汇链,结合词汇所在词汇链的强度、信息熵和出现位置等属性,进行关键词抽取和句子重要度计算。实验结果表明,与已有算法相比,该算法能够提高生成摘要的召回率和准确率。     

三位一体字标注的汉语词法分析

针对汉语词法分析中分词、词性标注、命名实体识别三项子任务分步处理时多类信息难以整合利用,且错误向上传递放大的不足,该文提出一种三位一体字标注的汉语词法分析方法,该方法将汉语词法分析过程看作字序列的标注过程,将每个字的词位、词性、命名实体三类信息融合到该字的标记中,采用最大熵模型经过一次标注实现汉语词法分析的三项任务。并在Bakeoff2007的PKU语料上进行了封闭测试,通过对该方法和传统分步处理的分词、词性标注、命名实体识别的性能进行大量对比实验,结果表明,三位一体字标注方法的分词、词性标注、命名实体识别的性能都有不同程度的提升,汉语分词的F值达到了96.4%,词性标注的标注精度达到了95.3%,命名实体识别的F值达到了90.3%,这说明三位一体字标注的汉语词法分析性能更优。     

异种语料融合方法基于统计的中文词法分析应用

基于统计的中文词法分析往往依赖大规模标注语料,语料的规模和质量直接影响词法分析系统的性能。高覆盖率、高质量的语料资源非常有限,而且适用于不同领域的语料往往具有不同的分词和词性标注标准,难以直接混合使用,从而导致既有资源未能充分利用,分词精度下降等问题。针对该问题,该文提出了简单有效的异种语料的自动融合方法,并通过实验验证了提案方法的有效性、较强的实用性以及对多种语料融合的可扩展性。     

词法分析在公式的编辑、编译及执行系统中的应用

公式编辑、编译及执行系统是基于Visual Basic6.0环境下设计和开发的,从公式编辑、编译及执行系统的设计思想和实现来看,可以说它的实质就是一个可以实现简单功能的编译器。它的设计与实现可以说明一个高级语言编译程序实现的基本原理和方法。词法分析模块的设计和实现(具体包括词法分析逐个字符的说明和实现技术,词法分析程序的原则,单词的描述技术,识别机制及词法分析程序的构造原理等内容。)尤其是此类系统的重要基础工作。     

字标注汉语词法分析中上文和下文孰重孰轻

汉语词法分析是中文信息处理的基础,现阶段汉语词法分析的主流技术是基于统计的方法,这类方法的本质 都是把词法分析过程看作序列数据标注问题。上下文是统计方法中获取语言知识和解决自然语言处理中多种实际应 用问题必须依靠的资源和基础。汉语词法分析时需要从上下文获取相关的语言知识,但上文和下文是否同样重要呢? 为克服仅凭主观经验给出猜测结果的不足,对基于字标注汉语词法分析的分词、词性标注、命名实体识别这3项子任 务进行了深入研究,对比了上文和下文对各个任务性能的影响;在国际汉语语言处理评测13akcof f多种语料上进行了 封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验。结果表明,在字标注框架下,下文对汉语词法分 析性能的贡献比上文的贡献高出6个百分点以上。     

基于词法和语法分析技术对FED解析的优化

为解决RTI(运行时间基础设施)中FED(联邦执行数据)文件解析效率、可重用性问题,提出了应用编译原理中的词法分析和语法分析技术对FED文件进行解析的方法.根据RTI研发过程中FED文件解析的要求,对FED文件解析模块进行了研究,并设计出改进的FED文件解析程序的结构框架.在此基础上,给出了应用词法分析和语法分析技术解析FED文件的具体方案和实现过程,最后通过实例验证了基于词法和语法分析技术对FED解析的方案明显优于通常方案.     

关于缓冲区溢出漏洞的解决方法

为了免去以往手工检查源程序缓冲区溢出漏洞的繁琐和不全面性,利用LINUX下的两个重要软件LEX和YACC,编写C语言的词法和语法分析程序,并在其中添加相关语句的语意动作代码,以达到在对C源程序进行语法分析的同时,输出里边的函数调用关系的目的。此外,所生成的函数关系调用表将被放到数据库里边,进行列表、查询和统计;以便进行程序的维护。     

应用条件随机场进行汉语词法分析研究

中文分词是一个困难的、重要的被广泛研究的序列数据建模问题.以往应用条件随机场进行汉语分词时,将分词转化为对汉字的标注,造成了大量的冗余的候选切分,以至于在分词过程中大大降低了分词的速度.提出了使用词图作为基础的标记序列来完成汉语的词法分析,这样充分利用了现有的词典资源,在属性框架的选择时也可以方便地融合语言知识,并且长度歧视及状态歧视方面的影响也被减到最小.提出了应用条件随机场来构建统一的汉语词法分析.     

一种基于词汇链的关键词抽取方法

关键词在文献检索、自动文摘、文本聚类/分类等方面有十分重要的作用。词汇链是由一系列词义相关的词语组成,最初被用于分析文本的结构。本文提出了利用词汇链进行中文文本关键词自动标引的方法,并给出了利用《知网》为知识库构建词汇链的算法。通过计算词义相似度首先构建词汇链,然后结合词频与区域特征进行关键词选择。该方法考虑了词汇之间的语义信息,能够改善关键词标引的性能。实验结果表明,与单纯的词频、区域方法相比,召回率提高了7.78%,准确率提高了9.33%。