基于ALEX的ATLAS词法分析器设计与实现

针对IEEE Std ATLAS 716标准,利用基于Windows操作平台的集成开发工具Parser Generator,设计并实现了ATLAS词法分析器,分析了该词法分析器进行ATLAs词法分析的过程.实践证明,利用该方法编写词法分析器简单易行,且构造的词法分析器准确性高,易于扩展.     

构造直接编程的词法分析器

本文主要对词法分析器直接编程构造方法进行了分析与研究，分别通过正则表达式、状态图与有穷自动机对词法分析器进行了描述。然后运用实例对词法分析器构造流程进行分析与说明。进一步分析构造直接编程的词法分析器过程的性能，研究发现直接编程的词法分析器分析速度更快，优于其他类型的词法分析器。     

有穷自动机在词法分析器建模中的应用研究

有穷自动机可用于描述语言的词法模型,有穷自动机形式的词法模型与特定的控制程序相配合可构成语言的词法分析器。介绍了利用有穷自动机建立语言的词法模型及以此词法模型为基础构建词法分析器的过程。实例证明,该方法构造的词法分析器正确、有效。     

Simple C语言词法分析器的探讨与实践

通过实际构造Simple C语言,并在该语言的基础上完成了词法分析器中翻译表和状态转换图的设计,达到了将词法分析器的构造原理运用于实践的目的。     

词法分析程序的设计与实现

主要研究词法分析器的技术,包括如何构造词法分析器?如何建立单词串的符号表和怎样优化词法分析器?研究如何从正规表达式出发,设计正规表达式的状态图;然后,从状态图构造自动机;通过一个具体实例,详细分析从正规表达式转化为确定有限自动机的全过程,并给出具体转化程序,最后根据自动机设计词法分析程序.     

可视编译器的设计与实现

通过一个实际的可视编译器开发实例,描述编译器前端的实现方法。这个编译程序除了易于操作的窗口程序外,还包含了标准C语言子集的编译器。这套编译器涵盖了词法分析器、语法分析器、语义分析器、中间代码生成器和简单错误处理器等一整套程序。通过这个实例可以直观地表现词法和语法的构造过程,图文并茂,生动说明编译器中词法器、语法器的功能及其构造过程。     

LR分析法在词法分析器自动构造中的应用

提出了一种新的自动构造编译程序词法分析器的方法,LR分析法通常用于语法分析,但只要适当修改LR分析总控程序,就可将LR分析法用于词法分析器的自动构造。该方法的优点不仅在于将词法分析器自动构造方法与语法分析器自动构造方法统一,简化了编译程序的设计和构造,而且该方法自动化程序较高,只要确定描述单词的文法和词形编码表,便可自动生成任何程序设计语言编译程序的词法分析器。     

用GO语言实现C语言词法分析器

词法分析器是编译器的第一阶段,其从左到右读入程序的源文件,而后分解出有意义的词法单元。大多数编译器的词法分析器都采用手工实现,所以学习、实现词法分析器在教学上有重要意义。本系统使用新的系统级程序语言GO语言,并利用其内置的字典数据类型,构建出几个查找表,简化了程序,实现了C语言的词法分析器。     

SLR(1)词/语法分析的自动构造

主要讨论了SLR（1）词／语法分析器的自动构造，自动生成的SLR（1）语法分析器可从自动生成的SLR（1）词法分析器中获得测试数据进行语法分析，论文相关的软件除可用于编译原理课程教学演示外，还可用于实际编译程序的SLR（1）词／语法分析器的自动构造。由于具有SLR（1）分析表自动构造功能，因此该软件还可作为软件工具用于程序设计语言本身的设计和构造。     

基于Delphi的自定义编译器

应用程序内嵌自定义编译器有很强的应用价值。从一个简单的单词统计程序出发,介绍了在Delphi中利用词法分析器和语法分析器来创建编译器的过程,并给出了一个简单的自定义可视化编译器的制作方法。     

VHDL高级综合前词法语法分析的研究与实现

利用YACC与LEX来完成VHDL语言高级综合前端的词法与语法分析器设计。介绍词法分析模块，语法分析模块以及错误处理模块的设计方法。利用Windows平台卞的Parser Generator 2．0生成词法与语法的C文件，在Visual C＋＋6．0中编译该C文件，生成可执行程序。     

系统级硬件描述语言SpecC词法分析器设计与实现

随着硬件系统复杂性的提高,在更高的抽象层次--系统级进行软硬件协同设计成为一种趋势。SpecC语言是一种用来在系统级对硬件系统进行描述的系统级硬件描述语言。S pecC词法分析器作为SpecC综合器的基础模块,其性能是影响SpecC综合器性能的关键因素之一,而SpecC综合器是实现系统级设计综合自动化必不可少的硬件系统开发工具。本文在Linux环境下用C设计并实现了SpecC语言的一个词法分析器SpecCLexer。它能正确地对用户输入的SpecC源代码进行预处理和词法分析,并在源代码中出现词法错误时给给用户反馈错误信息。     

On the look-ahead problem in lexical analysis

Modern programming languages use regular expressions to define valid tokens. Traditional lexical analyzers based on minimum deterministic finite automata for regular expressions cannot handle the look-ahead problem. The scanner writer needs to explicitly identify the look-ahead states and code the buffering and re-scanning operations by hand. We identify the class of finite look-ahead finite automata, which is general enough to include all finite automata of practical lexical analyzers. Finite look-ahead finite automata are then transformed into suffix finite automata. A new lexical analyzer makes use of the suffix finite automata to identify tokens. The new lexical analyzer solves the look-ahead problem in a table-driven approach and it can detect lexical errors at an earlier time than traditional lexical analyzers. The extra cost of the new lexical analyzers is the larger state transition table and three additional 1-dimensional tables. Incremental lexical analysis is also discussed.This work was supported in part by National Science Council, Taiwan, R.O.C. under grants NSC 83-0111-S-009-001-CL and NSC 84-2213-E-009-043     

汉语分词和词性标注一体化分析的方法研究

提出了一种汉语文本切分和词性标准注相融合的一体化分析的统计模型,并应用动态规划算法与A^*解码算法相结合的二次搜索算法,实现了一个基于该模型的汉语词法分析器。初步的开放测试表明,该分析器的分词准确率和词性标准注正确率分别可达98．67％和95．49％。     

中文分词和词性标注模型

构造一种中文分词和词性标注的模型,在分词阶段确定N个最佳结果作为候选集,通过未登录词识别和词性标注,从候选结果集中选优得到最终结果,并基于该模型实现一个中文自动分词和词性自动标注的中文词法分析器。经不同大小训练集下的测试证明,该分析器的分词准确率和词性标注准确率分别达到98.34%和96.07%,证明了该方法的有效性。     

中文分词及词性标注一体化模型研究

本文应用N-最短路径法，构造了一种中文自动分词和词性自动标注一体化处理的模型，在分词阶段召回N个最佳结果作为候选集，最终的结果会在未登录词识别和词性标注之后，从这N个最有潜力的候选结果中选优得到，并基于该模型实现了一个中文自动分词和词性自动标注一体化处理的中文词法分析器。初步的开放测试证明，该分析器的分词准确率和词性标注准确率分别达到98．1％和95．07％。