基于多特征的自适应新词识别

为提高自动分词系统对未登录词的识别性能,提出和实现了一种基于多特征的自适应新词识别方法,综合考虑了被处理文本中重复字符串的上下文统计特征(上下文熵)、内部耦合特征(似然比)、背景语料库对比特征(相关频率比值)以及自动分词系统辅助的边界确认信息等,并直接从被抽取文本中自动训练识別模型．同时,新词识别过程在字串PAT-Array数据结构上进行,可以抽取任意长度的新词语．实验结果表明,该方法新词发现速度快、节省存储空间．     

基于半CRF模型的百科全书文本段落划分

介绍了基于半条件随机域(semi-Markov conditional random fields,简称semi-CRFs)模型的百科全书文本段落划分方法.为了克服单纯的HMM模型和CRF模型的段落类型重复问题,以经过整理的HMM模型状态的后验分布为基本依据,使用了基于词汇语义本体知识库的段落开始特征以及针对特定段落类型的提示性特征来进一步适应目标文本的特点.实验结果表明,该划分方法可以综合利用各种不同类型的信息,比较适合百科全书文本的段落结构,可以取得比单纯的HMM模型和CRF模型更好的性能.     

DCLISP系统

DCLISP是北京计算机学院人工智能研究室研制的一种LISP方言,已实现在1BMPC/XT,VICTOR-9000机器上.它对传统LISP的语法和语义作了扩充,并增加了一系列新机制,其中主要的是按模式传递参数的机制,动态编译机制,以及可控制的约束机制.     

应用二叉树剪枝识别韵律短语边界

句子的韵律短语识别是语音合成的重要研究内容。本文提出了应用统计语言模型生成的二叉树,结合最大熵方法识别待合成汉语句子的语音停顿点。文中给出了二叉树相关的模型训练和生成算法;二叉树与语音停顿点之间的关系;在最大熵方法中应用二叉树剪枝识别句子的韵律短语。实验结果表明,在搜索算法中,利用二叉树进行剪枝,可以很大程度上提高语音停顿预测的正确率和召回率,基于试验数据的f-Score提高了近35%。     

基于串行关系下的粗糙集理论

串行关系是能区分上下近似的最低要求.本文在串行关系下研究粗糙集理论,讨论串行粗糙集的特征性质及计算方法,并把相关结论推广到串行粗槌模糊集上,得出串行粗糙模糊集上下近似算子的有趣性质和简洁算法.     

基于互连网的术语定义获取系统

文中介绍了一个实验性的基于互联网的术语定义获取系统,可以方便、迅速的从互连网上查找术语的定义以及与定义有关的内容,给用户迅速获得新生术语以及新技术词汇的定义方面的知识提供方便。系统采用一组术语定义的语言学模式,以多线程方式高效下载网页,并从中匹配符合术语定义模式的文本段落,再经一定后续处理,形成返回给用户的结果。系统中使用的语言学模式是在一定量的科技期刊语料库中获取的。试验结果表明系统的运行效率高,结果的准确度比较令人满意。     

基于HMM的百科辞典文本中旬子的知识点分类

在百科全书条目文本中，往往以几个不同的侧面说明一个条目，一个侧面构成有关这一条目的一个知识点。知识点是一般文本处理领域中话题这一概念在百科全书文本中的具体表现。属于同一个类型的条目文本中总是重复出现有限的几个知识点，这些知识点构成了有关该类型的知识点集合，并且这些知识点在该类型不同的条目文本中的分布有较强的规律性。在条目文本中识别出对应的知识点序列是百科全书中知识提取过程的重要一环。该文提出了一种基于隐马尔科夫(HMM)模型的方法，利用知识点在条目文本中的转移规律以及知识点的词特征分布来判断每个句子的知识点类别。实验表明这个方法能取得较好的结果，在《中国大百科全书》地理卷的中国县市类型的条目文本中的实验结果的正确率为91．8％。     

基于“固结词串”实例的中文分词研究

近几年的中文分词研究中,基于条件随机场(CRF)模型的中文分词方法得到了广泛的关注。但是这种分词方法在处理歧义切分方面存在一定的问题。CRF虽然可以消除大部分原有的分词歧义,却会带来更多新的错误切分。该文尝试找到一种简单的、基于“固结词串”实例的机器学习方法解决分词歧义问题。实验结果表明,该方法可以简单有效的解决原有的分词歧义问题,并且不会产生更多新的歧义切分。     

现代汉语分词系统通用接口设计与实现

现代汉语文本自动分词是中文信息处理的重要基石,为此提供一个通用的分词接口是非常重要的。本文提出了通用分词接口的目标,论述了它的原理和设计方案。该系统已经初步实现。     

汉英机器翻译中描述型复句的关系识别与处理

汉英机器翻译的复句处理不仅要依托于单句的处理,而且还要超越单句的辖域,深入考察复句内分句之间的内在联系.其中,在汉语描述型复句中存在着大量的无特定语言标记的非并列关系复句,为了辨别其中的内在联系,实现英语译文的正确生成,针对不同情况,给出了完整的关系判定规则,并提出采用中心分句动态判定方法来解决部分复句处理规则局部性的问题,最后通过实验系统得以验证.