中文文本词性自动校对系统的实现

提出了一种从正确标注的训练语料中自动获取兼类词词性较对规则的方法 ,并设计和实现了相应的词性自动校对系统。通过对中文文本进行自动校对 ,进一步提高其词性标注质量     

语料库词性标注一致性检查方法研究

在对大规模语料库进行深加工时,保证词性标注的一致性已成为建设高质量语料库的首要问题。本文提出了基于聚类和分类的语料库词性标注一致性检查的新方法,该方法避开了以前一贯采用的规则或统计的方法,利用聚类和分类的思想,对范例进行聚类并求出阈值,对测试数据分类来确定其标注的正误,进而得出每篇文章的词性标注一致性情况,进一步保证大规模语料库标注的正确性。     

基于加权类轴的Web文本分类方法研究

为了更有效的组织Intemet上丰富的信息资源，通过分析传统的近邻文本分类方法技术以及web文本的特点，提出了一种新的简单有效的网页分类方法。该方法充分利用了web文本的结构信息进行特征词加权，以类轴向量为核心构建分类器。实验表明，此方法具有较高的准确率和召回率。     

基于粗糙集的文本分类方法研究

本文旨在利用粗糙集优越的约简理论对文本进行分类。主要完成了以下几个方面的任务:对文本进行了预处理;改进了Okapi 权重计算公式,并对权值进行了离散化;实现了属性约简和规则抽取,首先利用区分矩阵对特征向量维数进行了初次压缩,然后通过相对约简计算再次压缩了特征向量维数,并生成了决策规则;采取了规则合成的策略,生成最终的决策规则;设计了一种文本与规则的匹配算法,使匹配过程尽可能简单有序。试验结果表明该方法是行之有效的。     

基于遗传算法和隐马尔可夫模型的Web信息抽取的改进

直觉模糊蕴涵是直觉模糊推理的重要基础,为直觉模糊集在不确定信息系统下推理和决策中的应用提供了理论基础。对直觉模糊蕴涵进行了研究。首先回顾了直觉模糊的有关基础知识,在此基础上构造了一种新的广义的直觉模糊蕴涵,证明了其单调性、边界性等系列重要性质,最后证明了该蕴涵可构成直觉模糊剩余格。     

中文文本语料库分词一致性检验技术的初探*

对大规模语料库中的分词不一致现象进行分析,提出了语料库分词一致性检查和校对的新方法。该方法提取词与词之间语法、语义搭配信息,利用支持向量机的理论对候选序列进行判断,给出一个切分结果,进而提高汉语语料库切分的准确率。     

规则与统计相结合的分词一致性检验

建设高质量的大规模语料库是中文信息处理领域的基础性工程,保证语料库分词结果的一致性是衡量语料库分词质量的重要标准之一.在分析了大量的语料库切分不一致现象后,提出了规则与统计相结合的分词一致性检验的新方法.与以往单一的处理方法相比,该方法更具针对性的对语料库中存在的各种不同的分词不一致现象分别进行处理,能够更加有效的解决分词不一致问题,进一步保证语料库的质量.     

基于HMM的中国组织机构各自动识别

以2000年11－12月《人民日报》网页中涉及社会，经济、法律等内容的50万汉字语料为基础，利用基于隐马尔可夫模型并结合概念估值公式来评价在真实广西中构成组织机构名的能力，实现了中国组织机构名自动识别系统，实验研究表明准确率达89％，召回率为94．5％。     

分词及词性标注一致性校对系统的设计与实现

针对真实语料中分词、词性标注结果前后不一致的现象提出了基于规则库的校对方法与策略 ,设计了一致性校对系统 ,进一步提高分词、词性标注的正确率。     

基于聚类的语料库分词评价方法研究

对大规模汉语文本语料库分词正确率的评价提出了新的见解，即在分层抽样基础上对文本样本进行聚类．通过聚类可提高检验精度或减少样本量．该方法采用了一种新的样本相似性度量公式，该公式综合考虑了样本向量间的距离和样本向量各分量之间的线性相关性．通过对聚类结果的动态评价，调整聚类的类别数和相似性因子，提高了聚类的效率和质量．实验表明该方法在评价大规模语料库分词正确率时取得了很好的效果。