基于中文词编码的压缩算法ZHCP的实现

本文提出并实现了一个基于词编码的ZHCP中文文本压缩算法，通过大量的对相同文本分别使用传统编码算法与ZHCP算法压缩后得到的结果数据对比，表明基于词编码的ZHCP压缩算法有较好的压缩效果。     

基于规则的中文零指代项识别研究

提出了一个基于规则的中文零指代项识别方法,即输入一个句法分析树,根据这个句法分析树得到当前词的最小IP子树,再依据得到的IP子树提出中文零指代识别的一些规则。所用的语料是Ontonotes。从实验结果可以看到,该方法在标准的句法分析树上F值能达到82.45%,在自动句法树上其也能达到66.45%。从实验结果可以看出,该方法在中文零指代识别上具有很好的性能。     

基于PDC编码的中文文本压缩算法

针对中文文本结构的特点以及传统压缩算法对中文文本压缩的不足,提出并实现了一个基于PDC编码的中文文本压缩算法。该算法采用的是字典压缩方式。根据单个汉字在中文文本出现的概率,采用Huffman编码方式进行前缀变长编码;定义由某个汉字为前缀的词组和短语的深度;对具有相同前缀和相同深度的词组和短语进行局部的定长编码,构成一部压缩编码字典。通过对相同文本分别使用该算法和传统的LZW和LZSS编码算法压缩后得到的数据结果对比,压缩率有2.53%~40.48%的提高,表明该压缩算法有较好的压缩效果。     

用于中文缺省识别研究的机器学习方法

实现一个基于机器学习的中文缺省项识别系统,对语料库进行预处理,选取多个特征及其组合,通过支持向量模型(SVM)构建的缺省识别模型进行中文缺省识别。研究系统在不同句法分析树上的性能。实验结果证明,该识别系统在标准的句法分析树上F值能达到84.01%,在自动句法树上能达到68.22%。     

基于词性组合规则改进的中文句子极性判断方法

介绍基于词性组合规则改进的中文句子极性判断方法,提出一种基于半监督学习的中文句子极性判断框架。在传统的完全基于情感词典方法的基础上,结合词性组合规则这一重要特征对中文句子进行极性判断。首先,分析中文句子中情感短语、情感词语的词性组合规则。然后,将情感短语、情感词语的词性组合规则用于中文句子极性判断。根据词性组合规则集抽取评测句子中的候选情感短语、情感词语;而后,计算句子的情感信息总量和句子的情感值,根据句子的情感信息总量将句子分为主观句、客观句,根据句子的情感值将主观句子分为积极情感句、消极情感句、中立情感句。实验结果证明,该方法在主客观分类上F值较高,可以达到77.4%;在主观句情感分类上,可达到的F值为62.5%。相比较于已有方法,基于词性组合规则改进的中文句子极性判断方法的F值有了明显的提高。     

基于N-gram超核的中文倾向性句子识别

倾向性句子识别是文本倾向性分析的重要组成部分,其目的是识别文档中具有情感倾向的主观性句子。中文句子的倾向性不仅与倾向词有关,而且还跟句法、语义等因素有关,这使得倾向性句子识别不能简单地从词语的倾向性来统计得到。该文提出了一种基于N-gram超核的中文倾向性句子识别分类算法。该算法基于句子的句法、语义等特征构造N-gram超核函数,并采用基于该超核函数的支持向量机分类器识别中文倾向性句子。实验结果表明,与多项式核、N-gram核等单核函数相比,基于N-gram超核的中文倾向性句子识别算法在一定程度上能有效识别倾向性句子。     

基于长度的扩展方法的汉英句子对齐

本文提出了一种用于汉英平行语料库对齐的扩展方法。该扩展方法以基于长度的统计对齐方法为主,然后根据双语词典引入了词汇信息,而基于标点的方法作为对齐的后处理部分。这种扩展方法不仅避免了复杂的中文处理,例如,汉语分词和词性标注,而且在统计方法中引入了关键词信息,以提高句子对齐的正确率。本文中所用的双语语料是LDC 的关于香港的双语新闻报道。动态规划算法用于系统的实现。和单纯的基于长度的方法和词汇方法相比,我们的扩展方法提高了句子对齐的正确率,并且结果是比较理想的。     

基于HNC理论和依存句法的句子相似度计算

句子相似度计算是自然语言处理的重要研究内容。运用自然语言处理的概念层次网络（HNC）理论和依存句法理论提出一种句子相似度的计算方法。该方法认为句子的相似度是由词语的语义相似度和句法结构相似度共同决定的,利用HNC理论词汇层面联想的概念表述体系来计算词语之间的相似度,利用依存句法理论来获取句子中词语的词语搭配和构成特征,与现有典型的句子相似度算法和人工判断进行了比较。实验结果表明,该方法能够较好地反应句子之间的语义差别,是一种可行有效的方法。     

基于最小序句子的上下文无关语言句子枚举

形式规约获取系统SAQ和一些形式化验证系统中常常需要枚举上下文无关语言的句子,现有的枚举方法较少且效率较低,以上下文无关语言L(G)的最小序句子和最大序句子为基础,从最小序句子开始按照一定的顺序扫描字符串,直至扫描到最大序句子为止,对被扫描的字符串进行判断取舍,在扫描的过程中采用削减和前瞻策略,很大程度上减少了被扫描的字符串个数,可以取得较好的时空性能,实验数据表明,基于最小序句子的枚举方法比其他上下文无关语言句子枚举方法具有更高的效率。     

Heuristic compression of an English word list

The goal of the project was to design and implement an English word‐list representation suitable for spell‐checking in space‐constrained environments. The compression algorithm was derived by statistically analyzing the word list. A compression ratio of 18% was achieved through a combination of prefix and suffix encoding. The compressed file can be randomly accessed by prefix marker positions. A simple spell‐checker based on the encoding was implemented and tested in Java. Copyright © 2005 John Wiley & Sons, Ltd.     

一种基于局部歧义词网格的快速分词算法

提出了局部歧义词网格的概念,针对汉语分词中的覆盖歧义,提出了一种使用迭代算法训练覆盖歧义词典的算法,得到覆盖歧义候选词条词典。在此基础上提出了一种基于局部歧义词网格的、能够检测汉语分词过程中产生的组合歧义和覆盖歧义的分词算法,该算法仅考虑存在歧义的局部歧义词网格,并将对覆盖歧义的处理简化为查询覆盖歧义候选词典,因此,该算法的时间复杂度大幅下降。实验结果表明,该算法能够实现快速的汉语分词,且其分词正确率能够达到97%以上。     

融合词性特征的中文句子相似度计算方法

为解决近年来使用依存分析等语法信息计算句子相似度存在的手工标注代价较大、自动标注准确率低影响性能等问题,结合现有的句子相似度算法,提出两种方法融合词性特征计算句子相似度。在高精度的自动词性标注基础上,方法一通过词性信息调整不同词性的单词对句子相似度的影响,方法二使用词性信息选择句子中较为关键的单词进行计算。对比实验中,方法一在实验任务中取得了最高的准确率,方法二具有较优的准确率和较快计算速度,实验结果表明了两种方法的有效性。     

基于交叉覆盖算法的中文分词

中文分词是自然语言处理的前提和基础,利用分类效果较好的交叉覆盖算法实现中文分词.将中文分词想象成字的分类过程,把字放入向前向后相邻两个字这样一个语境下判断该字所属的类别,是自己独立,或是跟前一字结合,或是跟后一字结合,或是跟前后的字结合.对人民日报熟语料库进行训练,不需要词典,可以较好地解决中文分词中的交叉歧义问题,分词正确率达90.6%.     

基于汉语情感词表的句子情感倾向分类研究

提出了一种基于汉语情感词词表的加权线性组合的句子情感分类方法。该方法通过已有的五种资源构建了中文情感词词表,并采用加权线性组合的句子情感分类方法对句子进行情感类别判断。实验结果表明,直接利用词汇语言粒度的句子情感分类综合F值为78.62％,若加入了否定短语语言粒度后,句子情感分类的综合F值提高了4.14％。     

Improving neural sentence alignment with word translation

Sentence alignment is a basic task in natural lan-guage processing which aims to extract high-quality paral-lel sentences automatically.Motivated by the observation that aligned sentence pairs contain a larger number of aligned words than unaligned ones,we treat word translation as one of the most useful external knowledge.In this paper,we show how to explicitly integrate word translation into neural sentence alignment.Specifically,this paper proposes three cross-lingual encoders to incorporate word translation:1)Mixed Encoder that learns words and their translation annotation vectors over sequences where words and their translations are mixed alterma-tively;2)Factored Encoder that views word translations as fea-tures and encodes words and their translations by concatenating their embeddings;and 3)Gated Encoder that uses gate mechanism to selectively control the amount of word translations moving forward.Experimentation on NIST MT and Opensub-titles Chinese-English datasets on both non-monotonicity and monotonicity scenarios demonstrates that all the proposed encoders significantly improve sentence alignment performance.     

中文垃圾邮件过滤系统中的实时分词算法设计

在基于内容的中文反垃圾邮件技术中,中文分词是必不可少的一个环节。面对大规模的邮件训练样本和大负载的邮件服务器,中文分词算法的时间效率成为中文垃圾邮件过滤技术中的一个瓶颈。对此,提出一种应用在中文垃圾邮件过滤系统中的实时分词算法。该算法采用一种TRIE树型结构作为词典载体并基于最大匹配的原则,同时,在实时分类阶段结合hash表进行特征查询,极大地提高了系统的时间效率。     

基于转折句式的文本情感倾向性分析

在文本的情感倾向性研究中缺乏对多种情感共现的转折句式的有效分析,为此提出一种专门对转折句式进行有效情感倾向性分析的方法。充分分析汉语中转折句式的结构特点,通过已有资源构建中文情感词典、转折词表、否定词表,依据转折句式中转折词、否定词、情感词的组合规律提出用于进行情感分析的启发式规则。在公开语料库的实验中,该方法能更好地对转折句式进行情感倾向性分析,将此规则融入到传统的朴素贝叶斯情感分类模型后,能获得更高的情感分析精度。     

基于组合词和同义词集的关键词提取算法*

为了提高关键词的提取准确率,在对现有关键词抽取方法进行研究的基础之上,针对影响关键词提取准确率的分词技术、同义词现象等难点,提出了一种基于组合词和同义词集的关键词提取算法。该算法首先利用组合词识别算法极大地改进分词效果,能识别网页上绝大多数的新词、未登录词,为提高关键词自动抽取准确率奠定了坚实的基础;同时利用构造的同义词集,合并同义词的词频,避免了同义词在输出结果中同现;利用综合评分公式,充分考虑候选关键词的位置、长度、词性等特性。实验数据表明,该方法有较高的提取准确率。