汉语译文中标点符号使用特征：基于语料库的研究

书面汉语中的标点符号与英语中的标点符号相比,有相同之处,也有不同的地方。在翻译过程中,译者常会遇到源语标点符号在译文中如何处理的棘手难题。源语中的标点符号表达的是特定语境下的语气与句法意义,如果随便将源语中的标点符号直接套用到译语中,这可能导致译语读来拗口、生硬,有时候甚至会出现歧义。可以说,译文中的标点符号是一种翻译腔标记。从汉语可比语料库（LCMC与ZCTC）中标点符号的使用情况,发现在翻译过程中英语部分标点符号的用法直接渗透到汉语中来,造成了汉语标点符号用法趋于英式化。对汉语中特有的顿号在两语料库中的分布进行了比较,发现汉语母语语料库中顿号的使用频率远远高于其在汉语译语语料库中的使用频率,表明这是受“源语透过效应”的影响。     

Generating Chinese named entity data from parallel corpora

Annotating named entity recognition (NER) training corpora is a costly but necessary process for supervised NER approaches. This paper presents a general framework to generate large-scale NER training data from parallel corpora. In our method, we first employ a high performance NER system on one side of a bilingual corpus. Then, we project the named entity (NE) labels to the other side according to the word level alignments. Finally, we propose several strategies to select high-quality auto-labeled NER training data. We apply our approach to Chinese NER using an English-Chinese parallel corpus. Experimental results show that our approach can collect high-quality labeled data and can help improve Chinese NER.     

一种基于海量语料的网络热点新词识别方法

基于海量语料的热点新词识别是汉语自动处理领域的一项基础性课题,因要求快速处理大规模语料,且在新词检测中需要更多智力因素,在研究中存在较多困难。构建了一个基于海量语料的网络热点新词识别框架,整合了所提出的基于逐层剪枝算法的重复模式提取,基于统计学习模型的新词检测及基于组合特征的新词词性猜测等3个重要算法,用以提高新词识别的处理能力和识别效果。实验和数据分析表明,该框架能高效可靠地从大规模语料中提取重复模式,构造候选新词集合,并能有效实施新词检测和新词属性识别任务,处理效果达到了目前的较好水平。     

Web新闻语料分词和标注错误分析

通过分析Web突发事件语料库文本的加工统计得出11类错误类型,并对其中的一些错误提出了解决方案。研究结果不仅对语料库加工初期分词、标注方法的改进有启发作用,而且对中文的自动校对方法,提供一定的借鉴。