基于Lattice-LSTM的多粒度中文分词

中文分词是中文信息处理领域中的一项关键基础技术,而多粒度分词是中文分词领域较新的研究方向。针对多粒度中文分词任务,该文提出一种基于Lattice-LSTM的多粒度中文分词模型,在传统基于字的多粒度中文分词模型基础上,加入了多分词粒度的词典信息。与传统模型相比,所提出的模型在网格结构的辅助下,对不同粒度的分词标准都有较强的捕捉能力,且不局限于单一的分词标准。实验表明,该文提出的方法在多粒度中文分词方向取得了目前最好的结果。     

基于图注意力网络字词融合的中文命名实体识别

命名实体识别指识别文本中具有特定意义的实体,是自然语言处理诸多下游任务的重要基石。在命名实体识别任务中,协同图网络（CGN）模型通过引入多个图注意力网络获得较强的知识整合能力及较高的处理速度,但CGN模型在嵌入层中没有充分利用词边界信息,且采用的传统静态图注意力网络影响了图注意力的表达能力。在对CGN模型的图注意力网络进行改进的基础上,提出一种中文命名实体识别新模型,在嵌入层融入词语的分词信息,以生成包含词边界信息的字向量,从而充分利用词边界信息。通过在编码层使用BiLSTM模型获取文本的上下文信息,采用改进后的图注意力网络提取文本特征,并通过优化传统图注意力网络中相关系数的计算方式,增强模型的特征提取能力。最后,利用条件随机场对文本进行解码,从而实现对实体的标注。实验结果表明,该模型相比CGN模型在MSRA、OntoNotes4.0、Weibo数据集上的F1值分别提升了0.67%、3.16%、0.16%,验证了其在中文命名实体识别任务上的有效性。     

中文分词中组合型切分歧义的消解研究

针对中文自动分词中组合型歧义消解难的问题,提出了一种新的切分算法来对组合型歧义字段进行消歧。该算法首先自动从训练语料中提取歧义字段的上下文信息来建立规则库,然后利用C-SVM模型结合规则对组合型歧义字段进行歧义消解。最后以1998年1月《人民日报》语料中出现的组合型歧义字段进行训练和测试,实验显示消歧的平均准确率达89.33%。     

汉蒙统计机器翻译中的形态学方法研究

该文将形态学方法引入到汉蒙统计机器翻译的研究中,尝试解决译文词形选择及语序混乱问题。首先介绍语料库的准备对原始汉蒙平行语料库进行词法分析及标注,得到两组基础语料库,再由基础语料库生成两组用于形态学实验的派生语料库。其次阐述统计模型的训练,包括语言模型、翻译模型及生成模型。同时讨论了解码的扩展问题。最后重点分析两组形态学方法实验词素模型实验和factored方法实验。结果表明,相对于基线(baseline)实验,引入形态学方法后两组实验的BLEU评分均有所提高,译文词形选择及语序混乱问题得到了一定程度的解决。     

基于统计信息的未登录词的扩展识别方法

该文提出一种基于网络资源的未登录词的扩展识别方法。该方法以左右邻信息判断未登录词边界为基础对已识别出的二元候选未登录词种子进行扩展,从而得到不限长度的语义更完整的未登录词。实验证明该文方法可行有效。     

ECMail:基于实体发现、查找和管理的中文邮件管理系统

随着个人用户的数据和信息级数增长,个人信息管理的研究成为热点.电子邮件作为个人信息的重要载体在个人信息业务中占据着重要的地位.随着个人信息的增加,用户在对邮件进行查询时经常遇到遗忘关键字的困扰,对此普通的邮件工具很难为用户组织和管理个人信息提供帮助.提出了一个基于实体发现、查找和管理的中文邮件管理系统--ECMail,有效改善了以上问题,同时对关键技术-中文分词、实体挖掘和实体关联管理的实现提出了自己的想法和处理机制,最终达到了提高用户邮件管理效率的目的.     

一种有效解决汉语歧义切分的方法

本文提出了一种通过有向图和统计加规则的多层过滤方法来有效解决汉语分词过程中的交集型歧义切分问题,该方法大大提高了切分的正确率。经过六万五千字的开放语料测试,我们统计了其对交集型歧义字段的切分结果,发现该方法对交集型歧义字段的切分正确率为98.43%,以上数据表明该方法在解决汉语交集型歧义字段的问题时是行之有效的。     

二层SA/GA算法解决时间依赖中国邮路问题

中国邮路问题是图论中的经典问题,得到了深入研究和广泛应用。近年来,由于计算机网络与通信、智能交通系统等复杂应用领域的需求,研究时间依赖网络中的问题具有更为重要的现实应用意义。首先给出了时间依赖中国邮路问题的定义,然后证明了传统中国邮路问题的定理在时间依赖中国邮路问题中不成立,最后设计了二层SA/GA算法(模拟退火/遗传算法)来解决该问题,对随机产生的实例进行了测试,并根据问题下界对算法结果进行了分析。     

Remarks on different reviews of Chinese character recognition

This paper gives an introduction and remarks on two review papers for Chinese character recognition. One review is made by Chinese authors, another is from American scientists. They investigate Chinese character from different language environments; they do the research from different points of view. Thus, a more comprehensive view on Chinese character recognition, which is an important branch of pattern recognition, can be provided to the readers. Meantime, one article pays attention to online process, and other paper deals with offline recognition, which complement each other. The author is the Associate Editor-in-Chief of Frontiers of Computer Science in China     

GB18030汉字信息的二维条码拆分迭代编码算法

为了解决二维码在证件类应用中常常面临的冷僻字编码问题，以GB18030字符集为对象分析汉字编码特点，提出基于该标准的汉字与ASCII混合信息的PDF417编码方法。并针对当前广泛应用的16位编程工具，结合实例给出了一种拆分迭代编码算法来实现字节压缩模式，它能够在保证较高编码效率的基础上有效节省编码存储空间。