基于双侧语料评价模型的专业词汇识别算法

介绍了未登录词识别在自然语言理解中的地位，针对一类典型的未登录词——专业词汇的识别进行了详细分析和阐述，并根据专业词汇的特点提出了基于双侧语料评价模型的专业词汇算法。经过实验证明该算法具有良好的准确率和召回率。     

维吾尔语情感词汇自动识别

针对维吾尔语情感词汇获取难度大、人工扩充情感词汇工作量大且效率低的缺陷,结合维吾尔语主观文本语料的具体特点,分析维吾尔语情感词汇在情感语料中表现的特征,建立维吾尔语情感词汇的特征模板,利用条件随机场模型实现维吾尔语情感词汇的自动识别方法。实验结果验证该方法能有效自动识别情感词汇,降低人工识别情感词汇的工作量。     

领域词汇自动获取的研究

领域知识获取一直是文本处理中的关键技术。文中提出了一种基于大规模语料通过机器学习自动获取领域词汇的方法。这种方法独立于特定的领域,具有较好的移植性。文中扼要介绍了相关背景,详细阐述了该方法的实现,选取了两个领域的语料进行了实验,并对实验的结果进行了分析。     

领域词汇自动获取的研究

领域知识获取一直是文本处理中的关键技术.文中提出了一种基于大规模语料通过机器学习自动获取领域词汇的方法.这种方法独立于特定的领域,具有较好的移植性.文中扼要介绍了相关背景,详细阐述了该方法的实现,选取了两个领域的语料进行了实验,并对实验的结果进行了分析.     

基于领域语料的专业英语教学词汇建构

专业英语教学的目的在于提高学生在所学领域的国际交流能力。由于英语词汇的领域依赖性,通用的英语词汇表难以覆盖不同专业的需求。针对不同领域动态构建专业英语词汇表,可以帮助学生快速的提高专业英语能力。针对信管类学生的需求,以本领域内的科学文献作为语料,使用自然语言处理技术从语料中动态提取专业词汇。实验结果指出,传统词频法存在不足,而PMI方法则各有优劣,将词频法和PMI算法结合在一起后,获得的专业英语词汇表在文本覆盖率和专业词汇比例上都具有更好的表现,从而能更有效的建构专业英语词汇表。     

融合主题及上下文特征的汉缅双语词汇抽取方法

缅甸语属于低资源语言,网络中获取大规模的汉-缅双语词汇一定程度上可以缓解汉-缅机器翻译中面临句子级对齐语料匮乏的问题.为此,本文提出了一种融合主题及上下文特征的汉缅双语词汇抽取方法.首先利用LDA主题模型获取汉缅文档主题分布,并通过双语词向量表征将跨语言主题向量映射到共享的语义空间后抽取同一主题下相似度较高的词作为汉-缅双语候选词汇,然后基于BERT获取候选双语词汇相关上下文的词汇语义表征构建上下文向量,最后通过计算候选词的上下文向量的相似度对候选双语词汇进行加权得到质量更高的汉缅互译词汇.实验结果表明,相对于基于双语词典的方法和基于双语LDA+CBW的方法,本文提出的方法准确率上分别提升了11.07%和3.82%.     

情感词汇Ontology驱动的话题倾向性计算

针对"未然态"的舆情信息,挖掘网络热点、焦点及敏感话题,把握舆情动态,提高处置与监管网络突发事件能力等,是舆情分析的重要研究内容。对基于情感词汇Ontology的话题倾向性进行了研究。通过计算与情感词汇Ontology中情感词汇的语义相似度、统计话题语料中情感特征词汇的词频,计算语料中情感特征词汇的倾向性权重;根据情感特征词汇的倾向性权重计算话题倾向性强度和整体倾向性。最后在情感词汇Ontology指导下对话题中每篇语料的情感分类和倾向性强度进行规范化细粒度标注。     

面向综合语言知识库的知识融合与获取研究

针对如何填补语料库和电子词典的数据结构之间的差异,如何将语料库与电子词典融合到综合语言知识库系统中,并进行多语言知识资源之间的交叉参考等问题,提出并实现了一种便捷的语言知识查阅方法。该方法以语料库为基础,利用鼠标左键点击完成从电子词典中获取相关知识的操作。通过在北大语料检索工具上的实验,使得用户在浏览语料的同时即可获取电子词典中相应的词汇知识,实现了语料库和词典间便捷、准确的对应和参照,体现了此方法的优势。     

意见挖掘中产品特征的层次提取方法

意见挖掘中,产品特征层次的学习是其中重要的环节之一.为了更准确的学习产品特征层次,提出了一种从非规则与规则意见文本语料中对产品特征层次进行学习的算法.该算法能同时对包含专业描述的规则语料以及人为指定主题的非规则语料进行学习.利用文本特征词识别技术去除与主题相关度较差的词汇,并使用相对熵和语法结构分析方法从语料中产生出层次关系.实验结果表明,该算法能够较好地学习特征层次.     

面向司法领域的高质量开源藏汉平行语料库构建

面向司法领域的藏汉机器翻译面临严重的数据稀疏问题。该文从两个方面展开研究: 第一,相较通用领域,司法领域的藏语需要有更严谨的逻辑表达和更多的专业术语。然而,目前藏语资源在司法领域内缺乏对应的语料、稀缺专业术语词以及句法结构。第二,藏语的特殊词汇表达方式和特定句法结构使得通用语料构建方法难以构建藏汉平行语料库。因此,该文提出一种针对司法领域藏汉平行语料的轻量级构建方法。首先,采取人工标注的方法获取一个中等规模的司法领域藏汉专业术语表作为先验知识库,以避免领域越界而产生的语料逻辑表达问题和领域术语缺失问题;其次,从全国的地方法庭官网采集实例语料数据,例如,裁判文书。优先寻找藏文实例数据,其次是汉语,以避免后续构造藏语句子而丢失特殊的词汇表达和句式结构。基于以上原则采集藏汉语料构建高质量的藏汉平行语料库,具体方法包括: 爬虫获取语料,规则断章对齐检测,语句边界识别,语料库自动清洗。最终,该文构建了16万级规模的藏汉司法领域语料库,并通过多种翻译模型和交叉实验验证了构建的语料库具有高质量和鲁棒性等特点。另外,此语料库会开源以便相关研究人员用于科研工作。     

利用上下文信息的统计机器翻译领域自适应

统计机器翻译系统用于翻译领域文本时,常常会遇到跨领域的问题 当待翻译文本与训练语料来自同一领域时,通常会得到较好的翻译效果;当领域差别较大时,翻译质量会明显下降。某个特定领域的双语平行语料是有限的,相对来说,领域混杂的平行语料和特定领域的单语文本更容易获得。该文充分利用这一特点,提出了一种包含领域信息的翻译概率计算模型,该模型联合使用混合领域双语和特定领域源语言单语进行机器翻译领域自适应。实验显示,自适应模型在IWSLT机器翻译评测3个测试集上均比Baseline有提高,证明了该文方法的有效性。     

汉语交集型歧义切分字段关于专业领域的统计特性

交集型分词歧义是汉语自动分词中的主要歧义类型之一。现有的汉语自动分词系统对它的处理能力尚不能完全令人满意。针对交集型分词歧义,基于通用语料库的考察目前已有不少,但还没有基于专业领域语料库的相关考察。根据一个中等规模的汉语通用词表、一个规模约为9亿字的通用语料库和两个涵盖55个专业领域、总规模约为1.4亿字的专业领域语料库,对从通用语料库中抽取的高频交集型歧义切分字段在专业领域语料库中的统计特性,以及从专业领域语料库中抽取的交集型歧义切分字段关于专业领域的统计特性进行了穷尽式、多角度的考察。给出的观察结果对设计面向专业领域的汉语自动分词算法具有一定的参考价值。     

动态迁移实体块信息的跨领域中文实体识别模型

由于中文文本之间没有分隔符,难以识别中文命名实体的边界.此外,在垂直领域中难以获取充足的标记完整的语料,例如医疗领域和金融领域等垂直领域.为解决上述不足,提出一种动态迁移实体块信息的跨领域中文实体识别模型(TES-NER),将跨领域共享的实体块信息(entity span)通过基于门机制(gate mechanism)的动态融合层,从语料充足的通用领域(源领域)动态迁移到垂直领域(目标领域)上的中文命名实体模型,其中,实体块信息用于表示中文命名实体的范围.TES-NER模型首先通过双向长短期记忆神经网络(BiLSTM)和全连接网络(FCN)构建跨领域共享实体块识别模块,用于识别跨领域共享的实体块信息以确定中文命名实体的边界;然后,通过独立的基于字的双向长短期记忆神经网络和条件随机场(BiLSTM-CRF)构建中文命名实体识别模块,用于识别领域指定的中文命名实体;最后构建动态融合层,将实体块识别模块抽取得到的跨领域共享实体块信息通过门机制动态决定迁移到领域指定的命名实体识别模型上的量.设置通用领域(源领域)数据集为标记语料充足的新闻领域数据集(MSRA),垂直领域(目标领域)数据集为混合领域(OntoNotes 5.0)、金融领域(Resume)和医学领域(CCKS 2017)这3个数据集,其中,混合领域数据集(OntoNotes 5.0)是融合了6个不同垂直领域的数据集.实验结果表明,提出的模型在OntoNotes 5.0、Resume和CCKS 2017这3个垂直领域数据集上的F1值相比于双向长短期记忆和条件随机场模型(BiLSTM-CRF)分别高出2.18%、1.68%和0.99%.     

网页中商品“属性—值”关系的自动抽取方法研究

商品属性及其对应值的自动挖掘,对于基于Web的商品市场需求分析、商品推荐、售后服务等诸多领域有重要的应用价值。该文提出一种基于网页标题的模板构建方法,从结构化网页中抽取完整的商品“属性—值”关系。该方法包含四个关键技术 1)利用商品网页标题构建领域相关的属性词包;2)基于预设分隔符细化文本节点;3)结合领域商品属性词包获取种子“属性—值”关系;4)结合网页布局信息和字符信息来筛选与构建模板。该文的实验基于相机和手机两个领域展开,获得94.68%的准确率和90.57%的召回率。     

基于关系指数和表示学习的领域集成实体链接

本文针对现有方法不能很好结合文本信息和知识库信息的问题, 提出一种基于关系指数和表示学习的领域集成实体链接方法.首先, 本文构建了特定领域知识库; 其次, 运用表示学习从文本信息中得到的向量表示计算实体指称项的上下文、主题关键词、扩展词三个特征的相似度; 然后, 利用知识库中的关系信息计算候选实体的关系指数; 最后, 将这三种相似度及关系指数相融合, 用于实体链接. 实验结果表明, 相较于现有方法, 本文方法能够有效地提高F1值, 并且该方法不需要标注语料, 更加简单高效, 适应于缺少标注语料的特定领域.     

基于领域相关词汇提取的特征选择方法

传统文本分类中的文档表示方法一般基于全文本(Bag-Of-Words)的分析,由于忽略了领域相关的语义特征,无法很好地应用于面向特定领域的文本分类任务.本文提出了一种基于语料库对比领域相关词汇提取的特征选择方法,结合SVM分类器实现了适用于特定领域的文本分类系统,能轻松应用到各个领域.该系统在2005年文本检索会议(TREC,Text REtrieval Conference)的基因领域文本分类任务(Genomics Track Categorization Task)的评测中取得第一名.     

适用于特定领域机器翻译的汉语分词方法

在特定领域的汉英机器翻译系统开发过程中,大量新词的出现导致汉语分词精度下降,而特定领域缺少标注语料使得有监督学习技术的性能难以提高。这直接导致抽取的翻译知识中出现很多错误,严重影响翻译质量。为解决这个问题,该文实现了基于生语料的领域自适应分词模型和双语引导的汉语分词,并提出融合多种分词结果的方法,通过构建格状结构(Lattice)并使用动态规划算法得到最佳汉语分词结果。为了验证所提方法,我们在NTCIR-10的汉英数据集上进行了评价实验。实验结果表明,该文提出的融合多种分词结果的汉语分词方法在分词精度F值和统计机器翻译的BLEU值上均得到了提高。     

RAISING COMMUNITY AWARENESS ABOUT THE ENVIRONMENT THROUGH DYNAMICALLY GENERATED STORIES

This paper discusses issues raised in the design of a dynamically generated Web-based natural history encyclopedia for children. The novelty of our proposal is the dynamic creation of encyclopedia entries using domain-specific middleware to access biological and ecological readers (users) with tailored reports summarizing information drawn from distributed datasets. A prerequisite, however, is a domain-dependent standardized data labeling system. Our project will piggyback on the host of projects currently developing metalabeling frameworks to dynamically create stories which are peopled by creatures from biological collections, are set in locations of local or other interest to the site visitor, and use scenarios based on relevant ecosystems. The underlying scientific databases provide a much broader range of subject matter (species and locations) that would not otherwise be feasible and alleviate content maintenance problems that beset community Web sites or professional encyclopedias. To incorporate such information in the sorts of format expected in a children's encyclopedia involves developing sets of “story” templates, rules for selection of a template, and rules for design of the multimedia presentation of the story. It also requires comprehensive labeling systems for data in the scientific databases.     

Domain-specific Chinese word segmentation using suffix tree and mutual information

As the amount of online Chinese contents grows, there is a critical need for effective Chinese word segmentation approaches to facilitate Web computing applications in a range of domains including terrorism informatics. Most existing Chinese word segmentation approaches are either statistics-based or dictionary-based. The pure statistical method has lower precision, while the pure dictionary-based method cannot deal with new words beyond the dictionary. In this paper, we propose a hybrid method that is able to avoid the limitations of both types of approaches. Through the use of suffix tree and mutual information (MI) with the dictionary, our segmenter, called IASeg, achieves high accuracy in word segmentation when domain training is available. It can also identify new words through MI-based token merging and dictionary updating. In addition, with the proposed Improved Bigram method IASeg can process N-grams. To evaluate the performance of our segmenter, we compare it with two well-known systems, the Hylanda segmenter and the ICTCLAS segmenter, using a terrorism-centric corpus and a general corpus. The experiment results show that IASeg performs better than the benchmarks in both precision and recall for the domain-specific corpus and achieves comparable performance for the general corpus.