综合型语言知识库的建设与利用

语言知识库的规模和质量决定了自然语言处理系统的成败。经过18年的努力,北京大学计算语言学研究所已经积累了一系列颇具规模、质量上乘的语言数据资源:现代汉语语法信息词典,大规模基本标注语料库,现代汉语语义词典,中文概念词典,不同单位对齐的双语语料库,多个专业领域的术语库,现代汉语短语结构规则库,中国古代诗词语料库等等。本项研究将把这些语言数据资源集成为一个综合型的语言知识库。集成不同的语言数据资源时,必须克服它们之间的“缝隙”。规划中的综合型语言知识库除了有统一的友好的使用界面和方便的应用程序接口外,还将提供支持知识挖掘的工具软件,促使现有的语言数据资源从初级产品形式向深加工产品形式不断发展;提供多种形式的知识传播和信息服务机制,让综合型语言知识库为语言信息处理研究、语言学本体研究和语言教学提供全方位的、多层次的支持。     

“综合型语言知识库”获国家科技进步奖二等奖

北京大学计算语言学研究所研制的综合型语言知识库(Comprehensive Language KnowledgeBase,简称:CLKB)继近几年连续获得政府部门和全国性学术团体的奖励之后,更上一层楼,又获得2011年度国家科学技术进步奖二等奖(证书号:2011-J-220-2-02).第一完成人俞士汶教授参加了今年2月14日在北京举行的国家科学技术奖励大会.     

描述性语言与知识库系统

1．引言 在数据库领域,由于描述性语言SQL的成功使用,描述性更加受到重视[1,2,3,4]。描述性语言Data-log的提出,使得一些学者认为知识库语言应该是描述性的程序设计语言[4]。然而多年来的研究,不但没有开发出一个描述性的知识库程序设计语言,而且还阻碍了知识库的实用化[5]。本文研究了描述性与逻辑语言、知识库语言之间的关系,提出了三个观点：1)描述性语言是计算不完备的,因此不能作为独立的程序设计语言；2)逻辑语言是描述性语言的合适形式；3)追求语言的描述性是知识库系统实用化的障碍之一。     

建设综合型语言知识库的理念与成果的价值

积20余年之努力与锤炼,北京大学计算语言学研究所完成的一项科研成果“综合型语言知识库”于2007年2月通过了教育部组织的技术鉴定。鉴定结论认为“其规模、深度、质量和应用效果在我国语言工程实践中是前所未有的。该成果是以汉语为核心的多语言知识库建设中最全面、最重要的研究成果,总体上达到了国际领先水平”。本文在介绍以《现代汉语语法信息词典》为基础的综合型语言知识库的规模、构成、内容、品质和发展历程之后,陈述建设综合型语言知识库的理念,期望与读者分享在计算语言学和自然语言处理这一交叉学科领域内治学的心得与研发的经验。同时也对这项成果的应用实例进行分析,评估它的应用潜力,期望它在以汉语为核心的多语言信息处理事业的发展中起到铺路填坑或者投石问路的作用。     

蒙古语语言知识库的建立与应用

建立一个较为完整的、能够为自然语言处理系统提供知识支撑的语言知识库是蒙古文信息处理当务之急。目前蒙古语语言知识库建设已取得阶段性成果,知识库已初具规模,但也仍然存在一些亟待解决的理论和技术问题。该文对蒙古语语言知识库的主要结构和内容,蒙古语语言知识库的应用,尚待解决的问题进行介绍和探讨。     

基于本体的机械工艺知识库构建方法

提出一种基于本体技术的机械工艺领域工艺知识库构建方法。首先对机械领域工艺知识进行了定义和分类,然后利用本体技术实现了工艺知识库定义与构建,并通过网络本体语言实现了工艺知识本体库的描述。该方法可以实现工艺知识的规范明确描述,并在一个较高的平台上提供知识重用和系统架构。     

汉字语法语义智能输入法搭配库的设计与实现

为提高输入法的智能性,对供输入法使用的搭配知识库进行了研究.介绍了汉字语法语义智能输入法及其改进的功能,在对语料库中搭配知识分析的基础上,结合输入法中搭配知识的使用,对现有的统计语言模型进行了改进,并给出了词语搭配知识库,语法搭配知识库和语义搭配知识库的关键结构,利用改进后的统计语言模型和语法语义搭配知识,对各搭配知识库进行了算法实现,最后给出了各个搭配知识库的部分实验结果并对其进行了分析.     

新一代网络语言Wiki

在国外,新一代网络语言Wiki已经广泛应用于建立网络知识库,但国内的研究和应用刚刚起步,出现了如维基百科、天下维客等网络知识库。首先介绍了Wiki语言的来源、发展历史;然后详细叙述了Wiki语言的实现机制,并与HTML语言作了简单的比较;最后列举了主流的Wiki语言的实现平台———Wiki引擎,并给出了基于现有Wiki引擎的Oracle网络知识库示例。     

基于规则的面向对象数据库查询语言

一、引言 八十年代中期兴起的面向对象数据库和知识库己成为当今数据库技术发展的两重要方向。自出现以来.它们沿着不同的道路独立发展,各自都取得了许多成果.知识库的研究是型的理论驱动的,着重研究基于规则的查询语言(如斯坦福大学的     

Python语言在水文水资源领域中的应用与展望

Python编程语言逐渐成为各领域中应用前景广阔的数据分析工具。然而,在水文水资源领域中利用Python语言进行科学分析的研究较少。介绍了常用于水文水资源领域的Python库;基于Python语言的主要研究方向和应用场景,从网络爬虫、数据分析、深度学习和Web开发4个方面综述了Python语言在水文水资源领域的主要研究内容;归纳了深度学习运用在水文水资源领域的常见算法;从自动预测、边缘计算、虚拟现实技术、强化学习和迁移学习等方面进行了展望,期望以Python语言实现的前沿计算机技术为动力,促进水文水资源领域的快速发展。     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,...     

自然语言训练的机器人基本行为控制器

本文探索了一种直接利用自然语言进行机器人运动技能训练的控制方法， 提出了利用模糊神经网络结构作为基本行为控制单元，通过教师的自然语言指令完成针对某 一特定行为的运动经验获取和控制器训练，这是一种更加自然的控制器构造方式，以基本运 动单元为基础，可以进一步实现机器人复杂任务的语言编程与控制．所提控制方法最终在一 个轮式移动机器人系统上进行了语言训练实验．     

C语言程序设计语法知识体系结构总结

本文就C语言程序设计知识体系结构进行深入的分析与归纳,提出C语言程序设计的语法方面的知识体系结构。首先,讨论知识体系结构中各概念的定义;其次,分别给出C语言的语法知识体系和程序设计的语法知识体系。为设计C语言程序设计题库提供理论基础。     

逆编译中面向用户的中间语言设计和实现

逆编译系统中中间语言的设计和实现极大地影响逆编译的实用型和通用性 .文中介绍了一种结构简单、可读性强的中间语言 ,它既具有高级语言控制结构 ,又能对汇编语言数据类型进行规范 .用户可以通过阅读中间语言程序来分析、理解和消化软件 .该语言已在基于知识的逆编译系统中应用 .     

Sememe knowledge computation: a review of recent advances in application and expansion of sememe knowledge bases

A sememe is defined as the minimum semantic unit of languages in linguistics. Sememe knowledge bases are built by manually annotating sememes for words and phrases. HowNet is the most well-known sememe knowledge base. It has been extensively utilized in many natural language processing tasks in the era of statistical natural language processing and proven to be effective and helpful to understanding and using languages. In the era of deep learning, although data are thought to be of vital importance, there are some studies working on incorporating sememe knowledge bases like HowNet into neural network models to enhance system performance. Some successful attempts have been made in the tasks including word representation learning, language modeling, semantic composition, etc. In addition, considering the high cost of manual annotation and update for sememe knowledge bases, some work has tried to use machine learning methods to automatically predict sememes for words and phrases to expand sememe knowledge bases. Besides, some studies try to extend HowNet to other languages by automatically predicting sememes for words and phrases in a new language. In this paper, we summarize recent studies on application and expansion of sememe knowledge bases and point out some future directions of research on sememes.     

标准SQL语言中Select语句模糊扩展

在模糊理论基础上,建立了基于通用模糊类型的模糊知识表,定义了标准SQL语言中select语句的模糊条件格式,并构造了模糊select语句的解释函数,用户如同写普通精确select语句一样书写模糊语句,系统通过解释函数自动识别并执行,在关系数据库基础上实现了SQL语言中select语句的模糊扩展.     

METABANK: A KNOWLEDGE-BASE OF METAPHORIC LANGUAGE CONVENTIONS

The frequent and conventional use of nonliteral language has been a major stumbling block for natural language processing systems since the early machine translation efforts. Metaphor, metonymy, and indirect speech acts are among the most troublesome phenomena. Recent computational efforts addressing these problems have taken an approach that emphasizes the use of systematic knowledge about nonliteral language conventions. We are currently engaged in an effort to supply this knowledge in the case of conventional metaphor. We are constructing MetaBank: an empirically derived and theoretically motivated knowledge-base of English metaphorical conventions. This article describes our three-part approach to the construction of MetaBank: the collection of on-line textual resources and databases of linguistic generalizations, the development of a methodology for analyzing these resources, and the construction of a knowledge-base based on the preceding analyses.     

Integrating knowledge acquisition and language acquisition

Very large knowledge bases constitute an important step for artificial intelligence and will have significant effects on the field of natural language processing. This paper describes LUKE, a tool that allows a knowledge base builder to create an English language interface by associating words and phrases with knowledge base entities. The philosophy behind LUKE is that knowledge about language is built up at the same time as knowledge about the world. LUKE assumes no linguistic expertise on the part of the user—that expertise is built directly into the tool itself. LUKE draws its power from a large set of heuristics about how words are typically used to describe the world.This research was supported in part by the National Science Foundation under contract IRI-8858085.     

Incorporating linguistic structure into maximum entropy language models

In statistical language models,how to integrate diverse linguistic knowledge in a general framework for long-distance dependencies is a challenging issue,In this paper,an improved language model incorporating linguistic structure into maximum entropy framework is presented.The poposed model combines trigram with the structure knowledge of base phrase in which trigram is used to capture the local relation between words.while the structure knowledge of base phrase is considered to represent the long-distance relations between syntactical structures.The knowledge of syntax,semantics and vocabulary is is integrated into the maximum entropy framework,Experimental results show that the proposed model improves by 24% for language model perplexity and increases about3% for sign language recognition rate compared with the trigram model.