信息抽取技术的发展现状及构建方法的研究*

介绍了信息抽取（IE）技术的基本概念、信息抽取系统的抽取过程。对现有的信息抽取系统构建方法进行了分类和介绍,并对这些方法进行了讨论和比较,同时指出了构建中文信息抽取系统所需要解决的关键的基础问题。     

基于字符级CNN的调水工程巡检文本智能分类方法

日常安全巡检是维护长距离调水工程安全运行的重要手段。目前巡检采集的非结构化文本数据主要依靠人工进行安全等级评判,在工作效率和准确率方面存在明显不足。本研究基于自然语言处理技术,提出了一种面向字符层面的卷积神经网络的巡检安全文本智能分类方法。该方法通过引入预训练的单个字符向量改进卷积神经网络的输入层,使得分类模型直接从原始文本中提取特征信息,不仅避免了传统分类方法对专业词库的依赖,而且不易受文本中出现的口语化表达和错别字的影响。以国内南水北调工程的巡检文本为案例,通过与多种深度学习算法进行全面比较,对比验证了所提方法的有效性和优越性。结果表明,字符级的分类方法明显优于传统基于词的分类方法,且卷积神经网络在巡检文本分类方面明显优于其他深度学习网络。该方法具有较高的分类准确率,以此为调水工程安全维护提供新的智能化手段。     

LDA主题模型

在自然语言处理领域,LDA主题模型是进行文本语义挖掘的一种统计模型,用来发现文档中的隐含主题,将词项空间表达的文档约简为主题空间的低维表达,实现信息检索、文本分类等。本文阐述了LDA模型的文档生成过程、LDA模型的图模型表示、基于LDA的扩展模型以及未来的研究趋势。     

基于词典的维吾尔语句子相似度研究

本文从维吾尔语句子的多个角度考察句子的相似性,充分利用句子含有的结构信息,从句子中提取单句和复合句并算出结合词形、词序、句子长度和相似单元夹角公式来计算维吾尔文句子的相似度,且与基于N-gram句子相似度值做比较,计算最终的维吾尔文句子相似度。     

基于CRF和规则的中文医疗机构名称识别

中文机构名称识别是中文自然语言处理的一项重要的研究课题。以中文医疗机构名识别为目标,从因特网上抓取了30余万条机构名和1 500篇包含医疗机构名的文本语料,对医疗机构名的组成特点和上下文信息进行详细的分析,总结出若干模式、规则和特征,最后结合条件随机场模型,建立了一个统计和规则相结合的中文医疗机构名识别模型。实验结果表明,该模型的识别效果很好。     

基于自然语言处理的算法知识名称发现

网络中的很多程序资源在知识概念上有内在的联系,却没有超链接将它们连接在一起。将网络程序资源中的算法知识名称获取出来,组织成一个算法知识专家库文件,用于识别程序设计资源所含的知识点,即可将程序设计资源按知识点相互联系。为了自动获取程序资源中的算法知识名称,提出一种基于自然语言处理的算法知识名称发现方法。通过发现含有算法知识名称语句的字符串模式,从程序资源中提取可能含算法知识名称的字符串,从中找出最有可能出现在算法知识名称中的分词,并根据这些分词获取算法知识名称。实验结果表明,与原有人工整理出的算法知识名称集合相比,该方法新增了11.2%的算法知识点和13.6%的算法知识名称。     

哈萨克语“v+n+n”格式的歧义消解

通过研究大量包含歧义的短语实例,分析计算机处理过程中遇到的短语结构边界判定的歧义问题。针对"v+n+n"这种常见的歧义格式,采用条件随机场模型进行消歧。结合哈萨克语的语言特点,提出基于哈萨克语词尾的类别及位置信息来构建特征模板的方法。以新疆日报(哈语版)2008年30天的数据统计为实验语料,加入消歧策略后名词短语和动词短语的识别准确率分别达到87.23%和97.46%;召回率分别达到80.12%和95.80%。实验结果表明,将提取出的特征引入到条件随机场模型后,系统的准确率、召回率和F值均有所提高。     

第十二届全国计算语言学学术会议(CCL2013)在苏州大学成功召开

正2013年10月10日至11日,第十二届全国计算语言学会议(CCL 2013)在苏州大学成功召开。会议主办单位是中国中文信息学会计算语言学专业委员会,组织单位是清华信息科学与技术国家实验室,承办单位是苏州大学。全国计算语言学会议是中国中文信息学会的旗舰会议,从1991年开始每两年举办一次。会议着重于中     

中国中文信息学会战略研讨会在贵州贵阳成功召开

正目前已经进入以互联网和大数据为主要标志的海量信息时代。计算机和互联网技术的快速发展对中文信息处理技术提出了许多新的挑战。2014年4月18-19日在贵州贵阳成功举办了中国中文信息学会2014战略研讨会。四十多位来自全国各地的中文信息处理领域的专家学者围绕我国中文信息处理事业当前发展     

基于增量词集频率的文本主题词提取算法研究*

提出了一种基于增量词集频率的文本主题词提取算法,其核心思想是计算主题词集频率增量,算法从候选主题词集提取主题词时,计算单个候选主题词对主题词集频率的增量,若增量小于给定阈值,则主题词提取算法结束,否则将该候选主题词加入主题词集,继续考察下一个候选主题词。实验结果表明,该算法取得了较好的效果,所获得的主题词能更贴切地反映文章的主要内容。