自然语言处理在信息检索中的应用分析

在信息检索中如何有效应用自然语言处理是二十一新世纪以来我国关注的一个重要问题,需要有关部门及研究者引起高度重视以及广泛关注.本文主要介绍了基本自然语言处理技术与高级自然语言处理技术在信息检索中的具体应用,进而提出一些建设性意见,为提高自然语言处理的应用价值贡献微薄之力.     

中文分词算法在自然语言处理技术中的研究及应用

中文分词是自然语言处理处理的基础,有着极其广泛的实际应用。可以说,在各类中文信息处理软件(系统)中,中文分词是不可或缺的环节。自上个世纪末,由于互联网在中国的兴起,更对中文信息处理提出要求,即在语义层面上处理中文,这使得中文分词算法的研究显得更加困难,中文分词技术的发展显得更为重要。     

自然语言处理技术在建筑工程中的应用研究综述

自然语言处理(NLP)可以将建设领域非结构化文档转化为结构化信息,方便相关从 业人员对建设项目进行高效的日常管理。近年来,NLP 相关算法得到了广泛的发展,但NLP 技术在建设领域中的研究还处于初级阶段。通过调研近十年关于NLP 在建筑工程的相关文献, 对国内外技术与应用层面的研究进行了梳理。介绍了NLP 的技术发展、常用方法及相关开源工 具实现的功能;并重点从统计分析工具、应用系统和其他3 方面对NLP 在建筑领域各阶段的应 用进行总结。此外,对建设领域NLP 应用存在的问题进行了讨论,总结原因并从技术、建筑业 和政府3 个方面提出了未来展望。     

图神经网络在自然语言处理中的应用

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型.然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在.因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用.该文对图神经网络在自然语言处理领域中的应用进行...     

自然语言处理在搜索引擎信息检索中的应用

随着Internet的发展，网络搜索的作用越来越重要，但目前网络搜索的精确度不高，在查全率和查准率方面都有待提高。本文提出了一种信息检索模型，以自然语言的形式进行检索，得到用户想要得到的内容，进而提高查询的准确性。     

深度学习在自然语言处理中的应用

深度学习是一类新兴的多层神经网络学习算法。介绍自然语言处理中采用深度学习的动机及主要的神经网络语言模型。在此基础上,学习一个单词的分布式表示,并分别阐述深度学习在句法分析和语义分析等相关任务中的主要算法,总结了存在的问题及深度学习在中文信息处理的发展方向。     

自然语言处理在文本审核中的应用

自然语言是人类智慧和文明的结晶,它是人与人自然交流的一种重要载体,让机器理解人类的语言被认为是人工智能领域皇冠上的一颗明珠.利用先进的深度学习、自然语言理解、自然语言生成等技术,让机器为人类提供文本自动审核、内容纠错、实体搜索、智能推荐、文章编写等有价值的服务,让机器代替人工完成一些重复性的工作.搭建人类和机器之间沟通...     

自然语言处理在信息检索中的应用综述

在信息检索^①发展的过程中,研究者们不断尝试着将自然语言处理应用到检索里,希望能够为检索效果提高带来帮助。然而这些尝试的结果大多和研究者们最初的设想相反,自然语言处理在大多数情况下没有改进信息检索效果,甚至反而起了负面作用。即便有一些帮助,也往往是微小的,远远不如自然语言处理所需要的计算消耗那么大。研究者们对这些现象进行了分析,认为: 自然语言处理更适合于应用在需要精确结果的任务中,例如问答系统、信息抽取等;自然语言处理需要针对信息检索进行优化才可能发挥积极作用。最新的一些进展(例如在语言模型中加入自然语言处理)在一定程度上印证了这一结论。     

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型是序列数据处理和统计学习的一种重要概率模型,最近几年已经被成功应用到许多关于自然语言处理的任务中.简要介绍了隐马尔可夫模型,对其在词性标注应用中的难点、模型的建立,Viterbi算法等问题进行了详细论述,给出了基于隐马尔可夫模型的中文科研论文头部信息抽取过程以及模型结构的学习和参数的训练等关键问题的解决办法.     

The use of natural language processing in computer-assisted language instruction

This article describes the natural language processing techniques used in two computer-assisted language instruction programs: VERBCON and PARSER. VERBCON is a template-type program which teaches students how to use English verb forms in written texts. In the exercises verbs have been put into the infinitive, and students are required to supply appropriate verb forms. PARSER is intended to help students learn English sentence structure. Using a lexicon and production rules, it generates sentences and asks students to identify their grammatical parts. The article contends that only by incorporating natural language processing techniques can these programs offer a substantial number of exercises and at the same time provide students with informative feedback. Alan Bailin is director of the Effective Writing Program at the University of Western Ontario, London, Ontario, Canada. Philip Thomson is a programmer in the Faculty of Medecine, University of Western Ontario.     

How evolutionary algorithms are applied to statistical natural language processing

Statistical natural language processing (NLP) and evolutionary algorithms (EAs) are two very active areas of research which have been combined many times. In general, statistical models applied to deal with NLP tasks require designing specific algorithms to be trained and applied to process new texts. The development of such algorithms may be hard. This makes EAs attractive since they offer a general design, yet providing a high performance in particular conditions of application. In this article, we present a survey of many works which apply EAs to different NLP problems, including syntactic and semantic analysis, grammar induction, summaries and text generation, document clustering and machine translation. This review finishes extracting conclusions about which are the best suited problems or particular aspects within those problems to be solved with an evolutionary algorithm.     

自然语言处理技术在网络案情分析系统中的应用

随着互联网技术的飞速发展,大量的网络案情信息存在于互联网上,这既给办案人员提供了一定的线索,同时又带来了很大的挑战。设计并实现了一种网络案情分析系统,利用自然语言处理技术识别出海量网络案情文件中网名和网址等信息,并构建它们之间的关系网络。针对不同类型的文件,分别采取结构化分析和以“规则和统计”相结合为主、用户辅助知识库为辅的网名识别技术。实验证明,将该方法应用于网络犯罪案情分析系统中,有助于办案人员快速侦破案情。     

自然语言处理中逻辑词的知识图分析

知识图是一种新的知识表示方法。本文从本体论的角度出发,将知识图的本体论分别与Aristotle、Kant和Peirce的三种知识表示的本体论进行了比较,表明知识图方法的有效性以及本原性,说明知识图是一种更为一般的知识表示方法。从知识图本体论的观点,研究了各类逻辑词的知识图表示。本文结合汉语的特点,从结构的角度,研究并揭示了逻辑词的共性和规律性。进一步阐明知识图“结构就是含义”的思想。逻辑词的知识图分析将为自然语言分析中词典的建立奠定基础。     

一种张量扩展的条件随机场模型及其在自然语言处理任务中的应用

传统的自然语言处理方法是将大量手工制定的特征输入到统计学习模型中,以完成文本的加工处理。目前,条件随机场模型在多种自然语言处理任务中都取得了较好的效果,但手工特征制定的方式以及庞大的特征数量增加了模型建立的难度,降低了模型运算的速度,同时易使模型“过拟合”。为了解决上述问题,提出一种张量扩展的条件随机场模型,利用张量变换自动构建出复杂的特征,减少了手工特征制定的工作量,并使用Tucker分解算法加速模型,得到的模型可用于多种自然语言处理任务。实验表明,在提取相同基本特征的前提下,与传统的条件随机场模型相比,文中的模型在多种自然语言处理任务中的性能都有所提高,具有一定的使用价值。     

Lightweight validation of natural language requirements

In this paper, we report on our experiences of using lightweight formal methods for the partial validation of natural language requirements documents. We describe our approach to checking properties of models obtained by shallow parsing of natural language requirements, and apply it to a case study based on part of a NASA specification of the Node Control Software on the International Space Station. The experience reported supports our position that it is feasible and useful to perform automated analysis of requirements expressed in natural language. Indeed, we identified a number of errors in our case study that were also independently discovered and corrected by NASA's Independent Validation and Verification Facility in a subsequent version of the same document, and others that were not discovered. The paper describes the techniques we used, the errors we found and reflects on the lessons learned. Copyright © 2001 John Wiley & Sons, Ltd.     

基于自然语言理解的智能化多媒体信息检索系统研究

多媒体信息由于维度高、数据量大、可解释性差等特征制约了其检索性能,提出了基于自然语言理解的智能化多媒体信息检索系统模型。该系统基于自然语言理解、数据挖掘、自反馈等技术的运用,在一定程度上扩大了检索范围,提高了检索准确率。     

Intelligent compilation of patent summaries using machine learning and natural language processing techniques

Patents are a type of intellectual property with ownership and monopolistic rights that are publicly accessible published documents, often with illustrations, registered by governments and international organizations. The registration allows people familiar with the domain to understand how to re-create the new and useful invention but restricts the manufacturing unless the owner licenses or enters into a legal agreement to sell ownership of the patent. Patents reward the costly research and development efforts of inventors while spreading new knowledge and accelerating innovation. This research uses artificial intelligence natural language processing, deep learning techniques and machine learning algorithms to extract the essential knowledge of patent documents within a given domain as a means to evaluate their worth and technical advantage. Manual patent abstraction is a time consuming, labor intensive, and subjective process which becomes cost and outcome ineffective as the size of the patent knowledge domain increases. This research develops an intelligent patent summarization methodology using artificial intelligence machine learning approaches to allow patent domains of extremely large sizes to be effectively and objectively summarized, especially for cases where the cost and time requirements of manual summarization is infeasible. The system learns to automatically summarize patent documents with natural language texts for any given technical domain. The machine learning solution identifies technical key terminologies (words, phrases, and sentences) in the context of the semantic relationships among training patents and corresponding summaries as the core of the summarization system. To ensure the high performance of the proposed methodology, ROUGE metrics are used to evaluate precision, recall, accuracy, and consistency of knowledge generated by the summarization system. The Smart machinery technologies domain, under the sub-domains of control intelligence, sensor intelligence and intelligent decision-making provide the case studies for the patent summarization system training. The cases use 1708 training pairs of patents and summaries while testing uses 30 randomly selected patents. The case implementation and verification have shown the summary reports achieve 90% and 84% average precision and recall ratios respectively.