用于文本分类和文本聚类的特征抽取方法的研究

文本信息处理已成为一门日趋成熟、应用面日趋广泛的学科.文本分类和聚类技术是应信息检索和查询需要而出现的自然语言处理领域的重要研究课题.面对急速膨胀的各种文本信息,通过使用文本分类和聚类技术,人们能对这些信息进行高效地组织和整理,以便于实现信息的准确定位和分流,从而提高用户查询和检索的效率.本文针对文本信息处理中最重要的研究方向--文本分类和聚类技术展开了研究,分析了特征抽取法在文本分类和文本聚类中应用的重要性,以及论证了为何要对文本进行特征抽取,最后分别阐述了用于文本分类和文本聚类的特征抽取方法.     

文本分类技术在海洋信息处理领域中的应用

文本分类是数据挖掘和机器学习中非常重要的研究领域,将文本分类技术应用于海洋信息处理已经成为海洋领域研究的一个重要问题。主要研究文本分类技术在海洋信息处理领域的应用,给出了文本分类系统的关键技术设计方案,详细介绍了一种改进的χ^2特征提取算法以及朴素贝叶斯分类算法,实验结果具有较好的准确率和查全率,满足我国“数字海洋”信息基础建设对信息处理应用的需求。     

依存分析和HMM相结合的信息抽取方法

信息抽取是文本信息处理的一个重要环节,当前的信息抽取研究工作大多针对半结构化的文本。针对自由文本,提出一种依存分析和HMM相结合的文本信息抽取算法,该算法在运用依存分析对句子进行浅层句法分析的基础上制定相应规则,形成输入序列,结合HMM易于建立、适应性好、抽取精度较高的优势,实现自由文本的信息抽取。实验结果表明,新的算法在召回率、准确率和正确率指标上均有良好的性能,说明了算法的有效性,为文本信息的抽取提供了新思路。     

开放式文本信息抽取

信息抽取研究已经从传统的限定类别、限定领域信息抽取任务发展到开放类别、开放领域信息抽取。技术手段也从基于人工标注语料库的统计方法发展为有效地挖掘和集成多源异构网络知识并与统计方法结合进行开放式信息抽取。该文在回顾文本信息抽取研究历史的基础上,重点介绍开放式实体抽取、实体消歧和关系抽取的任务、难点、方法、评测、技术水平和存在问题,并结合课题组的研究积累,对文本信息抽取的发展方向以及在网络知识工程、问答系统中的应用进行分析讨论。     

文本挖掘技术在科技管理领域热点主题抽取方向的应用研究

科技管理领域热点主题抽取过程主要历经文本挖掘技术中的数据采集与清洗、信息抽取、主题分析三个阶段。其中,热点主题抽取采用TF-IDF信息抽取算法,主题聚类采用共现方法中的合并聚类。通过热点主题抽取、趋势分析和聚类分析,可以实现领域热点工作的提前预测和科学决策,有助于推动政务领域信息的智能化和知识化。     

开放式信息抽取研究进展

从大规模非结构化文本中自动地抽取有用信息是自然语言处理和人工智能的一个重要目标。开放式信息抽取在高效挖掘网络文本信息方面已成为必然趋势,按关系参数可分为二元、多元实体关系抽取,该文按此路线对典型方法的现状和存在问题进行分析与总结。目前多数开放式实体关系抽取仍是浅层语义处理,对隐含关系抽取很少涉及。采用马尔科夫逻辑、本体结构推理等联合推理方法可综合多种特征,有效推断细微完整信息,为深入理解文本打开新局面。     

上市公司文本信息披露智能分析研究综述

对上市公司发布的文本信息披露进行分析是投资者了解公司经营状况、做出投资决策的重要途径,然而人工阅读和分析的方法存在效率低、成本高等问题。人工智能技术的发展则为文本信息的智能分析提供了契机,能够从海量企业文本数据中挖掘有价值的信息,充分发挥数据驱动的优势,大幅度提高分析效率,成为近些年的研究热点。对近十年关于上市公司文本信息披露智能分析的研究工作进行了总结,分别从文本信息披露的事件类型的研究现状、智能分析方法和应用场景三个方面进行了归纳,分析了该领域当前面临的挑战,最后根据现有方法的不足指出了未来可能的研究方向。     

金融学文本大数据挖掘方法分析

通过回顾历史文献可知,传统研究主要研究文本分析常用方法,对于文本大数据挖掘实施过程关注较少.本文阐述了文本大数据挖掘的主要方法,阐述在此过程中获取、预处理、表示文档和抽取文档特征的方法,总结文本大数据挖掘信息来源,结合文本信息来源分析金融学领域文本大数据挖掘应用发展趋势,从而为金融学领域文本大数据应用提供参考.     

基于KNN算法的医药信息文本分类系统的研究

针对目前医药信息文本分类领域的现状,设计并实现了一种基于KNN算法的医药信息文本分类系统.该系统充分利用了向量空间模型在表示方法上的优势和快速KNN算法的特点,并采用逆向最大匹配分词方法进行分词,可有效提高医药信息分类的准确性和信息处理效率.此外,构建了一个医药信息数据集,该数据集包含582篇医药类文本,其中训练文本433篇,测试文本149篇,并在该数据集上对医药信息文本分类系统进行了测试,得到了74.83%的F1值.实验证明,该系统可以较好地实现医药信息文本分类.     

基于规则的百科人物属性抽取

信息抽取是数据挖掘的一个重要领域,文本信息抽取是指从一段自由文本中抽取出指定的信息并将其结构化数 据存入知识库供用户查询或下一步处理所用。人物属性信息抽取是智能人物类搜索引擎构建的重要基础,同时结构化信 息也是计算机所能理解的一种数据格式。作者提出了一种自动获取百科人物属性的方法,该方法利用各属性值的词性信 息来定位到百科自由文本中,通过统计的方法发现规则,再根据规则匹配从百科文本中获取人物属性信息。实验表明该 方法从百科文本中抽取人物属性信息是有效的。抽取的结果可以用来构建人物属性知识库。     

视频图像文字检测综述

自动从视频图像中提取文字信息,对于监控视频图像内容、添加视频标签和建立视频图像检索系统,有重要的意义。文字检测是文字信息提取系统的前端,是文字信息提取中最关键的一步。近年来,视频图像文字信息检测领域有了新的重要的发展,综述从基于区域和基于纹理的文字检测方法进行归纳、比较和分析,概括了近年来文字检测技术的主要进展。此外,为了突出综合性方法的重要性,对其专门进行了总结。最后对视频图像中的文字检测技术的难点进行总结,并对其发展趋势进行展望。     

产品评论挖掘研究综述

产品评论挖掘是以Web上用户发表的产品评论为挖掘对象,采用自然语言处理技术,从大量的文本数据中发现关于产品的功能和性能的评价信息的过程。产品评论挖掘是一个新兴的研究领域,是对自然语言描述的无结构数据进行数据挖掘的典型代表。产品评论中挖掘得到的信息不仅可以帮助生产厂商改进产品,还可以帮助用户合理的购买产品。对产品评论挖掘进行了全面深入地讨论,介绍了产品评论挖掘系统的通用框架,然后对产品特征提取、主观句定位、用户态度提取、态度极性判定、挖掘结果显示这5个子任务进行了详细地阐述,最后介绍了产品评论挖掘的最新方向。     

领域内文本褒贬倾向性分类中的特征提取技术

本文介绍了文本褒贬倾向性分类的方法和技术,重点论述了文本的表示方法和褒贬特征抽取的方法,提出了基于MI特征提取方法的改进办法。实验结果表明,这种改进有利于褒贬特征的抽取,从而提高了分类的精度。     

静态图像提取文字技术

从图像中提取文字属于信息智能化处理的前沿课题,是当前人工智能与模式识别领域中的研究热点。由于文字具有高级语义特征,对图片内容的理解、索引、检索具有重要作用,因此,研究图片文字提取具有重要的实际意义。又由于静态图像文字提取是动态图像文字提取的基础,故着重介绍了静态图像文字提取技术,总结了几种已提出的算法,并利用计算机语言学方法对提取出的文字进行后期处理,大大提高了文字提取的正确率。     

静态图像提取文字技术

从图像中提取文字属于信息智能化处理的前沿课题,是当前人工智能与模式识别领域中的研究热点。由于文字具有高级语义特征,对图片内容的理解、索引、检索具有重要作用,因此,研究图片文字提取具有重要的实际意义。又由于静态图像文字提取是动态图像文字提取的基础,故着重介绍了静态图像文字提取技术,总结了几种已提出的算法,并利用计算机语言学方法对提取出的文字进行后期处理,大大提高了文字提取的正确率。     

基于深度学习的自然场景文本检测与识别综述

自然场景文本检测与识别研究对于从场景中获取信息有重要意义,而深度学习技术有助于提高文本检测与识别的能力.主要对基于深度学习的自然场景文本检测与识别方法和其研究进展进行整理分类、分析和总结.首先论述自然场景文本检测与识别的相关研究背景及主要技术研究路线;然后,根据自然场景文本信息处理的不同阶段,进一步介绍文本检测模型、文本识别模型和端到端的文本识别模型,并阐述和分析每类模型方法的基本思路和优缺点;另外,列举了常见公共标准数据集以及性能评估指标和方法,并对不同模型相关实验结果进行了对比分析;最后总结基于深度学习的自然场景文本检测与识别技术面临的挑战和发展趋势.     

最近邻注意力和卷积神经网络的文本分类模型

随着自然语言处理(NLP)的不断发展,深度学习被逐渐运用于文本分类中.然而大多数算法都未有效利用训练文本的实例信息,导致文本特征提取不全面.为了有效利用对象的实例信息,本文提出最近邻注意力和卷积神经网络的文本分类模型(CNN-AKNN).通过引入基于加权卡方距离的最近邻改进算法训练文本,构建文本对象的注意力,然后将注意力机制与卷积神经网络相结合实现全局特征与局部特征的提取,最后通过softmax函数进行文本分类.本文采用搜狗新闻语料库、中山大学语料库以及英文新闻语料库AG_news进行大量实验,结果表明本文所使用的改进算法相较于基准算法效果更优,更有利于提取模型的隐含特征.     

VB中文本信息的处理方法

文本信息处理是计算机处理信息的方法之一。本文分别介绍了在VB中利用字符函数处理文本信息和利用Word处理文本信息的方法和技巧。这些方法和技巧在开发VB信息处理应用系统中很有实用价值。