一种基于词义降维的主题特征选择算法

在文本特征选择中,由于词语概率空间和词义概率空间的差异,完全基于词语概率的主题特征往往不能很好地表达文章的思想,也不利于文本的分类。为达到主题特征更能反映文章思想这一目的,提取出一种基于词义降维的主题特征选择算法。该算法通过在词林基础上构建"同义词表",作为词到词义的映射矩阵,构造一个基于词义之上的概率分布,通过LDA提取文本特征用于分类,分类准确率得到了明显提高。实验表明,基于此种方法所建立的主题模型将有更强的主题表示维度,通过该算法基本解决文本特征提取中词语概率和词义概率之间差异的问题。     

基于主题角色的文本情感分类方法

传统文本情感分类方法通常以词或短语等词汇信息作为文本向量模型特征,造成情感指向不明和隐藏观点遗漏的问题。针对此问题提出一种基于主题角色的文本情感分类方法。该方法首先提取出文本中的潜在评价对象形成评价对象集,评价对象作为情感句描述的主体能够很好地保存文本情感信息;然后使用LDA模型对评价对象集进行主题抽取,将抽取出的主题分裂成"正""负"两种特征项,将这两种特征项记为正负主题角色用于保存文本情感信息;最后,计算主题角色在文本中的情感影响值并建立主题角色模型。实验结果表明,所提方法与传统方法相比可有效提高主观性文本情感分类的准确率。     

短文本分类模型的优化及应用

不同于长文本,短文本信息量缺乏,在研究中通常难以获得丰富的语义特征并且难以提取完整的句法特征,因此短文本分类模型的分类效果有待提升.针对这个问题进行了研究,基于ResLCNN模型进行改进,引入神经主题模型,并融合多个神经网络输出特征进行分类.首先,通过神经主题模型提取主题来丰富短文本的信息;其次,将主题信息储存在记忆网络中,并与序列信息进行融合,丰富文本的表示;最后,将其输入具有残差结构的卷积神经网络以及双向GRU中,提取局部以及全局的语义特征,在特征融合之后进行分类.该模型在Google网页搜索公开数据集中取得了较高的准确率和F1值,表明了改进模型在短文本分类任务中的有效性.     

基于LDA和语步标注的主题识别与分析方法研究

【目的】从主题表征词抽取和主题句功能分类两个维度,设计基于潜在狄利克雷分布模型（Latent Dirichlet Allocation,LDA）和语步标注的主题分析方法,并探究方法的有效性与实用性。【方法】采用LDA模型进行主题识别,利用Sentence Transformer模型对主题词短语进行提取,同时构建句子功能分类模型进行语步标注,识别文本句子功能类型,从句子功能维度对主题内容进行细粒度分析。【结果】以农业资源与环境领域论文数据为例进行实证研究,结果表明,相比传统LDA模型,经过提取主题词短语后,识别出的主题表征词可读性和解释性更强,进一步结合语步标注后,主题句子内容分析更为深入。【局限】主题短语表征词扩展内容存在含义相同问题,有待进一步改进表征词的多样性,以整合相同含义的主题短语表征词。【结论】本研究所提方法在主题表征词抽取、主题内容分析方面具有较好的效果,可以提高文本主题挖掘的效率与深度。     

一种基于词和事件主题的卷积网络的新闻文本分类方法

针对传统文本分类过程中词表示特征时不够全面、可解释性差的问题,提出一种基于词和事件主题的W-E CNN文本分类方法,并给出基于BTM的事件主题模型.将传统基于词的特征表示方法与事件主题特征表示方法进行拼接作为CNN的输入,丰富特征语义信息,提高了文本分类的准确性.实验分析可知,该方法的分类准确性在一定程度上要优于其他方法.     

一种基于用户行为状态特征的流量识别方法

针对当前业务流量的分类方式过于简略、识别结果不够确切的问题,提出基于状态特征的分类识别方法以精确识别流量数据中的用户行为。定义了网络通信中的用户行为并分析其特征,通过矢量量化技术结合主题模型方法从流量序列中提取行为状态特征,利用机器学习算法对状态特征建模,并按照用户行为的分类对流量进行识别。实验结果显示按照行为分类能更加详细地描述流量特点。在相同机器学习算法下,基于状态特征的行为识别方法准确度优于传统方法。     

基于主题聚类的情感极性判别方法

目前,大多数方法在判别文本情感极性上采用的是提取情感特征并应用分类器进行分类的方式。然而由于网络文本表述方式多样,主题分散等特点,使得情感特征提取过程变得愈发困难。借助LDA(latent Dirichlet allocation)主题模型,首先对文本进行主题聚类,然后在每个主题子类上应用循环神经网络的方法对正、负情感样本分别建立主题模型,最后基于所属主题和所属情感的概率进行联合判断。采用这种方法,通过划分子类的方式规整了不同主题下文本的表述方式,限制了不同主题下词汇词义改变的问题,并且利用训练语言模型的方法很好地规避了直接提取特征的困难,将特征的挖掘过程内化在了训练模型的过程中。通过在IMDB电影评论样本上的实验可以看出,在应用了主题聚类后,模型分类的准确性有了显著提高。     

融合LDA的卷积神经网络主题爬虫研究

传统的主题爬虫在计算主题相似度时,通常采用基于词频、向量空间模型以及语义相似度的方法,给相似度计算准确率的提升带来一定瓶颈。因此,提出融合LDA的卷积神经网络主题爬虫,将主题判断模块视为文本分类问题,利用深度神经网络提升主题爬虫的性能。在卷积层之后拼接LDA提取的主题特征,弥补传统卷积神经网络的主题信息缺失。实验结果表明,该方法可以有效提升主题判断模块的平均准确率,在真实爬取环境中相比其他方法更具优势。     

基于主题模型对象判别特征的场景识别

为了解决场景识别中存在的类内差异性与类间相似性问题,提出一种基于主题模型的对象判别特征的场景识别方法。首先,使用双卷积神经网络模型提取图像的全局空间特征和对象特征;然后用主题模型的方法对对象特征进行描述,将非欧几里得空间中的判别向量投影到欧几里得空间,得到对象判别图像描述符;最后将全局空间特征和对象判别图像描述符相融合,并采用分类器进行分类。实验结果表明,所提出的方法具有更好的场景分类性能。     

基于文档特征的Web主题文本提取

Web主题文本提取是从Web页面中找出文本型主题内容,对Web信息过滤具有重大作用。针对目前Web主题文本提取算法复杂而且响应速度较慢的不足,提出一种新的Web主题文本提取方法。该方法直接从HTML文档结构本身的特征出发,提取文档中文本的多个特征．并设计了一个有效的公式综合利用提取特征来定位主题文本。实验表明该算法简单、快速、有效,能很好地运用于Web信息过滤。     

基于投影寻踪的中文网页分类算法

随着Web 信息迅猛发展,网络用户对网页自动分类器的需求日益增长。为了提高分类精度,本文提出了一种新的基于投影寻踪(Projection Pursuit , 简称PP) 的中文网页分类算法。我们首先利用遗传算法找到一个最好的投影方向,然后将已被表示成为n 维向量的网页投影到一维空间。最后采用KNN 分类算法对其进行分类。此方法能解决“维数灾难”问题。实验结果表明,我们提出的算法是可行而且是有效的。     

基于正文特征的网页正文信息提取方法

利用正文字数多、标点符号多两个特征,提出一种基于正文特征的网页正文信息提取方法.谊方法利用HTML标签对网页内容进行分块,把具有正文特征的块保留,不具有正文特征的块舍弃,从而准确得到具有较高完整性的网页正文信息.实验结果证明该方法是有效的、通用的.     

用于构建个性化门户的页面分解算法研究

为了帮助用户在低带宽、高延迟的情况下快速切入自己需要的页面,并自动得到页面中自己感兴趣的部分,该文提出了一个基于Web Component的页面分解算法。算法首先将HTML页面格式化为XHTML形式,然后根据XHTML页面生成XMLDOMTree,从中分析、抽取Web Component作为独立实体,并给这些Web Component分配标识,最后在数据库中存储页面结构、Web Component及相关信息,用于构建个性化门户。     

连通区的页面分割与分类方法

页面分割与分类是文档处理的关键步骤，但目前多数方法对页面的块和倾斜进行了限制，文中提出一种新的基于连通区的页面分割与分类方法，首行采用快速算法抽取页面内的连通区，然后利用改进的PLSA算法分割页面，并根据连通区的分布情况以及块的特征对块进行分类，该方法页面分割与分类紧密结合，充分考虑到块的局部特征，保证块分类的正确性，大大提高了算法效率。     

支持向量机和蚁群算法的网页分类研究

网页分类技术是Web数据挖掘的基础与核心,是基于自然语言处理技术和机器学习算法的一个典型的具体应用。基于统计学习理论和蚁群算法理论,提出了一种基于支持向量机和蚁群算法相结合的构造网页分类器的高效分类方法,实验结果证明了该方法的有效性和鲁棒性,弥补了仅利用支持向量机对于大样本训练集收敛慢的不足,具有较好的准确率和召回率。     

基于优势率的改进二元特征提取方法

主题网络爬虫研究中一个重要问题是文本特征的提取,其好坏会直接影响主题特征的提取及网页的相关性计算。在研究了文本分类特征提取方法的基础上,分析优势率特征提取方法的优缺点,把频度、分散度作为判断要素加以考虑,提出一种改进的二元分类特征选择方法EOR,并使用得到的EOR值结合词频TF即TF—EOR来计算文档特征词的权重,应用于主题网络爬虫。仿真实验证明,EOR在中低维数下能提升文档分类准确率达5％,而TF—EOR权重计算方法好于TF-IDF方法,实验中提高了网络爬虫的抓取准确率和查全率达4％。     

结合网页结构与文本特征的正文提取方法

网页中存在正文信息以及与正文无关的信息,无关信息的存在对Web页面的分类、存储及检索等带来负面的影响。为降低无关信息的影响,从网页的结构特征和文本特征出发,提出一种结合网页结构特征与文本特征的正文提取方法。通过正则表达式去除网页中的无关元素,完成对网页的初次过滤。根据网页的结构特征对网页进行线性分块,依据各个块的文本特征将其区分为链接块与文本块,并利用噪音块连续出现的结果完成对正文部分的定位,得到网页正文信息。实验结果表明,该方法能够快速准确地提取网页的正文内容。     

基于多特征和改进SVM集成的图像分类

现有图像分类方法不能充分利用图像各单一特征之间的优势互补特性,提取的特征中存在大量冗余信息,从而导致图像分类精度不高。为此,提出一种基于多特征和改进支持向量机(SVM)集成的图像分类方法。该方法能提取全面描述图像内容的综合特征,采用主成分分析对所提取的特征进行变换,去除冗余信息,使用支持向量机的集成分类器RBaggSVM进行分类。仿真实验结果表明,与同类图像分类方法相比,该方法具有更高的图像分类精度和更快的分类速度。     

Document page segmentation using neuro-fuzzy approach

In this work, we propose a new document page segmentation method, capable of differentiating between text, graphics and background, using a neuro-fuzzy methodology. Our approach is based firstly on the analysis of a set of features extracted from the image, available at different resolution levels. An initial segmentation is obtained by classifying the pixels into coherent regions, which are successively refined by the analysis of their shape. The core of our approach relies on a neuro-fuzzy methodology, for performing the classification processes. The proposed strategy is capable of describing the physical structure of a page in an accurate way and proved to be robust against noise and page skew. Additionally, the knowledge-based neuro-fuzzy methodology allows us to understand the classification mechanisms better, contrary to what happens when other kinds of knowledge-free methods are applied.     

基于页面分解的个性化门户网站构建方法

在分析影响用户感知时间的诸多因素基础上,针对网络带宽一定、网络绝对流量增加的情况,从门户网站页面的静态表现结构多半由一些相对独立的区域（主要是Table tags分割的一些区域）构成这一特点出发,研究了通过页面分解技术构建个性化门户网站用以缩短Web网站对用户click的响应时延,从而提高用户满意度。