融合BTM主题特征的短文本分类方法

针对短文本特征较少而导致使用传统文本分类算法进行分类效果并不理想的问题,提出了一种融合BTM主题特征和改进了特征权重计算的综合特征提取方法来进行短文本分类。方法中,在TF-IWF的基础上降低词频权重并引入词分布熵,衍生出新的算法计算权重。结合BTM主题模型中各主题下的主题词对词数较少的文档进行补充,并选择每篇文档在各个主题下的概率分布作为另一部分文档特征。通过KNN算法进行多组分类实验,结果证明该方法与传统的TF-IWF等方法计算特征进行比较,F1的结果提高了10%左右,验证了方法的有效性。     

一个面向实时网页分类的主题特征提取算法

网页实时分类是聚焦爬虫需要解决的重要问题,现有主题特征提取方法多数是面向离线分类的,性能达不到应用要求。本文首先扩展了标签树表示模型DocView的节点类型,且将其作为加权的重要因素,然后提出一个面向实时网页分类的Web文本和文本集主题特征提取算法。实验结果表明,算法的准确率提高了31％,主题偏移度降低了1倍多,能够满足应用要求。同时,还提出了一个新的主题特征提取性能评价模型。     

一种基于反向文本频率互信息的文本挖掘算法研究

针对传统的文本分类算法存在着各特征词对分类结果的影响相同,分类准确率较低,同时造成了算法时间复杂度的增加,在分析了文本分类系统的一般模型,以及在应用了互信息量的特征提取方法提取特征项的基础上,提出一种基于反向文本频率互信息熵文本分类算法。该算法首先采用基于向量空间模型(vector spacemodel,VSM)对文本样本向量进行特征提取;然后对文本信息提取关键词集,筛选文本中的关键词,采用互信息来表示并计算词汇与文档分类相关度;最后计算关键词在文档中的权重。实验结果表明了提出的改进算法与传统的分类算法相比,具有较高的运算速度和较强的非线性映射能力,在收敛速度和准确程度上也有更好的分类效果。     

融合LDA的卷积神经网络主题爬虫研究

传统的主题爬虫在计算主题相似度时,通常采用基于词频、向量空间模型以及语义相似度的方法,给相似度计算准确率的提升带来一定瓶颈。因此,提出融合LDA的卷积神经网络主题爬虫,将主题判断模块视为文本分类问题,利用深度神经网络提升主题爬虫的性能。在卷积层之后拼接LDA提取的主题特征,弥补传统卷积神经网络的主题信息缺失。实验结果表明,该方法可以有效提升主题判断模块的平均准确率,在真实爬取环境中相比其他方法更具优势。     

融合词语统计特征和语义信息的文本分类方法研究

为了更好地表示文本语义信息,提高文本分类准确率,改进了特征权重计算方法,并融合特征向量与语义向量进行文本表示.首先基于文本复杂网络实现文本特征提取,接着利用网络节点统计特征改进TF-IDF得到特征向量,再基于LSTM抽取语义向量,最后将特征向量与语义向量相融合,使新的文本表示向量信息区分度更高.以网络新闻数据为实验对象的实验结果表明,改进特征权重计算方法,在特征向量中引入了语义和结构信息,并融合特征向量和语义向量,能进一步丰富文本信息,改善文本分类效果.     

一种基于CFN的特征选择及权重算法

利用TF和DF的组合进行特征选择,及利用TF-IDF算法计算权重.是文本分类中常用的算法.但当训练集较小时,此特征选择算法会将一些特征区分能力强的低频词过滤掉,并直接影响特征词的权重.本文提出一种基于汉语框架网络(以下简称CFN)的特征选择和计算权重的算法.实验表明:算法可使分类的准确率达到67.3%,较传统算法有很大提高.也说明了该算法能够满足小训练集环境下对文本分类准确率的要求.     

结合加权特征向量空间模型和RBPNN 的文本分类方法

提出了一种结合加权特征向量空间模型和径向基概率神经网络（RBPNN）的文本分类方法．该方法针对传统的文本特征提取方法的不足,根据文本中特征项的位置信息和所属类别信息定义特征权重,然后,依据特征项的权值计算文档特征项的频数,通过TFIDF函数计算特征值并得到文本的特征向量,最后,采用RBPNN网络分类,通过最小二乘算法求解神经网络的第二隐层和输出层之间的权值,最终训练获得文本分类模型．文本分类实验结果表明,该方法在文本分类中表现出较好的效果,具有较好查全率和查准率．     

一种主题自适应聚焦爬虫方法

针对聚焦爬虫主题描述精确度和主题相似度计算准确度偏低造成的主题覆盖率不足和爬取准确度偏低的问题,提出一种主题自适应聚焦爬虫方法。对每次迭代爬取的主题相关文档集建立LDA模型,提取模型热点词,更新主题关键词集及其权重。引入基于Word2vec的主题相似度计算模型,结合文档内容以及锚文本内容词项的语义相似度和TF-IDF值计算链接优先级,引导爬虫抓取主题相关的网页。与基于语义检索的聚焦爬虫和基于向量空间的聚焦爬虫相比,主题自适应聚焦爬虫在主题覆盖率和爬取准确度方面性能更优。     

多媒体背景下思政教育资源高效挖掘方法研究

当下思政教育普遍存在教学资料类型单一且落后的问题,为丰富思政教育资源,提出了一种思政教育资源高效挖掘方法。首先,利用主题爬虫技术从网页上收集思政教育资源并组成文本,针对资源文本实施去停用词和分词处理;其次,通过计算文本中每个词汇的词频-逆文档率,提取思政教育资源特征;最后,利用贝叶斯网络构建挖掘模型,实现思政教育资源的分类挖掘。实验结果表明,该方法的相似度较高,均在0.8以上。     

一种多特征分类识别算法融合的网络钓鱼识别技术

针对页面特征提取实时性差的问题进行了研究,提出将特征分类,并行提取、检测、再融合结果的方法。首先提取三个类别的主要特征,包括文本、视觉和网络链接;然后,分别利用了贝叶斯算法、EMD算法以及网络爬虫来进行分类;并且基于后验概率来确定权值的最终选取。最后,把这三个分类结果进行融合。通过对贝叶斯、加权和加权贝叶斯的比较,从正确率、漏报率和误报率对算法进行评估,实验表明采用加权贝叶斯的方法来进行融合计算效果最佳,能够提供较高的准确率和较低的误报和漏报,提高检测的精度和实时性。     

中文文本分类中特征选择方法的研究

本文研究了文档频率DF、信息增益IG、互信息MI、x2分布(CHI)、期望交叉熵、优势率、文本证据权七种不同的特征选取方法.针对DF对高频词过于依赖,以及MI,IG和CHI对低频词过于依赖这一特点,试验了将它们组合起来形成DF-MI,DF-IG两种组合式特征选择方法-同时针对DF的特点提出了新的特征选取方法DFR-用KNN分类器试验了几种组合方法和DFR方法-实验结果表明DFR较DF-MI、DF-IG对分类效果有明显的提高,而组合特征选取方法较单个特征选取方法对分类器的分类效果有了很大的提高.     

基于词频差异特征选取的Context Graph算法改进

为了解决传统主题爬虫效率偏低的问题,在分析了启发式网络爬虫搜索算法Context Graph的基础上,提出了一种改进的Context Graph爬虫搜索策略。该策略利用基于词频差异的特征选取方法和改进后的TF-IDF公式对原算法进行了改进,综合考虑了网页不同部分的文本信息对特征选取的影响,及特征词的类间权重和类中权重,以提高特征选取和评价的质量。实验结果表明,与既定传统方法进行实验对照,改进后的策略效率更高。     

网络化制造资源垂直搜索引擎的研究与应用

着重研究了网络化制造资源垂直搜索系统的主题爬虫和中文分词技术。通过在主题爬虫中增加评价网页模块,优先爬行与主题相似度高的网页中的链接,提高了爬虫的工作效率。在对中文分词词典进行分层存储的基础上,通过一种改进的简洁的中文分词词典匹配算法,有效地改善了分词的速度与精度,并缩减了索引库,增强了用户的响应。     

基于语义相关度主题爬虫的语料采集方法

针对特定领域语料采集任务,设计了基于语义相关度主题爬虫的语料采集方法.根据选定的主题词,利用页面描述信息,基于维基百科中文语料训练出的词分布式表示综合HowNet计算页面信息相关度,结合URL的结构信息预测未访问URL链指的页面内容与特定领域的相关程度.实验表明,系统能够有效的采集互联网中的党建领域页面内容作为党建领域生语料,在党建领域网站上的平均准确率达到94.87%,在门户网站上的平均准确率达到64.20%.     

中文文本分类中的特征选择研究

本文介绍和比较了八种用于文本分类的特征选择方法,其中把应用于二元分类器中的优势率改造成适用于多类问题的形式,并提出了一种新的类别区分词的特征选择方法,结合两种不同的分类方法:文本相似度方法和Na?ve Bayes方法,在两个不同的数据集上分别作了训练和测试,结果表明,在这八种文本特征选择方法中,多类优势率和类别区分词方法取得了最好的选择效果。其中,当用Na?ve Bayes分类方法对各类分布严重不均的13890样本集作训练和测试时,当特征维数大于8000以后,用类别区分词作特征选择得到的宏F1值比用IG作特征选择得到的宏F1值高出3%～5%左右。     

基于交叉覆盖算法的中文文本分类

基于向量空间模型的文本分类过程中遇到的最大问题就是以词为特征项的向量维数太大，需要进行特征选取，而交叉覆盖算法的输入集是n维欧式空间的点集，可以忽略维数的大小，从而最大程度上精确地表示文本，然后再进行分类，能够大大提高正确率。将交叉覆盖算法作为一种分类算法来进行中文文本分类，取得了不错的效果，在封闭测试中的准确率达到98.32%。     

基于粗糙集和多通道词向量的中文文本情感特征分析

粗糙集是一种能够有效处理不精确、不完备和不确定信息的数学工具,粗糙集的属性约简可以在保持文本情感分类能力不变的情况下对文本情感词特征进行约简。针对情感词特征空间维数过高、情感词特征表示缺少语义信息的问题,该文提出了RS-WvGv中文文本情感词特征表示方法。利用粗糙集决策表对整个语料库进行情感词特征建模,采用Johnson粗糙集属性约简算法对决策表进行化简,保留最小的文本情感词特征属性集,之后再对该集合中的所有情感特征词进行词嵌入表示,最后用逻辑回归分类器验证RS-WvGv方法的有效性。另外,该文还定义了情感词特征属性集覆盖力,用于表示文本情感词特征属性集合对语料库的覆盖能力。最后,在实验对比的过程中,用统计检验进一步验证了该方法的有效性。     

一种基于语义标注特征的金融文本分类方法

针对基于词袋的机器学习文本分类方法所存在的：高维度、高稀疏性、不能识别同义词、语义信息缺失等问题,和基于规则模式的文本分类所存在的虽然准确率较高但鲁棒性较差的问题,本文提出了一种采用词汇-语义规则模式从金融新闻文本中提取事件语义标注信息,并将其作为分类特征用于机器学习文本分类中的新方法。实验证明采用该方法相比基于词袋的文本分类方法在采用相同的特征选择算法和分类算法的基础上,F1值提高8.6 %,查准率提高7.7% ,查全率提高8.8%。本文方法融合了知识驱动和数据驱动在文本分类中的优点,同时避免了它们所存在的主要缺点,具有显著的实用性和研究参考价值。     

基于主题相关概念和网页分块的主题爬虫研究

针对传统主题爬虫的不足, 提出一种基于主题相关概念和网页分块的主题爬虫。先通过主题分类树获取主题相关概念集合, 然后结合主题描述文档构建主题向量来描述主题; 下载网页后引入网页分块来穿越“灰色隧道”; 采用文本内容和链接结构相结合的策略计算候选链接优先级, 并在HITS算法的基础上提出了R-HITS算法计算链接结构对候选链接优先级的贡献。实验结果表明, 利用该方法实现的主题爬虫查准率达66%、信息量总和达53%, 在垂直搜索引擎和舆情分析应用方面有更好的搜索效果。     

基于Gabor和二值叠加CS-LBP特征的人脸表情识别

在表情识别中Gabor结合局部二值模式（LBP）的特征提取方法以及直方图统计降维虽然是较为局部化的方法,但LBP鲁棒性较差,识别精度不高,而且使用直方图统计来区分表情,其计算复杂度和特征维数依旧较高。中心对称局部二值模式（CS-LBP）与LBP相比具有较好的鲁棒性,但其对表情纹理细节的描述仍不够详细。因此提出基于Gabor结合改进的CS-LBP即二值叠加中心对称局部二值模式（二值叠加CS-LBP）的特征提取方法。用Gabor提取特征,同时用两种计算方式提取两个特征值并叠加,作为最终识别的特征;并通过离散余弦变换（DCT）降维,有效降低表情的特征维数。在JAFFE表情库中实验验证了该方法能有效提高识别精度。