网络舆情算法的研究与应用

随着互联网的飞速发展,网络舆情的重要性毋庸置疑,目前解决网络舆情的算法有很多。本文对一些业界公认的实用算法进行了研究,并将这些算法应用到基于"云"平台,采用垂直搜索引擎进行网络舆情的抓取、分析,智能聚合系统对抓取来的舆情进行内容分析,归类的全面、高效的网络舆情监控系统中。     

基于弱监督的属性关系抽取方法

针对从中文百科中抽取属性关系时所面临的训练语料匮乏问题,提出一种利用极少人工参与的弱监督自动抽取方法。首先,利用中文百科条目信息模板中的半结构化属性关系回标条目文本自动获取训练语料;然后,根据朴素贝叶斯分类原理优化训练语料;最后,基于条件随机场(CRF)建立属性关系抽取模型。在互动百科中采集的数据集上进行实验,综合评价F值达到了80.9%。结果表明该方法能够获得质量较高的训练语料,并取得良好的抽取性能。     

一种改进的朴素贝叶斯关键词提取算法研究

为了提高关键词提取的准确率,在利用文本中相同词的前后词共现频率识别组合词的基础上,提出一种基于改进词语统计特征的朴素贝叶斯关键词提取算法。该算法选取词语的词长、词性、位置、TF-IDF值作为词语的特征项,改进了统计词长、TF-IDF和词频的方法,使长词和TF-IDF大的词具有更高的概率,而在统计词频时,考虑了词语之间包含与被包含的关系。然后,采用朴素贝叶斯模型对标记好关键词的文本进行训练,获得各个特征项出现的概率,用来提取文本的关键词。实验表明,与传统基于词频和决策树C4.5的关键词提取算法相比,采用该方法提取的关键词具有更高的准确率和可读性。     

样本-属性加权的朴素贝叶斯改进算法

朴素贝叶斯算法是一种简单、高效且有着广泛应用的分类方法,但在现实中,条件独立性假设影响了其分类性能。为克服该问题,给出一种改进算法——样本-属性加权的朴素贝叶斯算法。首先,对属性计算相关系数得到属性权值;其次,利用属性权结合信息熵获得样本熵权,并据此加权样本以提高泛化能力;然后,给出了样本-属性加权的朴素贝叶斯算法;最后,在UCI数据集上的实验结果验证了改进算法比原算法具有更好的分类性能。     

基于压缩的大规模图的割点求解算法

割点求解是图应用中的一个重要操作.深度优先搜索树算法可以解决割点求解问题.但是该算法存在缺点,导致它不能在实际问题中得到很好的应用.这是因为当今数据的两大特点,一是数据规模庞大,对于很多图操作提出了挑战性的要求;二是数据多变,每天数据的大量更新使得传统算法必须依据更新重复计算,浪费了时间和空间.深度优先搜索树算法的时间复杂度为O(|V|+|E|),其中,|V|和|E|分别为图的顶点的数目和边的数目.它能够很好地适应第1个特点,但是对于第2个特点该算法则无能为力.提出一种基于压缩的割点求解算法来解决这个问题.该算法通过点的朴素相似来压缩图,时间复杂度为O(|E|).在得到的无损压缩图上进行割点求解,同时在压缩图上动态地维护点和边的更新,在不解压图的情况下完成图的更新,在更新后的图上进行割点求解,极大地降低了时间和空间消耗.该压缩算法得到的压缩图对其他图操作同样适用.     

复杂光照下的缩微道路车道线检测方法

为了解决复杂光照下的缩微道路车道线检测问题,提出了一种适用于复杂光照下的缩微道路车道线检测方法。首先运用朴素贝叶斯对不同光照下的车道图像进行分类,然后对分类后的车道图像采取相应的图像处理方法,最后运用改进的大津法和改进概率霍夫变换来检测车道线。对多段不同光照模式下的车道图像进行的仿真实验表明,该方法对缩微道路车道线检测的成功率达到95.5%,具有很强的鲁棒性和抗干扰能力。     

一种基于情感词典和朴素贝叶斯的中文文本情感分类方法*

基于朴素贝叶斯理论提出了一种新的中文文本情感分类方法。这种方法利用情感词典对文本进行处理和表示,基于朴素贝叶斯理论构建文本情感分类器,并以互联网上宾馆中文评论作为分类研究的对象。实验表明,使用提出的方法构成的分类器具有分类速度快、分类准确度高、鲁棒性强等特点,并且适合于大量中文文本情感分类应用系统。     

基于加权朴素贝叶斯分类算法的学生成绩决策分析

在已有上机实验数据的基础上,使用综合的权值计算方法,将加权朴素贝叶斯分类算法应用到学生成绩分析与预测中．实验结果显示,对于学生的成绩分类,使用综合权值的结果优于传统权值的分类结果,表明使用文中的加权贝叶斯方法分析学生成绩是切实可行的．     

一种改进的朴素贝叶斯分类器在文本分类中的应用研究

文本分类是数据挖掘领域中重要的研究分支.通过对自适应遗传算法和朴素贝叶斯分类器的研究,提出一种基于自适应遗传算法的朴素贝叶斯分类算法.将该算法应用于中文文本分类中,可以生成最优贝叶斯分类器及最优属性集合,提高分类精度.