一种改进的朴素贝叶斯关键词提取算法研究

为了提高关键词提取的准确率,在利用文本中相同词的前后词共现频率识别组合词的基础上,提出一种基于改进词语统计特征的朴素贝叶斯关键词提取算法。该算法选取词语的词长、词性、位置、TF-IDF值作为词语的特征项,改进了统计词长、TF-IDF和词频的方法,使长词和TF-IDF大的词具有更高的概率,而在统计词频时,考虑了词语之间包含与被包含的关系。然后,采用朴素贝叶斯模型对标记好关键词的文本进行训练,获得各个特征项出现的概率,用来提取文本的关键词。实验表明,与传统基于词频和决策树C4.5的关键词提取算法相比,采用该方法提取的关键词具有更高的准确率和可读性。     

基于朴素贝叶斯的局部放电诊断模型

针对局部放电故障诊断问题,提出一种基于朴素贝叶斯的局部放电诊断模型,并对模型中的朴素贝叶斯的应用方法进行详细研究。该模型由四部分组成:信号的接收及处理、谱图产生、特征提取和朴素贝叶斯分类。诊断流程:首先由UHF传感器接收局部放电信号并交于信号调理单元处理;然后基于处理后的信号产生三维谱图,提取谱图的典型特征;最后采用朴素贝叶斯算法进行故障诊断。该模型已作为插件嵌入到某一电力设备生产企业的变压器监测产品中。实际测试表明该模型较好地满足了应用需求。     

基于改进贝叶斯算法的文本广告邮件过滤

北方工业大学信息工程学院北京100041摘要：本文在分析朴素贝叶斯分类算法基础上提出了一种改进的贝叶斯算法,并将邮件视为句间有序,句内关键词无序的集合,用改进的贝叶斯算法模型设计了一种文本广告邮件过滤系统,通过实验证明了其有效性。     

基于Oracle选择的朴素贝叶斯集成算法

针对朴素贝叶斯模型的稳定性,进一步提高朴素贝叶斯模型的性能,通过集成学习方法克服朴素贝叶斯模型中属性独立的限制条件,提出一种基于Oracle选择的朴素贝叶斯集成算法,使用Oracle选择机制破坏其稳定性,并从中选取较好的分类器作为集成学习中的个体成员,使用投票方法对结果进行融合。实验结果证明,该算法能提高朴素贝叶斯模型分类的正确率,表明OSBE的性能在一些数据集上优于Bagging与Adaboost集成学习的性能。     

基于朴素贝叶斯算法的信息过滤研究

随着信息量的快速增长,获取和筛选相关信息变得越来越重要。文章研究了基于朴素贝叶斯算法的信息过滤方法。首先,介绍了朴素贝叶斯算法的基本原理,包括贝叶斯定理、朴素贝叶斯分类器及该算法的优缺点。其次,探讨了朴素贝叶斯算法在信息过滤领域的应用,包括信息过滤的分类、文本表示方法、基于朴素贝叶斯的信息过滤模型构建。最后,通过实验评估了该方法在文本分类任务上的性能,包括不同特征表示方法的对比以及与其他分类算法的性能对比。实验结果表明,基于朴素贝叶斯算法的信息过滤具有较好的性能,可以有效分类不同主题的文本。     

基于MapReduce的朴素贝叶斯文本分类研究

随着互联网的到来,其技术的发展导致了各种数据呈现出爆发式的增长,比如文本数据,分类算法在海量数据前面临着新的挑战。为了解决传统朴素贝叶斯分类算法在面临挑战中的不足,对其中关键词进行加权来提高分类准确率,然后通过Map Reduce编程模型,设计出朴素贝叶斯算法在Hadoop平台下的实现。实验表明:在Hadoop集群上通过并行化的设计朴素贝叶斯分类算法展现出了良好的性能,同时表现出了可靠的扩展性。     

基于机器学习的剧本角色情感识别研究

针对DataFountain平台举办竞赛所提供的剧本角色情感数据集,采用中文分词、去停用词和绘制词云图等工具对数据进行预处理,利用词频-逆向文档频率(TF-IDF)算法提取文本特征,分别建立了基于支持向量机和朴素贝叶斯算法的机器学习分类识别模型。将建立的新模型应用于剧本角色情感的识别和分析研究,结果表明,朴素贝叶斯分类模型的识别效果要优于支持向量机分类模型;并且,当拉普拉斯平滑系数α=0.2时,朴素贝叶斯算法的分类准确率接近于80%。     

基于BHNB的细粒度的Android恶意应用检测模型

为进一步提高Android恶意应用的检测效率,提出一种基于BHNB(Bagging Hierarchical Na?ve Bayesian)的细粒度Android恶意应用检测模型。该模型首先对样本库中的应用进行类别划分,并分别对其进行动态分析,提取各个应用程序的行为信息作为特征;然后,采用层次朴素贝叶斯HNB(Hierarchical Na?ve Bayesian)分类算法对各类应用特征集合进行分别训练,从而构建出多个层次朴素贝叶斯分类器;最后,采用Bagging集成学习方法对构建出的多个层次朴素贝叶斯分类器进行集成学习,构建出基于层次朴素贝叶斯的Bagging集成学习分类器BHNB。实验结果表明,该模型能够有效检测出Android恶意应用,且检测效率较高。     

结合特征和非特征信息改进Nave Bayes及其应用*

朴素贝叶斯算法是一种常见的基于内容的垃圾邮件过滤算法,但是,传统朴素贝叶斯过滤存在判断内容的不确定性和邮件表示不完整性等问题。分析邮件信头各域在正常邮件和垃圾邮件中表现出的不同属性,提取非特征信息,结合特征信息和非特征信息改进朴素贝叶斯算法。实验结果表明,改进的朴素贝叶斯分类方法与单纯使用特征信息的方法相比,垃圾邮件的召回率和准确率更高,凸显了该方法涵盖邮件信息、克服内容判断缺陷的优势。     

面向云计算的数据挖掘分类算法研究

针对传统贝叶斯分类算法在处理海量数据时存在的运行时间长和分类准确率低等问题,在对传统的贝叶斯分类算法和云计算进行了深入研究后,提出了面向云计算环境的基于MapReduce模型的朴素贝叶斯分类算法。该算法实现了朴素贝叶斯分类算法的并行化,实现了大规模数据在云计算环境下的集群中进行贝叶斯分类处理。实验结果证明,该算法具有较高的分类准确率,在运行时间和加速比方面也有很好的效果。     

基于改进遗传算法和隐Markov模型的协议异常检测方法

针对现有基于隐Markov模型的协议异常检测方法中存在的训练样本不足问题和初始参数敏感问题,提出一种基于改进遗传算法和隐Markov模型的协议异常检测新方法。首先,采用局部竞争选择策略、算术交叉算子和自适应非均匀变异算子改进遗传算法,避免传统遗传算法在收敛过程中的“早熟”和“停滞”问题;然后,利用改进的遗传算法优化隐Markov模型的初始参数,解决模型对初始参数敏感的问题;最后,以协议关键词和关键词时间间隔作为训练观测值,细粒度的描述协议行为,扩大模型的训练样本空间。在DARPA 1999数据集上的实验结果表明,该方法具有很高的检测率和较低的误报率。     

基于Hadoop平台的TFIDF算法并行化研究

针对大数据集下文本分类算法在单机上训练和测试过程效率低下的问题,提出了基于Hadoop分布式平台的TFIDF文本分类算法,并给出了算法实现的具体流程。通过MapReduce编程模型实现了考虑到词在文档中位置的并行化TFIDF文本分类算法,并与传统串行算法进行了对比,同时在单机和集群模式下进行了实验。实验表明,使用并行化的TFIDF文本分类算法可实现对海量数据的高速有效分类,并使算法性能得到优化。     

基于CRF和错误驱动的中心词识别

针对中文问题分类的中心词识别不准确的问题, 提出了一种基于条件随机场（CRF）和错误驱动学习相结合的识别方法。该方法采用CRF模型对问题的中心词进行初始标注, 依据词的上下文信息用错误驱动的学习方法对其标注结果进行纠正。在训练有序规则的过程中, 为了减少训练时间, 结合中心词的特点对错误驱动算法进行了改进。实验结果表明, 该方法在一定程度上提高了中心词的标注精度, 达到88%。     

基于扩展生成语言模型的图像自动标注方法

使用最大权匹配算法,结合统计平滑技术,提出图像区域特征生成概率估计方法,并进一步对训练集中标注词之间的语义相关性(correlation)进行分析与度量,给出一种基于生成模型的图像标注算法.算法使用所提出的基于最大权匹配的图像生成概率估计方法得到较好的起始点,进而设计启发式迭代函数对词与词的相关性加以利用,最终提高标注词与图像的语义相关性.在现实世界图像数据库上的实验结果验证了所提出标注方法的有效性.     

面向关键字流图的相似程序间测试用例的重用

软件测试是软件开发中重要的一环,能有效地提高软件的可靠性和质量.而测试用例的重用可减少软件测试的工作量,提升测试的效率.提出一种面向关键字流图的相似程序间测试用例的重用方法,该方法将程序已经生成的测试数据重用到与之相似的程序中.可见,探究测试用例重用的前期工作是判定程序的相似性.对于程序相似性的判定,给出根据关键字流图相似性比较的方法：首先,将程序代码中的关键字存储在流图所对应的节点中,构建关键字流图;接下来,利用动态规划算法查找待测程序关键字流图的最大公共子图;最后,根据最大公共子图距离算法计算程序的相似度.较高相似程度的程序可用到测试用例重用的方法中.在利用遗传算法生成测试用例时,引用相似程序中适应度较高的测试用例,使种群在进行进化操作过程中不断与这些用例进行交叉,加快用例的生成效率.实验表明：将测试用例重用在相似程序的测试生成中,与传统方法相比,在覆盖率和平均进化代数等方面均有明显优势.     

Application of the recurrent multilayer perceptron in modelingcomplex process dynamics

A nonlinear dynamic model is developed for a process system, namely a heat exchanger, using the recurrent multilayer perceptron network as the underlying model structure. The perceptron is a dynamic neural network, which appears effective in the input-output modeling of complex process systems. Dynamic gradient descent learning is used to train the recurrent multilayer perceptron, resulting in an order of magnitude improvement in convergence speed over a static learning algorithm used to train the same network. In developing the empirical process model the effects of actuator, process, and sensor noise on the training and testing sets are investigated. Learning and prediction both appear very effective, despite the presence of training and testing set noise, respectively. The recurrent multilayer perceptron appears to learn the deterministic part of a stochastic training set, and it predicts approximately a moving average response of various testing sets. Extensive model validation studies with signals that are encountered in the operation of the process system modeled, that is steps and ramps, indicate that the empirical model can substantially generalize operational transients, including accurate prediction of instabilities not in the training set. However, the accuracy of the model beyond these operational transients has not been investigated. Furthermore, online learning is necessary during some transients and for tracking slowly varying process dynamics. Neural networks based empirical models in some cases appear to provide a serious alternative to first principles models.     

基于重启型随机游走模型的图上关键字搜索

基于重启型随机游走模型和个人化PageRank算法,提出一种新的图上关键字搜索算法。该算法将向量空间模型和随机游走模型进行有效的结合,使查询搜索得到的结果可以匹配查询关键字,通过充分挖掘利用图中隐含的结构信息,更好地提供搜索结果。实验结果证明了该算法的有效性。     

改进SSD算法的多目标检测

目标检测作为计算机视觉的核心,在人脸识别、人脸跟踪、大规模场景识别等方面具有广泛应用,其中One-stage领域的SSD算法检测速度和检测性能较为突出,但在环境较为复杂的多目标检测情况下仍会出现误检和漏检。针对这一问题,提出一种改进SSD算法的多目标检测方法,通过优化SSD内部网络和提高样本适用性的方式改善检测性能;其中,采用修改网络输出和添加抗旋转层ARConv来统一网络结构,降低模型训练时间,减少漏检;并提出P-NMS算法和限制函数优化训练样本,减少误检;在测试阶段,提出单张图片批量测试方法,有效提高模型召回率。实验结果表明,改进后算法具有更强的鲁棒性,并且能有效降低误检、漏检率提升网络性能。     

改进型Elman神经网络发酵过程建模研究

依据发酵过程的机理和改进的Elman神经网络动态建模原理,提出了一个新的发酵过程建模分批训练算法。通过发酵过程仿真实验,与传统的BP建模算法比较,改进的Elman神经网络建模算法具有收敛速度快、泛化能力强等特点。此外,利用该算法编制的软件可以内嵌到发酵过程监控系统中,实现发酵过程在线建模与状态参量的在线预估。