自适应剪枝LS-SVM算法在入侵检测中的应用研究

针对SVM方法计算复杂度和时间复杂度较高的缺点,提出一种自适应剪枝LS-SVM算法。该算法通过块增量学习、剪枝过程以及逆学习的交替进行,大幅减少了支持向量的个数,降低了算法的计算复杂度和时间复杂度。实验结果表明,同标准C-SVM算法相比,应用该算法的入侵检测模型在检测时间、检测精度方面有着较好表现。     

混合式贝叶斯网络结构增量学习算法研究

提出一种混合式贝叶斯网络结构增量学习算法.首先提出多项式时间的限制性学习技术,为每个变量建立候选父节点集合;然后,依据候选父节点集合,利用搜索技术对当前网络进行增量学习.该算法的复杂度显著低于目前最优的贝叶斯网络增量学习算法.理论与实验均表明,所处理的问题越复杂,该算法在计算复杂度方面的优势越明显.     

一种朴素贝叶斯分类增量学习算法

朴素贝叶斯(Nave Bayes,NB)分类方法是一种简单而有效的概率分类方法,但是贝叶斯算法存在训练集数据不完备这个缺陷。传统的贝叶斯分类方法在有新的训练样本加入时,需要重新学习已经学习过的样本,耗费大量时间。为此引入增量学习算法,算法在已有的分类器的基础上,自主选择学习新的文本来修正分类器。本文给出词频加权朴素贝叶斯分类增量学习算法思想及其具体算法,并对算法给予证明。通过算法分析可知,相比无增量学习的贝叶斯分类,本算法额外的空间复杂度与时间复杂度都在可接受范围。     

感知器学习算法研究

介绍感知器学习算法及其变种,给出各种感知器算法的伪代码,指出各种算法的优点。给出感知器算法在线性可分和线性不可分情况下的误差界定理,讨论各种感知器学习算法的误差界理论,给出各种算法的误差界。介绍感知器学习算法在在线优化场景、强化学习场景和赌博机算法中的应用,并对未解决的问题进行讨论。     

一种增量更新算法在数据挖掘中的应用

引入扩展差别矩阵和扩展决策矩阵,提出了新的属性约简算法和增量更新算法,即基于扩展差别矩阵的属性约简算法和基于扩展决策矩阵的增量式规则提取算法,讨论了规则的增量更新算法。由于使用了增量更新算法和并行处理技术,从而提高了数据挖掘的效率,降低了时间复杂度。通过实验说明此算法是有效和可行的。     

一种改进的Voronoi图增量构造算法

Voronoi图是计算几何中的一种重要几何结构,也是计算几何的重要研究内容之一,如今已经在图形学、地理信息系统、机械工程、机器人等领域得到广泛应用。增量法是最常用的构造Voronoi图的方法,但一般实现方法中点的定位时间比较长。扫描线算法可以视为一种特殊的增量法,时间复杂度为O(nlog n),但需要构造比较复杂的数据结构。为了更有效地构建Voronoi图,提出了一种改进的Voronoi图增量构造算法,该算法是通过对已有的生成Voronoi图的增量法进行分析,并结合它们的优点,采用扫描线的方式,通过右凸链的结构来定位新插入的点,实现了Voronoi图的逐步构造。和扫描线算法类似,其时间复杂度为O(nlog n),但算法更简洁,且便于理解和编程实现。     

基于云模型的最接近支持向量机增量学习方法*

针对经典支持向量机在增量学习中的不足,提出一种基于云模型的最接近支持向量机增量学习算法。该方法利用最接近支持向量机的快速学习能力生成初始分类超平面,并与k近邻法对全部训练集进行约简,在得到的较小规模的精简集上构建云模型分类器直接进行分类判断。该算法模型简单,不需迭代求解,时间复杂度较小,有较好的抗噪性,能较好地体现新增样本的分布规律。仿真实验表明,本算法能够保持较好的分类精度和推广能力,运算速度较快。     

基于最大概念的概念格增量构造算法

针对增量概念格构造过程中,节点更新和生成元判定效率较低、边更新阶段的复杂度较高等问题,提出基于最大概念的概念格增量构造算法,通过跟踪与概念格中的概念具有相同真实内涵的最大概念,简化生成元的判断过程。该算法缩小了寻找新生节点父节点时的搜索范围,避免对生成元非必要边的判断,提高构造概念格的速度。复杂度分析结果表明,该算法的时间性能优于其他同类算法。     

模块度引导下的社区发现增量学习算法

当前社区发现领域存在诸多静态社区划分算法,而其划分结果的不稳定性和较高的算法复杂度已经不能适应如今规模庞大,变化频繁的网络结构。为解决传统静态算法这一局限性,提出了一种利用模块度优化的增量学习算法,将网络结构的变化划分成边变化、点变化两种基本操作,在对"模块度最大化"的规则指导下实现网络结构的增量学习。实验表明,该算法在保证原有社区划分结果的前提下,可以将新变化的节点快速划分进已有社区,并使得模块度与静态算法重新计算模块度相近,节省了时间,保持了社区划分的实时性。     

移动数据库视图更新算法研究

由于移动无线网络的不稳定特性,有必要在移动主机端缓存数据。在移动数据库应用中,数据缓存采取实体化视图形式,由位于固定网络中的视图管理器来维护。为了减少无线传输量,使用视图增量更新算法。但是当网络带宽不足时,只能选择一部分增量进行更新。于是有人提出了根据动态的数据新鲜度优先级进行排队的视图更新算法PIU算法,但是这种算法仅仅考虑了视图整体数据的动态新旧度,即平均时间因素,所以仍存在许多缺陷。为了弥补这些缺陷,在这基础上,引入用户的访问概率和数据的复杂度两个因素,提出改进的PIU算法,有效地改善移动数据库视图更新的面向用户性、实时性和一致性。     

基于静态权值组合集成模型的WSN时钟偏差估计

针对无线传感器网络(WSN)时钟同步精度低、复杂度高等问题,提出了一种基于静态权值组合集成模型的时钟偏差预测方法。对传感器节点的时间戳观测值进行有放回抽样,将面向回归问题的AdaBoost.RT集成学习算法的误差函数和阈值调整方法进行改进,并以改进的AdaBoost.RT算法作为集成框架,采用离散神经元网络(DPNN)作为弱学习机构建集成局域模型对时间偏差进行有效预测。实验表明,对于长期预测,AdaBoost.RT模型和改进型AdaBoost.RT模型的预测效果相对于DPNN全局模型提升了20%。此外,在长期观测和短期观测两种情况下,AdaBoost.RT改进型模型的预测效果要优于AdaBoost.RT模型,能够更有效的减小时间估计偏差。     

通用集成学习算法的构造

集成学习算法的构造属于机器学习领域的重要研究内容,尽管弱学习定理指出了弱学习算法与强学习算法是等价的,但如何构造好的集成学习算法仍然是一个未得到很好解决的问题.Freund和Schapire提出的AdaBoost算法和Schapire和Singer提出的连续AdaBoost算法部分解决了该问题.提出了一种学习错误定义,以这种学习错误最小化为目标,提出了一种通用的集成学习算法,算法可以解决目前绝大多数分类需求的学习问题,如多分类、代价敏感分类、不平衡分类、多标签分类、模糊分类等问题,算法还对AdaBoost系列算法进行了统一和推广.从保证组合预测函数的泛化能力出发,提出了算法中的简单预测函数可统一基于样本的单个特征来构造.理论分析和实验结论均表明,提出的系列算法的学习错误可以任意小,同时又不用担心出现过学习现象.     

A probabilistic perceptron learning algorithm

Abstract

A probabilistic perceptron learning algorithm has been proposed here to reduce the computation time of learning. The proposed algorithm is easily programmed and can drastically decrease the time complexity of learning at the expense of only a little accuracy. Experimental results also show this trade-off being worthwhile. Our proposed probabilistic perceptron learning algorithm thus has practical use, especially when the requirement of computational time is critical.     

基于AdaBoost的计算机生成图像检测算法

提出了一种基于AdaBoost的计算机生成图像检测算法;该算法从空间域和变换域提取JPEG图像的特征值,利用特征组合技术来检测计算机生成图像.其中,小波域特征值是图像小波子带系数及其线性预测误差的高阶统计量,空间域特征是图像的梯度能量特征值.利用AdaBoost算法来构造分类器.相比于其它分类算法,AdaBoost算法是将弱学习算法通过一定规则上升为一种强学习算法,从而通过实际样本训练得到一个识别率较为理想的分类器.仿真实验表明,对计算机生成图像的检测率有了很大的提高.     

一种用于不平衡数据分类的改进AdaBoost算法

真实世界中存在大量的类别不平衡分类问题,传统的机器学习算法如AdaBoost算法,关注的是分类器的整体性能,而没有给予小类更多的关注。因此针对类别不平衡学习算法的研究是机器学习的一个重要方向。AsymBoost作为AdaBoost的一种改进算法,用于类别不平衡学习时,牺牲大类样本的识别精度来提高小类样本的分类性能。AsymBoost算法依然可能遭遇样本权重过大造成的过适应问题。据此提出了一种新型的AdaBoost改进算法。该方法通过对大类中分类困难样本的权重和标签进行处理,使分类器能够同时获得较好的查准率和查全率。实验结果表明,该方法可以有效提高在不平衡数据集上的分类性能。     

AdaBoost算法研究进展与展望

AdaBoost是最优秀的Boosting算法之一, 有着坚实的理论基础, 在实践中得到了很好的推广和应用. 算法能够将比随机猜测略好的弱分类器提升为分类精度高的强分类器, 为学习算法的设计提供了新的思想和新的方法. 本文首先介绍Boosting猜想提出以及被证实的过程, 在此基础上, 引出AdaBoost算法的起源与最初设计思想;接着, 介绍AdaBoost算法训练误差与泛化误差分析方法, 解释了算法能够提高学习精度的原因;然后, 分析了AdaBoost算法的不同理论分析模型, 以及从这些模型衍生出的变种算法;之后, 介绍AdaBoost算法从二分类到多分类的推广. 同时, 介绍了AdaBoost及其变种算法在实际问题中的应用情况. 本文围绕AdaBoost及其变种算法来介绍在集成学习中有着重要地位的Boosting理论, 探讨Boosting理论研究的发展过程以及未来的研究方向, 为相关研究人员提供一些有用的线索. 最后,对今后研究进行了展望, 对于推导更紧致的泛化误差界、多分类问题中的弱分类器条件、更适合多分类问题的损失函数、 更精确的迭代停止条件、提高算法抗噪声能力以及从子分类器的多样性角度优化AdaBoost算法等问题值得进一步深入与完善.     

AdaBoost算法在车牌字符识别中的应用

提出了一种基于AdaBoost的车牌字符自动识别算法。AdaBoost是一种构建准确分类器的学习算法，它将一族弱学习算法通过一定规则结合成为一个强学习算法，从而通过样本训练得到一个识别准确率理想的分类器，将之用于车牌字符识别，对车牌图像进行实验，对车牌字符样本进行特征提取，用特征来训练有效分类器，用MATLAB完成了对车牌照数字识别的模拟，结果证实此算法对车牌字符识别有一定准确性，具有良好的效果。     

多标签代价敏感分类集成学习算法

尽管多标签分类问题可以转换成一般多分类问题解决,但多标签代价敏感分类问题却很难转换成多类代价敏感分类问题.通过对多分类代价敏感学习算法扩展为多标签代价敏感学习算法时遇到的一些问题进行分析,提出了一种多标签代价敏感分类集成学习算法.算法的平均错分代价为误检标签代价和漏检标签代价之和,算法的流程类似于自适应提升（Adaptive boosting,AdaBoost）算法,其可以自动学习多个弱分类器来组合成强分类器,强分类器的平均错分代价将随着弱分类器增加而逐渐降低.详细分析了多标签代价敏感分类集成学习算法和多类代价敏感AdaBoost算法的区别,包括输出标签的依据和错分代价的含义.不同于通常的多类代价敏感分类问题,多标签代价敏感分类问题的错分代价要受到一定的限制,详细分析并给出了具体的限制条件.简化该算法得到了一种多标签AdaBoost算法和一种多类代价敏感AdaBoost算法.理论分析和实验结果均表明提出的多标签代价敏感分类集成学习算法是有效的,该算法能实现平均错分代价的最小化.特别地,对于不同类错分代价相差较大的多分类问题,该算法的效果明显好于已有的多类代价敏感AdaBoost算法.     

Learning Nonoverlapping Perceptron Networks from Examples and Membership Queries

We investigate, within the PAC learning model, the problem of learning nonoverlapping perceptron networks (also known as read-once formulas over a weighted threshold basis). These are loop-free neural nets in which each node has only one outgoing weight. We give a polynomial time algorithm that PAC learns any nonoverlapping perceptron network using examples and membership queries. The algorithm is able to identify both the architecture and the weight values necessary to represent the function to be learned. Our results shed some light on the effect of the overlap on the complexity of learning in neural networks.