利用粗糙集理论提高SVM预测系统的实时性

支持向量机是一种新的机器学习方法,它具有良好的推广性和分类精确性。但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低。文中介绍了一种新的学习算法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,从而缩短样本的训练时间,提高基于SVM预测系统实时性。文中最后利用该方法进行了数据试验,试验结果表明了该方法可以大大缩短样本的训练时间,提高基于支持向量机处理预测系统的效率。从而也证明了该方法的有效性。     

利用粗糙集理论提高SVM预测系统的实时性

支持向量机是一种新的机器学习方法，它具有良好的推广性和分类精确性。但是在利用支持向量机的分类算法处理实际问题时，该算法的计算速度较慢、处理问题效率较低。文中介绍了一种新的学习算法，就是将粗糙集和支持向量机相结合，利用粗糙集对支持向量机的训练样本进行预处理，从而缩短样本的训练时间，提高基于SVM预测系统实时性。文中最后利用该方法进行了数据试验，试验结果表明了该方法可以大大缩短样本的训练时间，提高基于支持向量机处理预测系统的效率。从而也证明了该方法的有效性。     

基于边界样本选择的支持向量机加速算法

针对支持向量机（Support Vector Machine,SVM）处理大规模数据集的学习时间长、泛化能力下降等问题,提出基于边界样本选择的支持向量机加速算法。首先,进行无监督的K均值聚类;然后,在各个聚簇内依照簇的混合度、支持度因素应用K近邻算法剔除非边界样本,获得最终的类别边界区域样本,参与SVM模型训练。在标准数据集上的实验结果表明,算法在保持传统支持向量机的分类泛化能力的同时,显著降低了模型训练时间。     

基于距离排序的快速支持向量机分类算法

传统支持向量机算法由于时空复杂度较高,因此很难有效地处理大规模数据。为了降低支持向量机算法的时空复杂度,提出一种基于距离排序的快速支持向量机分类算法。该算法首先计算两类样本点的样本中心,然后对每一个样本计算它与另一类样本中心之间的距离,最后根据距离排序选择一定比例的小距离样本作为边界样本。由于边界样本集合很好地包含了支持向量,而且数目较原始样本集合少得多,因此算法可以在保证支持向量机学习精度的前提下,有效地缩短训练时间和节约存储空间。在UCI标准数据集和20-Newsgroups文本分类数据集上的实验说明算法较以往支持向量预选取算法而言可以更为快速准确地进行支持向量预选取。     

粗SVM方法及其在发动机故障诊断中的应用

支持向量机是一种具有完备统计学习理论基础和出色学习性能的新型机器学习方法,它能够较好地克服过学习和泛化能力低等缺陷.但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低.文中介绍了一种新的学习算法粗SVM分类方法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,通过属性约简方法以减少属性个数,且在属性约简过程中选出几组合适的属性集组成新的属性集,使模型具有一定的抗信息丢失能力,同时充分利用SCM的良好推广性能,从而缩短样本的训练时间,实现快速故障诊断.对航空发动机故障诊断的实验结果表明了该方法的优越性. 型机器学习方法,它能够较好地克服过学习和泛化能力低等缺陷.但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低.文中介绍了一种新的学习算法粗SVM分类方法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,通过属性约简方法以减少属性个数,且在属性约筒过程中选出几组合适的属性集组成新的属性集,使模型具有一定的抗信息丢失能力,同时充分利用SCM的良好推广性能,从而缩短样本的训练时间,实现快速故障诊 .对航空发动机故障诊断的实验结果表明了该方法的优越性. 型机器学习方法     

基于几何分析的支持向量机快速训练与分类算法

当支持向量机中存在相互混叠的海量训练样本时,不但支持向量求取困难,且支持向量数目巨大,这两个问题已成为限制其应用的瓶颈问题。该文通过对支持向量几何意义的分析,首先研究了支持向量的分布特性,并提出了基于几何分析的支持向量机快速算法,该算法首先从训练样本中选择出部分近邻向量,然后在进行混叠度分析的基础上,选择真实的边界向量样本子空间用来代替全部训练集,这样既大大减少了训练样本数目,同时去除了混叠严重的奇异样本的影响,并大大减少了支持向量的数目。实验结果表明:该算法在不影响分类性能的条件下,可以加快支持向量机的训练速度和分类速度。     

基于边界向量的支持向量机增量算法

提出了一种新的基于边界向量的增量式支持向量机学习算法。该算法根据支持向量的几何分布特点,采用边界向量预选取方法,从增量样本中选取最有可能成为支持向量的样本形成边界向量集,在其上进行支持向量训练。通过对初始样本是否满足新增样本KKT条件的判断,解决非支持向量向支持向量的转化问题,有效地处理历史数据。针对UCI标准数据集上的仿真实验表明,基于边界向量的增量算法可以有效地减少训练样本数,积累历史信息,具有更高的分类速度和更好的推广能力。     

基于相邻边界模型的支持向量预选算法

根据支持向量的几何分布特性,提出相邻边界模型的概念以及一种支持向量预选算法。该算法通过预选出相互邻近的边界样本,避免大量样本参与二次规划问题的求解,为支持向量机提供高效的训练集。实验结果证明,采用该预选算法的LIBSVM可以较大地提高训练的时间效率和空间效率。     

基于自适应边界向量提取的多尺度v-支持向量机建模

针对v-支持向量机(v-SVM)用于大规模、多峰样本建模时易出现训练速度慢和回归精度低的问题,提出基于边界向量提取的多尺度v-SVM建模方法.该方法采用一种自适应边界向量提取算法,从训练样本中预提取出包含全部支持向量的边界向量集,以缩减训练样本规模,并通过求解多尺度v-SVM二次规划问题获取全局最优回归模型,从多个尺度上对复杂分布样本进行逼近.仿真结果表明,基于边界向量提取的多尺度v-SVM比v-SVM具有更好的回归结果.     

改进的SVDD增量学习算法

通过对SVDD增量学习中原样本和新增样本的特性分析,提出一种改进的SVDD增量学习算法。在增量学习过程中,该算法选取原样本的支持向量集和非支持向量中可能转为支持向量的样本集以及新增样本中违反KKT条件的样本作为训练样本集,舍弃对最终分类无用的样本。实验结果表明,该算法在保证分类精度的同时减少了训练时间。     

基于支持向量机和粗糙集的图像检索算法

研究基于支持向量机和粗糙集的相关反馈图像检索算法。利用粗糙集理论,通过对训练集的学习,构造分类规则,对支持向量机反馈后的结果再次进行处理。实验显示,与现有方法相比,该方法在图像检索的性能和时间上都有明显的改善。     

基于类内散度的粗糙one-class支持向量机

粗糙one-class支持向量机(ROC-SVM)在粗糙集理论基础上通过构建粗糙上超平面和下超平面来处理过拟合问题,但是在寻找最优分类超平面的过程中,忽略了训练样本类内结构这一非常重要的先验知识。因此,提出了一种基于类内散度的粗糙one-class支持向量机(WSROC-SVM),该方法通过最小化训练样本类内散度来优化训练样本类内结构,一方面使训练样本在高维特征空间中与坐标原点的间隔尽可能大,另一方面使得训练样本在粗糙上超平面尽可能紧密。在合成数据集和UCI数据集上的实验结果表明,较原始算法,该方法有着更高的识别率和更好的泛化性能,在解决实际分类问题上更具优越性。     

基于邻域粗糙集的支持向量机分类方法研究

针对支持向量机方法对高维大规模数据无法直接处理和对异常样本敏感的问题,提出了一种基于邻域粗糙集模型的改进支持向量机。该算法从两个方面对训练样本集进行预处理:一方面利用邻域粗糙集模型中对象邻域的上、下近似,寻找两种类别的交界部分,从而减小问题规模;然后通过对交界部分样本进行混淆度分析,剔除那些混杂在另一类样本中的异常样本或噪声数据。另一方面利用属性重要性度量对样本集进行属性约简与属性加权处理。基于合成数据集与标准数据集的有关实验证实了该算法的有效性。     

基于粗糙集与支持向量机的故障智能分类方法

结合粗糙集的属性约简与支持向量机的分类功能，提出一种应用粗糙集与支持向量机的故障分类方法。该方法应用粗糙集理论属性约简作为诊断数据预处理器，可将冗余属性从诊断决策表中删除，而不损失有效信息，然后基于支持向量机进行故障分类建模和预测。谊方法可降低故障诊断数据维数及支持向量机在故障分类过程中的复杂度，但不会降低分类性能。将方法应用于某柴油机故障诊断数据的测试分类，结果表明该方法可快速正确的从数据获得故障类剐。     

信息增益混合邻域粗糙集的肺部肿瘤高维特征选择算法

针对冗余属性和不相关属性过多对肺部肿瘤诊断的影响以及Pawlak粗糙集只适合处理离散变量而导致原始信息大量丢失的问题,提出混合信息增益和邻域粗糙集的肺部肿瘤高维特征选择算法(Information gain-neighborhood rough set-support vector machine,IG-NRS-SVM)。该算法首先提取3 000例肺部肿瘤CT图像的104维特征构造决策信息表,借助信息增益结果选出高相关的特征子集,再通过邻域粗糙集剔除高冗余的属性,通过两次属性约简得到最优的特征子集,最后采用网格寻优算法优化的支持向量机构建分类识别模型进行肺部肿瘤良恶性的鉴别。从约简和分类识别两个角度验证方法的可行性与有效性,并与不约简算法、Pawlak粗糙集、信息增益和邻域粗糙集约简算法进行对比。结果表明混合算法精确度优于其他对比算法,精确度达到96.17%,并且有效降低了时间复杂度,对肺部肿瘤计算机辅助诊断具有一定的参考价值。     

基于粗糙集与改进LSSVM的入侵检测算法研究

提出了基于粗糙集和改进最小二乘支持向量机的入侵检测算法。算法利用粗糙集理论的可辨识矩阵对样本属性进行约简,减少样本维数;利用稀疏化算法对最小二乘支持向量机进行改进,使其既具备稀疏化特性又具备快速检测的特点,提高了数据样本分类的准确性。结合算法不仅充分发挥粗糙集对数据有效约简和支持向量机准确分类的优点,同时克服了粗糙集在噪声环境中泛化性较差,支持向量机识别有效数据和冗余数据的局限性。通过实验证明,基于粗糙集和改进最小二乘支持向量机的入侵检测算法的检测精度高,误报率和漏报率较低,检测时间短,验证了算法的实效性。     

粗SVM 分类方法及其在污水处理过程中的应用

提出一种基于粗糙集理论和支持向量机理论的粗SVM分类方法，该方法采用粗糙集属性约筒方法以减少属性个数，且在属性约筒过程中选出几组合适的属性集组成新的属性集，使模型具有一定的抗信息丢失能力，同时充分利用SVM的良好推广性能，提高了预测分类精度，对城市污水处理厂运行状态的实验结果表明了该方法的优越性。     

局部关注支持向量机算法

针对训练数据集的不均衡性这一问题,结合采样方法和集成方法,提出一种集成支持向量机分类算法。该算法首先对不均衡的训练集进行非监督聚类;然后依靠其底层的局部关注支持向量机进行数据集局部划分,以精确把控数据集间的局部特征;最后通过顶层支持向量机进行分类预测。在UCI数据集上的评测结果显示,该算法与当前流行的算法（如基于采样的核化少数类过采样技术（K-SMOTE）、基于集成的梯度提升决策树（GTB）和代价敏感集成算法（AdaCost）等）相比,分类效果有明显提升,能在一定程度上解决数据集的不均衡问题。     

样例约简支持向量机

支持向量机(support vector machine,SVM)仅利用靠近分类边界的支持向量构造最优分类超平面,但求解SVM需要整个训练集,当训练集的规模较大时,求解SVM需要占用大量的内存空间,寻优速度非常慢。针对这一问题,提出了一种称为样例约简的寻找候选支持向量的方法。在该方法中,支持向量大多靠近分类边界,可利用相容粗糙集技术选出边界域中的样例,作为候选支持向量,然后将选出的样例作为训练集来求解SVM。实验结果证实了该方法的有效性,特别是对大型数据库,该方法能有效减少存储空间和执行时间。     

Neighborhood based sample and feature selection for SVM classification learning

Support vector machines (SVMs) are a class of popular classification algorithms for their high generalization ability. However, it is time-consuming to train SVMs with a large set of learning samples. Improving learning efficiency is one of most important research tasks on SVMs. It is known that although there are many candidate training samples in some learning tasks, only the samples near decision boundary which are called support vectors have impact on the optimal classification hyper-planes. Finding these samples and training SVMs with them will greatly decrease training time and space complexity. Based on the observation, we introduce neighborhood based rough set model to search boundary samples. Using the model, we firstly divide sample spaces into three subsets: positive region, boundary and noise. Furthermore, we partition the input features into four subsets: strongly relevant features, weakly relevant and indispensable features, weakly relevant and superfluous features, and irrelevant features. Then we train SVMs only with the boundary samples in the relevant and indispensable feature subspaces, thus feature and sample selection is simultaneously conducted with the proposed model. A set of experimental results show the model can select very few features and samples for training; in the mean time the classification performances are preserved or even improved.