基于优化算法的核函数参数选择的研究

尽管支持向量机在许多问题上有着良好的表现,但是其参数和核函数的参数选取问题依然亟待解决。以往多采用优化算法进行参数选取,但也需要预先经验地获得核函数的参数的选取范围。在介绍结构风险最小化原则及支持向量机算法的基础上,给出了基于优化算法的支持向量机参数选取的一般性算法。由于径向基核函数（RBF）的参数取值大小的不同,可导致其性质和作用不同,为此提出了一种分段函数对RBF的参数进行选择的方法,该方法使得RBF的参数取大值和小值的概率均等。由此可不必预先经验地指定RBF的参数的选取范围,依然可以优化获得最优的参数。通过对头部组织电导率估算问题进行对比研究,取得了良好的效果,验证了该方法的有效性。     

基于核稀疏表示的属性选择算法

为解决高维数据在分类时造成的“维数灾难”问题,提出一种新的将核函数与稀疏学习相结合的属性选择算法。具体地,首先将每一维属性利用核函数映射到核空间,在此高维核空间上执行线性属性选择,从而实现低维空间上的非线性属性选择;其次,对映射到核空间上的属性进行稀疏重构,得到原始数据集的一种稀疏表达方式;接着利用L 1范数构建属性评分选择机制,选出最优属性子集;最后,将属性选择后的数据用于分类实验。在公开数据集上的实验结果表明,该算法能够较好地实现属性选择,与对比算法相比分类准确率提高了约3%。     

基于核函数的稀疏属性选择算法

鉴于传统属性选择算法无法捕捉属性之间的关系的问题,文中提出了一种非线性属性选择方法。该方法通过引入核函数,将原始数据集投影到高维的核空间,因在核空间内进行运算,进而可以考虑到数据属性之间的关系。由于核函数自身的优越性,即使数据通过高斯核投影到无穷维的空间中,计算复杂度亦可以控制得较小。在正则化因子的限制上,使用两种范数进行双重约束,不仅提高了算法的准确率,而且使得算法实验结果的方差仅为0.74,远小于其他同类对比算法,且算法更加稳定。在8个常用的数据集上将所提算法与6个同类算法进行比较,并用SVM分类器来测试分类准确率,最终该算法得到最少1.84%,最高3.27%,平均2.75%的提升。     

一种基于水平分布的多决策表全局属性核求解算法

针对全局决策表一致和不一致情况,探讨了全局属性核与局部属性核之间的关系,提出一种基于水平分布的多决策表全局属性核求解算法.该算法充分利用各局部属性核,且通过传送压缩的局部决策表可有效地减少网络通讯量,从而提高全局属性核求解的效率.算法分析结果表明,该算法是有效且可行的.     

基于局部结构学习的非线性属性选择算法

针对大多数高维数据之间不仅有相似性,而且还有非线性关系等特点,提出一种基于局部结构学习的非线性属性选择算法。该算法首先通过核函数把数据映射到高维空间,在高维空间中表示出数据属性之间的非线性关系;然后在低维空间中通过局部结构学习来充分挖掘属性之间的相似性,同时通过低秩约束来排除噪声的干扰;最后通过稀疏正则化因子来进行属性选择。其通过核函数映射来找出数据属性之间的非线性关系,运用局部结构学习来找出数据属性之间的相似性,是一种嵌入了局部结构学习的非线性属性选择算法。实验结果表明,该算法相比其他的对比算法,有更好的效果。     

一种新的基于信息熵的属性选择算法

属性选择是提高分类器性能的一种有效的方法.然而已有的属性选择算法要么假设数据无噪声,要么没有考虑属性间的交互作用,不能用于数据集中既有噪声又存在属性交互作用的情况.提出一种基于信息熵的属性选择算法,该算法用条件熵来评价属性子集对目标概念的描述能力,利用后向删除搜索策略进行属性选择.同时,根据不一致实例和关联规则中提升度的概念,给出噪声数据的定义和识别方法.该算法和典型的属性选择算法在10个UCI标准数据集上的对比实验结果表明,提出的算法在减少属性数量的同时将C4.5和NaiveBayes的平均分类精度分别提高了2.77%和3.42%.     

一种基于Rough Set的启发式属性约简算法

属性约简的目的在于减少条件属性中不必要属性的数目,是知识发现中的关键问题之一。本文提出了一种改进的基于Rough集的启发式算法（IMSA）,定义了新的启发函数（WSH）。这个函数考虑了所有隐藏规则集的质量,并且考虑了相关规则集的权重。在算法本身的时间复杂度没有增加的前提下,能够解决MSA算法遇到多个相同MSH值时无法处理的情况。实验分析表明,该算法是有效的。     

一种核属性快速求解算法

针对求核算法存在所求得的核与基于正区域的核不一致以及算法的时间和空间复杂度不理想的问题,提出一种新的求核方法,并证明了由该方法所获得的核与基于正区域的核是一致的.利用分布计数基数排序方法设计了一种高效的等价类求解算法,在此基础上给出了快速求核算法.实验表明,所提出的算法是正确而高效的.     

一种快速属性核求解算法

在Rough Set理论中,计算属性核是最重要的计算之一。以桶排序的思想设计了一个新的求解U/C的算法,其时间复杂度被降为O（|C||U|）。基于此,提出了一个新的求核算法,其时间复杂度被降为[O(|C|2|U|)]。通过实验证明了求核算法的高效性。     

基于社会力模型算法的SVM参数优化

为了解决支持向量机(SVM)参数优化的问题,提出一种改进的基于社会力模型群智能优化算法SFSO(Swarm Optimization algorithm based on Social Force Model)的SVM参数优化方法。SFSO通过期望力和排斥力使算法在全局搜索和局部搜索中能够较好的平衡,利用SFSO特有的搜索机制对SVM的惩罚因子和径向基函数进行优化,提高SVM的分类性能。通过对几个benchmark函数和常用的UCI数据集进行测试表明:改进后的SFSO算法不仅对于求解函数优化问题具有较强的鲁棒性和较高的求解精度,而且经改进SFSO算法优化后的SVM具有更快的收敛速度和更高的分类准确率。     

一种基于遗传算法改进的粒子群优化算法

在研究标准粒子群算法和遗传算法的基础上,介绍一种加入遗传选择,交叉算子以及变异算子的扩展算法,以提高粒子群算法摆脱局部极值点的能力,并且算法具有较快的收敛能力。     

一种改进的基于属性频率的约简算法

分析HORAFA算法和HORAFA-A算法的不足,给出一种获得最优约简的启发式算法.算法以核属性为初始约简集,以属性频率为启发式信息,选择必要的属性加入约简集.该算法不仅适用于相容决策表系统,也适用于不相容决策表系统;同时,改进了反向消除方法,可以更快速地删除多余条件属性.实验表明,该算法是正确的,并且效率优于HORAFA-A算法.     

一种基于属性相似度的孤立点挖掘方法

孤立点挖掘是数据挖掘中研究的热点之一.在对已有的孤立点挖掘技术分析的基础上,结合基于密度的聚类算法,提出了一种新的改进的检测孤立点方法即基于属性相似度的孤立点挖掘方法(ADBSCAN).该方法先用基于密度的聚类算法进行聚类,然后再利用对象间的属性相似度进行进一步的检验,确定不包含在任何聚类中的对象是否为真正的孤立点,并通过实验验证了该方法的可行性和有效性.     

一种基于核映射的自适应优化配置属性权重组的方法

通过引入一个从样本空间到特征空间的核映射,从而将样本空间中的分类问题与特征空间中的聚类问题联系起来.为获得样本空间中的一组合适的属性权重值,提出了一种基于核映射的自适应优化配置属性权重组的方法.在特征空间中根据"聚类之内的数据点最大限度的相近,聚类之间的数据点最大限度的相离"这个原则,提出了一个带约束的混和目标函数,通过优化这个混和目标函数来获得样本空间中的一个合适的属性权重组.为求解这个混和目标函数,提出了一种基于负投影梯度的自适应优化配置属性权重组的方法.接着采用UCI的两个标准数据集来进行实验验证,可以证实这种根据给定数据点集进行自适应优化配置样本空间中的属性权重组方法的有效性.最后给出了两种自适应优化目标函数权重参数和核函数参数的方法.     

基于属性重要性的属性约简算法

粗糙集理论是一个新的处理不确定性问题的数学工具,属性约简是粗糙集理论的核心问题之一。为了获得决策系统中更好的相对属性约简,提出一种基于属性重要性的属性约简算法。将可辨识矩阵中出现次数多少作为属性重要性的判断依据。算法还考虑了当出现次数相同的情况下属性选择问题,由此定义新的属性重要性,以新的属性重要性为启发信息,分析表明,提出的算法是有效可行的。     

一种基于蚁群优化的图像分类算法

现有图像降维方法中特征信息被过多压缩,从而影响图像分类效果。提出IC-ACO算法,利用蚁群算法来解决图像分类问题。算法充分提取并保留图像的各种形态特征。利用蚁群优化算法在特征集中自动挖掘有效特征和特征值,构建各类分类规则,从而实现图像的分类识别。在真实的车标图像数据集上的实验结果表明,IC-ACO算法比其他类似算法具有更高的分类识别率。     

一种基于浓缩树结构的属性约简算法

属性约筒是粗糙集理论的重要研究内容之一,以浓缩树结构存储区分矩阵中的非空数据项,对IReductBtree算法进行了一些改进.它是根据树结构特点结合特殊的启发式策略,删除树中结点,直到树空最后得到信息系统的一个约简.最后,通过一个实例完整演示了该方法证实其有效性.     

结合粗糙集和模糊聚类方法的属性约简算法

本文针对粗糙集理论的属性约简算法进行了研究。结合模糊聚类方法,提出了一个新的属性约简算法,用户可以根据实际决策需要和领域知识更改阈值λ,从而得到用户满意的属性约简结果。最后利用该文的算法给出了一个实例的约筒结果。