一种双重正则化支持向量机的改进算法

针对L1范数支持向量机和L2范数支持向量机在分析部分小样本、高维数、变量高相关的数据时效果不理想的问题,在综合利用这2种支持向量机优点的基础上,提出一种双重正则化支持向量机的改进算法。通过正号函数和二次多项式损失函数将问题转化为可微的无条件约束优化问题,便于采用多种优化算法进行运算。实验结果证明,该改进算法可取得较好的分类准确率。     

引入人工蜂群搜索算子的粒子群算法

针对标准粒子群算法易出现早熟现象和收敛速度慢等问题,提出一种引入人工蜂群搜索算子的粒子群算法.首先利用人工蜂群搜索算子很强的探索能力,对粒子搜索到的历史最优位置进行搜索以帮助算法快速跳出局部最优点;然后,为了提高算法的全局收敛速度,提出一种基于混沌和反学习的初始化方法.通过12个标准测试函数的仿真实验并与其他算法相比较,所得结果表明所提出的算法具有较快的收敛速度和很强的跳出局部最优的能力.     

一种肿瘤基因的支持向量机提取方法

根据结肠癌肿瘤基因表达谱样本高维数、小样本和高噪声的特点,提出用Bhattacharyya 距离对肿瘤基因进行测量,滤除分类无关基因,然后用肿瘤基因对支持向量机模型的敏感度进行二次提取．并用它的归一化值对重要基因赋权,形成只有少数重要致病肿瘤基因的新样本集．最后,支持向量机应用于对新样本集的特征基因进行分析与测试．实验证明这种分析方法提高了肿瘤诊断的准确率．     

基于不平衡数据分类的一种平衡模糊支持向量机

鉴于不平衡数据集中类不平衡比较大的分类问题,利用样本点的特性建立类不平衡调节因子和模糊隶属度,提出了平衡模糊支持向量机。首先计算样本协方差矩阵,求得类不平衡调节因子,然后计算各样本点的模糊隶属度,得到各样本对分类超平面的贡献率。类平衡调节因子和模糊隶属度同时对分类器的误差项产生影响。结果表明,这种平衡模糊支持向量机对类不平衡比较大的分类问题具有很好的分类效果。     

基于双重正则化支持向量机的肿瘤基因选择

针对标准L2范数支持向量机和L1范数支持向量机在肿瘤基因分类分析中表现出的优缺点,在利用Bhattacharyya距离剔除部分对分类无关紧要特征基因,从而得到少数高相关至关重要特征基因的基础上,将一种双重正则化支持向量机应用到DNA微阵列分类中。用一种二次多项式损失函数把这种有约束的优化问题改变为无约束且可微的优化问题,这可以用BFGS算法来求解,通过对两种肿瘤特征基因数据集实验分析知,该算法对肿瘤特征基因分类具有较强的可行性和有效性。     

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

为了更好地应对当今时代的大规模高维稀疏数据集，融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势，提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先，在SVRG外循环中全梯度计算的基础上加入L₁范数次梯度设计出一种稀疏近似梯度用于内循环，得到一种稀疏的SVRG算法(SSVRG)。在此基础上，在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长，解决了小批量算法的步长选取问题，拓展得到MSSVRG-R2BB算法。数值实验表明，在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时，MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界，同时能达到与其他先进的小批量算法相同的优化水平，并且对于不同的初始参数选取表现稳定且良好。