求解大规模问题的多核学习正则化路径算法

多核学习在处理异构、不规则和分布不平坦的样本数据时表现出良好的灵活性和可解释性.针对精确正则化路径算法难以处理大规模样本数据的问题,文中提出正则化路径近似算法.根据采样分布函数进行抽样,在原始核矩阵的基础上生成近似矩阵,同时在拉格朗日乘子向量中抽取对应行,实现矩阵乘积的近似计算,提高多核学习正则化路径的求解效率.最后分析多核学习正则化路径近似算法的近似误差界和计算复杂性.在标准数据集上的实验验证文中算法的合理性和计算效率.     

基于正则化路径的支持向量机近似模型选择

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.     

SVRRPMCC:一种支持向量回归机的正则化路径近似算法

正则化路径算法是数值求解支持向量回归机(Support Vector Regression,SVR)的有效方法。根据SVR正则化路径的分段线性性质,该类算法可在相当于一次SVR求解的时间复杂度内求得正则化参数的所有可能取值及对应SVR的解。由于在解路径建立过程中需要求解线性方程组,已有的精确计算方法难以处理大规模的样本数据,因此研究了正则化路径近似算法,并提出了SVR正则化路径近似算法SVRRPMCC。首先,应用Monte Carlo方法实现线性方程组系数矩阵的随机采样,求得近似系数矩阵; 然后,应用Cholesky分解方法实现快速求解系数逆矩阵;进一步,分析了SVRRPMCC算法的近似误差和计算复杂性;最后,在标准数据集上的实验验证了SVRRPMCC算法的合理性和较高的计算效率。     

KMA-α:一个支持向量机核矩阵的近似计算算法

核矩阵计算是求解支持向量机的关键,已有精确计算方法难以处理大规模的样本数据.为此,研究核矩阵的近似计算方法.首先,借助支持向量机的凸二次约束线性规划表示,给出支持向量机和多核支持向量机的二阶锥规划表示.然后,综合Monte Carlo方法和不完全Cholesky分解方法,提出一个新的核矩阵近似算法KMA-α,该算法首先对核矩阵进行Monte Carlo随机采样,采样后不直接进行奇异值分解,而是应用具有对称置换的不完全Cholesky分解来计算接近最优的低秩近似.以KMA-α输出的近似核矩阵作为支持向量机的输入,可提高支持向量机二阶锥规划求解的效率.进一步,分析了KMA-α的算法复杂性,证明了KMA-α的近似误差界定理.最后,通过标准数据集上的实验,验证了KMA-α的合理性和计算效率.理论分析与实验结果表明,KMA-α是一合理、有效的核矩阵近似算法.     

正定矩阵支持向量机正则化路径算法

正则化路径算法是数值求解支持向量机 (support vector machine, SVM)分类问题的有效方法,它可在相当于一次SVM求解的时间复杂度内得到所有的正则化参数及对应SVM的解.现有的SVM正则化路径算法或者不能处理具有重复数据、近似数据或线性相关数据,或者计算开销较大.针对这些问题,应用正定矩阵方程组求解方法来求解SVM正则化路径,提出正定矩阵SVM正则化路径算法(positive definite SVM path, PDSVMP).PDSVMP算法将迭代方程组的系数矩阵转换为正定矩阵,并采用Cholesky分解方法求解路径上各拐点处Lagrange乘子增量向量;与已有算法中直接求解正则化参数不同,该算法根据活动集变化情况确定参数增量,并在此基础上计算正则化参数,这样保证了理论正确性和数值稳定性,并可降低计算复杂性.实例数据集及标准数据集上的实验表明,PDSVMP算法可正确处理包含重复数据、近似数据或线性相关数据的数据集,并具有较高的计算效率.     

基于近似稀疏正则化的低秩张量填充算法

针对目前大多数的低秩张量填充模型存在稀疏过约束而导致恢复数据的细微特征被忽略的现象,本文借助低秩矩阵分解和框架变换,引入软阈值算子的■范数正则项,提出一个基于近似稀疏正则化的低秩张量填充模型.为有效地求解该模型,我们将■范数改写为具有非线性不连续权函数的加权■范数,并用连续权函数逼近不连续权函数,在此基础上设计块逐次上界极小化的求解算法.在一定条件下,证明该算法的收敛性.大量实验表明,本文所提出的算法比现有一些经典算法能更好地重建得到图像的局部细节特征.     

基于低秩矩阵二元分解的快速显著性目标检测算法

近年来,基于矩阵低秩表示模型的图像显著性目标检测受到了广泛关注。在传统模型中通常对秩最小化问题进行凸松弛,即引入最小化核范数将原始输入图像分解为低秩矩阵和稀疏矩阵。但是,这种方法在每次迭代中必须执行矩阵奇异值分解（SVD）,计算复杂度较高。为此,本文提出了一种低秩矩阵双因子分解和结构化稀疏矩阵分解联合优化模型,并应用于显著性目标检测。算法不仅利用低秩矩阵双因子分解和交替方向法（ADM）来降低时间开销,而且引入分层稀疏正则化刻画稀疏矩阵中元素之间的空间关系。此外,所提算法能够无缝集成高层先验知识指导矩阵分解过程。实验结果表明,提出模型和算法的检测性能优于当前主流无监督显著性目标检测算法,且具有较低的时间复杂度。     

基于全局融合的多核概念分解算法

非负矩阵分解（NMF）算法仅能用于对原始非负数据寻找低秩近似，而概念分解（CF）算法将矩阵分解模型扩展到单个非线性核空间，提升了矩阵分解算法的学习能力和普适性。针对无监督环境下概念分解面临的如何设计或选择合适核函数这一问题，提出基于全局融合的多核概念分解（GMKCF）算法。同时输入多种候选核函数，在概念分解框架下基于全局线性权重融合对它们进行学习，以得出质量高稳定性好的聚类结果，并解决概念分解模型面临核函数选择的问题。采用交替迭代的方法对新模型进行求解，证明了算法的收敛性。将该算法与基于核的K-均值（KKM）、谱聚类（SC）、KCF（Kernel Concept Factorization）、Coreg（Co-regularized multi-view spectral clustering）、RMKKM（Robust Multiple KKM）在多个真实数据库上的实验结果表明，该算法在数据聚类方面优于对比算法。     

低秩分块矩阵的核近似

为了探讨结构受限下的矩阵分解问题,通过最小化块外对角线来增强类与类之间数据表示的不相关性,从而实现分块约束,即数据来源于不同的聚类结构,是一种局部结构的约束;同时通过增强样本的自表达属性并缩小样本之间的差距来增强类内数据表示的相关性,从而实现低秩约束,即数据行出现冗余,是一种全局结构的约束。随后设计了一个低秩分块矩阵的核近似算法,通过交替方向乘子法迭代求解。最后将该方法分别在人脸识别和字符识别上进行测试。实验结果表明,所提出的低秩分块矩阵分解算法在收敛速度和近似精度上都具有一定的优势。     

混合秩矩阵分解模型

随着推荐系统的发展,矩阵近似算法成为研究热点,而以概率矩阵分解为代表的低秩矩阵近似模型因其具有较高的推荐精度而广受关注。但是,随着大数据时代的到来,评分矩阵越来越复杂,简单的单个矩阵近似模型会使一些隐藏在数据中的信息被忽视。为了解决这个问题,提出了一种基于boosting框架的混合秩矩阵近似算法(mixture rank matrix factorization,MRMF)。该算法基于boosting框架融合多个不同秩矩阵获取丰富的评分信息。具体方法为首先从整体结构出发,获取矩阵的整体信息,然后基于boosting求偏差获得残差矩阵,抓取局部的相关性。同时为了更好地学习局部特征,引入服从拉普拉斯先验分布的样本权重,构建自适应权重的概率矩阵模型(adaptive weight matrix factorization,AWMF)。在获取残差矩阵之后,通过EM算法学习残差矩阵的权重,避免模型过拟合以及减少人工调差的复杂度。实验结果验证,所提出的算法在四个真实数据集(Ciao、Epinions、Douban、Movielens(10M))上均具有较好的推荐精度。     

核函数的选择与改进在人脸识别中的应用

核函数方法广泛应用于人工神经网络和支持向量机等机器学习领域,该方法的采用有效地避免了特征空间中的维数灾难的问题,改善了学习机的分类性能。但是核函数的选择及新的核函数构造一直机器学习领域的核心问题,直接关系到学习机性能的好坏。然而,这个方向的研究成果不多。以支持向量机为例,通过对核矩阵一些特性的计算和研究,从理论上对常用的核函数性能进行了预测。在此基础上,通过实验仿真证实了通过优选后的核函数所组成的混合核函数对分类性能的改善。在加权系数选择合适的情况下,学习机的识别率甚至可以达到100%。所以,不但构造出了性能优异的学习机,而且为核函数的选择提供了参考。     

基于特征距离的组合核矩阵模型选择标准

核矩阵的组合方法是核函数构造和核方法学习的崭新的、重要的方法。目前,组合核矩阵的模型选择标准并不多见,应用较多的是核目标匹配,但该标准并不严格,尚具有较大的冗余性。针对这一问题,本文提出一个有效的基于特征距离的组合核矩阵模型选择标准。本文首先讨论核目标匹配标准及其局限性,然后提出基于特征距离的核矩阵模型型选择标准并分析该标准的计算性能,最后通过实验验证所提出的模型选择标准在核参数选择和组合系数选择两方面的效能。理论分析和实验结果表明,所提出的基于特征距
离的组合核矩阵模型选择标准是合理且有效的。     

基于SNN核的景象匹配算法

提出一种基于核方法的下视等分辨率景象匹配算法. 通过模拟电荷吸引模型, 提出了计算不等维高维数据相似度的SNN核函数. 将图像中的特征点映射到径向基向量(Radial basis vector, RBV)空间, 利用SNN核函数计算两个特征点集的相似度及过渡矩阵. 利用置换测试模块来增强SNN核的稳定性, 以确保输出解的可靠性. 实验证明, 基于SNN核的景象匹配算法对图象畸变、噪声干扰与信号缺失具有很强的鲁棒性, 并可保证高精度与高实时性.     

频率指配问题求解的模式分析核方法

为有效解决频率指配问题,提出了一种解决该问题的模式分析核方法,算法利用频率指配方案的评估函数值构建核矩阵,以核矩阵为基础在特征空间中运行聚类分析算法,对频率指配方案相似性进行度量,完成频率指配方案的归类划分。优化结果可直接作为跳频指配结果,也可作为其他优化算法的初始解。该算法在电台数量规模较大的应用中体现出良好的性能,算法结果作为蚁群、遗传算法的初始解,后继算法收敛速度明显提高。     

利用矩阵补全优化模型进行动态网络链接预测

动态链接预测是网络数据挖掘领域的一个重要课题,主要原理是根据以往的网络结构预测未来的网络结构状态。目前,静态链接预测已得到充分研究,但对动态链接预测的研究却比较稀少。根据网络链接的结构特点,将矩阵补全方法引入动态链接预测问题中,进一步受核矩阵分解的启发,建立了核矩阵补全模型,将数据映射到高维空间中,使得链接中的非线性关系转化为线性关系,从而使得模型能够处理更复杂的网络结构。通过在三个公开网络数据集上进行实验,验证了矩阵补全优化方法和核方法在动态链接预测中的有效性和准确性。     

一种新颖的核鉴别通用矢量集算法

为了进一步增强鉴别通用矢量集算法的性能,提出一种核鉴别通用矢量集算法.首先利用核函数将原始样本隐式地映射到高维特征空间;然后在高维特征空间里利用再生核理论建立鉴别通用矢量集算法的等价求解模型;最后根据新的求解模型,应用二次Gram-Schmidt正交化方法求出核类内零空间中的鉴别矢量集.在人脸库上的实验结果验证了文中算法的有效性.     

基于判断矩阵的专家模糊核聚类组合赋权方法

研究群决策中专家赋权问题.实际决策问题中,由于客体信息自身存在的不完备性和不确定性以及人们描述过程中的模糊性,更适合采用模糊聚类的分析方法,为此提出一种基于判断矩阵的专家模糊核聚类赋权方法.该方法运用模糊核聚类理论对专家排序向量进行分类,根据分类结果、判断矩阵一致性和排序向量的熵对各专家进行组合赋权.算例表明,所提出的方法是可行且有效的.     

核函数在主成分分析中的应用

主成分分析在对线性数据进行降维时非常有效,核函数能够将线性不可分的数据映射到高维希尔伯特空间中可能可分。将核函数应用到主成分分析中成为核主成分分析。从核函数的性质、核函数的参数调整、核函数的构造等方面对核主成分分析进行应用与实现,并结合核Fisher判别分析,对样例数据进行核主成分分析,结论表明,效果良好,但执行速度较慢,需要后续改进。     

一种支持向量逐步回归机算法研究

支持向量机是解决非线性问题的重要工具,对多元线性回归模型和支持向量机的原始形式进行比较,拟定从样本子集的多元线性回归模型出发,逐步搜索支持向量,提出了一种建立支持向量回归机的快速算法,以降低核矩阵的规模从而降低解凸二次规划的复杂度;最后,分析了该算法的复杂度,并提供了一个算例。