权自适应最小二乘回归子空间分割法

基于表示理论的子空间分割方法有着广泛的应用。经典的子空间分割方法通过不同的正则项求解仿射矩阵,而忽略了特征属性对子空间分割的影响。针对这些问题,通过特征权重自适应的思想对最小二乘回归子空间分割方法进行改进,提出权自适应最小二乘回归子空间分割方法。在6个数据集上的实验结果表明该方法是有效的。     

系数增强最小二乘回归子空间聚类法

针对最小二乘回归子空间聚类法在求解表示系数时忽略了样本相似度的不足,提出改进方法。基于样本相互重构的表示系数矩阵和样本相似度矩阵有很大的关联定义系数增强项,求解可以保持样本相似度的表示系数矩阵,提出系数增强最小二乘回归子空间聚类法。在8个标准数据集上的实验表明该方法可以提高最小二乘回归子空间聚类法的聚类性能。     

一种改进的最小二乘回归子空间分割方法

最小二乘回归(LSR)算法是一种常见的子空间分割方法，由于LSR具有解析解，因此它的聚类性能较高。然而LSR算法是应用谱聚类方法聚类数据，谱聚类方法初始化聚类中心是随机的，会影响后面的聚类效果。针对这一问题，提出一种基于聚类中心局部密度和距离这2个特点的改进的LSR算法（LSR-DC）。在Extended Yale B数据集上进行实验，结果表明，该算法有较高的聚类精度，具有一定的鲁棒性，优于现有LSR等子空间分割方法。     

局部约束加强的最小二乘回归子空间聚类*

针对最小二乘回归子空间聚类算法存在的数据局部相关性信息缺失、系数矩阵稀疏性不足的缺点,提出局部约束加强的最小二乘回归子空间聚类算法.在原始的最小二乘回归子空间聚类算法的基础上加入数据局部相关性约束,使表示系数矩阵的块对角性质更明显.同时,提出相似度矩阵构造方法,有效提高类内相似度,降低类间相似度.实验表明文中算法可以有效提高聚类的精确度,从而验证算法有效可行.     

基于协同表示的子空间聚类*

针对稀疏子空间聚类(SSC)求得的系数矩阵过于稀疏和最小二乘回归子空间聚类(LSR)求得的系数矩阵过于稠密的问题,文中提出基于协同表示的子空间聚类算法(SCCR).结合SSC和LSR的优点,将l₁范数和Frobenius范数引入同一优化问题中,使系数矩阵保证在同一子空间数据点联系(如LSR)的同时,消除不同子空间数据点之间的联系(如SSC).然后利用此系数矩阵建立相似矩阵,应用谱聚类得到聚类结果.实验表明SCCR可以提高聚类性能.     

流形降维最小二乘回归子空间分割

子空间分割方法一直是一种重要的机器学习方法,这些方法在人脸识别和基因表达数据识别等研究中有较好的聚类准确率。然而,这些方法在对高维小样本数据进行聚类时难以取得理想的结果。为了解决这些问题,借鉴流形降维中的局部保持投影法和最小二乘回归子空间分割法,提出流形降维最小二乘回归子空间分割法。该方法通过局部保持投影进行降维,再利用最小二乘回归子空间分割方法实现聚类。在6个生物基因表达数据集和2个图像数据集上的实验表明了该方法的有效性。     

基于随机分块的稀疏子空间聚类方法

针对稀疏子空间聚类（SSC）方法聚类误差大的问题,提出了基于随机分块的SSC方法。首先,将原问题数据集随机分成几个子集,构建几个子问题;然后,采用交替方向乘子法（ADMM）分别求得几个子问题的系数矩阵,之后将几个系数矩阵扩充成与原问题一样大小的系数矩阵,并整合成一个系数矩阵;最后,根据整合得到的系数矩阵计算得到一个相似矩阵,并采用谱聚类（SC）算法获得原问题的聚类结果。相较于稀疏子空间聚类（SSC）、随机稀疏子空间聚类（S³COMP-C）、基于正交匹配追踪的稀疏子空间聚类（SSCOMP）、谱聚类（SC）和K均值（K-Means）算法中的最优算法,基于随机分块的SSC方法将子空间聚类误差平均降低了3.12个百分点,且其互信息、兰德指数和熵3个性能指标都明显优于对比算法。实验结果表明基于随机分块的SSC方法能降低子空间聚类误差,改善聚类性能。     

基因表达数据的低秩投影最小二乘回归子空间分割*

基因表达数据具有高维、小样本、多噪声和高冗余的特点,使传统聚类方法效率较低.子空间分割是高维数据聚类的有效手段,但直接对基因表达数据进行子空间分割会降低聚类性能.为了更有效地聚类,文中提出低秩投影最小二乘回归子空间分割方法.首先利用改进的低秩方法将数据投影至潜在子空间,以便去除数据中可能的毁损,得到较干净的数据字典.然后采用最小二乘回归方法获得数据低维表示并构造仿射矩阵,利用该仿射矩阵实现聚类.在6个公开基因表达数据集上的实验表明文中方法的有效性.     

基于判别最小二乘回归的局部保留子空间学习算法

近几年稀疏表示在降维领域的成功应用引起了人们的广泛关注。针对稀疏表示能够有效提取出相同类内部样本间和不同类之间的稀疏性,却具有高复杂度求解过程和存在丢失数据结构关键信息的缺点进行了研究,提出了判别最小二乘局部保持投影(DLSLPP)算法。DLSLPP算法利用最小二乘回归充分而完整的提取了数据之间的结构信息,同时利用最小二乘回归具有数值解的优势降低了算法的复杂度。此外,DLSLPP算法采用不同于传统算法的新型加权平均方式构造数据代表样本增强了算法的判别能力。在四个图像分类数据集和四个算法上的对比实验表明DLSLPP算法能够达到十分优异的效果。     

基于组合线性最小二乘回归的盲定量隐写分析

针对近年来隐写分析特征维度激增的新情况,及其带来的定量隐写分析预测器维度之灾等问题,提出一种基于组合回归的盲定量隐写分析方法。该方法选择线性最小二乘回归LLSR(Linear Least Square Regression)降低计算复杂度,并通过组合分类器技术在多次迭代中使用自助法(bootstrap)重采样技术生成不同的训练集,以提高回归的多样性进而保证准确率,然后随机选择特征的一部分做训练和预测,以缩短执行时间。实验结果表明,该方法与现有最优方法相比,预测误差降低至现有方法的70%,执行时间缩短至现有方法的5%左右。     

基于子空间变量自动加权的K-均值文本聚类算法的研究

传统的K-均值算法聚类虽然速度快,在文本聚类中易于实现,但其同量地依赖于所有变量,聚类效果往往不尽如人意.为了克服这一缺点,提出一种改进的K-均值文本聚类算法,它在K-均值聚类过程中,向每一个聚类簇中的关键词自动计算添加一个权重,重要的关键词赋予较大的权重.经过实验测试,获得了一种基于子空间变量自动加权的适合文本数据聚类分析的改进算法,它不仅可以在大规模、高维和稀疏的文本数据上有效地进行聚类,还能够生成质量较高的聚类结果.实验结果表明基于子空间变量自动加权的K-均值文本聚类算法是有效的大规模文本数据聚类算法.     

基于递推最小二乘自适应滤波算法的图像去噪

递推最小二乘RLS(Recursive of Least Square)算法是自适应滤波算法中的精确分析算法。它具有收敛速率快,精确度高等特点,但是发现目前RLS算法多用于对一维信号的去噪处理。使用递推最小二乘(RLS)算法对二维图像进行去噪,从处理一维信号变成处理二维图像信号,需要对RLS算法进行改进。先迭代得到滤波器参数,形成3×3滤波掩模,再改进算法对图像进行滤波;同时与常数比率维纳滤波和自相关函数的维纳滤波算法的去噪效果进行对比。结论证明在对图像进行较严重的模糊和加噪处理后,其他两种算法对图像的还原能力差,而递推最小二乘自适应滤波(RLS)算法具有优良的图像去噪性能。     

基于约束总体最小二乘的泰勒级数定位算法

目前基于到达时间差(Time Difference of Arrival,TDOA)的无线定位算法既不能在基于距离平方差(Squared Range-Difference,SRD)的误差平方和最小模型中获得总体最小二乘准则下的全局最优解,也不能在基于距离差(Range-Difference,RD)的误差平方和最小模型中获得普通最小二乘准则下的全局最优解。将泰勒级数法与约束总体最小二乘法(Constraint Total Least Square,CTLS)相结合,提出一种基于约束总体最小二乘的泰勒级数定位算法(CTLS-Taylor)。利用CTLS方法获得目标节点的粗估计位置,并将该位置作为泰勒级数展开法的初始点,通过迭代,获得目标节点的精估计位置。仿真结果表明,CTLS-Taylor算法不仅能够获得与QCLS-Taylor算法相同的定位精度,而且迭代次数有了明显减少;同时与CTLS定位算法相比,当测量噪声较高时,CTLS-Taylor算法的定位精度更高。     

基于Levenberg-Marquardt算法和最小二乘方法的小波网络混合学习算法

本文针对小波网络现有学习算法的不足,把Levenberg-Marquardt算法(简称LM算法)和最小二乘算法有机地结合在一起,提出了一种新的小波网络混合学习算法.在该混合算法中LM算法用来训练小波网络的非线性参数,而最小二乘算法用来训练线性参数.最后以辩识一个混沌系统为例进行了数值仿真,并与改进的BP算法和单纯LM算法进行了比较,结果说明了所提算法具有很好的收敛性能和收敛速度.     

一种模糊最小二乘孪生支持向量回归机的改进算法

模糊最小二乘孪生支持向量机模型融合了模糊函数和最小二乘孪生支持向量机算法特性,以解决训练数据集存在孤立点噪声和运算效率低下问题。针对回归过程基于统计学习结构风险最小化原则,对该模型进行L_2范数正则化改进。考虑到大规模数据集的训练效率问题,对原始模型进行了L_1范数正则化改进。基于增量学习特性,对数据集训练过程进行增量选择迭加以加快训练速度。在UCI数据集上验证了相关改进算法的优越性。     

基于动态层次聚类的离散化算法的研究

连续属性离散化问题是机器学习的重要方面,是数据预处理问题之一.提供的基于动态层次聚类的离散化算法是层次聚类算法的一种改进.对该算法进行定性分析-对随机采集数据根据相似度进行聚类分析,得到论域的一种划分.通过实验表明,基于动态层次聚类的离散化算法对连续属性的划分更加合理,更加有效.     

基于自适应稀疏分解的声音识别算法

针对公共环境中异常声音的检测与识别存在的强噪声干扰及检测效率低的问题,提出基于参数自适应匹配跟踪的声信号识别算法.基于粒子和种群的进化率改进粒子群参数的自适应设置并优化稀疏分解目标函数;基于自适应粒子群算法的连续集搜索特性建立连续超完备Gabor原子集,以提高最匹配优原子与声信号的匹配度并加速原子的匹配搜索;使用SVM分类器实现公共环境异常声信号的复合特征识别.实验结果表明,与已有算法相比,该算法的公共环境异常声信号的识别率最优,且对不同背景噪声具有较好的识别鲁棒性.     

基于半监督K-Means的属性加权聚类算法

K-Means是经典的非监督聚类算法,因其速度快,稳定性高广泛应用在各个领域。但传统的K-Means没有考虑无关属性以及噪声属性的影响,并且不能自动寻找聚类数目K。而目前K-Means的改进算法中,也鲜有关于高维以及噪声方面的改进。因此,结合PCA提出基于半监督的K-Means加权属性聚类方法。首先,用PCA得到更少更有效的特征,并计算它们的分类贡献率(即每个特征对聚类的影响因子)。其次,由半监督自适应算法得到K。最后将加权数据集以及K应用到聚类中。实验表明,该算法具有更好的识别率和普适性。     

SOLVING SPARSE LEAST SQUARES PROBLEMS WITH PRECONDITIONED CGLS METHOD ON PARALLEL DISTRIBUTED MEMORY COMPUTERS

Abstract

In this paper we study the parallel aspects of PCGLS, a basic iterative method based on the conjugate gradient method with preconditioner applied to normal equations and Incomplete Modified Gram-Schmidt (IMGS) preconditioner, for solving sparse least squares problems on massively parallel distributed memory computers. The performance of these methods on this kind of architecture is usually limited because of the global communication required for the inner products. We will describe the parallelization of PCGLS and IMGS preconditioner by two ways of improvement. One is to accumulate the results of a number of inner products collectively and the other is to create situations where communication can be overlapped with computation. A theoretical model of computation and communication phases is presented which allows us to determine the optimal number of processors that minimizes the runtime. Several numerical experiments on the Parsytec GC/PowerPlus are presented.