矩阵补全算法研究进展

作为压缩感知理论的重要发展,矩阵补全与恢复已成为信号与图像处理的一种新的强有力的工具。综述了矩阵补全算法的最新研究进展。首先分析了核范数最小化模型的几种主要的矩阵补全算法,并对这些算法的迭代过程及原理进行了详细的阐述。其次讨论了矩阵补全的低秩矩阵分解模型,并列出了近年来出现的求解此模型的新算法。然后补充了上述两种模型的衍生版本,指出了相应的求解方法。在数值实验中,对文中所讨论的主要矩阵补全算法的性能进行了比较。最后给出了矩阵补全算法的未来研究方向及重点。     

低秩矩阵恢复算法综述

将鲁棒主成分分析、矩阵补全和低秩表示统称为低秩矩阵恢复,并对近年来出现的低秩矩阵恢复算法进行了简要的综述。讨论了鲁棒主成分分析的各种优化模型及相应的迭代算法,分析了矩阵补全问题及求解它的不精确增广拉格朗日乘子算法,介绍了低秩表示的优化模型及求解算法。最后指出了有待进一步研究的问题。     

张量补全算法及其在人脸识别中的应用

数据丢失问题通常可以归结为矩阵补全问题,而矩阵补全是继压缩感知理论之后的又一种重要的信号获取方法。在实际应用中,数据样例往往具有多线性性,即数据集可以表示成高阶张量。本文研究了张量补全问题及其在人脸识别中的应用。基于张量的低维Tucker分解,提出张量补全的迭代算法,并且证明在算法的迭代过程中,估计张量与其Tucker逼近张量的距离是单调递减的。实验结果表明张量补全算法在补全张量和人脸识别上的可行性与有效性。     

非负张量补全算法

近年来矩阵补全已成为一种重要的信号采集方式。将矩阵补全推广到非负张量情形,并提出了非负张量补全算法。该算法先将非负张量补全问题转化为交替求解一系列非负矩阵补全问题,再使用非负最小二乘方法求解这些问题。由于充分利用了数据的空时结构,所提的非负张量补全算法比非负矩阵补全算法有更好的恢复性能。实验结果证实了该方法的优越性。     

压缩感知及应用

传统的信号采样必须遵循香农采样定理,产生的大量数据造成了存储空间的浪费.压缩感知(CS)提出一种新的采样理论,它能够以远低于奈垒斯特采样速率采样信号.压缩感知的基本论点是如果信号具有稀疏性,可投影到一个与变换基不相关的随机矩阵并获得远少于信号长度的测量值,再通过求解优化问题,精确重构信号.本文详述了压缩感知的基本理论,压缩感知适用的基本条件:稀疏性和非相干性,测量矩阵设计要求,及重构算法的RIP准则,并介绍了压缩感知的应用及仿真.仿真结果表明当采样个数大于K×log(N/K),就能将N维信号稳定地重建出来.     

压缩感知及其图像处理应用研究进展与展望

压缩感知理论（Compressed sensing,CS）通过少量的线性测量值感知信号的原始结构,并通过求解最优化问题精确地重构原信号.该理论减少了数字图像及视频 获取时的存储及传输代价,也为后续的图像处理及识别的研究提供了新的契机,促进了理论和工程应用的结合. 阐述了CS的基本原理,综述了其关键技术稀疏变换、观测矩阵 设计、重构算法的一系列最新理论成果和发展,深入分析和比较了CS理论应用到图像处理领域的研究和发展状况,总结了其中存在的问题,并对未来的应用前景进行了展望.     

低秩矩阵近似与优化问题研究进展

首先以高维数据压缩与恢复为背景,详细阐述由香农采样理论到稀疏表示和压缩感知理论再到低秩矩阵问题的发展历程,引出低秩矩阵近似与优化问题的重要性.然后,从低秩矩阵最小化问题、低秩矩阵分解问题、低秩矩阵的优化与应用三方面对现有方法进行详细的综述.最后对当前研究的不足之处与未来的研究方向提出合理的建议.     

基于线性 Bregman 迭代的结构化噪声矩阵补全算法

通过采样部分元素补全低秩矩阵的缺失元素是许多实际应用如图像修复、无线传感网数据收集和推荐系统等经常遇到的一个颇具挑战性的难题。在机器学习领域,这类问题通常能刻画成矩阵补全问题。虽然现有研究针对矩阵补全问题已提出了许多有效算法,但这些算法通常仅限于采样元素要么无噪要么仅含少量随机高斯噪声的补全情形,难以处理实际问题中常见的行结构化噪声。为了解决这个问题,该文首先借助分类器设计中流行的 L2,1范数正则化技术来平滑此类噪声,并将该问题建模为一类基于 L2,1范数正则化的凸约束优化问题。其次,为了快速有效地求解,我们将向量空间的线性 Bregman 迭代算法和近邻算子技术拓展到矩阵空间,进一步设计了一种鲁棒的基于线性 Bregman 迭代的结构化噪声矩阵补全算法（LiBIMC）。严格的理论分析证明了 LiBIMC 迭代算法的不动点正是结构化噪声矩阵补全问题的全局最优解。数值实验结果表明,和已有的矩阵补全算法相比,LiBIMC 算法不仅能更好地恢复结构化噪声矩阵的缺失元素,还能精确地辨识出采样矩阵中被污染的元素所在行的位置信息。     

语音压缩感知研究进展与展望

压缩感知技术,特别是语音压缩感知技术逐渐成为信号处理领域的研究热点。当前的语音压缩感知关键技术主要包括适合语音信号的稀疏分解矩阵构造,观测矩阵的选择和重构算法的设计。稀疏分解矩阵的重要代表是正交基、基于语音特性的线性预测矩阵和过完备字典。观测矩阵方面主要采用随机观测矩阵分析语音压缩感知性能;重构算法方面重点研究当观测序列或语音信号本身含有噪声时鲁棒的语音压缩感知重构算法。本文对上述语音压缩感知的3大关键技术进行了介绍和对比分析,并对语音压缩感知的应用进行了总结,最后对未来可能的研究热点进行了展望。     

从压缩传感到低秩矩阵恢复: 理论与应用

综述了压缩传感、矩阵秩最小化和低秩矩阵恢复等方面的基础理论及典型应用. 基于凸优化的压缩传感及由其衍生的矩阵秩最小化和低秩矩阵恢复是近年来的研究热点,在信号处理、 推荐系统、高维数据分析、图像处理、计算机视觉等很多研究领域具有重要和成功的应用. 在这些实际的应用中,往往涉及到对高维数据的分析与处理,需要充分和合理利用数据中的如稀疏性或其所构成矩阵的低秩性等性质. 尽管在最坏情况下,最小化诸如稀疏性或矩阵秩这样的目标函数是 NP 难的,但是在某些合理的假设条件下,通过优化目标函数的凸松弛替代函数, 采用凸优化的方法,能够精确地给出原问题的最优解. 有很多高效的凸优化算法对之进行求解且适用于大规模问题.本文首先分别综述了压缩传感、 矩阵秩最小化和低秩矩阵恢复的相关基础理论,然后对其在图像处理、计算机视觉和计算摄像学等领域的典型应用予以举例介绍,并展望了相关领域未来的研究工作.     

因子分解机模型研究综述

传统矩阵分解方法因其算法的高可扩展性和较好的性能等特点,在预测、推荐等领域有着广泛的应用.然而大数据环境下,更多上下文因素的获取变得可能,传统矩阵分解方法缺乏对上下文信息的有效利用.在此背景下,因子分解机模型提出并流行.为了更好地把握因子分解机模型的发展脉络,促进因子分解机模型与应用相结合,针对因子分解机模型及其算法进行了综述.首先,对因子分解机模型的提出进行了溯源,介绍了从传统矩阵分解到因子分解机模型的演化过程;其次,从模型准确率和效率两方面对因子分解机模型存在的基本问题和近年来的研究进展进行了总结,然后综述了适用于因子分解机模型求解的4种代表性优化算法;最后分析了因子分解机模型目前仍存在的问题,提出了可能的解决思路,并对未来的研究方向进行了展望.     

矩阵方程的分布式求解算法研究概述

近年来,随着大规模网络的兴起和分布式优化理论的广泛应用,矩阵方程的分布式求解算法研究也受到了越来越多的重视.矩阵方程的计算求解在理论和工程领域都有着重要的意义.在多智能体网络下的分布式计算问题中,矩阵方程中的数据信息按照各种方式进行划分,单个智能体只能够获取其中的一份数据,然后通过与其邻居智能体进行信息交互,最终合作求解出不同类型的符合方程要求的解.本文集中讨论了近几年来针对线性代数方程、几类不带约束和带约束线性矩阵方程、以及其他矩阵相关的分布式计算和求解问题,介绍了投影一致方法、转化成分布式优化问题再求解的方法、以及针对特殊矩阵如稀疏矩阵的信息传递方法等分布式算法设计方法.最后,简要总结全文以及对分布式矩阵计算方向的研究进行了展望.     

Weighted steepest descent method for solving matrix equations

This paper describes iterative methods for solving the general linear matrix equation including the well-known Lyapunov matrix equation, Sylvester matrix equation and some related matrix equations encountered in control system theory, as special cases. We develop the methods from the optimization point of view in the sense that the iterative algorithms are constructed to solve some optimization problems whose solutions are closely related to the unique solution to the linear matrix equation. Actually, two optimization problems are considered and, therefore, two iterative algorithms are proposed to solve the linear matrix equation. To solve the two optimization problems, the steepest descent method is adopted. By means of the so-called weighted inner product that is defined and studied in this paper, the convergence properties of the algorithms are analysed. It is shown that the algorithms converge at least linearly for arbitrary initial conditions. The proposed approaches are expected to be numerically reliable as only matrix manipulation is required. Numerical examples show the effectiveness of the proposed algorithms.     

Cuckoo search algorithm: a metaheuristic approach to solve structural optimization problems

In this study, a new metaheuristic optimization algorithm, called cuckoo search (CS), is introduced for solving structural optimization tasks. The new CS algorithm in combination with Lévy flights is first verified using a benchmark nonlinear constrained optimization problem. For the validation against structural engineering optimization problems, CS is subsequently applied to 13 design problems reported in the specialized literature. The performance of the CS algorithm is further compared with various algorithms representative of the state of the art in the area. The optimal solutions obtained by CS are mostly far better than the best solutions obtained by the existing methods. The unique search features used in CS and the implications for future research are finally discussed in detail.     

群智能算法优化支持向量机参数综述

支持向量机建立在统计学习的理论基础之上，具有理论的完备性，但是在应用上仍然存在模型参数难以选择的问题。首先，介绍了支持向量机和群智能算法的基本概念；然后，系统地叙述了各种经典的群智能算法进行支持向量机参数优化取得的最新研究成果以及总结了优化过程中存在的问题和解决方案；最后，结合该领域当前研究现状，提出了群智能算法优化支持向量机参数研究中需要关注的问题，展望了这一研究方向在未来的发展趋势和前景。     

压缩感知理论投影矩阵优化方法综述

通过优化投影矩阵的结构可提高压缩感知（Compressed sensing,CS）的重构性能及信号适应的稀疏度范围。该类方法利用迭代更新Gram矩阵使CS投影矩阵逼近最优结构,不同于以往的投影矩阵设计问题,它是一类新的改进CS性能方法。本文阐述了该问题的产生起源、理论基础、目标函数、理想模型以及与编码理论的交叉。在此基础上,分析、总结和比较现有投影矩阵优化方法的构造原理、应用特点以及存在的问题,最后讨论了其未来可能的发展方向。实验结果验证了分析结论的正确性。     

可扩展机器学习的并行与分布式优化算法综述

机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.本文针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法五类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每个算法进行详细对比.随后对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时对本文中介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.