基于稀疏表示和特征加权的大数据挖掘方法的研究

为了提高大数据挖掘的效率及准确度,文中将稀疏表示和特征加权运用于大数据处理过程中。首先,采用求解线性方程稀疏解的方式对大数据进行特征分类,在稀疏解的求解过程中利用向量的范数将此过程转化为最优化目标函数的求解。在完成特征分类后进行特征提取以降低数据维度,最后充分结合数据在类中的分布情况进行有效加权来实现大数据挖掘。实验结果表明,相比于常见的特征提取和特征加权算法,提出的算法在查全率和查准率方面均呈现出明显优势。     

稀疏互质阵列的迭代加权l_1范数约束来波方向估计

在阵元数确定的情况下,稀疏互质阵列能增大阵列孔径。为利用阵列的互质关系形成具有更多自由度的互质差合成阵列,采用稀疏重构方法,提出一种迭代加权l_1范数约束波达方向(DOA)估计算法。通过矢量化对稀疏互质阵列进行孔径扩展,进而在相应的过完备基下获得观测模型的l_0范数约束稀疏重构,再用加权l_1范数约束代替l_0范数约束重构方法,采用多次迭代运算求取最优解实现DOA估计。实验结果表明,该算法能够更好地利用稀疏互质阵列的阵列孔径,提高测向精度,并且通过迭代运算来弥合l_1范数约束与l_0范数约束之间的差别,克服传统l_1范数约束类算法存在估计偏差的缺点。     

一种稀疏最小二乘支持向量机

针对最小二乘支持向量机缺乏稀疏性的问题,提出了一种基于边界样本的最小二乘支持向量机算法。该算法利用中心距离比来选取支持度较大的边界样本作为训练样本,从而减少了支持向量的数目,提高了算法的速度。最后将该算法在4个UCI数据集上进行实验,结果表明：在几乎不损失精度的情况下,可以得到稀疏解,且算法的识别速度有了一定的提高。     

非高斯噪声环境下基于RLS的稀疏信道估计算法

现有的信道估计算法大多是基于高斯噪声模型假设。然而在实际无线通信环境中,常常出现脉冲噪声使得噪声不再满足高斯模型,而是满足一种广义高斯分布(GGD)噪声模型。采用传统的自适应信道估计算法(如递归最小二乘(RLS)算法)无法抑制这种非高斯噪声的干扰。对此提出一种可抑制非高斯噪声干扰的RLS信道估计算法。该算法通过在标准RLS算法中引入两种稀疏约束函数(L1-范数和L0-范数)来有效地挖掘稀疏结构信息。通过蒙特卡罗仿真,验证了提出的信道估计算法的估计性能比标准RLS算法更好。     

通用稀疏多核学习

针对L1范数多核学习方法产生核权重的稀疏解时可能会导致有用信息的丢失和泛化性能退化,Lp范数多核学习方法产生核权重的非稀疏解时会产生很多冗余信息并对噪声敏感,提出了一种通用稀疏多核学习方法。该算法是基于L1范数和Lp范数(p>1) 混合的网状正则化多核学习方法,不仅能灵活的调整稀疏性,而且鼓励核权重的组效应,L1范数和Lp范数多核学习方法可以认为是该方法的特例。该方法引进的混合约束为非线性约束,故对此约束采用二阶泰勒展开式近似,并使用半无限规划来求解该优化问题。实验结果表明,改进后的方法在动态调整稀疏性的前提下能获得较好的分类性能,同时也支持组效应,从而验证了改进后的方法是有效可行的。     

基于部分支撑集的L1范数稀疏重构算法

针对压缩感知理论中,现有的优化L1范数稀疏重构算法在重构源信号时,当且仅当稀疏度小于等于观测信号长度一半时才能够正确重构源信号的问题,提出了部分支撑集的L1范数稀疏重构算法。改进算法采用线性规划方法最小化源信号"尾部"支撑集的L1范数,能够在稀疏度大于观测信号长度一半时正确重构出源信号。仿真结果表明,在不同信噪比和稀疏度条件下,所提算法的重构精度优于现有的优化L1范数的稀疏重构算法和正交匹配追踪的稀疏重构算法。     

一种基于变量约简的稀疏优化算法

压缩感知理论能够为处理大规模信号数据提供有效支持.压缩感知中信号的稀疏表示和稀疏重构问题本质是一个稀疏优化问题,该问题是要从满足欠定方程组约束的无穷多解中找到稀疏度最大的解.鉴于此,提出一种基于变量约简求解压缩感知中稀疏优化问题的算法(VRSO),变量约简从欠定方程组约束中挖掘出变量关系,将变量分为核心变量和约简变量并用核心变量表示约简变量,通过设置核心变量中元素为0,将求解整个变量解空间上的最小化问题简化为求解约简变量解空间上的最小化问题.所提出算法通过原子与观测信号的内积大小对核心变量集合进行迭代更新,并找出优化问题的1组稀疏解.实验结果表明,所提出算法的重构误差和稀疏度误差优于匹配追踪算法、正交匹配追踪算法、迭代硬阈值算法等5种所选的对比算法,所求解的信号精度更高、稀疏度更好.     

基于改进稀疏线性预测的时延估计算法

针对噪声与混响环境下,基于稀疏线性预测的时延估计算法性能下降的问题,提出一种改进的线性预测模型。为了获得麦克风信号的有效预滤波,将语音幅度谱的稀疏性和线性预测向量的稀疏性同时引入最小二乘准则,以此构建凸约束线性预测模型;运用Split-Bregman迭代方法对模型进行求解;使用预测误差信号建立基于改进L2/L1范数稀疏线性预测预白化的时延估计器。实验结果表明:与GCC-PHAT和L2/L1范数稀疏线性预测算法相比,所提算法具有更好的时延估计性能。     

基于稀疏表示的脑电（EEG）情感分类

计算机对人类情绪与情感的识别研究已经成为了脑机接口领域的研究热点。通过分析人类在生活中的各种情感状态,提取脑电信号的特征并对情感状态进行识别、分类是情感智能化领域的重要方向。针对基于音乐视频诱导的情感数据集DEAP进行了研究,提取脑电信号的频域特征后,提出了采用加速近邻梯度算法（APG)和正交匹配算法（OMP）求解稀疏编码的稀疏表示分类模型进行情感分类,并与支持向量机算法（SVM）做效果比较。实验结果表明,APG算法通过L1范数正则近似求解以其快速的收敛速度在情感数据集上有着较好的分类表现,而OMP算法与SVM算法的分类效果相差无几,实现了情感脑电信号的分类。     

基于K-SVD和稀疏表示的数字调制模式识别

为了提高数字信号调制模式识别在低信噪比下的正确率,通过分析基于稀疏表示的模式识别,提出了一种基于K-SVD和稀疏表示的特征提取方法.该方法首先引入主成分分析对样本进行降维,然后利用K-SVD算法构造稀疏字典并构建稀疏线性模型,最后通过e1范数最优化求解测试样本的稀疏系数,根据稀疏系数的分布提取特征值.利用支持向量机分类器进行信号的分类识别,仿真研究证明,新方法提取的特征值具有较好的有效性.     

Adaptive sparse and dense hybrid representation with nonconvex optimization

Sparse representation has been widely used in signal processing, pattern recognition and computer vision etc. Excellent achievements have been made in both theoretical researches and practical applications. However, there are two limitations on the application of classification. One is that sufficient training samples are required for each class, and the other is that samples should be uncorrupted. In order to alleviate above problems, a sparse and dense hybrid representation (SDR) framework has been proposed, where the training dictionary is decomposed into a class-specific dictionary and a non-class-specific dictionary. SDR puts {\ell }_{\mathrm{1}} constraint on the coefficients of class-specific dictionary. Nevertheless, it over-emphasizes the sparsity and overlooks the correlation information in class-specific dictionary, which may lead to poor classification results. To overcome this disadvantage, an adaptive sparse and dense hybrid representation with nonconvex optimization (ASDR-NO) is proposed in this paper. The trace norm is adopted in class-specific dictionary, which is different from general approaches. By doing so, the dictionary structure becomes adaptive and the representationability of the dictionary will be improved. Meanwhile, a nonconvex surrogate is used to approximate the rank function in dictionary decomposition in order to avoid a suboptimal solution of the original rank minimization, which can be solved by iteratively reweighted nuclear norm (IRNN) algorithm. Extensive experiments conducted on benchmark data sets have verified the effectiveness and advancement of the proposed algorithm compared with the state-of-the-art sparse representation methods.     

快速稀疏表示分类的人脸识别算法

经典的稀疏表示分类（Sparse Representation for Classification,SRC）算法是一种基于[L1]范数最小化问题,它在很多应用场合都能取得很好的分类效果,是目前备受关注的一类识别算法。然而,传统的SRC算法在求解[L1]范数最小化问题时,往往计算效率比较低。为有效解决这个问题,提出了一种快速有效的分类算法,它利用坐标下降方法来实现SRC算法。该方法既可以显著地提高计算效率,又可取得较好的分类结果。在不同人脸库上的实验表明,所提的算法具有良好的应用前景。     

基于局部非负稀疏编码的掌纹识别方法

为了更有效地提取出图像的局部特征,在传统的非负稀疏编码(Hoyer-NNSC)算法的基础上,提出了一种新的具有稀疏度约束的局部NNSC (LNNSC)算法。该算法考虑了特征基向量的稀疏度约束和特征的最大化代表性,能够得到强化的图像局部特征;同时利用拉普拉斯密度模型作为特征系数的稀疏惩罚函数,保证了图像结构的稀疏性。在特征提取的基础上,进一步利用径向基概率神经网络(RBPNN)分类器,实现了掌纹的自动识别。仿真实验结果表明,与基于非负矩阵分解(NMF)、局部非负矩阵分解(LNMF)和Hoyer-NNSC的掌纹识别方法相比,该算法在掌纹识别研究中有较高的可行性和实用性。     

基于块稀疏贝叶斯学习的人体运动模式识别

在人体运动模式识别中, 传统稀疏表示分类算法未考虑待测试样本相应稀疏系数向量内在块结构相关性信息,影响了算法识别性能。为此,提出一种基于块稀疏模型的人体运动模式识别方法。该方法充分利用人体运动模式内在块稀疏结构,将人体运动模式识别问题转化为稀疏表示问题,采用块稀疏贝叶斯学习算法,求解基于样本训练集优化稀疏表示待测样本的稀疏系数, 并根据稀疏系数重构残差判定待识别动作类别,能有效提高人体运动模式识别率。选用包含多类别人体动作行为模式的USC-HAD数据库对所提算法性能进行了验证。实验结果表明,所提算法能够有效捕获不同运动模式内在差异信息,平均动作识别率达到97.86%,比传统动作识别方法平均提高近5%,有效提高了动作识别准确率。     

基于稀疏表示和弹性网络的人脸识别

由于稀疏表示方法在人脸分类算法中的成功使用,在此基础上提出了一种更为有效的基于稀疏表示（SRC）和弹性网络相结合的分类方法。为了加强样本间的协作表示能力以及增强处理强相关性变量数据的能力,基于迭代动态剔除机制,提出一种结合弹性网络的稀疏分解方法。通过采用训练样本的线性组合来表示测试样本,并运用迭代机制从所有样本中剔除对分类贡献度较小的类别和样本,采用Elastic Net算法来进行系数分解,从而选择出对分类贡献度较大的样本和类别,最后根据计算相似度对测试样本进行分类。在ORL、FERET和AR三个数据集进行了许多实验,实验结果显示算法识别率分别达到了98.75%、86.62%、99.72%,表明了所提算法的有效性。所提算法相比LASSO和SRC-GS等方法,在系数分解过程中增强了处理高维小样本和强相关性变量数据的能力,突出了稀疏约束在该算法中的重要性,具有更高的准确性和稳定性,能够更加有效地适用于人脸分类。     

基于骨干粒子群的弹性稀疏人脸识别

由于稀疏表示方法在人脸分类算法中的成功使用,基于此研究人员提出了一种新的分类方法即基于稀疏表示的分类方法（SRC）。因此寻求最优的稀疏表示方法就成为了人脸识别研究的重点。由于粒子群算法具有原理简单、参数较少和效率较高等优点,因此将基于剪枝策略的骨干粒子群算法（NPSO）应用于稀疏解的寻优过程。选择弹性网络估计（Elastic Network）作为NPSO算法的适应度函数,提出了一种稀疏解优化方法即EnNPSO。该方法具有很高的全局收敛性和稳定性,还具有很强的处理高维小样本和强相关性变量数据的能力。仿真实验表明该算法提高了人脸识别率,具有更高的适应性。     

LASRC-ODP降维算法在行为识别中的应用

针对分类识别算法在行为识别中存在识别率低和实时性差的问题,提出了一种线性近似稀疏表示分类的正交鉴别投影（LASRC-ODP）算法用于行为识别。LASRC-ODP算法将高维数据投影到低维空间时,最小化类内残差和最大化类间残差,同时利用投影矩阵的正交约束,增强鉴别结果。然后与LASRC分类相结合,将训练样本构成过完备字典,利用L2 范数求解稀疏系数,优化了求解复杂度,加快了计算速度,得到特征更易区分的样本,最后根据L1范数和残差找出对应类别,保证了强鲁棒性。采用KTH行为数据库进行实验,可使LASRC分类时识别率为97.1%,实验结果表明本文算法识别率高,且抗噪和鲁棒性强,为行为识别的研究提供了一种新思路。     

Kernel sparse representation based classification

Sparse representation has attracted great attention in the past few years. Sparse representation based classification (SRC) algorithm was developed and successfully used for classification. In this paper, a kernel sparse representation based classification (KSRC) algorithm is proposed. Samples are mapped into a high dimensional feature space first and then SRC is performed in this new feature space by utilizing kernel trick. Since samples in the high dimensional feature space are unknown, we cannot perform KSRC directly. In order to overcome this difficulty, we give the method to solve the problem of sparse representation in the high dimensional feature space. If an appropriate kernel is selected, in the high dimensional feature space, a test sample is probably represented as the linear combination of training samples of the same class more accurately. Therefore, KSRC has more powerful classification ability than SRC. Experiments of face recognition, palmprint recognition and finger-knuckle-print recognition demonstrate the effectiveness of KSRC.     

基于弹性网和直方图相交的非负局部稀疏编码

针对稀疏编码模型在字典基的选择时忽略了群效应,且欧氏距离不能有效度量特征与字典基之间距离的问题,提出基于弹性网和直方图相交的非负局部稀疏编码方法（EH-NLSC）。首先,在优化函数中引入弹性网模型,消除字典基选择数目的限制,能够选择多组相关特征而排除冗余特征,提高了编码的判别性和有效性。然后,在局部性约束中引入直方图相交,重新定义特征与字典基之间的距离,确保相似的特征可以共享其局部的基。最后采用多类线性支持向量机进行分类。在4个公共数据集上的实验结果表明,与局部线性约束的编码算法（LLC）和基于非负弹性网的稀疏编码算法（NENSC）相比,EH-NLSC的分类准确率分别平均提升了10个百分点和9个百分点,充分体现了其在图像表示和分类中的有效性。     

基于低秩稀疏评分的非监督特征选择

在处理高维数据过程中,特征选择是一个非常重要的数据降维步骤。低秩表示模型具有揭示数据全局结构信息的能力和一定的鉴别能力。稀疏表示模型能够利用较少的连接关系揭示数据的本质结构信息。在低秩表示模型的基础上引入稀疏约束项,构建一种低秩稀疏表示模型学习数据间的低秩稀疏相似度矩阵;基于该矩阵提出一种低秩稀疏评分机制用于非监督特征选择。在不同数据库上将选择后的特征进行聚类和分类实验,同传统特征选择算法进行比较。实验结果表明了低秩特征选择算法的有效性。