稀疏化的因子分解机

因子分解机（简称为FM）是最近被提出的一种特殊的二阶线性模型,不同于一般的二阶模型,FM对二阶项系数进行了分解,这种特殊的结构使得FM特别适用于高维且稀疏的数据。虽然FM在推荐系统领域已获得了应用,但FM本身并未显式考虑变量的稀疏性,特别当变量中包含结构稀疏信息时。因此,FM的二阶特征结构使其特征选择时应当满足这样一种性质,即涉及同一个特征的线性项和二阶项要么同时被选要么同时不被选,当该特征是噪音时,应当同时不被选,而当该特征是重要变量时,应当同时被选。考虑到这种结构特性,本文提出了一种基于稀疏组Lasso的因子分解机（SGL-FM）,通过添加稀疏组Lasso的正则项,不仅实现了组间稀疏,还实现了组内稀疏。从另一个角度看,组内稀疏也相当于对因子分解的维度k进行了控制,使其能根据数据的不同而自适应地调整维度k。实验结果表明,本文提出的方法在保证了相当精度甚至更优精度的情况下,获得了比FM更稀疏的模型。     

正则化稀疏模型

正则化稀疏模型在机器学习和图像处理等领域发挥着越来越重要的作用,它具有变量选择功能,可以解决建模中的过拟合等问题．Tibshirani 提出的 Lasso 使得正则化稀疏模型真正开始流行．文中总结了各种正则化稀疏模型,指出了各个稀疏模型被提出的原因、所具有的优点、适宜解决的问题及其模型的具体形式．最后,文中还指出了正则化稀疏模型未来的研究方向．     

特征聚类自适应变组稀疏自编码网络及图像识别

由于缺乏先验信息,组Lasso模型在训练时仅是基于组数参数对单元进行均匀、连续、固定的分组,缺乏分组依据,容易造成变量组结构的有偏估计。为此,提出特征聚类自适应变组稀疏自编码网络模型,在迭代过程中使用特征聚类法来改变隐层单元的分组,使得分组能够随着特征的收敛而自适应地发生改变,从而更好地实现变量组结构的估计。实验表明,该模型能够很好地捕捉训练过程中出现的组相关信息,并在一定程度上提高图像的分类识别率。     

结构稀疏模型及其算法研究进展

结构稀疏模型在统计学、信号处理和机器学习等领域中具有重要的应用。结构稀疏模型主要通过在目标函数中引入会导致组稀疏效果的罚函数来实现特征组结构选择。有趣的是一些组稀疏模型不仅能实现特征组选择,而且同时能够实现组内的特征选择。根据使用的罚函数的类型,结构稀疏模型主要分为组套索模型和非凸罚组稀疏模型两大类。系统地总结了重要的组结构稀疏模型,分析了各种组结构稀疏模型之间的区别与联系,归纳比较了各种组结构稀疏模型的统计特性(例如模型选择一致性、参数估计一致性和oracle性质)和组结构稀疏模型的求解算法。当前,结构套索模型主要包括普通组套索模型、L∞,1组套索模型、重叠组套索模型、树组套索模型、多输出树组套索模型、混合组套索模型、自适应组套索模型、逻辑斯蒂组套索模型和贝叶斯组套索模型。非凸罚组稀疏模型包括组SCAD罚模型、组桥模型和组MC罚模型等。求解组稀疏模型的算法有组最小角回归算法、块坐标下降(上升)算法、活动集算法、内点算法、投影梯度算法、谱投影梯度算法、轮换方向乘子算法和块坐标梯度下降算法等,结合组稀疏模型对这些算法进行了详细的分析。在使用上述优化方法前,通常需要对目标函数进行预处理,将不平滑的、非凸的、块坐标不可分离的组稀疏模型的目标函数向平滑、凸、块坐标可分离的方向进行转化,这一步常利用的技巧有变分不等式、Neste-rov的平滑近似技巧、局部一阶泰勒展开近似、局部二次近似、对偶范数和对偶函数等。接着给出了最新提出的一些组稀疏模型,如关于广义加模型的组套索模型、复合组桥模型、平方根组套索模型和关于Tobit模型的组套索模型等。最后,对组稀疏模型未来的研究方向进行了探讨。     

基于改进的稀疏深度信念网络的人脸识别方法

由于稀疏表示在人脸识别上的优异表现,大量的研究关注于在深度网络上结合稀疏编码.常用的稀疏深度信念网络限制所有的隐藏单元具有相同的稀疏水平,这不是诱导稀疏表示最自然的方式.针对这个问题,根据压缩感知理论改进原来的稀疏项,添加了一个tan-sigmoid正则项逼近稀疏表示的最优解L0范数.这种方法不限制隐藏单元拥有相同的激活率,每个隐藏单元可以根据不同的任务自动学习到不同的稀疏水平.在ORL、UMIST和FERET人脸库上的识别结果表明,提出的方法与经典的稀疏深度模型相比,获得了很好的特征表示和识别效果.     

两两关系马尔科夫网的自适应组稀疏化学习

稀疏化学习能显著降低无向图模型的参数学习与结构学习的复杂性, 有效地处理无向图模型的学习问题. 两两关系马尔科夫网在多值变量情况下, 每条边具有多个参数, 本文对此给出边参数向量的组稀疏化学习, 提出自适应组稀疏化, 根据参数向量的模大小自适应调整惩罚程度. 本文不仅对比了不同边势情况下的稀疏化学习性能, 为了加速模型在复杂网络中的训练过程, 还对目标函数进行伪似然近似、平均场自由能近似和Bethe自由能近似. 本文还给出自适应组稀疏化目标函数分别使用谱投影梯度算法和投 影拟牛顿算法时的最优解, 并对比了两种优化算法进行稀疏化学习的性能. 实验表明自适 应组稀疏化具有良好的性能.     

基于组约束深度神经网络的航运监控事件识别

针对传统的机器学习算法以及常规的深度学习模型对于大数据量的航运监控视频识别效果不佳的问题,设计一种组约束深度神经网络模型(GCDNN)对实时航运监控视频进行识别。模型主要由结合Inception结构的VGG-16组件和优化LSTM单元的深层双向循环神经网络DBO-LSTM组件构成,充分提取视频帧序列的时空特征,使用稀疏组套索正则化算法进行网络稀疏处理,使用随机森林算法输出分类结果。实验结果表明,所提模型可以较好提升大数据量下的视频识别准确率,对于受恶劣天气影响的数据具有较强的识别能力,验证了所提模型的有效性。     

基于Lasso稀疏学习的径向基函数神经网络模型

传统径向基函数(RBF)神经网络模型使用完整的隐含层节点进行模型构建时,会因缺乏隐含层节点抽取机制而使得受训模型的泛化性能下降,导致模型更加复杂。为此,提出一种改进的RBF神经网络模型。通过Lasso稀疏约束对隐含层节点和输出层连接权值进行稀疏表示,去除冗余和不相关隐含层节点的同时保留重要的隐含层节点,并使用交叉验证和网格搜索确定收缩参数以优化模型分类性能。实验结果表明,与现有RBF神经网络模型相比,该模型具有更低的计算复杂度和更高的分类精度。     

无偏稀疏正则化的双策略结构神经网络压缩

虽然深度神经网络模型的性能十分出色,但目前网络存在规模庞大、权重冗余度高的问题。同时,现有对网络权重剪枝的正则子估测偏差大。因此,本文提出无偏稀疏正则化的双策略结构神经网络压缩。首先,本文将神经网络所连接权重视为一组,提出采用估测值偏差小的非线性拉普拉斯函数,构建组间无偏结构稀疏正则子和组内无偏结构稀疏正则子,对冗余神经元和剩余神经元的冗余权重分别进行稀疏约束,构建无偏稀疏正则化的双策略结构神经网络压缩模型。其次,针对所设计的无偏稀疏正则化的网络压缩优化难题,本文采用近端算子技术获得无偏稀疏正则子的闭式解,进而设计基于近端梯度下降法的反向传播算法,实现神经网络准确的结构压缩。最后,通过在数据集MNIST、 FashionMNIST和Cifar-10进行实验验证,本文所提出的无偏稀疏正则子的双策略结构神经网络压缩不仅收敛速度快于目前主流正则子。而且在压缩率保持一致的情况下,相比已有的方法识别精度平均提升2.3%,在识别保持精度基本一致的情况下,相对已有方法平均提升11.5%的压缩率。     

基于优化和两阶段筛选的时间序列Shapelets提取研究

与基于全局特征的时间序列分类方法相比,基于shapelets的分类方法在可解释性和分类速度方面更具优势。针对现有的优化模型学习到的shapelets判别力不足以及shapelets候选数量太多等问题,提出了基于优化和两阶段筛选的时间序列shapelets提取算法。首先对时间序列取样,结合极值点和序列趋势对取样的时间序列进行分组,根据分组结果对稀疏组Lasso正则器的每项赋予权重,并在加权稀疏组Lasso的每一组中都使用融合罚正则项来保证解的相邻位置平坦变化,将多项稀疏正则项作为正则器与局部线性判别分析相结合来构建目标函数。然后,建立一个两阶段的筛选框架来度量组的稀疏性,从而快速地找到对分类起决定性作用的关键组。最后仅使用一组关键组来提取shapelets用于时间序列的分类,缩小了shapelets的规模。在28个时间序列数据集上进行了大量实验,实验结果表明,与现有的基于shapelets的提取方法相比,所提方法不仅能显著提高分类精度,具有较高的时间效率,而且能够在一定程度上缩小shapelets的规模。     

基于极端学习机的人脸特征深度稀疏自编码方法

针对输入人脸特征的不准确性导致识别系统识别率不高的问题,提出了一种有效的基于极端学习机（ELM）的人脸特征深度稀疏自编码（DSAE）方法。首先,利用截断式核范数构造损失函数,通过最小化损失函数提取人脸图像的稀疏特征;其次,利用极端学习机自编码器（ELM-AE）模型进行人脸特征的自编码,实现数据维度的降低以及噪声过滤;最后,通过经验风险极小化得到最优的深度结构。在ORL、IMM、Yale和UMIST人脸数据集上的实验结果表明,DSAE方法对高维人脸图像的识别率明显优于极端学习机、随机森林（RF）等算法,且具有良好的泛化性能。     

基于L0稀疏约束的近似稀疏解人耳识别*

传统的人耳识别算法在人耳图像遮挡、噪声和人耳多姿态变化中表现出低识别率,近年来稀疏表示在模式识别领域中取得很好的成果。决定稀疏分类器识别精确度的因素主要是稀疏解的稀疏度。而稀疏度的估计就是稀疏向量中非0元素的估计,即向量L0范数。因此在人耳稀疏分类算法的研究中引入L0范数稀疏约束。综上所述,采取基于SRC（Sparse Representation-based Classification）稀疏模型,选取对人耳姿态变化具有强鲁棒性的特征逼近过完备字典,然后使用OMP(Orthogonal Matching Pursuit)算法直接解L0问题,并加入稀疏约束,从优化稀疏解的角度对人耳稀疏分类算法进行改进,提高人耳识别效率。     

基于竞争学习的稀疏受限玻尔兹曼机机制

针对受限玻尔兹曼机（RBM）无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机（SRBM）难以自适应稀疏的缺陷,提出了一种基于竞争学习的RBM稀疏机制方法。首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量,评估两者相似度;然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元;其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度;最后执行参数更新并依据深度模型训练过程,将竞争稀疏应用于深度玻尔兹曼机（DBM）的构建中。通过手写数字识别实验证明,与误差平方和正则化因子相比,基于该稀疏机制的DBM分类准确率提高了0.74%,平均稀疏度提高了5.6%,且无需设置稀疏参数,因此,该稀疏机制可提高RBM等无监督训练模型的训练效率,并应用于深度模型的构建中。     

基于优化正交匹配追踪和深度置信网的声音识别

针对各种环境声音对声音事件识别的影响,提出一种基于优化的正交匹配追踪（OOMP）和深度置信网（DBN）的声音事件识别方法。首先,利用粒子群优化（PSO）算法优化OMP稀疏分解,在实现正交匹配追踪（OMP）的快速稀疏分解的同时,保留声音信号的主体部分,抑制噪声对声音信号的影响;接着,对重构声音信号提取Mel频率倒谱系数（MFCC）、OMP时-频特征和基音频率（Pitch）特征,组成OOMP的复合特征;最后,使用DBN对提取的OOMP特征进行特征学习,并对40种声音事件在不同环境不同信噪比下进行识别。实验结果表明,OOMP特征结合DBN的方法适用于各种环境声下的声音事件识别,而且能有效地识别各种环境下的声音事件,即使在信噪比（SNR）为0 dB的情况下,仍然能保持平均60%的识别率。     

基于块稀疏贝叶斯学习的人体运动模式识别

在人体运动模式识别中, 传统稀疏表示分类算法未考虑待测试样本相应稀疏系数向量内在块结构相关性信息,影响了算法识别性能。为此,提出一种基于块稀疏模型的人体运动模式识别方法。该方法充分利用人体运动模式内在块稀疏结构,将人体运动模式识别问题转化为稀疏表示问题,采用块稀疏贝叶斯学习算法,求解基于样本训练集优化稀疏表示待测样本的稀疏系数, 并根据稀疏系数重构残差判定待识别动作类别,能有效提高人体运动模式识别率。选用包含多类别人体动作行为模式的USC-HAD数据库对所提算法性能进行了验证。实验结果表明,所提算法能够有效捕获不同运动模式内在差异信息,平均动作识别率达到97.86%,比传统动作识别方法平均提高近5%,有效提高了动作识别准确率。     

基于深度信念网与隐变量模型的用户偏好建模

从高维、稀疏的用户评分数据中构建用户偏好模型,存在迭代计算复杂度高、中间结果规模大和难以实现有效推理等问题。为此,提出一种基于深度信念网(DBN)和贝叶斯网(BN)的用户偏好建模方法。采用DBN对评分数据进行分类,用隐变量表示不能直接观测到的用户偏好,利用含隐变量的BN描述评分数据中蕴含的相关属性间的依赖关系及其不确定性。在MovieLens和大众点评数据集上的实验结果表明,该方法能够有效描述评分数据中与用户偏好相关的各属性间的依赖关系,其精确率和执行效率均高于隐变量模型。     

基于压缩感知和深度小波网络的列车故障识别

针对列车走行部故障振动数据无监督特征学习的难点，提出了一种基于压缩感知和深度小波神经网络（CS-DWNN）的列车故障识别方法。首先，对采集得到的列车走行部振动信号利用高斯随机矩阵进行压缩采样；其次，构建以改进小波自编码器（WAE）为基础的深层小波网络，将压缩后的信号直接输入网络进行自动逐层特征提取；最后，用DWNN学习到的多层特征分别训练多个深度支持向量机（DSVM）和深度森林（DF）分类器，并将识别结果进行集成。该方法利用深层小波网络从压缩信号中自动挖掘隐藏的故障信息，受先验知识和主观影响较小，并且避免了复杂的人工特征提取过程。实验结果表明，CS-DWNN方法取得了99.16%的平均诊断正确率，能够有效识别列车走行部的3种常见故障，识别能力优于传统的人工神经网络（ANN）、支持向量机（SVM）等方法和深度信念网络（DBN）、堆栈降噪自编码器（SDAE）等深度学习模型。     

深度信念网络研究进展

深度信念网络（Deep Belief Networks,DBN）作为深度学习（Deep Learning,DL）中的重要模型,目前已被成功应用于人脸识别、手写字体识别、医学图像分析处理等诸多领域。从深度信念网络出发,主要做了四个方面的工作：第一,从受限玻尔兹曼机以及深度信念网络的网络结构和学习过程两个方面阐述了深度信念网络的基本原理;第二,从网络结构和学习算法两个方面总结了深度信念网络的研究进展：在网络结构方面,从网络深度、RBM结构和DBN级联三个角度进行归纳;在学习算法方面,从基本算法、优化算法和融合方法三个方面进行梳理;第三,对深度信念网络在医学图像分析领域中的应用进行了总结;第四,总结了目前DBN存在的问题。     

Multiobjective evolution of deep learning parameters for robot manipulator object recognition and grasping

Deep Learning (DL) is currently very popular because of its similarity to the hierarchical architecture of human brain with multiple levels of abstraction. DL has many parameters that influence the network performance. In this paper, we introduce a multiobjective evolutionary algorithm (MOEA) to optimize the DBNN parameters subject to the error rate and the network training time as two conflicting objectives. To verify the effectiveness, the proposed method is applied to the robot object recognition and grasping task. We compare the performance of the optimized DBNN model with a) DBNN with arbitrarily selected parameters and b) Deep Belief Network-Deep Neural Network (DBN-DNN). The results show that optimized DL has a superior performance in terms of training time and recognition success rate. In addition, the optimized DBNN model is effective for real-time robotic implementations.