基于稀疏自编码特征聚类算法的图像窜改检测

同图复制窜改是图像窜改较为常见的一类,基于块匹配检测方法往往存在准确率低、时间复杂度高等问题,为提高准确率并大幅度降低时间复杂度,应用深度学习特征和聚类算法进行检测。首先用稀疏自编码器训练大量样本集找出同图复制图像的内部规律并得到降维的隐藏层权值矩阵,通过权值矩阵获得检测图像的隐藏层特征,即定义的稀疏自编码特征;用K-means算法一次聚类自编码特征去除图像平滑区域,二次聚类纹理特征获得检测结果,若检测结果中含有少量异常块,通过欧氏距离判断和RANSAC（random sample consensus）算法将异常块去除,从而实现窜改区域的检测。实验结果表明,该算法与其他算法比较综合准确率提升14.3%,时间效率提升72%。将深度学习特征与聚类算法结合使用,使得同图复制窜改在时间效率和准确率上皆有所提升。     

基于深度学习的异常驾驶检测

针对异常驾驶行为标签数据少的问题,提出了一种基于深度学习的异常驾驶检测的新方法,利用堆栈稀疏自编码模型来提取驾驶员的行为特征,并以逐层贪婪的训练方式训练模型。此外,在算法中加入去噪编码增强特征表达的鲁棒性,在整个训练过程中加入丢弃法减少过拟合的风险。实验结果表明,我们提出的方法相比传统的异常驾驶行为监测方法更加有效。     

局部敏感的稀疏概念编码及其在图像表示中的应用

矩阵分解算法是模式识别中一种常用的图像表示方法.针对传统的矩阵分解算法不能提取数据本质结构的问题,提出一种局部敏感的稀疏概念编码的图像表示算法.在基向量学习时,利用局部敏感鉴别分析方法提取样本的几何结构和判别信息,使得学习到的基更能体现数据的高层语义结构信息;然后对每个样本在基向量上进行稀疏表示学习,得到样本的表示系数;最后对样本进行表示与分类.在COIL20和ORL数据库中的实验结果表明,与其他几种矩阵分解算法相比,文中算法聚类的准确率和互信息得到了有效的提高,验证了其有效性.     

基于编码复杂度的混合结构稀疏人脸识别方法

利用编码复杂度表示数据的结构稀疏度,通过降低编码复杂度实现结构稀疏。在稀疏表示分类模型的基础上,通过聚类排序的方法构造结构化字典,形成混合结构稀疏模型。此模型结合类间样本的定长组结构与类内样本的动态可重叠组结构,以及误差的标准稀疏结构。为实现混合结构稀疏重构,提出改进的混合结构贪婪算法。实验表明对数据字典进行聚类排序可有效改进人脸的识别性能,在相同条件下,混合结构的性能优于其他结构,文中算法也优于其他算法。     

多标记学习自编码网络无监督维数约简

多标记学习是针对一个实例同时与一组标签相关联而提出的一种机器学习框架,是该领域研究热点之一,降维是多标记学习一个重要且具有挑战性的工作。针对有监督的多标记维数约简方法,提出一种无监督自编码网络的多标记降维方法。首先,通过构建自编码神经网络,对输入数据进行编码和解码输出;然后,引入稀疏约束计算总体成本,使用梯度下降法进行迭代求解;最后,通过深度学习训练获得自编码网络学习模型,提取数据特征实现维数约简。实验中使用多标记算法ML-kNN做分类器,在6个公开数据集上与其他4种方法对比。实验结果表明,该方法能够在不使用标记的情况下有效提取特征,降低多标记数据维度,稳定提高多标记学习性能。     

基于多尺度特征融合Hessian稀疏编码的图像分类算法

针对传统稀疏编码图像分类算法提取单一类型特征,忽略图像的空间结构信息,特征编码时无法充分利用特征拓扑结构信息的问题,提出了基于多尺度特征融合Hessian稀疏编码的图像分类算法（HSC）。首先,对图像进行空间金字塔多尺度划分;其次,在各个子空间层将方向梯度直方图（HOG）和尺度不变特征转换（SIFT）进行有效的融合;然后,为了充分利用特征的拓扑结构信息,在传统稀疏编码目标函数中引入二阶Hessian能量函数作为正则项;最后,利用支持向量机（SVM）进行分类。在Scene15数据集上的实验结果表明,HSC的准确率比局部约束线性编码（LLC）高了3~5个百分点,比支持区别性字典学习（SDDL）等对比方法高了1~3个百分点;在Caltech101数据集上的耗时实验结果表明,HSC的用时比多核学习稀疏编码（MKLSC）少40%左右。所提HSC可以有效提高图像分类准确率,算法的效率也优于对比算法。     

基于改进稀疏栈式编码的车型识别

为了提高稀疏栈式编码对车型识别确率,提出了一种基于改进稀疏栈式编码的车型识别方法。使用逐层无监督方法来训练网络结构,并从大量的无标记的数据集中学习得到特征字典,在稀疏栈式编码的基础上引入卷积和池化模块,把学习得到的特征字典作为卷积核,通过对含有车辆的图像进行卷积和池化操作获得图像的特征图;最后通过使用softmax分类器在少量标签数据集上进行有监督的微调。在BIT-Vehicle数据集上的实验结果表明,改进后的算法优于传统稀疏栈式编码算法,在标注较少的数据集中,识别的准确率优于神经网络算法。     

基于受限波兹曼机的推荐算法研究

本文针对推荐系统中传统推荐算法在处理较稀疏数据效果表现不佳的问题,将一种最新的机器学习方法带入到推荐算法中,利用多层波兹曼机组成的深度结构模型与传统最近邻推荐方法相结合,形成一种新的推荐模型算法。本文还利用有限步吉布斯采样的最小化散度差（Constrastive Divergence）方法解决了该模型的无监督训练问题,并且通过预训练和反馈微调使得模型的训练得以实现;最后利用深度结构抽取的抽象特征结合最近邻方法进行预测推荐。另外,本文利用传统基于相似度最近邻方法,矩阵分解方法和新模型算法在相关数据集上进行多组实验,实验结果表明该算法不仅在稀疏的数据上也表现出更好的效果,并且拥有着更快的收敛速度。     

基于TSNE和多尺度稀疏自编码的高光谱图像分类

针对高光谱图像存在维数“灾难”、特征以及空间信息利用不足的问题,结合深度学习、流形学习及多尺度空间特征的最新进展,提出了一种TSNE和多尺度稀疏自编码网络的高光谱图像分类算法。利用TSNE算法对高光谱图像进行降维,再对每个像元的邻域进行多尺度空间特征提取,利用加入空谱联合信息的像元训练稀疏自编码网络模型并通过softmax分类器进行分类,减少计算复杂度,提高分类精确度。通过对Indian Pines及Pavia University两组数据进行实验,结果表明,提出的算法与其他五种算法相比分类效果更好。     

基于Hessian正则化的多视图联合非负矩阵分解算法

非负矩阵在表征多视图数据时没有考虑数据本身的流型结构,不能有效表达数据内部信息。为此,提出一种基于Hessian正则化的非负矩阵分解算法。利用Hessian泛函的L2模,保持样本局部拓扑结构,并扩展成基于Hessian正则化的联合非负矩阵分解算法,以对多视图数据进行变换。实验结果表明,基于Hessian正则化的非负矩阵分解算法和基于Hessian正则化的联合非负矩阵分解算法的聚类精度以及互信息值都有较大提高,2种算法的数据变化性能都优于传统非负矩阵分解算法。     

Structural health monitoring by using a sparse coding-based deep learning algorithm with wireless sensor networks

Structural health monitoring has received remarkable attention due to the arising structural safety problems. Most of these structural health problems are accumulative damages such as slight changes in structural deformations which are very hard to be detected. In addition, the complexity of real structure and environmental noises make structural health monitoring more difficult. Existing methods largely use various types of sensors to collect useful parameters and then train a machine learning model to diagnose damage level and location, in which a large amount of training data are needed for the model training, while the labeled data are rare in the real world. To overcome this problem, sparse coding is employed in this paper to achieve structural health monitoring of a bridge equipped with a wireless sensor network, so that a large amount of unlabeled examples can be used to train a feature extractor based on the sparse coding algorithm. Features learned from sparse coding are then used to train a neural network classifier to distinguish different statuses of the bridge. Experimental results show the sparse coding-based deep learning algorithm achieves higher accuracy for structural health monitoring under the same level of environmental noises, compared with some existing methods.     

基于稀疏自编码深度神经网络的林火图像分类

针对林火与相似目标很难区分的问题,提出一种基于稀疏自编码深度神经网络的林火图像分类新方法。采用无监督的特征学习算法稀疏自编码从无标签图像小块中学习特征参数,完成深度神经网络的训练;利用学习到的特征从原始大小分类图像中提取特征并卷积和均值池化特征;对卷积和池化后的特征采用softmax回归来训练最终softmax分类器。实验结果表明,跟传统的BP神经网络相比,新方法能够更有效区分林火与红旗、红叶等类似物体。     

基于VGG网络与深层字典的低剂量CT图像去噪算法

低剂量计算机断层扫描（LDCT）能够有效降低X射线辐射对人体健康造成的危害,已广泛应用于医学临床诊断。针对LDCT图像中存在大量的斑点噪声和条形伪影的问题,提出一种结合改进的VGG网络和深层字典的图像去噪算法,以弥补深层字典去噪能力的不足。在深层字典学习到第一层字典原子和稀疏矩阵后,通过改进的VGG网络将字典原子区分为信息原子和噪声原子,同时将稀疏矩阵中噪声原子所对应的元素设置为零,降低噪声原子对图像去噪效果的影响。实验结果表明,与K-SVD算法、正则化K-SVD算法和深层字典学习算法相比,该算法的峰值信噪比和结构相似性指数平均提高了1.4 dB和0.03,能够有效抑制LDCT图像噪声和伪影,且保留较多的边缘和细节信息。     

Semisupervised Regression with Cotraining-Style Algorithms

The traditional setting of supervised learning requires a large amount of labeled training examples in order to achieve good generalization. However, in many practical applications, unlabeled training examples are readily available, but labeled ones are fairly expensive to obtain. Therefore, semisupervised learning has attracted much attention. Previous research on semisupervised learning mainly focuses on semisupervised classification. Although regression is almost as important as classification, semisupervised regression is largely understudied. In particular, although cotraining is a main paradigm in semisupervised learning, few works has been devoted to cotraining-style semisupervised regression algorithms. In this paper, a cotraining-style semisupervised regression algorithm, that is, COREG, is proposed. This algorithm uses two regressors, each labels the unlabeled data for the other regressor, where the confidence in labeling an unlabeled example is estimated through the amount of reduction in mean squared error over the labeled neighborhood of that example. Analysis and experiments show that COREG can effectively exploit unlabeled data to improve regression estimates.     

基于多层非负局部Laplacian稀疏编码的图像分类

针对单层稀疏编码结构对图像特征学习能力的局限性问题,提出了一个基于图像块稀疏表示的深层架构,即多层融合局部性和非负性的Laplacian稀疏编码算法（MLLSC）。对每个图像平均区域划分并进行尺度不变特征变换（SIFT）特征提取,在稀疏编码阶段,在Laplacian稀疏编码的优化函数中添加局部性和非负性,在第一层和第二层分别进行字典学习和稀疏编码,分别得到图像块级、图像级的稀疏表示,为了去除冗余特征,在进行第二层稀疏编码之前进行主成分分析（PCA）降维,最后采用多类线性支持向量机进行分类。在四个标准数据集上进行验证,实验结果表明,MLLSC方法具有高效的特征学习能力,能够捕获图像更深层次的特征信息,相对于单层结构算法准确率提高了3%~13%,相对于多层稀疏编码算法准确率提高了1%~2.3%;并对不同参数进行了对比分析,充分展现了其在图像分类中的有效性。     

一种基于EM和分类损失的半监督主动DBN学习算法

对于建立动态贝叶斯网络(DBN)分类模型时,带有类标注样本数据集获得困难的问题,提出一种基于EM和分类损失的半监督主动DBN学习算法.半监督学习中的EM算法可以有效利用未标注样本数据来学习DBN分类模型,但是由于迭代过程中易于加入错误的样本分类信息而影响模型的准确性.基于分类损失的主动学习借鉴到EM学习中,可以自主选择有用的未标注样本来请求用户标注,当把这些样本加入训练集后能够最大程度减少模型对未标注样本分类的不确定性.实验表明,该算法能够显著提高DBN学习器的效率和性能,并快速收敛于预定的分类精度.     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络(CNN)在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution(SSSConv);该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

基于类标一致和局部特征约束的字典学习算法

为了提高字典学习算法的分类性能,提出基于原子的类标一致和局部特征约束的字典学习算法（LCLCDL）。利用原子和训练样本的类标设计判别稀疏矩阵,并构造类标一致模型作为判别式项,促使同类训练样本对应的编码系数尽可能地相似。利用原子和编码系数矩阵的行向量（Profiles）构造局部特征模型作为判别式项,使其继承训练样本的结构特征。实验结果表明LCLCDL算法比5个稀疏编码和字典学习算法可取得更高的分类性能。     

基于动态学习率深度神经网络的抗干扰信道编码算法

针对电子战条件下,通信信号易受压制干扰的问题,提出了一种基于动态学习率深度自编码器（dynamic learning rate deep AutoEncoder,DLr-DAE）的信道编码算法来提高系统抗压制干扰性能。首先对输入未编码信号进行预处理,将原始输入信号转换为单热矢量,随后使用训练数据样本集,用非监督学习方法训练深度自编码器,基于随机梯度下降法（SGD）更新网络参数,利用指数衰减函数,在迭代次数和网络损失函数值变化过程中动态微调学习率,减少网络迭代循环次数,避免收敛结果陷入局部最优点,从而获得面向电子战环境的信道编码深度学习网络。仿真结果表明,相比现有深度学习编码算法,该算法在取得同等误码率时,抗噪声压制干扰性能最大可提升0.74 dB。     

基于K-means聚类的三维点云分类

针对三维点云分类算法受到点云稀疏性和无序性影响的问题,提出一种改进算法。在点云预处理阶段,对密集的点云进行冗余数据去除,以减少后续计算量;对于稀疏的点云数据则进行三角形插值计算,以使分类更精确。加入K-means聚类分析算法,之后并行通过PointNet网络进行特征提取,该方法可体现点云空间中的点云分布特性。分别在ModelNet10/40上进行三维点云分类实验,并对比不同[K]值对分类结果的影响。实验结果表明,当[K=5]时分类准确率最高,其在ModelNet10/40上的准确率分别是94.2%和92.6%。提出的算法性能高于其他对比算法,同时训练时间大大减少。