流形极限学习机自编码特征表示

极限学习机（ELM）作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器（ELM-AE）是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法（M-ELM）。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过[k]-means聚类后的准确率进行了比较,以表明该算法的有效性。     

基于混合自动编码器道路语义分割方法研究

道路检测是无人驾驶汽车环境感知的重要环节,利用计算机视觉技术实现对环境场景的语义分割是确保无人驾驶汽车安全行驶的关键技术之一。提出一种稀疏自动编码器和去噪自动编码器相结合的混合自动编码器语义分割模型,利用稀疏自动编码器的稀疏性语义编码和去噪自动编码器鲁棒的语义编码,使混合模型学习的特征更有利于图像的语义分割。通过建立一种合理的模型排列顺序与堆叠形式,实现对图像语义的优化选择,从而建立一个具有深度的“富结构”语义分割模型,进一步提高语义分割性能。实验表明,本文所提模型更为简单、训练周期短,具有较好的综合图像分割性能。     

基于栈式去噪自动编码器的边际Fisher分析算法

特征学习是模式识别领域的关键问题。基于自动编码器的深度神经网络通过无监督预训练与有监督微调能够有效地提取数据中关键信息,形成特征。提出一种基于栈式去噪自编码器的边际Fisher分析算法,该算法将边际Fisher分析运用于有监督微调阶段,进一步提升算法的特征学习能力。实验结果表明,该算法与标准的栈式去噪自编码器和基于受限玻尔兹曼机的深度信念网相比,具有更好的识别效果。     

拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型,不仅实现复杂函数的逼近,并且训练过程中无需迭代,学习效率高.我们把流形正则化框架引入ML-ELM中提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而,ELM-AE不能很好的解决过拟合问题,针对这一问题我们把权值不确定引入ELM-AE中提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE）,它学习到更为鲁棒的特征.最后,我们在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM）,它堆叠WU-ELM-AE构建深度模型,并且用流形正则化框架求取输出权值,该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.     

基于深度学习的复杂网络实时Sybil攻击检测算法

针对复杂网络中Sybil攻击检测速度较慢的问题,提出一种基于深度学习的复杂网络实时Sybil攻击检测方案。从网络中采集数据,提取合适的特征;通过深度学习技术预测网络中的攻击行为。基于多层核极限学习机的深度学习技术包括无监督表示学习与监督特征分类两个阶段。通过低秩逼近法计算近似的经验核映射,代替原极限学习机随机生成的隐层。将经验核映射-自动编码的栈式自编码器作为表示学习,对极限学习机的时间效率与存储成本实现了显著的提高。基于实际社交数据的实验结果表明,该方案有效地降低了Sybil攻击的检测时间,并且保持了较好的检测效果。     

基于多隐层小波卷积极限学习神经网络的滚动轴承故障识别

煤矿旋转机械工作环境恶劣,实际采集到的滚动轴承振动信号呈现出明显的非线性和非平稳性,导致轴承故障特征提取较困难。传统的基于"人工特征提取+模式识别"的滚动轴承故障识别方法受主观影响大。针对上述问题,提出了一种基于多隐层小波卷积极限学习神经网络(MHLWCELNN)的滚动轴承故障识别方法。该方法综合了一维卷积神经网络、自动编码器、极限学习机和小波函数的优势:利用一维卷积神经网络的局部连接和权值共享机制,大大减少了需要学习的参数;通过自动编码器使算法适用于轴承振动信号无标签样本;通过极限学习机确定输出权重,避免陷入局部最优,提高训练速度;采用小波函数作为激活函数,提高对轴承时域和频域信号的分辨率,从而提高故障识别率。实验结果表明:与同类方法相比,MHLWCELNN具有更高的识别准确率和更小的标准差,能较为稳定地识别出滚动轴承的不同故障类型;MHLWCELNN的F_1值高于同类方法,验证了其对不平衡数据集的有效性;高斯小波在时域、频域均有较高的分辨率,适合作为激活函数;训练集样本占比设置为80%较合适。     

叠加去噪自动编码器结合深度神经网络的心电图信号分类方法

针对现有心电图信号分类方法精度较低,模型训练收敛速度较慢的缺点,提出一种基于叠加去噪自动编码器和深度神经网络方法的新型分类方法。该方法采用无监督学习方式,利用带有稀疏约束的叠加去噪自动编码器,实现心电图原始数据的特征学习。基于深度神经网络对信号进行分类,同时利用监督式自主学习微调方法对神经网络权重进行适时调整,从而保证信号分类的精度和质量。利用三个机构的经典数据库对该方法进行实验研究,并与目前两种最新的方法进行对比。实验结果证明,该方法在专家标记样本较少的情况下,仍能明显提高心电图数据分类的准确率,同时加快训练时的收敛速度。     

堆叠去噪自编码器在垃圾邮件过滤中的应用

针对垃圾邮件数量日益攀升的问题,提出了将堆叠去噪自编码器应用到垃圾邮件分类中.首先,在无标签数据集上,使用无监督学习方法最小化重构误差,对堆叠去噪自编码器进行贪心逐层预训练,从而获得原始数据更加抽象和健壮的特征表示; 然后,在堆叠去噪自编码器的最上层添加一个分类器后,在有标签数据集上,利用有监督学习方法最小化分类误差,对预训练获得的网络参数进行微调,获得最优化的模型; 最后, 利用训练完成的堆叠去噪编码器在6个不同的公开数据集上进行测试.将准确率、召回率、更具有平衡性的马修斯相关系数作为实验性能评价标准,实验结果表明,相比支持向量机算法、贝叶斯方法和深度置信网络的分类效果,基于堆叠去噪自编码器的垃圾邮件分类器的准确率都高于95%,马修斯相关系数都大于0.88,在应用中具有更高的准确率和更好的健壮性.     

一种鲁棒的双教师自监督蒸馏哈希学习方法

为了提高无监督哈希学习的性能,实现鲁棒的哈希图像检索,提出了一种鲁棒的双教师自监督蒸馏哈希学习方法。该方法包括自监督双教师学习和鲁棒哈希学习两个阶段：第一阶段设计了一种改进的聚类算法,有效提高了硬伪标签的标注精度,而后通过微调教师网络得到了图像的初始软伪标签;第二阶段提出了一种结合混合去噪和双教师共识去噪策略的软伪标签去噪方法,有效去除了初始软伪标签中的噪声,而后利用蒸馏学习将双教师网络中的信息通过去噪软伪标签传递给学生网络,进而获得无标签图像的鲁棒哈希码。在CIFAR-10,FLICKR25K和EuroSAT上进行了实验,实验结果表明,与TBH方法相比,在CIFAR-10上所提方法的MAP平均提高了18.6%;与DistillHash方法相比,在FLICKR25K上所提方法的MAP平均提高了2.4%;与ETE-GAN方法相比,在EuroSAT上所提方法的MAP平均提高了18.5%。     

改进小波阈值法与极限学习机在MEMS陀螺误差补偿中的应用

MEMS陀螺随机误差是影响其精度的主要因素之一。针对MEMS陀螺随机误差的问题,提出一种基于改进的阈值函数的小波去噪结合极限学习机算法建模的补偿方法。通过改进小波阈值法提高去噪效果,然后由极限学习机构建MEMS陀螺误差补偿模型。通过实例研究,结果显示该方法能良好地补偿随机误差,与其他方法比较,具有更好的效果。     

基于压缩感知和深度小波网络的列车故障识别

针对列车走行部故障振动数据无监督特征学习的难点，提出了一种基于压缩感知和深度小波神经网络（CS-DWNN）的列车故障识别方法。首先，对采集得到的列车走行部振动信号利用高斯随机矩阵进行压缩采样；其次，构建以改进小波自编码器（WAE）为基础的深层小波网络，将压缩后的信号直接输入网络进行自动逐层特征提取；最后，用DWNN学习到的多层特征分别训练多个深度支持向量机（DSVM）和深度森林（DF）分类器，并将识别结果进行集成。该方法利用深层小波网络从压缩信号中自动挖掘隐藏的故障信息，受先验知识和主观影响较小，并且避免了复杂的人工特征提取过程。实验结果表明，CS-DWNN方法取得了99.16%的平均诊断正确率，能够有效识别列车走行部的3种常见故障，识别能力优于传统的人工神经网络（ANN）、支持向量机（SVM）等方法和深度信念网络（DBN）、堆栈降噪自编码器（SDAE）等深度学习模型。     

基于卷积去噪自编码器的芯片表面弱缺陷检测方法

芯片表面缺陷会影响芯片的外观和性能,因此表面缺陷检测是芯片生产过程中的重要环节。具有缺陷与背景对比度低、缺陷较小等特点的弱缺陷给传统检测方法带来了挑战。因为近年来深度学习在机器视觉领域展现出了强大的能力,所以文中采用基于深度学习的方法来研究芯片表面弱缺陷的检测问题。该方法将芯片表面缺陷看作噪音,首先应用卷积去噪自编码器(Convolutional Denoising Auto-encoders,CDAE)重构无缺陷图像,然后用重构的无缺陷图像减去输入图像,获得包含缺陷信息的残差图。因为残差图中已经消除了背景的影响,所以最后可以基于残差图较容易地进行缺陷检测。由于基于CDAE重构芯片背景的无缺陷图像时存在随机噪音,导致弱缺陷可能会湮没在重构噪音中,为此,文中提出了重叠分块策略抑制重构噪音,以便更好地检测弱缺陷。因为CDAE是无监督学习网络,所以训练时无需进行大量的人工数据标注,这进一步增强了该方法的可应用性。通过对真实芯片表面数据进行测试,验证了所提方法在芯片表面检测上的有效性。     

基于深度自学习的图像哈希检索方法

基于监督学习的卷积神经网络被证明在图像识别的任务中具有强大的特征学习能力。然而,利用监督的深度学习方法进行图像检索,需要大量已标注的数据,否则很容易出现过拟合的问题。为了解决这个问题,提出了一种新颖的基于深度自学习的图像哈希检索方法。首先,通过无监督的自编码网络学习到一个具有判别性的特征表达函数,这种方法降低了学习的复杂性,让训练样本不需要依赖于有语义标注的图像,算法被迫在大量未标注的数据上学习更强健的特征。其次,为了加快检索速度,抛弃了传统利用欧氏距离计算相似性的方法,而使用感知哈希算法来进行相似性衡量。这两种技术的结合确保了在获得更好的特征表达的同时,获得了更快的检索速度。实验结果表明,提出的方法优于一些先进的图像检索方法。     

组合体航天器角速度信号深度学习降噪方法

服务航天器与非合作目标构成组合体航天器后,实际测量的角速度信号往往掺杂了较大噪声,这会严重影响后续控制的精度,但由于非合作目标惯性张量未知,导致无法根据模型信息对其有效降噪.针对上述问题,本文基于深度学习方法提出一种无需预先构建模型、完全由数据驱动的组合体航天器角速度信号降噪方法.首先给出采用深度学习方法对角速度进行降噪所需训练数据的生成过程;然后构建组合体航天器角速度信号降噪的深度网络模型,并提出该模型的优化方法和参数初始化方法;最后用测试数据对本文方法和小波降噪方法的降噪效果进行了比较,结果表明本文方法与小波降噪方法相比具有更好的降噪性能.     

Contrastive Clustering for Unsupervised Recognition of Interference Signals

Interference signals recognition plays an important role in anti-jamming communication. With the development of deep learning, many supervised interference signals recognition algorithms based on deep learning have emerged recently and show better performance than traditional recognition algorithms. However, there is no unsupervised interference signals recognition algorithm at present. In this paper, an unsupervised interference signals recognition method called double phases and double dimensions contrastive clustering (DDCC) is proposed. Specifically, in the first phase, four data augmentation strategies for interference signals are used in data-augmentation-based (DA-based) contrastive learning. In the second phase, the original dataset’s k-nearest neighbor set (KNNset) is designed in double dimensions contrastive learning. In addition, a dynamic entropy parameter strategy is proposed. The simulation experiments of 9 types of interference signals show that random cropping is the best one of the four data augmentation strategies; the feature dimensional contrastive learning in the second phase can improve the clustering purity; the dynamic entropy parameter strategy can improve the stability of DDCC effectively. The unsupervised interference signals recognition results of DDCC and five other deep clustering algorithms show that the clustering performance of DDCC is superior to other algorithms. In particular, the clustering purity of our method is above 92%, SCAN’s is 81%, and the other three methods’ are below 71% when jamming-noise-ratio (JNR) is −5 dB. In addition, our method is close to the supervised learning algorithm.     

改进集成深层自编码器在轴承故障诊断中的应用

针对滚动轴承振动信号故障特征难以自动提取和故障类别难以自动准确识别的问题,提出一种改进集成深层自编码器(IEDAE)方法.首先,改进自编码器的损失函数并设计3种小波卷积自编码器;其次,利用区分自编码器、小波卷积自编码器等5种自编码器构造相应的深层自编码器,并设计“跨层”连接以缓解深层网络的梯度消失现象,实现对轴承振动信号的无监督预训练和有监督微调;最后,通过加权平均法输出识别结果,以保证诊断结果的准确性和稳定性.实验结果表明,改进集成深层自编码器方法能有效地对滚动轴承进行多种工况和多种故障程度的识别,较好地摆脱了对人工特征提取的依赖,特征提取能力和识别能力优于现有其他方法.     

An improved convolutional neural network with an adaptable learning rate towards multi-signal fault diagnosis of hydraulic piston pump

Hydraulic piston pump is a vital component of hydraulic transmission system and plays a critical role in some modern industrials. On account of the deficiencies of traditional fault diagnosis in preprocessing of original data and feature extraction, the intelligent methods based on deep learning accomplish the automatic learning of fault information by integrating feature extraction and classification. As a popular deep learning model, convolutional neural network (CNN) has been demonstrated to be potent and effective in image classification. In this research, an improved intelligent method based on CNN with adapting learning rate is constructed for fault diagnosis of a hydraulic piston pump. Firstly, three raw signals are converted into two dimensional time–frequency images by continuous wavelet transform, including vibration signal, pressure signal and sound signal. Secondly, an improved deep CNN model is built with an adaptive learning rate strategy for identifying the different fault types. Moreover, t-distributed stochastic neighbor embedding is employed to visualize the distribution of features learned by the main layers of CNN model. Confusion matrix is used to analyze the classification accuracy of each fault type. Compared with the CNN model without adapting learning rate, the improved model achieves a higher accuracy based on the selected three kinds of signals. Experiments indicate that the improved CNN model can effectively and accurately identify various faults for a hydraulic piston pump.     

子空间结构保持的多层极限学习机自编码器

处理高维复杂数据的聚类问题,通常需先降维后聚类,但常用的降维方法未考虑数据的同类聚集性和样本间相关关系,难以保证降维方法与聚类算法相匹配,从而导致聚类信息损失.非线性无监督降维方法极限学习机自编码器(Ex-treme learning machine,ELM-AE)因其学习速度快、泛化性能好,近年来被广泛应用于降维及去...