卷积优化的变分自编码聚类方法

传统的变分自编码器将样本展平后直接作为输入数据,当样本为图像数据时,采用这样的方法进行学习效果欠佳.本文提出一种卷积优化的变分自编码器,用多个可变层数的卷积网络预处理图像数据.每个卷积网络设置了不同的参数处理输入数据,再将不同层卷积结果拼接后,作为变分自编码器的输入.在变分自编码模型中增加一个类别编码器,用于计算每个样本的类别分布和原样本集中类别分布的差异,实现聚类.实验证明,本文提出的卷积优化方法相较于无优化的变分自编码器在聚类准确率上得到较大提高,生成图像的质量得到了改善,各类别生成样本在边缘及形状等方面的多样性也都有不同程度的增加.     

H.264视频编码器在DSP上的实现与优化

在DM642EVM平台上实现了H.264视频编码器,并从内存分配、Cache优化、代码优化以及汇编程序级优化等几个方面对编码器进行了优化。实验结果表明,优化后的编码器能保持较高的图象质量和压缩效率,并具有较好的实时性能。     

改进集成深层自编码器在轴承故障诊断中的应用

针对滚动轴承振动信号故障特征难以自动提取和故障类别难以自动准确识别的问题,提出一种改进集成深层自编码器(IEDAE)方法.首先,改进自编码器的损失函数并设计3种小波卷积自编码器;其次,利用区分自编码器、小波卷积自编码器等5种自编码器构造相应的深层自编码器,并设计“跨层”连接以缓解深层网络的梯度消失现象,实现对轴承振动信号的无监督预训练和有监督微调;最后,通过加权平均法输出识别结果,以保证诊断结果的准确性和稳定性.实验结果表明,改进集成深层自编码器方法能有效地对滚动轴承进行多种工况和多种故障程度的识别,较好地摆脱了对人工特征提取的依赖,特征提取能力和识别能力优于现有其他方法.     

使用改进自编码器的细粒度图像分类研究

针对深度连续聚类算法(Deep Continuous Clustering, DCC)特征提取能力有限,对复杂图像不能提取足够有效细节特征的不足,本文提出一个新的循环卷积自编码器(Recurrent Convolutional Auto-Encoder, R-CAE).自编码器结合门控循环网络GRU和卷积网络CNN构造编码层;同时在门控循环网络GRU部分添加空间域注意力通道,增强网络的特征学习能力.图像信息经过R-CAE自编码器编码后获取细节信息,传入经典卷积神经网络学习特征;当优化结果接近或者达到聚类阈值的时候,获得最终的聚类结果实现分类.训练过程中,模型首先预训练,确定自编码器参数;然后结合编码部分和经典网络学习训练,微调网络参数.本文通过实验证明了改进方法结合DCC在聚类实验中优于大部分经典聚类算法,在针对真实图像的细粒度分类实验中也有显著的进步.     

面向人体骨骼运动数据优化的双自编码器网络

目的 针对包含混合噪声的3维坐标形式的骨骼运动数据优化问题,提出一种由双向循环自编码器和卷积自编码器串联构成的优化网络,其中双向循环自编码器用于使网络输出的优化数据具有更高的位置精度,卷积自编码器用于使优化数据具有更好的平滑性。方法 首先,利用高精度动捕数据库预训练一个感知自编码器;然后,用“噪声—高精度”数据对训练双自编码器,并在训练过程中添加隐变量约束。其中隐变量约束由预训练的感知自编码器返回,其作用在于能够使网络输出保持较高的精度并具有合理骨骼结构,使算法适用于提升运动数据的细节层次。结果 实验分别在合成噪声数据集和真实噪声数据集上进行,与最新的卷积自编码器(convolutional auto-encoder, CAE)、双向循环自编码器(bidirectional recurrent auto-encoder,BRA)以及双向循环自编码器加感知约束(BRA with perceptual constraint, BRA-P)3种深度学习方法进行比较,在位置误差、骨骼长度误差和平滑性误差3项量化指标上,本文方法的优化结果与最新的3种方法在合成噪声数据集上相比,分别提高了33.1%、25.5%、12.2%;在真实噪声数据集上分别提高了27.2%、39.2%、16.8%。结论 本文提出的双自编码器优化网络综合了两种自编码器的优点, 使网络输出的优化数据具有更高的数据精度和更好的平滑性,且能够较好地保持运动数据的骨骼结构。     

深度学习中的自编码器的表达能力研究

近年来,深度学习框架和非监督学习方法越来越流行,吸引了很多机器学习和人工智能领域研究者的兴趣。从深度学习中的“构造模块”入手,主要研究自编码器的表达能力,尤其是自编码器在数据降维方面的能力及其表达能力的稳定性。从深度学习的基础方法入手,旨在更好地理解深度学习。第一,自编码器和限制玻尔兹曼机是深度学习方法中的两种“构造模块”,它们都可用作表达转换的途径,也可看作相对较新的非线性降维方法。第二,重点探究了对于视觉特征的理解,自编码器是否是一个好的表达转换途径。主要评估了单层自编码器的表达能力,并与传统方法PCA进行比较。基于原始像素和局部描述子的实验验证了自编码器的降维作用、自编码器表达能力的稳定性以及提出的基于自编码器的转换策略的有效性。最后,讨论了下一步的研究方向。     

奇异值分解和稀疏自编码器的轴承故障诊断

针对滚动轴承故障特征提取和分类需要进行有监督训练才能实现等问题,提出了一种基于奇异值分解（SVD）和时域统计特征分析并结合堆栈稀疏自编码器（SAE）以及Softmax分类器实现滚动轴承故障诊断方法。该方法利用Hankle矩阵对原始数据进行矩阵重构,利用奇异值分解和时域分析对重构后的故障信号进行特征预提取,融合两种特征并输入到堆栈稀疏自编码器中进行特征优化,将优化后的特征输入到Softmax分类器中进行分类识别。实验结果表明,3种工况下10类故障数据的识别准确率均在96%左右,且高于文中其他方法,因此该方法能有效地进行滚动轴承复杂信号的特征预处理以及分类。     

H.264编码器在TMS320DM642平台上的底层优化

在分析H.264编码器的结构和复杂度之后,提出了结合TMS320DM642性能特点的一些优化方法。这些方法提高了程序代码的并行性和存储器的访问效率,其中重点介绍了算法中比较耗时的半像素插值、绝对误差和(SAD)等关键模块的线性汇编优化。通过实验结果表明,优化过的编码器基本可以实现CIF格式视频流的实时编码。     

国际主流视频编码标准优化代码的对比测试

以 H. 263、MPEG-4、H. 264三种标准作为测试对象 ,在 Win / Intel平台上测试了优化后编码器的计算效率、编码效率和码率控制精度 ,并对测试结果进行了比较和分析。测试数据为开发人员在一定硬件性价比的约束条件下实现视频编码器提供了参考。     

面向关节坐标运动数据重定向的通用双向循环自编码器

针对面向关节坐标表示的骨骼运动数据重定向网络缺乏通用性的问题,提出一种能够实现源骨骼到多种骨骼运动重定向的通用双向循环自编码器.该自编码器由基于关节坐标表示的运动数据以重建误差为损失函数训练得到.在完成训练后,首先用自编码器计算源运动数据对应的隐变量和重建运动,然后对重建运动施加骨骼长度约束、足迹约束、根关节位置约束以及骨骼角度约束,并将损失反向传播至隐变量空间中优化隐变量,通过多次迭代得到重定向后运动.在CMU运动数据库上的实验结果表明,提出的自编码器及4种约束能够实现基于关节坐标表示的运动数据的重定向,并且得到的重定向运动在骨骼长度误差、骨骼角度误差、末端效应器轨迹以及平滑性上具有更好的效果.     

关键语义信息补足的深度文本聚类算法

针对大多数现有的深度文本聚类方法在特征映射过程中过于依赖原始数据质量以及关键语义信息丢失的问题,提出了一种基于关键语义信息补足的深度文本聚类算法(DCKSC)。该算法首先通过提取关键词数据对原始文本数据进行数据增强;其次,设计了一个关键语义信息补足模块对传统的自动编码器进行改进,补足映射过程中丢失的关键语义信息;最后,通过综合聚类损失与关键词语义自动编码器的重构损失学习适合于聚类的表示特征。实验证明,提出算法在五个现实数据集上的聚类效果均优于当前先进的聚类方法。聚类结果证明了关键语义信息补足方法和文本数据增强方法对深度文本聚类的重要性。     

基于自编码器-孤立森林的网购消费者异常行为检测

针对网购消费者异常行为特征难提取、特征维度高和检测精度低等问题,提出一种基于自动编码器的孤立森林模型,用于网购消费者异常行为检测。通过自动编码器对网购消费者数据进行降维处理,利用孤立森林进行异常行为检测,利用网格搜索算法进行参数调优。实验结果表明,该模型降维效果、检测精度都优于主成分分析方法(PCA)与模糊C均值结合模型,对于网购消费者异常行为检测问题有实际的意义。     

基于深度自编码网络的Android恶意软件检测方法

针对传统Android恶意软件检测方法检测率低的问题,文中提出一种基于深度收缩降噪自编码网络(Deep Contractive Denoising Autoencoder Network,DCDAN)的Android恶意软件检测方法。首先,逆向分析APK文件获取文件中的权限、敏感API等7类信息,并将其作为特征属性;然后,将特征属性作为深度收缩降噪自编码网络的输入,使用贪婪算法自底向上逐层训练每个收缩降噪自编码网络(Contractive Denoising Autoencoder Network),将训练完成的深度收缩降噪自编码网络用于原始特征的信息抽取,以获取最优的低维表示;最后,使用反向传播算法对获取的低维表示进行训练和分类,实现对Android恶意软件的检测。对深度自编码网络的输入数据添加噪声,使得重构的数据具有更强的鲁棒性,同时加入雅克比矩阵作为惩罚项,增强了深度自编码网络的抗扰动能力。实验结果验证了该方法的可行性和高效性。与传统的检测方法相比,该检测方法有效地提高了对恶意软件检测的准确率并降低了误报率。     

结合马氏距离与自编码器的网络流量异常检测方法

当前网络流量数据规模较大且分布不均衡,传统网络流量异常检测方法检测准确率较低。提出一种结合马氏距离和自编码器的检测方法,使用马氏距离倒数及判别阈值快速检测部分正常数据以减少训练数据量,同时,在自编码器代价函数中添加马氏距离度量项以增强自编码器的特征提取能力。在此基础上,将自编码器与分类器相结合以解决网络参数初始化问题,并通过调整自编码神经网络交叉熵损失函数中各项的权重,提高自编码神经网络对数据分布不均衡数据集的训练效果。实验结果表明,该方法在CICIDS2017数据集、NSL-KDD数据集上的异常检测准确率分别高达97.60%、99.84%,在CICIDS2017数据集上的F1值为0.941 3,高于DNN、LSTM、C-LSTM等方法。     

基于降噪自编码神经网络的化合物毒性预测方面的研究

常规毒理学实验方法周期长,耗资高,对现代药物研发和环境化合物安全性评估具有局限性,通过对化合物毒理性研究,提取1047维分子指纹特征,提出去噪自编码神经网络无监督学习机制及对腐败特征的自联想学习特性提取隐含毒性化合物特征,实现化合物毒性预测和毒性化合物的活性预测。该方法在化合物毒性预测和活性预测中的预测精度分别为79.825%,80.85%, 敏感性分别为79.62%,80.25%,特异性分别为80.03%,81.45%。实验结果表明,去噪自编码网络较浅层机器学习更适用于高通量化合物毒性预测, 较传统自编码网络更具优越性。     

Network Intrusion Detection in Internet of Blended Environment Using Ensemble of Heterogeneous Autoencoders (E-HAE)

Contemporary attackers, mainly motivated by financial gain, consistently devise sophisticated penetration techniques to access important information or data. The growing use of Internet of Things (IoT) technology in the contemporary convergence environment to connect to corporate networks and cloud-based applications only worsens this situation, as it facilitates multiple new attack vectors to emerge effortlessly. As such, existing intrusion detection systems suffer from performance degradation mainly because of insufficient considerations and poorly modeled detection systems. To address this problem, we designed a blended threat detection approach, considering the possible impact and dimensionality of new attack surfaces due to the aforementioned convergence. We collectively refer to the convergence of different technology sectors as the internet of blended environment. The proposed approach encompasses an ensemble of heterogeneous probabilistic autoencoders that leverage the corresponding advantages of a convolutional variational autoencoder and long short-term memory variational autoencoder. An extensive experimental analysis conducted on the TON_IoT dataset demonstrated 96.02% detection accuracy. Furthermore, performance of the proposed approach was compared with various single model (autoencoder)-based network intrusion detection approaches: autoencoder, variational autoencoder, convolutional variational autoencoder, and long short-term memory variational autoencoder. The proposed model outperformed all compared models, demonstrating F1-score improvements of 4.99%, 2.25%, 1.92%, and 3.69%, respectively.     

基于粒子群优化的深度神经网络分类算法

针对神经网络分类算法中节点函数不可导,分类精度不够高等问题,提出了一种基于粒子群优化(PSO)算法的深度神经网络分类算法.使用深度学习中的自动编码机,结合PSO算法优化权值,利用自动编码机对输入样本数据进行编解码,为提高网络分类精度,以编码机本身的误差函数和Softmax分类器的代价函数加权求和共同作为PSO算法的评价函数,使编码后的数据更加适应分类器.实验结果证明:与其他传统的神经网络相比,在邮件分类问题上,此分类算法有更高的分类精度.     

基于EMD距离的稀疏自编码器

KL散度在机器学习领域被广泛地用于模型损失函数之中来度量分布的距离。在稀疏自编码器中,KL散度被用作损失函数的惩罚项来度量神经元输出与稀疏参数的距离,使得神经元输出趋近稀疏参数,从而抑制神经元的激活以得到稀疏编码。在WGAN中,Wasserstein距离被用于解决GAN的梯度消失和模式塌陷问题,使得GAN的训练更加稳定。得益于Wasserstein距离在GAN中的成功应用,提出了基于EMD距离的稀疏自编码器SAE-EMD。实验结果表明,相比于使用KL散度与JS散度,使用EMD距离作为惩罚项的稀疏自编码器可以使得真实样本与重构样本之间的重构误差减小,并且随着惩罚参数的增大,编码更加稀疏。     

加权PageRank改进地标表示的自编码谱聚类算法

针对传统谱聚类算法在处理大规模数据集时,聚类精度低并且存在相似度矩阵存储开销大和拉普拉斯矩阵特征分解计算复杂度高的问题。提出了一种加权PageRank改进地标表示的自编码谱聚类算法,首先选取数据亲和图中权重最高的节点作为地标点,以选定的地标点与其他数据点之间的相似关系来逼近相似度矩阵作为叠加自动编码器的输入。然后利用聚类损失同时更新自动编码器和聚类中心的参数,从而实现可扩展和精确的聚类。实验表明,在几种典型的数据集上,所提算法与地标点谱聚类算法和深度谱聚类算法相比具有更好的聚类性能。