卷积优化的变分自编码聚类方法

传统的变分自编码器将样本展平后直接作为输入数据,当样本为图像数据时,采用这样的方法进行学习效果欠佳.本文提出一种卷积优化的变分自编码器,用多个可变层数的卷积网络预处理图像数据.每个卷积网络设置了不同的参数处理输入数据,再将不同层卷积结果拼接后,作为变分自编码器的输入.在变分自编码模型中增加一个类别编码器,用于计算每个样...     

基于非对称卷积自编码器和支持向量机的入侵检测模型

网络入侵检测系统在防护网络安全中占据重要地位,随着科技不断发展,目前的入侵技术没有考虑到检测技术的可扩展性、可持续性以及训练时间长短,无法应对现代复杂多变的网络异常流量。针对这些问题,提出了一种新的深度学习方法,使用无监督的非对称卷积自编码器,对数据进行特征学习。另外,提出了一种新的基于非对称卷积自编码器和多类支持向量机相结合的方法。在 KDD99 数据集上进行了实验,实验结果表明,该方法取得了良好的结果,与其他方法相比显著减少了训练时间,进一步提高了网络入侵检测技术。     

基于S-RNPAE算法的间歇过程早期故障监测

针对具有多变量、非线性和高维度特点的间歇过程数据使得早期故障信号易被噪声干扰且故障幅值低导致故障监测效果不佳的问题,提出一种基于堆叠鲁棒邻域保持自编码(stack-robust neighborhood preserving autoencoder,S-RNPAE)的间歇过程早期故障监测方法.首先,通过$L_{2,1     

基于联合卷积自编码网络的多聚焦图像融合方法

受相机景深的限制,单次成像无法对不同景深的内容全部清晰成像.多聚焦图像融合技术可以将不同聚焦层次的图像融合为一幅全聚焦的图像,其中如何得到准确的聚焦映射是多聚焦图像融合中的关键问题.对此,利用卷积神经网络强大的特征提取能力,设计具有公共分支和私有分支的联合卷积自编码网络以学习多源图像的特征,公共分支学习多幅图像之间的公共特征,每幅图像的私有分支学习该图像区别于其他图像的私有特征.基于私有特征计算图像的活动测度,得到图像聚焦区域映射,据此设计融合规则以融合两幅多聚焦图像,最终得到全聚焦的融合图像.在公开数据集上的对比实验结果显示:主观评测上,所提出的方法能够较好地融合聚焦区域,视觉效果自然清晰;客观指标上,该方法在多个评价指标上优于对比方法.     

基于一维卷积自编码器—高斯混合模型的间歇过程故障检测

传统基于数据驱动的间歇过程故障检测方法往往需要对数据的分布进行假设,其模型多阶段划分不精确,导致故障检测率受到影响.对此提出一种基于一维卷积自编码器—高斯混合模型（One dimensional convolution-auto encoder-Gaussian mixture model,1DC-AE-GMM）的检测新方法.该方法不需要对原始数据进行假设,首先对原始数据进行等长和缩放处理,并以最小重构误差的原则在具有卷积和多个中间层的深层神经网络上进行训练,以非线性的方式自动、精确地进行阶段划分和特征提取;然后在网络的编码层上建立高斯混合模型并进行聚类,在提取特征的同时大大减少了建立模型的计算量;最后结合马氏距离提出全局概率检测指标,实现故障检测.通过在一类半导体蚀刻过程的仿真实验,结果表明该方法可以有效地提高故障检测率.     

基于卷积自编码神经网络的心电信号降噪

心电信号由于在采集过程中会受到外界环境的干扰导致其形态特征被严重淹没,从而对医生的诊断和远程智能分析造成干扰。基于此,提出了一种基于卷积自编码神经网络的心电信号降噪算法。该方法利用自编码器的编码、解码特性,通过卷积的方法构建深层神经网络来学习从含噪心电信号到干净心电信号的端对端映射。卷积层捕获心电信号的细节特征,同时消除噪声;解码部分能够对特征图进行上采样并恢复心电信号细节,从而得到干净的心电信号。实验中采用信噪比和均方根误差为指标,将该方法与小波阈值法、S变换法、BP神经网络法和指导滤波法进行比较。实验结果表明,该降噪方法整体降噪精度更优,同时信号的低频成分也得到了很好的保持。该方法可做到在消除心电信号中复杂噪声的同时完整保留心电信号的形态,为心血管疾病的智能诊断和心电图的特征检测奠定了基础。     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。     

深度卷积自编码图像聚类算法

针对现有深度卷积嵌入聚类算法(deep convolutional embedded clustering,DCEC)的网络特征损失过大,对复杂图像没有提取有效特征的问题,提出一个具有17层网络结构的无监督深度聚类框架,并在编码层加入下采样层,减少参数和防止过拟合;在解码层加入上采样层还原下采样造成的细节损失。分别结合DEC(deep embedded clustering)算法的损失函数和IDEC(improved deep embedded clustering)算法的采用局部结构保留优势的损失函数,得到两种基于卷积自编码的深度学习图像聚类算法DEC_DCNN(deep embedded clustering based on deep convolutional neural network)和IDEC_DCNN(improved deep embedded clustering based on deep convolutional neural network),并使用自适应矩估计(adaptive moment estimation,Adam)和小批量随机梯度下降(mini-batch stochastic gradient decent,mini-batch SGD)两种优化方法调整模型参数。3个经典图像数据集的实验结果显示,提出的17层网络结构对图像特征具有很好的鲁棒性和通用性,基于该网络结构的深度聚类算法取得了远优于现有深度聚类算法的结果,其聚类准确率均优于对比算法;对深度聚类算法DEC_DCNN和IDEC_DCNN的聚类结果准确率、指标值AMI(adjusted mutual information)和ARI(adjusted rand index)进行比较,IDEC_DCNN比DEC_DCNN的聚类性能更好,说明IDEC_DCNN算法的性能更优越。     

基于k近邻的批次过程在线实时监测方法

针对基于k近邻的故障检测方法(Fault Detection method using the k-Nearest Neighbor rule,FD-kNN)的在线实时监测需预估当前时刻之后的采样数据,检测性能会受到预估精度影响的问题,对FD-kNN进行扩展以适用于批次过程的实时监测.该方法根据每个采样时刻的历史数据进行建模,并根据这些模型实时监测批次过程.该方法不需要预估数据,避免由于预估误差大而带来的误报和漏报问题,同时较好地继承k近邻法则(k-Nearest Neighbor rule,kNN)在处理非线性、多模态和非高斯等问题上具有的优势.青霉素发酵过程的仿真试验验证该方法可行.     

一分类最优间隔分布机

现有的一分类支持向量机算法基于优化最小间隔的思想,只考虑了样本靠近空间原点一侧的噪声,对噪声信息较为敏感。针对该问题,通过优化间隔分布思想,同时考虑样本靠近空间原点和远离空间原点两侧的噪声,提高一分类支持向量机算法的抗噪声能力。为此,提出了一种基于最优间隔分布的一分类学习方法(one-class optimal margin distribution machine, OCODM),该方法通过最大化间隔的均值和最小化间隔方差的方式来优化间隔分布。实验结果表明,相比于现有的一分类支持向量机算法,该方法具有更好的鲁棒性,是现有一分类支持向量机方法的有益补充,能够增强现有方法的抗噪声能力。     

基于形象特征分析的垃圾邮件过滤系统的研究

在分析了大量包含图像的垃圾邮件后,提出基于形象特征分析的垃圾邮件过滤系统.它提取出有用的形象特征并使用一类支持向量机来过滤垃圾邮件.实验结果表明,该系统模型具有令人满意的过滤效果,并且有很高的探测率和较低的误判率.     

融合自编码器和one-class SVM的异常事件检测

目的 在自动化和智能化的现代生产制造过程中,视频异常事件检测技术扮演着越来越重要的角色,但由于实际生产制造中异常事件的复杂性及无关生产背景的干扰,使其成为一项非常具有挑战性的任务。很多传统方法采用手工设计的低级特征对视频的局部区域进行特征提取,然而此特征很难同时表示运动与外观特征。此外,一些基于深度学习的视频异常事件检测方法直接通过自编码器的重构误差大小来判定测试样本是否为正常或异常事件,然而实际情况往往会出现一些原本为异常的测试样本经过自编码得到的重构误差也小于设定阈值,从而将其错误地判定为正常事件,出现异常事件漏检的情形。针对此不足,本文提出一种融合自编码器和one-class支持向量机（support vector machine,SVM）的异常事件检测模型。方法 通过高斯混合模型（Gaussian mixture model,GMM）提取固定大小的时空兴趣块（region of interest,ROI）;通过预训练的3维卷积神经网络（3D convolutional neural network,C3D）对ROI进行高层次的特征提取;利用提取的高维特征训练一个堆叠的降噪自编码器,通过比较重构误差与设定阈值的大小,将测试样本判定为正常、异常和可疑3种情况之一;对自编码器降维后的特征训练一个one-class SVM模型,用于对可疑测试样本进行二次检测,进一步排除异常事件。结果 本文对实际生产制造环境下的机器人工作场景进行实验,采用AUC （area under ROC）和等错误率（equal error rate,EER）两个常用指标进行评估。在设定合适的误差阈值时,结果显示受试者工作特征（receiver operating characteristic,ROC）曲线下AUC达到91.7%,EER为13.8%。同时,在公共数据特征集USCD （University of California,San Diego） Ped1和USCD Ped2上进行了模型评估,并与一些常用方法进行了比较,在USCD Ped1数据集中,相比于性能第2的方法,AUC在帧级别和像素级别分别提高了2.6%和22.3%;在USCD Ped2数据集中,相比于性能第2的方法,AUC在帧级别提高了6.7%,从而验证了所提检测方法的有效性与准确性。结论 本文提出的视频异常事件检测模型,结合了传统模型与深度学习模型,使视频异常事件检测结果更加准确。     

基于遗传算法和一类SVM的隐秘图像检测方案

针对二类支持向量机分类器在隐秘图像检测中训练步骤复杂与推广性弱的缺点,提出了一种新的基于遗传算法和一类支持向量机的隐秘图像检测方案。采用遗传算法进行图像特征选择,一类支持向量机作为分类器。实验结果表明,与只利用一类支持向量机分类,但未进行特征选择的隐秘检测方法相比,提高了隐秘图像检测的识别率和系统检测效率。     

基于RST修正核单类SVM的程序行为控制系统

程序行为控制系统对程序行为进行建模、检测和响应。单类支持向量机(SVM)在有限样本的情况下用于异常检测,具有较好的分类精度和泛化能力。针对以前利用单类支持向量机进行异常检测的研究中没有考虑属性权重的问题,该文提出利用粗糙集理论(RST),引入反映属性重要性程度的权重值。给出通过找出决策系统中所有约简的集合确定属性权重的方法,并利用属性权重修正单类SVM的核函数。实验表明基于RST修正核的单类SVM具有更好的检测能力。     

多维多层次网络流量异常检测研究

随着网络攻击种类和数量的增加以及网络带宽的不断增大,网络流量异常检测系统面临着误报率高和漏报率高的问题.针对该问题,首先对采集到的网络流量数据进行多维多层次在线联机分析,通过构建检测立方体数据结构并在检测立方体上针对异常检测的应用特征提出了一系列优化策略,采用最小生成树对多维度上的多查询进行优化,采用异常驱动的方法动态设定聚集的层次,来有效降低在线联机分析的时间和空间复杂度;然后在联机分析计算结果的基础上采用熵对多维多层次流量数据分布特征进行度量,获得流量数据在各个维度上的熵值序列;最后采用一类支持向量机对多维熵值序列进行分类,达到高效准确检测异常的目的.在大量实际网络流量数据集上对所提方法进行了验证并和已有方法进行了对比实验,取得了较好的实验效果.     

基于多维熵值分类的骨干网流量异常检测研究

针对高速骨干网上异常检测要求高检测效率和低误报率问题,提出了一个基于多维流量数据熵值分类方法.在多个不同维度上采用熵度量流量数据的分布特征,提出了多维高效熵值计算算法有效减低熵值计算的时间和空间复杂度;在每个时间窗口上把不同维度熵值序列排列成检测向量,采用一类支持向量机对检测向量进行分类;对支持向量机分类判断过程中可能出现误报的情况,提出多窗口关联检测算法,通过在多个连续时间窗口上对异常向量进行多窗口关联检测,最终判断异常是否发生.通过在真实网络流量数据集上的两个对比实验,验证了本文算法在检测效率方面随着网络流量和攻击流量的增加时间和空间开销增长较为平缓,在检测精度方面也取得了令人满意的效果.     

一种改善的基于支持向量机的边缘检测算子

支持向量机是一种新的机器学习方法。它建立在统计学习理论基础上,较好地解决了小样本的学习问题。由于其出色的学习性能,该技术已经成为当前国际机器学习界的研究热点。文中提出了一种基于支持向量机的图像边缘检测新方法。这种方法介绍了如何使用支持向量机来高效的检测图像的边缘。首先用几个边缘简单的图像对支持向量机进行训练,然后使用支持向量分类方法进行边缘检测。针对实际图像的边缘检测实验表明,支持向量机可以有效地进行图像的边缘检测,其检测效果和传统的Canny边缘检测算子相当。     

基于双通道CNN与SSA-SVM的滚动轴承故障诊断

为有效提取滚动轴承故障信号特征,解决分类器对提取特征存在较强依赖的问题,本文提出了一种双通道特征融合卷积神经网络(CNN)与麻雀搜索算法优化的支持向量机(SSA-SVM)相结合的滚轴承故障诊断方法.通过建立一维卷积神经网络和二维卷积神经网络并行的双通道结构对轴承数据中的特征进行提取,并将双通道CNN提取到的故障特征在融合层融合,将全连接层结果作为SSA-SVM分类层的输入.通过SSA对SVM的参数进行优化来提高模型的分类精度.最后,在凯斯西储大学轴承数据集上将双通道CNN与SSA-SVM模型跟传统一维卷积神经网络和二维卷积神经网络进行对比以验证其有效性.实验结果表明,该模型有着更高的故障识别准确率.本文中所有代码与实验结果均已开源,可在https://github.com/suisuisuiaa/tbysuisui获取.