基于钉板分布稀疏变分自编码器的异常检测算法研究

异常检测由于其广泛的应用一直是数据挖掘中一个重要的研究分支,它有助于研究人员获得重要的信息进而对数据做出更好的决策。提出了一种基于钉板分布稀疏变分自编码器的异常检测模型。首先,使用离散-连续混合模型钉板分布作为变分自编码器的先验,模拟隐变量所在空间的稀疏性,得到数据特征的稀疏表示;其次,以所提出的自编码器构建深度支持向量网络,对特征空间进行压缩,并采用最优超球体区分正常数据和异常数据;再次,以数据特征和超球体中心之间的欧氏距离完成异常检测;最后,在基准数据集MNIST （modifiednational institute of standards and technology database）和Fashion-MNIST上的实验评估表明,与现存的异常检测算法相比,本文所提出的算法具有更好的检测效果。     

基于动态规整与改进变分自编码器的异常电池在线检测方法

针对电池生产成组过程中,传统异常检测方法对混入的容量及压差异常电池检测精度低及生产结束后离线异常检测方法效率低等问题,该文提出一种集合长短期记忆变分自编码器与动态时间规整评价的锂电池异常在线检测方法(VAE-LSTM-DTW),实现了异常电池的在线检测,避免了离线异常检测所造成的时间和能源的浪费。该方法首先将长短期记忆网络(LSTM)引入变分自编码器(VAE)模型,训练电池时序数据重构模型;其次,在电池异常检测的度量标准中引入动态时间规整值(DTW),并基于贝叶斯寻优获得最优检测阈值,对每个单体电池重构数据的动态规整值进行异常辨别。实验结果表明,相较该领域传统异常检测方法,VAE-LSTM-DTW模型性能优越,查准率和F1值都得到了较大的提升,具有较高的有效性和实用性。     

变分自编码模型在周期性KPI指标异常检测中的应用研究

随着5G时代的来临,用户对网络感知的要求不断提升,相应地对网络的感知优化的工作也提出了更高要求。为了更加精准、及时的定位网络内的异常,将VAE(Variational Auto-Encoder,变分自编码)模型应用于质差小区周期性KPI(Key Performance Indicator,关键绩效指标)指标异常的检测。通过对周期性数据编码、解码后还原KPI指标分布,分析其与实际值的差距,区分出周期性KPI指标中的异常和噪声,最终提升质差小区优化的及时性和有效性。     

基于互信息自编码和变分路由的胶囊网络结构优化

胶囊网络是一类有别于卷积神经网络的新型网络模型。该文尝试提高其泛化性和精准性：首先,利用变分路由来缓解经典路由对先验信息依赖性强、易导致模型过拟合的问题。通过使用高斯混合模型(GMM)来拟合低级矩阵胶囊,并利用变分法求取近似分布,避免了参数最大似然点估计的误差,用置信度评估来获得泛化性能的提高;其次,考虑到实际数据大多无标签或者标注困难,构建互信息评价标准的胶囊自编码器,实现特征参数的有效筛选。即通过引入局部编码器,只保留胶囊中对原始输入识别最有效的特征,在减轻网络负担的同时提高了其分类识别的精准性。该文的方法在MNIST, FashionMNIST, CIFAR-10和CIFAR-100等数据集上进行了对比测试,实验结果表明：该文方法对比经典胶囊网络,其性能得到显著改善。     

基于互信息自编码和变分路由的胶囊网络结构优化

胶囊网络是一类有别于卷积神经网络的新型网络模型.该文尝试提高其泛化性和精准性:首先,利用变分路由来缓解经典路由对先验信息依赖性强、易导致模型过拟合的问题.通过使用高斯混合模型(GMM)来拟合低级矩阵胶囊,并利用变分法求取近似分布,避免了参数最大似然点估计的误差,用置信度评估来获得泛化性能的提高;其次,考虑到实际数据大多无标签或者标注困难,构建互信息评价标准的胶囊自编码器,实现特征参数的有效筛选.即通过引入局部编码器,只保留胶囊中对原始输入识别最有效的特征,在减轻网络负担的同时提高了其分类识别的精准性.该文的方法在MNIST,FashionMNIST,CIFAR-10和CIFAR-100等数据集上进行了对比测试,实验结果表明:该文方法对比经典胶囊网络,其性能得到显著改善.     

基于随机Transformer的多维时间序列异常检测模型

针对已有基于变分自编码器（VAE）的多维时间序列（MTS）异常检测模型无法在隐空间中传播随机变量间的长时依赖性问题,提出了一种融合Transformer编码器和VAE的随机TransformerMTS异常检测模型（ST-MTS-AD）。在ST-MTS-AD的推断网络中,Transformer编码器产生的当前时刻MTS长时依赖特征和上一时刻随机变量的采样值被输入多层感知器,由此生成当前时刻随机变量的近似后验分布,实现随机变量间的时序依赖。采用门控转换函数（GTF）生成随机变量的先验分布,ST-MTS-AD的生成网络由多层感知器重构MTS各时刻取值分布,该多层感知器的输入为推断网络生成的MTS的长时依赖特征和随机变量近似后验采样值。ST-MTS-AD基于变分推断技术学习正常MTS样本集分布,由重构概率对数似然确定MTS异常片段。4个公开数据集上的实验表明,ST-MTS-AD模型比典型相关基线模型的F1分数有明显提升。     

基于变分自编码高斯混合模型的入侵检测方法

随着网络的不断更新迭代,网络安全形势也愈发纷繁复杂。网络入侵检测作为防护网络安全的一种重要手段,近些年来也一直被广泛关注。然而,为复杂和高维数据开发有效的网络入侵检测方法仍然是一个挑战。对于高维数据的处理,研究者提出了结合压缩网络和生成式模型的深度自编码高斯混合模型（DAGMM),基于对该算法的研究,本文改进了该算法在编码时不能很好地抓住数据特性的问题,提出了变分自编码高斯混合模型。利用KDDCUP99数据集进行了实验验证,实验结果表明,与DAGMM方法相比较,模型的精确率提高大概3%,进而验证了本文算法的有效性。     

伪异常引导的卷积自编码网络视频异常检测

视频异常检测由于可以高效、低成本地维护公共安全,在国家安防、医疗监护中发挥着重要作用.基于重构的深度自编码网络异常检测方法因其强大的表示能力而得到了广泛的研究.然而,自编码网络通常也可以成功地重建异常行为,从而导致异常行为的漏检.针对这一问题,提出了一种伪异常引导的卷积自编码网络视频异常检测方法,模型使用3D卷积提取视频时空特征.首先,通过正常数据模拟异常数据分布生成伪异常,提出了两种生成伪异常的方法：基于跳帧的方法和基于补丁的方法;然后,使用正常数据和生成的伪异常数据训练模型,训练时较好地重建正常数据同时较差地重建伪异常数据,由此模型被鼓励为限制异常数据的重建;最后,在UCSD-Ped2、Avenue和ShanghaiTech三个公共视频异常检测数据集上与其他基于重建的模型进行比较,其检测精度获得了有效提升.     

基于VAE-WGAN的多维时间序列异常检测方法

针对传统半监督深度异常检测模型对非平衡多维数据分布学习能力不足及模型训练困难等问题,提出一种基于VAE-WGAN架构的多维时间序列异常检测方法,利用VAE作为WGAN的生成器,使用Wasserstein距离作为模型拟合分布与待测数据真实分布之间的度量,学习复杂的高维数据分布.利用滑动窗口划分时间序列,使用正常序列数据训...     

基于高斯混合模型的火焰检测算法

火灾作为对社会和环境危害最大的灾难,一直是人们重点防范的对象.但目前现有的火灾预警系统都存在误报率过高的问题.因此,文中提出了一种基于火焰闪烁动力学的火焰检测框架.在该框架中,火焰颜色分布模型采用高斯混合模型.此外,采用概率显著性分析方法和一维小波变换提取运动显著性和滤波后的时间序列作为特征,描述火焰的动态特性和闪烁特...     

基于改进的混合高斯模型的运动目标检测方法

为了改善混合高斯模型在光照突变时容易产生大量误检的缺陷,采用了一种高斯模型与均值法相结合并为前景像素建立计数器的方法。在建立背景模型时,运用多帧图像求平均值的方法初始化混合高斯模型的背景;为每帧图像的前景像素数建立计数器,并以此消除被误判为前景的区域;对检测出的前景区运用数学形态学处理,得到图像真正的前景区域。结果表明,该算法不仅克服了初始背景中的干扰,而且消除了光照突变时的误检,提高了运动目标的检测率。     

基于混合高斯模型和六帧差分的目标检测算法

鉴于传统混合高斯模型在光照突变、噪声干扰时鲁棒性不高,易造成检测错误等问题,提出了一种改进的视频运动目标检测算法。该算法将混合高斯模型与六帧差分算法相结合,构建了一种高效的运动目标轮廓模型,并嵌入背景替换法和动态阈值分割法提高算法的稳健性,通过连通性检测和形态学处理,得到完整的运动前景像素。不同场景的视频检测结果表明,改进算法有效克服了光照突变、噪声干扰、空洞及双影现象,与同类算法相比,具有更高的准确度和鲁棒性。     

基于混合高斯模型的运动车辆检测方法

针对目前在车辆检测中广泛应用的混合高斯模型(G MM)存在的缺陷,提出了一种改进的GMM运 动车辆检测方法。对于GMM运行过程中“鬼影”长期存在的缺陷,通过采用新 的权值和方差更新方 法,加速“鬼影”的消除,改善其车辆检测性能;对于传统的GMM对所有像素 点均采用固定分布 数建模造成的内存空间浪费,通过设定一个分布数上限值,对未达到上限值的像素 点采用分布数 自适应变化的方法,有效地减少模型总分布数,节约内存空间。实验结果表明,改进后的GM M在“鬼影”的消除和计算速度上具有较大的优势。     

Anomaly domains detection algorithm based on historical data

An anomaly domains detection algorithm was proposed based on domains’ historical data.Based on statistical differences in historical data of legitimate domains and malicious domains,the proposed algorithm used domains’ lifetime,changes of whois information,whois information integrity,IP changes,domains that share same IP,TTL value,etc,as main parameters and concrete representations of features for classification were given.And on this basis the proposed algorithm constructed SVM classifier for detecting anomaly domains.Features analysis and experimental results show that the algorithm obtains high detection accuracy to unknown domains,especially suitable for detecting long lived malicious domains.     

基于混合高斯模型和帧差的火焰前景提取算法

随着计算机视觉技术和模式识别技术的进一步发展,利用图像处理技术识别火焰引起了人们的重视,文中将帧差法和混合高斯模型法相结合,提出了一种新型火焰前景提取算法。接下来根据火焰的静态特征和动态特征,通过火焰频率特征、相关性特征、圆形度特征、色彩特征等,能准确识别出几种不同室内环境下突发的火焰,同时能有效地避免光线移动、人影晃动所造成的干扰,实验结果表明,此算法的识别准确率在90%以上,识别时间大约在5s~20s。     

一种采用混合高斯模型与贝叶斯判别的彩色图像人脸检测方法

介绍了一种采用混合高斯模型与贝叶斯判别的彩色人脸检测方法。该方法首先利用图像的彩色信息以及人脸的基本特征信息来进行人脸粗检测,得到图像中的多个候选人脸区域;然后对训练图像集中的全部候选人脸区域进行判别特征分析和混合高斯建模;最后采用贝叶斯判别方法对候选人脸区域进行判决,得到人脸检测结果。实验结果显示该方法具有较好的推广效率和工程应用前景。     

Anomaly detection model based on multi-grained cascade isolation forest algorithm

The isolation-based anomaly detector,isolation forest has two weaknesses,its inability to detect anomalies that were masked by axis-parallel clusters,and anomalies in high-dimensional data.An isolation mechanism based on random hyperplane and a multi-grained scanning was proposed to overcome these weaknesses.The random hyperplane generated by a linear combination of multiple dimensions was used to simplify the isolation boundary of the data model which was a random linear classifier that can detect more complex data patterns,so that the isolation mechanism was more consistent with data distribution characteristics.The multi-grained scanning was used to perform dimensional sub-sampling which trained multiple forests to generate a hierarchical ensemble anomaly detection model.Experiments show that the improved isolation forest has better robustness to different data patterns and improves the efficiency of anomaly points in high-dimensional data.     

基于数据流方法的大规模网络异常发现

随着网络规模和速度的增加,大规模网络异常发现要求检测算法能够在无保留状态或者少保留状态下对G比特级的海量网络业务量数据进行实时在线分析。针对在高速骨干网上进行大规模网络异常发现的特点和要求,提出了一种基于数据流的大规模网络异常发现的方法,第一次将数据流模型用于大规模网络的异常发现。主要包括以下创新点:设计了一种面向异常发现的网络流量概要数据结构和突发高频事件检测算法;提出了一种基于安全监测策略定制的预查询方法来进行多数据流的关联监测并且对数据流查询进行了优化;在真实数据分析的基础上,对网络业务量进行了数据约减,使得监测部分特殊类型的数据流能最大程度地获得整体网络业务量的变化特征以提高异常发现的效率。通过真实网络环境下的实验和性能评价验证了数据流方法的有效性。