基于深度学习的SDN异常流量检测系统

流量异常直接影响软件定义网络(SDN)的正常工作,为了解决当前SDN流量异常检测过程中存在的一些不足,以提升SDN流量异常检测精度,设计了基于深度学习的SDN流量异常检测系统。采用经验模态分解方法对SDN流量异常数据进行预处理,采用最小二乘支持向量机建立SDN流量异常检测模型,利用萤火虫算法实现最小二乘支持向量机参数优化选择,以获得更优的SDN流量异常检测结果。实验结果表明,本文系统的SDN流量异常值与实际值非常接近,大幅度减少了SDN流量异常检测误差,具有较高的实际应用价值。     

智能视频监控系统异常行为检测算法研究综述

随着公共安全需求的快速增长,监控摄像头数量不断增多,视频监控数据呈爆炸式增长;传统的视频监控系统难以对如此海量的数据进行理解分析,因此智能视频监控系统应运而生;作为一个跨学科的研究领域,智能视频监控系统异常行为检测技术迎来重大机遇的同时也面临不少挑战;为了更好地研究智能视频监控系统异常行为检测算法,梳理了相关研究并从原理上对不同算法进行分类,对基于能量、基于聚类、基于重构、基于推断以及基于深度学习几个不同依据的算法进行对比分析,归纳了各类算法的分支研究方向,接着简要介绍了异常行为检测常用的公开数据集,最后讨论了目前异常行为检测算法所面临的挑战并针对性地提出了未来智能视频监控系统异常行为检测算法的可行研究方向。     

网络流量异常检测中分类器的提取与训练方法研究

随着网络安全领域研究的不断深入,研究者提出了各种类型的流量异常检测方法,基于分类的方法是其中很重要的一类.但是因为网络环境的多样性和动态变化性,在训练数据集上具有很高精度的检测系统实际部署时可能出现大量的误报.文中针对训练模型难于获取以及部署环境的动态变化性问题,对分类器的选择、使用和训练方法进行了研究.首先把网络流量数据投影到不同维度的Hash直方图上构建检测向量,在检测向量的基础上对比了各类分类器,选用能够处理高维数据、泛化能力强的SVDD进行异常检测;采用增减式在线训练算法对分类器进行不断训练,提高异常检测系统的精度并减少训练成本;最后采用多步关联检测算法优化检测精度,并在新增样本中剔除明显的异常样本,减少训练成本提高分类精度.通过大量的真实网络流量数据验证了上述方法具有较高的检准率和较低的误报率,并能够有效减少训练成本.     

基于异常值的拟态裁决优化方法

针对拟态裁决器多数一致性表决算法的优化方法,提出用异常检测的方法直接量化数据可靠性来提升表决正确率.基于异常值的表决算法,通过构建拟态系统异构执行体输出数据集和训练深度学习异常检测模型量化了执行体输出数据异常值;使用权值优化算法优化加权分配,在表决时选择最优加权结果作为表决输出结果.实验结果表明,该方法能够提升拟态裁决器的表决输出正确率,具有一定共模逃逸检测能力,提升了系统的安全性和可靠性.     

基于视觉的车辆异常行为检测综述

基于视觉的车辆异常行为检测能够快速检测交通监控视频中的车辆异常行为并报警,在提升交通执法效率,改善城市交通状况和减少交通事故率等方面具有重要作用.当前基于视觉的车辆异常行为检测已取得较大进步,但在实际应用中仍面临如缺乏数据、异常定义的不确切性、遮挡和实时性较差等问题.文中归纳总结近年来提出的基于视觉的车辆异常行为检测算法.首先,介绍当前算法中典型的行为表示特征,从监督学习和非监督学习两方面讨论现有车辆行为学习方法的优缺点.然后,根据行为建模方法将车辆异常行为检测算法分为基于模型的方法、基于重建的方法和深度学习方法,介绍和分析每类方法.最后,讨论当前算法存在的问题,并展望未来的改进方向.     

融合多尺度旋转锚机制的海洋中尺度涡自动检测

目的 海洋中尺度涡自动检测是了解其演变规律,研究其在海洋物质运输和能量传递中的作用的基础。针对海洋中尺度涡形态不规则、结构复杂多变、长宽比不确定,以及涡群海域中尺度涡分布密集导致的检测精度低的问题,提出一种基于深度学习多尺度旋转锚机制的海洋中尺度涡自动旋转检测方法。方法 首先对卫星遥感海平面高度异常数据进行可视化预处理,并采用图像处理策略对数据集进行扩充构建训练集;其次构建了一种基于深度学习多尺度旋转锚机制的中尺度涡自动检测模型,考虑到中尺度涡尺度变化大和其所处海洋环境复杂多变的特点,主干网络采用Retina Net提取中尺度涡特征,同时采用特征金字塔结构融合中尺度涡的低层与高层特征,设计多尺度、多长宽比以及多旋转角度锚点机制实现多尺度旋转检测锚的生成;最后集成分类与回归两个子网络,实现海洋中尺度涡的自动旋转检测。结果 实验结果表明,提出的中尺度涡自动检测方法极大改进了水平检测框存在显著的大纵横比导致检测精度低和检测框嵌套和重叠现象。本文方法最优检测精度为90.22%,与水平检测方法相比,精度提升了8%。在印度洋、太平洋、大西洋和赤道海域进行了海洋中尺度涡的旋转检测实证分析,验证了模型...     

多任务卷积神经网络的电梯乘客识别方法

电梯安全监测系统应用中, 对于电梯乘客识别往往采用红外传感技术或是传统人脸检测算法如Haar-like、HOG实现, 但应用效果并非很理想. 近年来随着深度学习的发展, 基于卷积神经网络的人脸检测算法在精度上高于传统人脸检测算法, 被多个领域应用. 基于多任务级联卷积神经人脸检测算法模型小、运算快的特点而将其应用到电梯安全监测系统中的电梯乘客识别, 通过引入Inception模块思想, 利用不同大小卷积核并行操作增加各级网络的深度和宽度, 提升网络特征提取能力, 结合Batch Normalization算法提高模型训练速度和网络的分类能力. 实验结果表明, 改进后算法的精度比原算法提升了2％, 实现高准确率的电梯乘客识别.     

基于密度的多波束水深数据异常检测方法仿真

针对传统的多波束水深数据异常检测方法无法满足大区域、高密度测水深的要求,提出了基于密度的多波束水深数据异常检测方法。分析多波束系统的原始数据格式,对原始多波束水深数据进行提取。在分析系统主要误差来源的基础上,对条带辅助参数进行预处理。利用中值滤波、局部方差以及小波分析相结合的方法来定位异常数据,实现多波束水深数据异常检测。为验证上述研究方法的有效性,进行一次实验。实验结果表明,与传统方法相比,所提方法能够高精度检测出水深探测中的异常数据,且在实际应用中具有更小的残差值。根据实验结果可以得出结论:上述研究所设计的多波束水深数据异常检测方法符合该领域应用要求。     

基于Spark平台的并行KNN异常检测算法

随着大数据时代的到来,异常检测受到了广泛关注。针对传统KNN异常检测算法处理速度和计算资源的瓶颈,以及Hadoop平台上的MapReduce不能友好支持迭代计算和基于内存计算等问题,提出了一种基于Spark平台的并行KNN异常检测算法。该算法首先对数据集进行分区和广播,然后用map函数计算数据集在每个分区的K近邻,使用reduce函数归并map函数的输出计算全局K近邻得到异常度,将异常度前n个对象视为异常。与传统KNN异常检测算法相比,在保证检测精度的前提下该算法的性能与计算资源呈近似线性关系;与其他并行异常检测算法相比,该算法无需额外扩展数据,支持迭代,而且通过在内存中缓存中间结果来减少I/O花销。实验结果证明,该算法可以提高KNN算法在大规模数据上的异常检测效率。     

深度学习中的单阶段车辆检测算法综述

随着深度学习的发展,基于深度学习的车辆检测算法性能不断被提升,在构建智能交通体系方面发挥重要作用.单阶段目标检测模型因其检测速度的优越性,被广泛应用于车辆实时检测.为了综合分析基于深度学习的单阶段车辆检测算法相关改进及应用,分别对比了各类常用单阶段车辆检测算法,列举其改进措施以及在车辆检测方面存在的问题;重点阐述了基于...     

基于多维滑窗的异常数据检测方法

随着数据流的广泛运用,数据流中异常数据的检测问题也引起了更多的关注.现有的卡尔曼滤波算法需要的历史数据量虽然小,但只适用于单个异常点的检测,对于复杂连续的异常值检测效果较差.针对这个问题,提出一种水文传感器分级标注模型,并在此基础上提出一种基于多维影响因子的卡尔曼滤波算法,加入空间、时间、起源三个维度的影响因子,在天气和汛期等影响因素改变时,对系统模型的控制参数进行适当调整,并且对测量噪声进行更加准确的估计,提高异常检测的准确性.实验结果证明,所提算法在保证运行时间相近的前提下,检测的错误率远低于基于遗忘因子的卡尔曼(AKF)算法和基于小波的卡尔曼(WKF)算法.     

Detection of anomalous episodes in urban Ozone maps

In addition to classification and regression, outlier detection has emerged as a relevant activity in deep learning. In comparison with previous approaches where the original features of the examples were used for separating the examples with high dissimilarity from the rest of the examples, deep learning can automatically extract useful features from raw data, thus removing the need for most of the feature engineering efforts usually required with classical machine learning approaches. This requires training the deep learning algorithm with labels identifying the examples or with numerical values. Although outlier detection in deep learning has been usually undertaken by training the algorithm with categorical labels—classifier—, it can also be performed by using the algorithm as regressor. Nowadays numerous urban areas have deployed a network of sensors for monitoring multiple variables about air quality. The measurements of these sensors can be treated individually—as time series—or collectively. Collectively, a variable monitored by a network of sensors can be transformed into a map. Maps can be used as images in machine learning algorithms—including computer vision algorithms—for outlier detection. The identification of anomalous episodes in air quality monitoring networks allows later processing this time period with finer‐grained scientific packages involving fluid dynamic and chemical evolution software, or the identification of malfunction stations. In this work, a Convolutional Neural Network is trained—as a regressor—using as input Ozone‐urban images generated from the Air Quality Monitoring Network of Madrid (Spain). The learned features are processed by Density‐based Spatial Clustering of Applications with Noise (DBSCAN) algorithm for identifying anomalous maps. Comparisons with other deep learning architectures are undertaken, for instance, autoencoders—undercomplete and denoizing—for learning salient features of the maps and later to use as input of DBSCAN. The proposed approach is able efficiently find maps with local anomalies compared to other approaches based on raw images or latent features extracted with autoencoders architectures with DBSCAN.     

基于密度偏倚抽样的局部距离异常检测方法

异常检测是数据挖掘的重要研究领域,当前基于距离或者最近邻概念的异常数据检测方法,在进行海量高维数据异常检测时,存在运算时间过长的问题.许多改进的异常检测方法虽然提高了算法运算效率,然而检测效果欠佳.基于此本文提出一种基于密度偏倚抽样的局部距离异常检测算法,首先利用基于密度偏倚的概率抽样方法对所需检测的数据集合进行概率抽样,之后对抽样数据利用基于局部距离的局部异常检测方法.对抽样集合进行局部异常系数计算,得到的异常系数既是抽样数据的局部异常系数,又是数据集的近似全局异常系数.之后对得到的每个数据点的局部异常系数进行排序,异常系数值越大的数据点越可能是异常点.实验结果表明,和已有的算法相比,本算法具有更高的检测精确度和更少的运算时间,并且该算法对各种维度和数据规模的数据都具有很好的检测效果,可扩展性强.     

基于核主成分分析的异常轨迹检测方法

针对现有算法不能有效应用于多因素轨迹异常检测的问题,提出基于核主成分分析(KPCA)的异常轨迹检测方法。首先,为了改善轨迹特征提取的效果,采用KPCA对轨迹数据进行空间转换,将非线性空间转换到高维线性空间;其次,为了提高异常检测的准确率,采用一类支持向量机对轨迹特征数据进行无监督学习和预测;最终检测出具有异常行为的轨迹。采用大西洋飓风数据对算法进行测试,实验结果表明,该算法能够有效提取出轨迹特征,并且与同类算法相比,该算法在多因素轨迹异常检测方面具有更好的检测效果。     

基于孪生网络的跟踪算法综述

目标跟踪算法共分为两大类,一类是基于相关滤波的跟踪算法,另一类是基于深度学习的跟踪算法。基于相关滤波的跟踪算法的特点是跟踪速度快,跟踪的精度较低。基于深度学习的跟踪算法的特点是精度较高,但跟踪速度较低。随着研究的深入,深度学习中基于孪生网络的跟踪算法很好地平衡了跟踪速度和精度,既保持了基于深度学习的跟踪算法的优点,又大幅度提高了跟踪速度。首先介绍了基于孪生网络的跟踪算法的工作原理,然后根据基于孪生网络的跟踪算法的发展顺序,分别阐述了不同孪生网路跟踪算法的方法,最后对基于孪生网络的跟踪算法做了总结与展望。     

一种基于离群算法的窃电行为检测的研究

针对窃电行为现场查证具有难以克服的现实困难,提出一种基于离群数据挖掘的窃电行为检测方法。该离群算法基于密度聚类算法,采用基于用电量波动的不同方向识别不同的用电模式,基于用电频率、离群距离以及异常规则关联度的计算挖掘潜在离群数据点,并通过基于评价矩阵确定离群阈值对离群数据点存在窃电行为的可能性进行确定性分析,实现对窃电行为的数据化检测。最后通过仿真测试证明该算法在针对混杂不同用电模式的用电数据的窃电检测方面相对于其他数据挖掘算法具有更好的性能表现。     

基于深度学习的文本分类综述

随着互联网的不断发展,网络上的文本数据日益增多,如果能对这些数据进行有效分类,那么更有利于从中挖掘出有价值的信息,因此文本数据的管理和整合显得十分重要。文本分类是自然语言处理任务中的一项基础性工作,主要应用于舆情检测及新闻文本分类等领域,目的是对文本资源进行整理和归类。基于深度学习的文本分类,在对文本数据处理中,表现出较好的分类效果。本文对用于文本分类的深度学习算法进行详细阐述,按照深度学习的不同算法进行分类,并分析各种算法的特点,最后对深度学习算法在文本分类领域的未来研究方向进行总结。     

基于动态融合LOF的城市污水处理过程数据清洗方法

围绕城市污水处理过程数据存在连续噪声和缺失的问题,提出一种基于动态融合局部异常因子(dynamic fusion local outlier factor,DFLOF)的污水处理过程数据清洗方法.首先,设计一种基于滑动窗口的数据动态分段方法,通过计算每个子段数据的均值、最大值和峰值区间信息获得数据异常属性值;其次,建立...     

一种基于概率的孤立点检测方法

现有孤立点检测方法大多数都需要预先设定孤立点个数,若设定不准确将降低孤立点检测的准确性。针对该问题,提出一种基于概率的孤立点检测方法。结合基于密度的DBSCAN算法与中位数求方差的方法,对待检测数据集进行聚类,提取出不包含在任何聚类中的可疑孤立点并进行分析,从而确定最终孤立点。该方法所检测的数据与时间因素线性无关,不必预先设定孤立点个数及聚类数,并且对噪声数据具有较强的抗干扰能力。IRIS测试数据集上的实验结果表明,该方法能够有效地识别孤立点。     

基于深度学习的重叠人脸检测

人脸检测在人机界面、安全系统、人脸识别、基于内容的图像检索等不同应用中起着重要作用。随着计算机图像技术的发展,人脸检测的方法也越来越多。但是利用现有的人脸检测方法检测重叠人脸时,虽然能够检测出部分人脸,但是相比于单人脸的检测,算法的效率和准确性都有所欠缺。针对这个问题,提出了一种基于深度学习的重叠人脸检测方法。首先基于机器学习方法,构建出多个人脸特征分类器,然后再利用肤色检测的方法对分类器得到的候选人脸进行二次检测,最后利用提出的一种NMS算法对候选人脸进行进一步的处理,从而检测出精确的人脸。为了验证算法的高效性和准确性,进行了多个人脸检测算法的对比实验,结果表明,该算法在效率和准确性方面都有较大提高。