基于角度的图神经网络高维数据异常检测方法

在高维数据空间中,数据大都处于高维空间边缘且分布十分稀疏,由此引起的“维度灾难”问题导致现有异常检测方法无法保证异常检测精度。为解决该问题,提出一种基于角度的图神经网络高维数据异常检测方法A-GNN。首先通过数据空间的均匀采样和初始训练数据的扰动来扩充用于训练的数据;然后利用k近邻关系构造训练数据的k近邻关系图,并以k近邻元素距离加权角度的方差作为近邻关系图节点的初始异常因子;最后通过训练图神经网络模型,实现节点间的信息交互,使得相邻节点能够互相学习,从而进行有效的异常评估。在6个自然数据集上将A-GNN方法与9种典型异常检测方法进行实验对比,结果表明：A-GNN在5个数据集中取得了最高的AUC值,其能够大幅提升各种维度数据的异常检测精度,在一些“真高维数据”上异常检测的AUC值提升达40%以上;在不同k值下与3种基于k近邻的异常检测方法相比,A-GNN利用图神经网络节点间的信息交互能有效避免k值对检测结果的影响,方法具有更强的鲁棒性。     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

基于图神经网络的工控网络异常检测算法

网络异常检测技术成为入侵检测领域的重点研究内容,但由于目前网络异常检测大多都停留在单点网络异常检测,对不断更新的联合异常攻击和恶意软件无法做出快速及时的相应.本文提出了一种基于图神经网络的工控网络异常检测算法,融合网络节点自身属性以及网络拓扑结构中邻域节点的信息实现对网络异常的检测.首先,每个网络节点获取蕴含了连接节点的特征信息以及节点之间交互信息的状态向量;其次,每个节点使用不动点理论对网络进行迭代更新;最后,根据节点自身信息以及邻域节点信息通过神经网络提取更高层次的特征作为该节点的表示,最后用聚类进行工控网络节点异常行为检测.实验结果表明,本文提出算法在具有较高检测率的同时,也具有较高的鲁棒性.     

基于免疫仿生机理和图神经网络的网络异常检测方法

文章通过模仿生物系统的防御风险机制,提出一种基于免疫仿生机理和图神经网络的网络异常检测方法.通过图神经网络对节点附近的子图信息进行深度挖掘,在考虑网络内容特征的同时,将基于图的结构特征融入模型,共同作为网络异常检测依据,更好地挖掘网络中的异常信息.同时在网络异常检测中融入图表示学习技术,以解决特征表示问题.文章基于ID...     

基于神经网络的无线传感器网络异常数据检测方法

传感器网络的异常数据检测对于环境监测具有十分重要的意义。基于BP神经网络模型和线性神经网络模型,分别提出了两种无线传感器网络异常数据检测方法。提出的方法在每个当前时刻通过最近的固定长度的历史数据集训练神经网络,来完成下一时刻的预报。通过神经网络的模型残差,确定概率为P的置信区间。当下一时刻数据落入置信区间内,则该数据被判为正常;反之,则为异常。为了比较和验证两种检测方法的性能,在Matlab环境下完成了仿真实验。实验结果表明,基于线性神经网络的异常数据检测方法的检测率(detection rate)达到了97.9%,误报率(false positive rate)不超过0.76%;基于BP神经网络的异常数据检测方法的检测率为96.7%,误报率不超过0.84%。     

一种基于反馈神经网络的异常检测方法

目前的入侵检测系统缺乏从先前所观察到的进攻进行概括并检测已知攻击的细微变化 的能力。描述了一种基于最小二乘估计(LS)模型的入侵检测算法,该算法利用神经网络的特点,具 有从先前观测到的行为进行概括进而判断将来可能发生的行为的能力。提出了一种在异常检测中用 反馈神经网络构建程序行为的特征轮廓的思想,给出了神经网络算法的选择和应用神经网络的设计 方案。实验表明在异常检测中利用反馈神经网络构建程序行为的特征轮廓,能够提高检测系统对偶 然事件和入侵变异的自适应性和异常检测的速度。     

基于BP神经网络的异常轨迹检测方法

为有效利用轨迹内外部属性进行异常检测,提出一种基于BP神经网络的异常轨迹识别方法。对原始轨迹数据进行去噪处理,存储至百度云的LBS云端,基于百度地图的轨迹数据可视化网站实现轨迹显示,并通过归一化数据计算轨迹属性值。同时,将轨迹内外部特征属性作为BP神经网络算法的输入层,轨迹相似度量值作为输出层,调整隐含层系数得到训练模型,从而识别用户异常轨迹。在2个用户数据集上的仿真结果表明,该方法的异常轨迹识别准确率分别达到92.3%和100%。     

基于图神经网络的代码漏洞检测方法

使用神经网络进行漏洞检测的方案大多基于传统自然语言处理的思路,将源代码当作序列样本处理,忽视了代码中所具有的结构性特征,从而遗漏了可能存在的漏洞.提出了一种基于图神经网络的代码漏洞检测方法,通过中间语言的控制流图特征,实现了函数级别的智能化代码漏洞检测.首先,将源代码编译为中间表示,进而提取其包含结构信息的控制流图,同...     

基于样本关联感知的无监督深度异常检测模型

异常检测的目标是识别正常模式中的异常模式.如何充分利用数据的各种特征信息来识别异常是当前异常检测的研究热点之一.许多数据挖掘及机器学习等方面的智能算法都被用于异常检测规则训练以提高其检测性能.目前已有模型存在着对复杂数据处理困难、没有充分利用数据样本间关联特征等问题,从而造成异常检测效果不甚理想.基于此,本文提出一种基于样本关联感知的深度学习模型并用于异常检测.模型通过对样本的原始特征和样本间的关联关系进行深入分析,利用无向图结构来提取样本间的关联特征,然后基于由特征编码器和图编码器构成的双路自编码器实现对样本的原始特征和关联特征的融合,产生样本在低维特征空间中高质量数据嵌入,然后进行解码重构并计算重构误差和重构特征,最后设计基于高斯混合模型的估计网络,基于重构特征和高质量的数据嵌入估计样本的概率密度,通过给定阈值来进行异常检测.实验结果表明,本模型的异常检测各项性能指标均比其他基于机器学习和深度学习的异常检测方法提升了2％左右,参数、消融和噪声实验结果也较其他算法更稳定,可视化实验也能够突出本模型在数据特征提取和充分利用等方面的优势.     

基于深度学习的图异常检测技术综述

图异常检测旨在大图或海量图数据库中寻找“陌生”或“不寻常”模式,具有广泛的应用场景.深度学习可以从数据中学习隐含的规律,在提取数据中潜在复杂模式方面表现出优越的性能.近年来随着基于深度神经网络的图表示学习取得显著进展,如何利用深度学习方法进行图异常检测引起了学术界和产业界的广泛关注.尽管最近一系列研究从图的角度对异常检测技术进行了调研,但是缺少对深度学习技术下的图异常检测技术的关注.首先给出了静态图和动态图上各类常见的异常定义,然后调研了基于深度神经网络的图表示学习方法,接着从静态图和动态图的角度出发,梳理了基于深度学习的图异常检测的研究现状,并总结了图异常检测的应用场景和相关数据集,最后讨论了图异常检测技术目前面临的挑战和未来的研究方向.     

一种基于Voronoi图的高效异常检测方法

提出了一种新的基于Voronoi图的异常检测方法。采用Voronoi图来确定对象间的邻近关系,定义了一种新的异常因子,算法的时间复杂性为O（nlogn）。实验结果表明,同现有的算法相比具有较高的检测效率和准确性。     

基于系统调用的神经网络异常检测技术

给出了一种基于程序行为的神经网络异常检测技术,通过使用ELMAN网络,利用了程序执行时的系统调用的周期重复特性,使该系统具有检测新型入侵攻击和具有较低虚警率的特点。     

基于多维滑窗的异常数据检测方法

随着数据流的广泛运用,数据流中异常数据的检测问题也引起了更多的关注.现有的卡尔曼滤波算法需要的历史数据量虽然小,但只适用于单个异常点的检测,对于复杂连续的异常值检测效果较差.针对这个问题,提出一种水文传感器分级标注模型,并在此基础上提出一种基于多维影响因子的卡尔曼滤波算法,加入空间、时间、起源三个维度的影响因子,在天气和汛期等影响因素改变时,对系统模型的控制参数进行适当调整,并且对测量噪声进行更加准确的估计,提高异常检测的准确性.实验结果证明,所提算法在保证运行时间相近的前提下,检测的错误率远低于基于遗忘因子的卡尔曼(AKF)算法和基于小波的卡尔曼(WKF)算法.     

基于BP神经网络的录井异常数据检测方法研究

在石油钻井工程中,由于技术和设备的客观因素,导致录井数据经常出现异常值,影响了录井解释评价精度。针对该问题,提出了一种基于BP神经网络的录井异常数据处理方法。为了在构建数据环节中提供准确且可信的工程数据,研究了录井异常数据的产生原因及异常数据的表征,并且通过对比格鲁布斯法、K-means聚类算法以及BP神经网络等方法的特点,选择BP神经网络作为异常值处理的方法。通过模型预测的录井数据误差平方值与样本数据的均方根误差进行比较,来确定数据的异常情况,保证检测异常点的合理性。经实验验证和同类算法的比较,表明了BP神经网络模型可以实现检测录井异常点数据,且检测异常点的准确率高于同类算法,处理异常点结果可信,能够有效解决因异常点数据所带来的问题。     

基于改进LSTM的桥梁传感器异常数据的检测方法

桥梁正常与否通常通过传感器来检测,但是庞大的数据量对于传统检测方来说存在很大挑战,因此提出基于长短期记忆模型循环神经网络(Long Short Term Memory、LSTM)的方法进行异常检测.首先利用小波变换与奇异谱分析(Singular Spectrum Analysis、SSA)对传感器数据进行预处理,之后利用两层LSTM对序列进行向量表示、逆序重构,利用贝叶斯优化算法对LSTM网络进行参数优化,最终通过极大似然估计(Maximum Likelihood Estimate、MLE)对该段序列进行异常得分估计,最终通过学习异常报警阈值实现时间序列异常检测并发现潜在异常.采用桥梁某部位的应变数据、风速数据与振动传感器数据进行仿真实验,验证了所提方法相比其他传统方法具有更高的精确性.     

基于DAPA的卷积神经网络Web异常流量检测方法

针对Web攻击流量检测问题,提出一种基于动态自适应池化算法(Dynamic Adaptive Pooling Algorithm,DAPA)的卷积神经网络模型。首先将数据集中每一条请求流量进行剪裁、对齐、补足等操作,生成一系列50×150的矩阵数据A作为输入,然后搭建基于动态自适应的卷积神经网络模型去进行异常流量检测,使之可以根据特征图的不同,动态地调整池化过程,在网络结构中添加Dropout层来解决流量特征提取过程中的过拟合问题。实验表明,该方法比未使用动态自适应池化的方式精确度提升了1. 2%,损失值降低了2. 6%,过拟合问题也得到了解决。     

基于元路径的图Transformer神经网络

图神经网络作为一种新的深度学习模型,被广泛运用在图数据中,并极大地推动了推荐系统、社交网络、知识图谱等应用的发展.现有的异构图神经网络通常事先定义了多条元路径来学习异构图中的复合关系.然而,这些模型通常在特征聚合步骤中只考虑单条元路径,导致模型只关注了元路径的局部结构,忽略了元路径之间的全局相关性;还有一些模型则是忽略掉了元路径的中间节点和边信息,导致模型无法学习到元路径内部的语义信息.针对以上问题,本文提出一种基于元路径的图Transformer神经网络(MaGTNN).该模型首先将异构图采样为基于元路径的多关系子图,利用提出的位置编码和边编码的方法来获取元路径中的语义信息.随后使用改进的图Transformer层计算出目标节点与其元邻居的相似度,并利用该相似度来聚合其所有的元邻居信息.在3个公开数据集的节点分类和节点聚类任务中, MaGTNN均高于最新的基准模型.     

基于LSTM的卷积神经网络异常流量检测方法

针对传统机器学习方法依赖人工特征提取,存在检测算法准确率低、无法应对0day漏洞利用等未知类型攻击等问题,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long-Short Term Memory,LSTM)混合算法的异常流量检测方法,充分发掘攻击流量的...     

基于Voronoi图的异常检测算法

异常检测是数据挖掘的一个重要组成部分,其中基于密度的方法LOF是目前常用的主要方法。然而LOF方法进行检测时需要设定参数k和MinPts,检测结果对参数非常敏感,容易造成检测错误。该文提出了一种基于Voronoi图的异常检测算法VOD,采用Voronoi图来确定对象间的邻近关系,解决了基于密度方法存在的问题,算法的时间复杂性从O(N2)降低到O(NlogN)。     

面向图的异常检测研究综述

近年来,随着Web 2.0的普及,使用图挖掘技术进行异常检测受到人们越来越多的关注.图异常检测在欺诈检测、入侵检测、虚假投票、僵尸粉丝分析等领域发挥着重要作用.在广泛调研国内外大量文献以及最新科研成果的基础上,按照数据表示形式将面向图的异常检测划分成静态图上的异常检测与动态图上的异常检测两大类,进一步按照异常类型将静态...