基于连边距离矩阵的重叠社区发现

现有重叠社团发现算法大多直接从相邻连边的相似性出发,不能有效利用网络的多层连边信息。基于此,本文提出了一种基于连边距离矩阵的重叠社区发现算法LDM。首先结合连边-节点-连边随机游走模型,以实现多级连边信息的有效利用,其次借助模糊聚类方法,处理连边距离矩阵以获取连边社区,最后根据扩展模块度调整和优化重叠社区结构。在人工网络和真实网络上的实验结果表明,所提算法能够有效提高重叠社区发现算法的准确度。     

基于有向网络非对等关系的异常子图识别算法

图异常检测将实体间通联关系抽象为复杂网络形式表示,旨在利用结构特征识别网络中存在的异常行为与实体,具有关系客观存在且异常可解释较强的优点。目前该类方法主要以无向网络结构为基础提取特征,以达到识别异常的目的,主要关注于连边层面异常结构,对于由集体异常行为构成的异常子图识别问题研究仍较少,缺少对行为方向异常协同关系的分析。传统方法通过提取节点邻域结构特征构建特征空间,并根据节点邻域结构在特征空间中的映射点距离发现离群点,虽可发现结构具有明显差异的异常子图,但忽略了网络结构中节点的实际物理联系,以及行为由于主客体不同所导致个体间关系非对等的实际情况。针对该问题,本文提出了基于有向网络非对等关系的异常子图识别算法,通过连边方向信息提取节点间行为方向特征,度量节点间关系非对等强度,后转化为子图密度形式表示,结合基于密度的异常识别方法挖掘异常,保留了实际物理联系。通过在4种不同异常类型的合成数据集与存在实际异常的真实数据集上进行实验,验证了其具有较高的异常识别精度与鲁棒性。     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。     

传感器网络中的局部异常检测算法

找到异常数据对于传感器网络来说非常重要。本文通过一个例子首先提出了局部异常的概念。与传统异常不同,局部异常仅取决于节点及其周围节点的取值。我们给出了局部异常的形式化定义,并首先提出了解决局部异常的Nave算法,由于其能耗过大,又提出了分布式的解决方案DLODA。DLODA将网络分成多个区域,每个区域选择一个簇头,簇头能够在网内提前算出部分查询结果,并过滤掉不会成为查询结果的数据,以节约能量开销。最后从能量消耗和响应时间两个方面对DLODA的性能进行了评估,实验显示DLODA具有良好性能。     

基于密度的Top-n局部异常点快速检测算法

局部异常检测（Local outlier factor,LOF）能够有效解决数据倾斜分布下的异常检测问题,在很多应用领域具有较好的异常检测效果.本文面向大数据异常检测,提出了一种快速的Top-n局部异常点检测算法MTLOF（Multi-granularity upper bound pruning based top-n LOF detection）,融合索引结构和多层LOF上界设计了多粒度的剪枝策略,以快速发现Top-n局部异常点.首先,提出了四个更接近真实LOF值的上界,以避免直接计算LOF值,并对它们的计算复杂度进行了理论分析;其次,结合索引结构和UB₁、UB₂上界,提出了两层的Cell剪枝策略,不仅采用全局Cell剪枝策略,还引入了基于Cell内部数据对象分布的局部剪枝策略,有效解决了高密度区域的剪枝问题;再次,利用所提的UB₃和UB₄上界,提出了两个更加合理有效的数据对象剪枝策略,UB₃和UB₄上界更加接近于真实LOF值,有利于剪枝更多数据对象,而基于计算复用的上界计算方法,大大降低了计算成本;最后,优化了初始Top-n局部异常点的选择方法,利用区域划分和建立的索引结构,在数据稀疏区域选择初始局部异常点,有利于将LOF值较大的数据对象选为初始局部异常点,有效提升初始剪枝临界值,使得初始阶段剪枝掉更多的数据对象,进一步提高检测效率.在六个真实数据集上的综合实验评估验证MTLOF算法的高效性和可扩展性,相比最新的TOLF（Top-n LOF）算法,时间效率提升可高达3.5倍.     

融合连边符号语义信息的网络表示学习算法

为融合连边符号语义信息提升网络表示学习质量,针对现有算法处理复杂连边符号语义信息能力较弱问题,提出一种融合连边符号语义信息的网络表示学习算法,将包含正负关系的连边符号语义信息引入网络表示学习过程。首先,该算法设计基于三层感知机的关系预测模型刻画节点间不同类型的上下文链接关系;然后,引入随机游走策略实现上下文链接采样以适应大规模网络场景训练需求。在三个数据集中实验表明,该算法能够有效建模节点间不同类型的上下文链接关系,挖掘其中包含的复杂语义信息,相比目前最优的SIDE方法,所提算法的性能分别提高了0.31%、1.3%和1.85%。     

基于流量行为特征的DoS&DDoS攻击检测与异常流识别

针对现有方法仅分析粗粒度的网络流量特征参数,无法在保证检测实时性的前提下识别出拒绝服务(DoS)和分布式拒绝服务(DDoS)的攻击流这一问题,提出一种骨干网络DoS&DDoS攻击检测与异常流识别方法。首先,通过粗粒度的流量行为特征参数确定流量异常行为发生的时间点;然后,在每个流量异常行为发生的时间点对细粒度的流量行为特征参数进行分析,以找出异常行为对应的目的IP地址;最后,提取出与异常行为相关的流量进行综合分析,以判断异常行为是否为DoS攻击或者DDoS攻击。仿真实验的结果表明,基于流量行为特征的DoS&DDoS攻击检测与异常流识别方法能有效检测出骨干网络中的DoS攻击和DDoS攻击,并且在保证检测实时性的同时,准确地识别出与攻击相关的网络流量     

基于自适应阈值的网络流量异常检测算法

网络流量异常检测大多采用固定阈值进行异常判断,无法精确刻画网络异常行为,从而影响检测精度。针对上述问题提出一种自适应阈值异常检测算法,通过刷新机制叠加前一时刻的行为,得出动态的阈值作为判断当前时刻检测点是否异常的准则,通过标准差设定置信区间,以更准确地描述网络状况。仿真实验及比较结果表明该算法能有效提高异常检测精度。     

基于标签传递的异常检测算法研究

异常检测旨在检测出观测数据中的非正常值,被广泛应用于反信用卡欺诈、网络入侵检测、医疗分析以及气象预报等领域。在异常检测中,正常数据通常具有异常数据所不具备的某种内蕴结构。因此,如何有效地利用正常数据与异常数据在数据结构上的差异性将有助于提高异常检测性能。为此,本文提出了一种新颖的基于标签传递的异常检测算法。该算法通过图模型刻画正常数据所具有的内蕴结构,并通过多重标签传递来构建未标记正例样本与待测试样本的标签置信度的差异。最后,基于正例样本的标签置信度的统计特性分析,实现对测试样本的异常性判决。在人工合成及真实数据集上的实验验证了本文算法的有效性。     

基于空间尺度粗粒化的异常检测方法

目前,大部分基于链路预测对社会网络进行异常检测的研究中,缺乏对异常节点演化影响的分析,且受社会网络规模以及复杂度的限制,检测效率普遍不高。针对上述问题,提出了一种基于空间尺度粗粒化和异常节点加权机制的异常检测方法。首先利用凝聚型社区发现算法Louvain对社会网络进行粗粒化得到简化网络,然后在简化网络的演化过程中识别有异常演化行为的节点,并将其异常演化过程量化,引入异常节点加权机制到链路预测方法中进行异常检测。在真实社会网络数据集VAST、Email-EU（dept1和dept2）以及Enron上,与基于LinkEvent的不同调整策略算法和NESO_ED方法进行对比。结果表明,该方法可以兼顾异常检测的稳定性和敏感性,能够更合理地描述网络演化过程,得到更好的异常检测效果。     

无监督连接划分聚类算法及其在入侵检测中的应用

阐速了一种无监督连接划分聚类算法,算法基本思想是首先通过分割的方法将数据集划分为若干个原子簇,尊除噪声原子簇,然后通过对原子簇间连接亲密度的分析,构造原子簇间的连接图,切断车接亲密度很低的原子簇连接,合并连接亲密度高的连接,划分得到最后的聚类结果。算法具有很高的有效性,适用于高维数据集,能够对任意形状的簇进行聚类。通过分析与实验,证明该方法具有良好的效果。     

基于图像处理的公交车内人群异常情况检测

为有效地监控公交车这一特定环境中人群的异常行为,提出一种公交车内人群异常情况检测的方法。对视频图像确立感兴趣区域,进行预处理;通过改进Vi Be算法提取运动目标,引入多尺度滑窗算法确定识别区域;结合连续多帧识别区域进行改进卷积神经网络算法的异常行为识别,通过识别结果判断公交车内人群是否异常。与传统方法的比较结果表明,该算法的检测正确率较高,可达93.5%,误检率较低,仅为1.6%,在实际应用中具有较高的参考价值。     

基于条件随机场模型的数据异常检测算法

企业数据中心作为辅助决策的重要工具,保证其数据的及时性、准确性和科学性是最基本的要求和最核心的原则。对于数据异常的情况,若仅依靠人为的经验在海量数据中进行判断是很困难的,也是不科学且低效的。针对企业购销存数据的准确性问题,研究了基于机器学习的数据异常检测算法。由于购销存数据是由一组相对固定的数据项组成,可以看作是一个结构化数据序列,因此选择了解决结构化序列预测问题最为有效的条件随机场模型CRFs。通过对大量历史数据进行学习,分析出数据的自身规律以及关联关系,使计算机具备自动检测异常的能力。实验结果表明了该算法的有效性。     

基于粗糙集值约简改进算法的进程异常检测

提出一种新的基于粗糙集值约简和系统调用的进程异常检测方法。为了提高约简效率,改进了基于差别矩阵的粗糙集值约简算法。另外创建了一种新的检测模型,能在判断进程是否异常的基础上进一步识别异常种类。它以系统调用短序列中k个位置作为条件属性集,以进程类型作为决策属性,建立决策表;然后使用改进的值约简算法提取规则集,并对规则匹配的结果作统计;最后判断进程类别。实验表明该方法能高效准确地识别异常进程的种类。     

基于SVM的中文报道关系识别方法研究

针对网络新闻的特点,从人名、时间名、地点名、组织机构名、内容五个方面抽取特征词形成特征向量。在此基础上,分别进行了相似度计算,其中,人名、组织机构名、内容采用余弦夹角的方法,时间和地点向量,相似度计算采用了引入报道时间和关联度计算。最后,使用这5个相似度作为特征,使用SVM进行训练,并在测试集上进行了测试。测试结果表明,这种方法可以有效地改善系统的性能。     

基于重要边缘点的时间序列异常模式检测算法

在分析边缘算子的思想和现有时间序列模式表示方法基础上,将边缘点方法和重要点方法相结合,提出了基于重要边缘点的时间序列模式表示算法。算法按各观测点的边缘化程度,提取重要的边缘点将时间序列分成多个子线段,通过分析直线段之间的相似性,发现异常的序列模式。从理论和实验两方面对算法进行了分析和验证,结果表明,算法复杂度较低,模式表示误差小,能够满足大规模时间序列数据模式表示的要求。     

基于神经网络的链路预测算法

针对当前基于网络拓扑结构相似性的链路预测算法普遍存在精确度较低且适应性不强的问题,研究发现融合算法能够有效改善这些问题。提出了一种基于神经网络的融合链路预测算法,主要通过神经网络对不同链路预测相似性指标进行融合。该算法使用神经网络对不同相似性指标的数值特征进行学习,同时采用标准粒子群算法对神经网络进行了优化,并通过优化学习后的神经网络模型计算出融合指标。多个真实网络数据集上实验表明,该算法的预测精度明显高于融合之前的各项指标,并且优于现有融合方法的精度。     

基于隐马尔可夫随机场的社区结构发现算法

针对社区结构发现问题,提出了一种基于隐马尔可夫随机场社区发现算法.该方法将网络中的顶点度数映射为顶点信息值,用马尔可夫随机场模型描述网络中上下文信息并构造系统能量函数,使用迭代条件模式算法对能量方程进行优化.该方法在Zachary空手道俱乐部网络、海豚关系网络以及美国大学足球联赛网络上进行验证,实验结果表明,该算法的准确率较高.     

基于迭代框架的主动链接选择半监督社区发现算法

针对非负矩阵分解（NMF）半监督社区发现方法随机选择先验约束,导致提升相同性能需要更多约束信息的问题,提出一种基于迭代框架的主动链接选择半监督社区发现算法——ALS_GNMF。在迭代框架下,首先,主动选择不确定性高且对社区划分指导性强的链接对作为先验信息;其次,为主动选择的链接对增加must-link约束,增强社区间连接,生成先验矩阵;同时,增加cannot-link约束,减弱社区间连接,修改邻接矩阵;最后,将先验矩阵作为正则项,加入基于NMF的最优化目标函数,并融合网络拓扑结构信息,以期用较少的先验信息,达到较高的社区发现准确性和鲁棒性。实验结果表明,ALS_GNMF算法在真实网络及人工网络上,相同的先验比例下,性能比未采用迭代框架和主动策略的NMF半监督社区发现方法有更大的提升,且在结构不清晰的网络中表现稳定。