基于大数据分析的电力线路线损故障诊断与预测

针对电力线路线损故障的诊断与预测问题,基于大数据分析,运用数据挖掘技术,提出线损故障分析判定规则。通过对IEEE 33节点的10 kV配电网进行仿真实验,采用K均值（K-means）聚类和局部离群因子等算法,实现对电力线路线损异常诊断。实验表明,通过对疑似线损异常的3天数据进行深入分析,能够精准判别线损异常,验证了该算法在电力系统中对线损异常诊断与预测的可靠性。     

基于IPFIX的网络流量日志系统

针对高速网络海量数据采集、存储和管理问题,分析了传统IPFIX流量日志系统在高速网络中的性能问题,提出了基于IPFIX协议的用户网络流量日志系统体系结构的优化设计,改进了数据聚类和存储算法,包括二元归并方式采集数据以及多层结构的散列算法存储数据。经校园网部署应用证明,可提供万兆链路下用户网络日志详单及准确上网流量计量值。     

基于模糊C均值的数据流入侵检测算法

针对数据在性态和类属方面存在不确定性的特点,提出一种基于模糊C均值聚类的数据流入侵检测算法,该算法首先利用增量聚类得到网络数据的概要信息和类数,然后利用模糊C均值聚类算法对获取的数据特征进行聚类。实验结果表明该算法可以有效检测数据流入侵。     

基于特征聚类的海量恶意代码在线自动分析模型

针对传统海量恶意代码分析方法中自动特征提取能力不足以及家族判定时效性差等问题,通过动静态方法对大量样本行为构成和代码片段分布规律的研究,提出了基于特征聚类的海量恶意代码在线自动分析模型,包括基于API行为和代码片段的特征空间构建方法、自动特征提取算法和基于LSH的近邻聚类算法。实验结果表明该模型具有大规模样本自动特征提取、支持在线数据聚类、家族判定准确率高等优势,依据该模型设计的原型系统实用性较强。     

一种层次初始的聚类个数自适应的聚类方法研究

K均值聚类算法是一种常见且有效的基于划分的聚类算法。为解决该聚类算法对初始中心敏感的问题,常用的方法是层次化初始聚类中心。然而,层次初始的聚类算法仍然需要将聚类个数作为输入参数,在高维数据和海量数据中不易应用。基于能够自动确定聚类数目的目的,采用DBI度量,提出一种层次初始的聚类个数自适应的聚类方法（简称DHIKM）。通过UCI数据集和仿真数据上的实验,证明DHIKM可以在采样数据中快速找到合适的聚类个数,实验结果表明该算法在聚类质量与收敛速度上的有效性。     

基于模糊核聚类和主动学习的异常检测方法

针对日志数据的异常检测获取标记数据代价过高的问题,提出一种基于模糊核聚类与主动学习的算法,即KFCM-AL算法。首先将日志解析,之后利用模糊核聚类算法将待选样本在高维空间进行划分聚类,滤去样本冗余点,同时选取聚类中心进行标记构建初始分类器,最后结合主动学习利用较小的标记代价对异常检测模型进行优化。实验结果表明,所提方法能够利用较少的标记样本获取异常检测模型的性能提升。     

基于改进快速密度峰值聚类算法的电力大数据异常值检测分析

针对传统聚类算法对于大数据背景下大量电力大数据异常监测过程中存在的问题,提出在电力大数据异常值检测中的快速密度峰值聚类算法的改进.对传统基于密度峰值空间聚类方法进行分析,得到传统算法在使用过程中的问题.提出了快速密度峰值聚类算法的改进,对自适应参数与聚类中心自动的选择,通过标准化局部密度与距离对大数据异常值进行评测,能...     

SCEA:一种适应高维海量数据的并行聚类集成算法

针对传统串行聚类集成算法在处理高维海量数据时效率低下的问题,提出基于Spark的并行聚类集成算法SCEA(Spark based Clustering Ensemble Algorithm).首先,通过主成分分析与成对约束结合的方法对算法输入数据进行预处理,达到数据降维并去除特征相关性的目的;其次,通过调用不同聚类算法获得基聚类成员后,采用三元组方法通过基聚类成员的簇标签构造出相似度矩阵,并调用层次聚类算法得到最终的聚类结果;最后,在调用MLlib中已有聚类算法的基础上,基于Scala对SCEA算法进行了实现.将SCEA与同类算法在多组数据集下进行对比测试,实验结果表明:总体上SCEA不仅较已有算法在准确率方面有所提高,并且通过分析运行时间、加速比以及可扩展性3个性能指标,证明了SCEA在算法性能上的优越性.     

基于FCM算法的中小型转动设备故障检测研究

针对现有算法在中小型转动设备故障检测中存在的收敛速度慢、故障识别率低等问题,提出一种基于FCM融合算法的故障检测方案研究。对原始故障集做降噪处理,基于模糊熵值理论在多尺度条件下提取故障向量的隶属度;利用GA算法优化FCM算法的迭代性能和收敛性能,分别更新故障特征向量模糊隶属度矩阵和聚类中心矩阵,以达到改善聚类精度,提高故障识别率的目的。实验结果显示,该算法在不同的聚类中心数量及故障类别的条件下,能够获得更好的聚类效果和更高的收敛速度,训练集合和测试集的平均故障识别分别可以达到99.19%和98.23%。     

基于克隆选择聚类的入侵检测

提出基于克隆选择的模糊聚类算法，将该聚类算法用于网络入侵检测。针对入侵数据的混合属性改进距离测度的计算方法，实现了对大规模混合属性原始数据的异常检测，并能有效检测到未知攻击。在KDDCUP99数据集中进行了对比仿真实验，实验结果表明算法对已知攻击和未知攻击的检测率以及算法的误誊率都是理想的。     

基于盲均衡算法的网络大数据异常节点检测

网络大数据具有复杂性、多样性,其在流动期间容易出现异常节点。工作人员需采用智能性能检测的方式,才能减少网络故障问题的发生。相关部门基于网络大数据提出了异常节点的检测方法,采用传感序列采集模型,应用盲均衡算法提取网络环境中的噪声均值,以展现网络大数据异常节点的特征。基于此,文中结合实际,简要分析了盲均衡算法,阐述了基于盲均衡算法的网络大数据异常节点检测方法,以期为相关部门的工作提供支持。     

基于神经网络的变电站异常网络流量识别

针对变电站网络异常流量检测过程中需要兼顾准确度和实时性的问题,提出基于元启发优化算法的模块化的神经网络算法。仿真实验证明,在存在网络延迟和抖动的情况下,基于灰狼优化算法模块和进化策略算法模块的神经网络异常检测算法,能够准确和高效地识别变电站网络中的异常数据流量。     

Offiine traffic analysis system based on Hadoop

Offiine network traffic analysis is very important for an in-depth study upon the understanding of network conditions and characteristics, such as user behavior and abnormal traffic. With the rapid growth of the amount of information on the Intemet, the traditional stand-alone analysis tools face great challenges in storage capacity and computing efficiency, but which is the advantages for Hadoop cluster. In this paper, we designed an offiine traffic analysis system based on Hadoop （OTASH）, and proposed a MapReduce-based algorithm for TopN user statistics. In addition, we studied the computing performance and failure tolerance in OTASH. From the experiments we drew the conclusion that OTASH is suitable for handling large amounts of flow data, and are competent to calculate in the case of single node failure.     

Load balancing multipath routing protocol for mass remote sensing data downlink in LEO satellite network

LEO satellite networks can provide seamless real-time data communication for all kinds of users,which developed rapidly in recent years.At the mean time,the massive payload data down-link system of space data sources,such as remote sensing satellites,still make use of traditional storage and forward mode.The real-time performance of space mission data will be improved effectively,if such satellites are connected to LEO satellite networks equipped with inter satellite links.However,it is necessary to design a specialized satellite network load balancing routing algorithm.Satellite parallel edge-disjoint multipath routing protocol (SPEMR) was designed for remote sensing satellite real-time down-link applications.OPNET simulation results indicate that the performance degradation index(DI) of the multipath scheme implemented by SPEMR is 0.32,which is only 32% of the TLR and 21% of the traditional DSP scheme.It is demonstrated that SPEMR has the better capability of transmitting massive data in real time.     

基于灰色预测容错时钟同步算法

针对分布式实时系统中无主式时钟同步存在时钟拜占庭故障和节点通信链路丢失故障的问题,文中提出一种基于灰色预测容错时钟同步算法。该算法基于广播式通信网络LL模型,使用GM(1,1)的灰色预测方法对前轮次的校正偏差值进行分析,从而预测出该节点在故障伦次中的校正偏差值,再通过计算得到修正值。实验结果表明,文中提出的灰色预测算法能够容忍拜占庭故障,同时可克服节点通信链路丢失故障带来的问题,提升了FTA算法的普适性。通过数据对比分析结果表明,该算法的时钟同步精密度相比于原始算法提高了24.3%;相较于其他算法,文中算法在复杂度上也有一定的优势。     

改进支持向量机在网络入侵检测中的应用

为提高网络安全性,提出一种改进支持向量机的网络入侵检测算法.首先采用核主成分分析提取网络数据重要特征,加快网络入侵检测速度,然后采用粒子群算法对支持向量机参数进行优化,提高网络检测正确率.仿真实验结果表明,改进支持向量提高网络入侵检测正确率,降低漏检率,同时加快了网络入侵检测速度,是一种有效、实时性较强的网络入侵检测算法.     

海量目标量测数据下的目标跟踪

针对大量传感器同时跟踪同一目标产生海量目标量测数据而一般融合滤波算法难以处理的问题,提出了通过数学统计原理提取跟踪状态信息并应用交互式多模型统计滤波算法进行解决的方法。该方法首先利用数学统计原理从海量目标量测数据中统计出目标跟踪滤波过程中所需要信息,并利用改进的交互式当前统计模型算法对所提取信息进行滤波,在不影响跟踪精度的情况下很好地解决了的海量目标量测信息的融合跟踪问题。理论分析和仿真结果证明了该方法的有效性。     

GAD:topology-aware time series anomaly detection

To solve the problems of anomaly detection,intelligent operation,root cause analysis of node equipment in the network,a graph-based gated convolutional codec anomaly detection model was proposed for time series data such as link delay,network throughput,and device memory usage.Considering the real-time requirements of network scenarios and the impact of network topology connections on time series data,the time dimension features of time series were extracted in parallel based on gated convolution and the spatial dependencies were mined through graph convolution.After the encoder composed of the spatio-temporal feature extraction module encoded the original input time series data,the decoder composed of the convolution module was used to reconstruct the time series data.The residuals between the original data and the reconstructed data were further used to calculate the anomaly score and detect anomalies.Experiments on public data and simulation platforms show that the proposed model has higher recognition accuracy than the current time series anomaly detection benchmark algorithm.     

LTE-Advanced网络Uu接口用户行为分析系统的研究与实现

大数据时代,面对海量且复杂的结构化、半结构化和非结构化数据,传统的信令监测分析系统无法快速准确地分类、处理以及存储海量数据中包含的信息.针对这些问题,提出了一种基于Hadoop系统技术平台和支持向量机(Support Vector Machine,SVM)分类算法的LTE-Advanced网络Uu接口用户行为分析系统.对用户行为分析系统的系统架构、在Hadoop平台下数据挖掘分类算法SVM的实现进行了详细阐述,并通过Uu接口进行了现网测试,测试结果表明,提出的用户行为分析系统达到了预期的效果,对用户偏好分析以及精准营销具有推广意义.     

基于Bi-LSTM模型的轨迹异常点检测算法

定位技术的飞速发展催生了时空轨迹大数据,轨迹数据中往往存在着明显偏离轨迹的异常点。检测出轨迹中的异常点对提高数据质量和后续轨迹数据挖掘精度至关重要。该文提出了一种基于双向长短时记忆网络(Bidirectional Long Short-Term Memory, Bi-LSTM)模型的轨迹异常点检测算法。首先对每个轨迹点提取一个6维的运动特征向量,然后构建了一个Bi-LSTM模型,模型输入为一定序列长度的轨迹数据特征向量,输出为轨迹点的类型结果。同时,算法采用了欠采样和过采样的组合方法缓解类别不平衡对检测性能的影响。融合了长短时记忆网络单元和双向网络,Bi-LSTM模型能够自动学习正常点和邻近异常点在运动特征上的差异。基于真实船舶轨迹标注数据的实验结果表明,该文算法的检测性能显著优于恒定速度阈值法、不考虑数据时序性的经典机器学习分类算法和卷积神经网络模型,尤其是召回率达到了0.902,验证了该文算法的有效性。