智能用电数据的采集与预处理

解决好智能用电网络数据采集和传输过程中的数据缺失和噪声问题,提高其用电数据的数据质量,才能在智能用电云平台中有效的运用各种用电大数据分析与预测算法。本文在总结智能用电网络的数据采集与数据传输特点,及分析智能用电云平台对用电数据的数据质量要求的基础上,提出了智能用电网络的用电数据预处理方法。对智能用电终端采集的用电数据归一化处理后,利用聚类算法从噪声、模糊、随机数据中提取出正常数据,本文对比验证了K-均值聚类和基于密度的空间聚类两种算法的聚类效果。相比K-均值聚类算法,密度的空间聚类两种算法在检测数据噪声点的同时,可自动获取复杂形状数据集的聚类数量,更适合智能用电网络的用电数据预处理。     

基于智能电表大数据的异常用电检测

异常或欺诈造成的非技术性电力损失是电力公司损失的主要源头之一。智能电表的广泛使用，使得运用大数据方法实现对非技术性电力损失的有效检测成为可能。提出了一种使用监督学习进行非技术损失检测的方法。该方法基于智能仪表记录的所有信息（耗电量、异常警报等）结合辅助数据库所提供的有关每个智能电表的地理位置和技术参数的附加信息，使用最优的机器算法来深入分析用电客户的用电行为，生成异常用电客户列表。通过现场检查的结果表明，该方法能够较为准确地识别智能电网中所存在异常用电客户。     

一种基于粒子群算法的配电网低电压诊断模型研究

随着智能电网建设的发展,传统的基于检测技术的配电低电压原因诊断已变成基于数据挖掘的电力大数据分类技术,而着眼于低电压故障原因的数据分类研究在国内尚处于起步阶段,为此该文提出一种采用改进聚类算法和支持向量机分类算法的配电网低电压诊断模型。该模型首先采用Canopy-Kmeans的聚类算法基于配电网历史运行数据进行低电压原因的聚类分析并得出可能存在的低电压原因,然后采用经粒子群算法对支持向量机数据分类算法进行参数优化,最后使用结果参数优化的支持向量机算法对智能电表所采集的配电网实时运行数据进行低电压原因分类并最终输出低压故障原因的诊断结果。实验表明,采样基于粒子群优化的支持向量机诊断模型能够实现90%的低电压原因诊断准确度。     

基于特征选择和改进K-均值聚类的异常用电行为检测算法

窃电等异常用电行为严重影响着电网系统的安全、可靠和稳定运行,传统异常用电检测方法存在模型复杂、准确率低等问题。提出了一种基于特征选择和改进K-均值聚类的异常用电检测算法,首先从用电量变化、线路损耗和电力参数三个维度提取15维特征构成特征向量,然后利用相关向量机(Relevance Vector Machine, RVM)进行特征选择,自动确定最优特征集合,最后提出一种基于信息增益的改进K-均值聚类算法对最优特征集合进行聚类分析,从而实现异常用电检测。基于爱尔兰智能电表公开数据集开展实验,结果表明,所提方法在精准率、召回率和ROC曲线AUC值三项指标方面均能获得良好的表现性能,明显优于传统方法。     

基于EK-medoids聚类和邻域距离的特征选择方法

针对传统聚类算法中只注重数据间的距离关系,而忽视数据全局性分布结构的问题,提出一种基于EK-medoids聚类和邻域距离的特征选择方法。首先,用稀疏重构的方法计算数据样本之间的有效距离,构建基于有效距离的相似性矩阵;然后,将相似性矩阵应用到K-medoids聚类算法中,获取新的聚类中心,进而提出EK-medoids聚类算法,可有效对原始数据集进行聚类;最后,根据划分结果所构成簇的邻域距离给出确定数据集中的属性重要度定义,应用启发式搜索方法设计一种EK-medoids聚类和邻域距离的特征选择算法,降低了聚类算法的时间复杂度。实验结果表明,该算法不仅有效地提高了聚类结果的精度,而且也可选择出分类精度较高的特征子集。     

基于马氏距离的双层聚类电力远动异常检测

通过对电力远动监测系统和数据挖掘技术的讨论,提出一种基于马氏距离的双层聚类异常检测算法。针对远动系统数据非球面分布的特点,该算法通过K-means聚类改进算法对数据进行初始分类,然后使用基于马氏距离的Clustering Using Representatives(CURE)聚类改进算法对初始分类结果进行优化,以较少的计算成本去除K值设定的影响,达到预期的检测结果。同时,基于马氏距离的CURE聚类改进算法对球面和非球面分布的数据有非常好的适应能力。     

基于谱聚类欠取样的不均衡数据SVM分类算法

提出一种基于谱聚类欠取样的不均衡数据支持向量机(SVM)分类算法.该算法首先在核空间中对多数类样本进行谱聚类;然后在每个聚类中根据聚类大小和该聚类与少数类样本间的距离,选择具有代表意义的信息点;最终实现训练样本间的数目均衡.实验中将该算法同其他不均衡数据预处理方法相比较,结果表明该算法不仅能有效提高SVM算法对少数类的分类性能,而且总体分类性能及运行效率都有明显提高.     

一种基于聚类提升的不平衡数据分类算法

不平衡数据分类是机器学习研究领域中的一个热点问题。针对传统分类算法处理不平衡数据的少数类识别率过低问题,文章提出了一种基于聚类的改进AdaBoost分类算法。算法首先进行基于聚类的欠采样,在多数类样本上进行K均值聚类,之后提取聚类质心,与少数类样本数目一致的聚类质心和所有少数类样本组成新的平衡训练集。为了避免少数类样本数量过少而使训练集过小导致分类精度下降,采用少数过采样技术过采样结合聚类欠采样。然后,借鉴代价敏感学习思想,对AdaBoost算法的基分类器分类误差函数进行改进,赋予不同类别样本非对称错分损失。实验结果表明,算法使模型训练样本具有较高的代表性,在保证总体分类性能的同时提高了少数类的分类精度。     

基于B-ISVM算法的物联网云存储数据伪装不良信息检测

针对物联网云存储数据伪装不良信息隐蔽性造成的信息量预处理困难、深层次语义理解不准确和样本不均衡等问题,提出了一种基于B-ISVM(Boundary-Incremental SVM)算法的物联网云存储数据不良信息检测算法。在该算法中,首先采取基于均值和标准差的K均值初始聚类分析对云存储数据信息量进行样本空间训练分类;然后将所有样本类进行欧氏距离遍历计算,得到类间子聚类中心距离矩阵和各聚类中心的邻界子聚类区;再通过信息量伪装与筛选原理进行云存储信息真伪筛选,以不良信息在伪信息中发生的概率为指数、以数据安全度阂值和不良伪装信息模板向量集的相似度阂值为指标,对云存储信息量进行识别;最后进行增量模式学习,得到各分类样本最终的最优分类超平面,并将各类检测出的不良伪装信息进行输出。系统测试证明,该算法能快速有效地对物联网云存储数据中的伪装信息进行检测。     

基于混合式聚类算法的离群点挖掘在异常检测中的应用研究

为了提高异常检测系统的检测率,降低误警率,解决现有异常检测所存在的问题,将离群点挖掘技术应用到异常检测中,提出了一种基于混合式聚类算法的异常检测方法(NADHC)。该方法将基于距离的聚类算法与基于密度的聚类算法相结合从而形成新的混合聚类算法,通过k-中心点算法找出簇中心,进而去除隐蔽性较高的少量攻击行为样本,再将重复增加样本的方法结合基于密度的聚类算法计算出异常度,从而判断出异常行为。最后在KDD CUP 99数据集上进行实验仿真,验证了所提算法的可行性和有效性。