基于数据融合分析的电力营销决策支持信息系统

为解决当前电力营销决策支持信息系统存在的准确率低、耗时较长问题，基于数据融合分析的电力营销决策支持信息系统。对电力营销决策支持信息系统的需求进行全面分析，利用MVC三层架构以及SSH框架完成用户交互、业务逻辑以及数据层的系统架构以及功能模块设计。采用数据融合算法处理电力营销决策信息，解决两传感器置信距离不同的问题，模糊化支持矩阵以减小阈值由于人为设定所存在的决策误差问题，降低各种可能导致融合结果产生决策误差的扰乱因素。实验结果表明，本文方法数据分析准确率和数据转化率较高，且数据测量过程中所消耗的时间较少。     

基于声学指纹的海量MP3文件近似去重方法

在互联网中重复上传他人已经分享的歌曲会消耗网络带宽,浪费存储空间,但目前的重复数据删除方法主要基于文件的二进制特征,无法识别经过信号处理或压缩后的歌曲.针对该问题,提出一种基于声学指纹的海量MP3文件近似去重方法.结合文件消息摘要的确定性与声学指纹的鲁棒性,在采用布隆过滤器对文件消息摘要一次去重的基础上,根据降维后的声学指纹值进行二次近似去重,保证高效的同时提高去重率.实验结果表明,与可变分块检测方法相比,该方法的去重率可提高1倍以上,扩展性较好.     

地平线扫描数据消重去噪系统设计

针对地平线扫描数据的多源异构特点，为了解决所出现的数据重复和数据噪声问题，选择基于可变长度数据分块的重复数据检测方法和基于TF-IDF的噪声数据检测方法，检测和删除重复数据和噪声数据。采用SOA架构的设计思想，使用Java编程语言设计地平线扫描数据消重去噪系统的开发。使用该系统进行数据预处理，能够有效提升高质量数据比例，为后续产业分析、技术识别做好数据层面的支撑。     

基于AHP-BPNN的医疗监控数据信息化管理模式识别

针对传统医疗监控数据信息化管理模式识别过程中，受到医疗监控数据不同分布结构的影响，导致识别效果差、识别时间长、识别准确率低等问题，为此，提出基于AHP-BPNN的医疗监控数据信息化管理模式识别。汇总医疗监控数据，对医疗监控特征数据进行关联挖掘，挖掘后进行降维处理，并采用AHP-BPNN方法分析医疗监控数据的重要程度，确定医疗监控数据信息化管理的优先级，以此完成医疗监控数据的信息化管理模式的识别。实验结果表明，与传统方法相比，所设计的方法识别时间短、识别准确率高、识别效果好。     

基于受限玻尔兹曼机的电力信息系统多源日志综合特征提取

为了充分利用电力信息系统中的异构数据源挖掘出电网中存在的安全威胁, 本文提出了基于受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)的多源日志综合特征提取方法, 首先采用受限玻尔兹曼机神经网络对各类日志信息进行规范化编码, 随后采用对比散度快速学习方法优化网络权值, 利用随机梯度上升法最大化对数似然函数对RBM模型进行训练学习, 通过对规范化编码后的日志信息进行处理, 实现了数据降维并得到融合后的综合特征, 有效解决了日志数据异构性带来的问题. 通过在电力信息系统中搭建大数据威胁预警监测实验环境, 并进行了安全日志综合特征提取及算法验证, 实验结果表明, 本文所提出的基于RBM的多源日志综合特征提取方法能用于聚类分析、异常检测等各类安全分析, 在提取电力信息系统中日志特征时有较高的准确率, 进而提高了网络安全态势预测的速度和预测精度.     

一种基于改进KNN的大数据离群点检测算法

针对KNN算法在大数据离群点检测领域中难以处理高维数据和时间复杂度过高的这2个缺点,提出一种基于AOR(属性重叠率)的分类方法,并对KNN算法进行改进。首先对数据进行基于AOR的降维处理,使得数据可处理维度大大增加,然后对传统的KNN算法进行剪枝改进,减少了大量的无效计算。实验结果表明,本文算法对维度高、容量大的大数据样本在运行效率、准确度等方面有较大的提升。     

结构化Web数据的自动去重方法

针对载有结构化数据的网页特点,提出了一种新的有效字段发现策略,据此设计了一个基于学习的自动去重方法.对样本网页集进行聚类分析并生成每类网页的包装器,识别出包装器中的有效数据字段;对有效数据字段进行映射,通过计算有效数据字段内容的相似度来判断网页是否重复.实验证明该方法对结构化Web数据的去重有很好的召回率和准确率.     

基于特征分组聚类的异常入侵检测系统研究

利用网络连接数据可以按照连接的基本特征、内容特征、网络流量特征和主机流量特征进行分组的特点,基于K-means算法,提出一种按照特征分组进行聚类的方法,以高效实现特征约简和数据降维.通过调整聚类参数保留特征分组内的差异信息,使用决策树C4.5算法对降维后的数据进行入侵分类处理.实验结果表明,该方法能够使kddcup99数据集的聚类特征数由41个降为4个,且对网络连接数据的总检测率为99.73%,误检率为0,其中正常网络连接和刺探攻击Probe的检测率均为100%.     

大数据背景下电力信息系统网络安全的研究

电力信息系统安全性要求比较高,在大数据时代,电力信息系统逐步形成大数据中心,电力信息系统安全防护要求更高。本文首先对电力信息系统的需求分析、总体设计等方面的内容进行分析,以此为基础,对网络信息安全展开研究。在大数据背景下,对网络安全的研究引入海量数据的概念,本文采用Hadoop技术对电力信息系统中的海量数据进行采集和存储,采用MapReduce技术对电力信息系统中海量数据进行检索。从用户身份验证、密钥加密、容灾备份等角度对电力信息系统安全防护措施进行设计。该系统与其他的系统相比,创新点在于:将大数据技术引入到了网络安全的管理中来,通过数据挖掘技术来实现安全预警信息之间的关联关系,可以变"事后处理"为"事前预防",提高安全事件的响应能力,提高网络安全的预防能力。     

基于图嵌入的自适应多视降维方法

随着监控摄像头的普及和数据采集技术的快速发展,多视数据呈现出规模大、维度高和多源异构的特点,使得数据存储空间大、传输慢、算法复杂度高,造成“有数据、难利用”的困境。到目前为止,国内外在多视降维方面的研究还比较少。针对这一问题,本文提出一种基于图嵌入的自适应多视降维方法。该方法在考虑视角内降维后数据重构原始高维数据的基础上,提出自适应学习相似矩阵来探索不同视角之间降维后数据的关联关系,学习各视数据的正交投影矩阵实现多视降维任务。本文在多个数据集上对降维后的多视数据进行了聚类/识别实验验证,实验结果表明基于图嵌入的自适应多视降维方法优于其他降维方法。     

重复图数据收缩清理策略

重复数据的存在对数据管理和使用带来了极大的困扰,图数据能够很好地反应数据与数据之间的联系,是数据发展的趋势。对于重复数据对的检测已经有大量研究,但鲜有研究关注于对检测后数据对的合并清理。由于图数据中数据关联的复杂性,如果随意去掉其中一个数据将会带来数据间关系的混乱,所以,对于图数据中数据的去重问题更为重要。针对以上问题,为了保证图数据之间的关联关系和图的稳定性,研究在检测重复数据后,提出一种适合图数据中重复数据对的整合清理策略。该策略将图收缩性引入清理方法,针对不同的情况采用不同的处理方法,以保证清理后图的关联性和稳定性。     

基于堆稀疏自编码的二叉树集成入侵检测方法

为了解决大规模入侵数据的分类问题,提出了堆稀疏自编码的lightGBM（light gridient boosting model）二叉树算法。首先将类别标签分为五类,构造成二叉树结构;然后通过上采样方法解决数据分布的不平衡问题,以上处理可以将大规模的数据分解开来以便之后分开训练;再采用稀疏自编码器网络进行特征降维,采用该种降维方法可以保证在原始数据中抽取出更深层特征的基础上节省降维时间;最后通过lightGBM集成算法进行分类,而采用lightGBM模型相比其他模型可以在保证分类性能的情况下节省训练时间。实验利用NSL-KDD数据集测量了所提方法的准确率、精确率、召回率,并且综合评价指标◢F▼◣▽1在五类分类上平均分别达到了87.42%、98.20%、91.31%,优于对比算法,且明显节省了运算时间。     

电力信息系统中三维GIS关键技术的应用研究

随着GIS技术的发展和电力信息系统管理需求的不断提高,针对现有二维GIS在电力信息系统应用中的局限,探讨了三维GIS在电力信息系统中的应用,重点讨论了数据组织和空间索引、多源数据的集成与管理、海量三维数据处理技术、组件技术和GIS与MIS的集成开发等关键技术,最后通过对基于卫星三维影像的输电线路综合信息管理系统的应用实例进行分析,得出将电力信息系统与三维GIS结合起来,同时综合管理电力信息系统中涉及到的各种地理数据和属性数据。可实现电力信息系统的可视化与自动化。     

面向云平台的二代测序数据近似去重方法研究

新一代测序因其数据量大、数据处理过程复杂、对计算资源要求高等特点,需要通过云计算进行处理。然而,云计算的处理方式要求先将测序数据上传到云平台中。但由于测序过程的随机性,使得同一样本的两次测序、两个相似样本分别测序后所产生的文件在二进制层面会有较大差别。目前已有的去重方法无法有效识别出这样的“重复”测序文件和测序结果中的“重复”内容。重复上传和存储这些重复数据,不仅消耗网络带宽,而且浪费存储空间。针对现存的重复数据删除方法仅仅基于文件的二进制特征,并未有效利用测序结果数据相似性特点的问题,提出一种面向云平台的海量高通量测序数据近似去重方法NPD（Near Probability Deduplication）。该方法对FastQ中的序列和质量信息,使用SimHash计算分块指纹,采用客户端与云平台双布谷过滤器（Cukoo Filter）对指纹值进行快速存在性检测,最后由云平台使用近似算法对指纹值近似去重。实验结果表明,NPD方法在保证高效的同时,大幅提升了去重率,进而减少了网络流量,缩短了数据上传时间,能够支撑海量数据处理,具有良好的实用价值。     

基于数据挖掘的电力用户行为特征分类研究

当前电力用户行为特征分类方法对于离散数据的处理能力较差，导致客户服务支撑效果依旧较差。针对此问题，设计基于数据挖掘的电力用户行为特征分类方法。使用LOF算法对离散数据与标准数据之间的距离进行测算，对原始电力数据进行处理，使用主元分析法设定电力用户行为数据观测变量，结合决策树技术构建电力用户特征分类模型，完成行为特征分类。实验结果表明，分类结果更精准，平均电网设备故障发生率为4.06%，用户窃电管控率最高达到87.43%，可有效支撑电力营销服务多个领域，用户服务效果较好。     

基于电力大数据的电力用户用电特征识别模型研究

采用目前方法对电力用户用电特征进行识别时,存在识别准确率低、F₁分数低和识别结果易受用电数据分帧长度影响的问题。为此提出基于电力大数据的电力用户用电特征识别模型,利用电力数据采集系统采集用户用电数据,并调节用电数据负荷曲线、数据标准化和数据降维,再利用K-means聚类算法提取预处理后优化用电数据的特征,将用电特征带入支持向量机中,根据分类结果实现电力用户用电特征的识别。实验结果表明,所提方法识别准确率高、F₁分数高、识别结果不受用电数据分帧长度的影响。     

基于动态特征选择的恶意网络行为检测仿真

恶意网络行为检测中易受噪声数据干扰,影响检测效果。为了降低检测错误率,提出一种基于动态特征选择法的恶意网络行为检测方法。构建超融合架构,将网络数据输入到架构中,采用超融合框架中的自编码器对网络数据实行降维处理,运用改进的PCNN模型消除数据中存在的噪声,避免检测过程受到噪声干扰,提升检测准确率。采用动态特征选择法更新网络数据的特征权重值,利用特征加权熵完成特征选择,剔除权重值小于阈值的特征数据,动态选择重要的特征分量,降低检测时间,通过聚类算法识别出恶意行为簇,完成恶意网络行为检测。实验结果表明,所提方法的检测时间短、检测准确率高、检测错误率低,可以有效保证网络运行的安全性。     

基于LDA降维和BP神经网络的手写数字识别

手写数字数据集是机器学习分类领域的优质数据集,文章以反向传播（Back Propagation,BP）神经网络为基础,对手写数字进行分类识别。为减少BP神经网络的计算开支,实验前,对比了过滤卡方检验法、主成分分析（Principal Component Analysis,PCA）降维、线性判别式分析（Linear Discriminant Analysis,LDA）降维以及多维尺度变换（Multidimensional Scaling,MDS）降维对特征选取的训练测试效果,从而确定了神经网络拟合之前的最优特征提取方法。实验中,利用Bagging对BP神经网络进行集成处理,分类识别了手写数字。实验后,将文中方法与朴素贝叶斯、决策树、随机森林、LDA多分类进行对比。结果表明,采取LDA降维方法时,降到9维的特征提取方式最优,单个BP神经网络对手写数字数据识别的准确率为92%左右,而基于Bagging集成的BP神经网络在识别准确率方面高达95%。     

一种高维数据类模板的设计方法与应用

本文构建了一种新的高维数据类模板。高维数据类模板是一个通用数据类型，其中封装了高维数据的数据结构和基本降维算法，能灵活描述和处理多种类型的高维数据对象，克服了传统方法的局限，具有可维护、可移植和可扩充性的特点。本文给出了定义高维数据类模板的部分C^＋＋源代码及一个应用实例。     

基于NLP技术实现停电原因智能分析的方法

针对用电网络中出现的各种电力不稳定现象,如何快速、高效地发现电力网络中停电问题,成为提升电网质量急需解决的关键问题.提出了基于NLP技术分析停电原因的方法,该方法通过将NLP技术与互联网技术和大数据处理技术相结合的形式,实现电力、电网停电数据的智能处理.该系统包括电力设备检测层,数据存储层、数据分析层和数据运用层,在工作过程中,通过数据检测层将检测数据初步处理后存入相应数据库,之后经过降维与分析出便于用户处理、使用的数据,最后通过数据应用层按照根据用户需求自适应调用,进而实现了自然语言的高维度电力数据分析.通过试验分析,与传统的停电原因分析方法相比,本研究设计的方案分析误差数据小,具有较好的实用价值,为下一步电网安全工作提供了理论依据.