基于大数据的水资源管理系统设计与研究

针对现有水资源管理方式存在的数据孤岛、数据质量低、利用率不高等问题和互联网+的时代要求,基于大数据、云计算等技术,设计和实现了一个水资源管理系统.通过从异构的数据源采集各类水资源数据,在大数据中心进行数据的清洗、转换、整合、分析和统计,然后利用柱状图、折线图等多种图形从不同的维度对水资源数据进行可视化展示,并通过五大系...     

基于SDO的异构数据集成研究与应用

为解决现存的异构数据集成解决方案中对异构数据处理没有统一的标准、硬编码多、集成系统扩展性差等问题,提出了基于SDO规范的异构数据集成方案。设计实现了一个统一的数据访问界面;利用数据访问服务封装了各种异构数据源,并将结果以同一种格式暴露给集成系统．实现了对数据源中数据访问、操作方式的统一;在查询分解方面,给出了基于数据源配置文件的查询分解方法,集成系统根据配置文件就可以与相应的数据源取得连接,而且只要修改相应的配置文件,就可以实现数据源的灵活修改;最后将该方案在基于WEB的PLM系统中进行了应用,验证了方案的可行性。实现结果表明该方案开发量小、扩展性好、效率高,能够很好地满足企业异构数据集成的需要。     

基于大数据技术构建输变电设备状态监测数据模型研究

在输变电设备运行数据的监测和采集过程中,由于系统建设的阶段性、技术性、资金等因素影响,导致电力企业在系统建设过程中积累了大量采用不同方式存储的电网设备运行实时数据,包括设备运行数据、环境数据、气象数据等。从简单的文件数据库到复杂的网络数据库,构成电力企业的异构数据源。这些异构数据由于数据模型、存储方式和传输协议存在差异,导致信息共享困难,严重影响输变电设备运行监测数据的分析和应用。在此背景下,利用大数据存储技术,攻克异构数据源之间数据共享和业务协同的技术难点,为输变电设备评价、状态评价和运维决策等应用提供数据支撑,提升设备状态管理信息化水平,强化电网运行的可靠性和安全性。     

XML数据集成平台的研究与应用

为了提供访问异构数据源的统一接口,使开发人员不必考虑数据模型的异构性、数据抽取,数据合成等问题,设计了一个基于XML技术的数据集成平台,采用XML作为数据模型以统一的方式查询异构数据源,并将其应用到了防讯决策支持系统的开发中.实验结果表明,用XML作为数据集成模型和XQuery处理技术相结合可有效的解决数据源的差异性问题,提高集成平台的可扩展性.     

基于大数据的知识产权侵权检测

为实现高效、准确的知识产权侵权检测,本文研究大数据驱动的多模态异构信息综合分析方法。通过分布式爬虫、API采集等手段获取海量多源数据;针对文本、图像、音频等数据类型分别采用NLP、CNN等方法进行特征提取,并构建知识图谱表示数据之间的关系;构建云原生深度学习模型,实现对多模态特征的端到端训练与融合。系统支持异构数据的采集、表示、建模与分析,并可方便集成到移动端和Web应用中。结果表明,准确率达90%以上,高于单一数据源和模型方法。本研究为构建高效的知识产权保护系统提供了有益参考。     

基于多数据融合的配电网电力运行数据可视化监测系统

配电网电力运行数据是配电网运行状态的直观体现,为了给配电网故障维修以及科学规划提供直观的参考数据,基于多数据融合优化设计配电网电力运行数据可视化监测系统。构建配电网结构模型,设置监测点;改装系统中的电力运行数据采集器装置,提高数据采集抗干扰性;在数据处理器的支持下利用多数据融合技术处理多源异构数据;设置负载率、线损、线损率等监测指标,根据实时采集数据确定监测指标的具体取值,以可视化的形式输出监测结果。通过系统测试得出结论：设计监测系统能够成功输出可视化监测结果,且电压、电流、电能和三相电压平衡度的平均监测误差分别为0.1 kV、0.014 kA、0.04 kWh和0.012,满足预设要求。     

时序数据集成的同步机制研究

针对时序数据的分布异构数据源的协同方式,基于网格技术提出了一种异构时序数据的同步协同模式。给出了异构时序数据的同步集成及应用的具体模式、过程和实现算法,提高了时序数据的同步异构集成的处理效率,保证了时序数据的一致性和完整性。通过在监测系统中的应用实现,验证了方法的有效性。     

基于XQuery处理器的异构数据集成中间件

利用中间件方式进行异构数据集成是异构数据集成研究的热点.针对目前中间件方式处理关系数据库数据与XML数据集成在查询易用性以及效率的不足,基于各数据源的数据格式以及存储方式,把异构数据源分成关系数据库数据源,XML数据源和非结构化数据源三类,对每一类用XML模式处理,构建虚拟视图,使待集成的异构数据源构建成一个逻辑数据库...     

基于快速绘制原则的三维模型数据源集成框架

异构数据源集成是建立复杂三维可视化系统的关键功能模块,在比较现有数据源集成方式的基础上,综合分析了典型三维模型数据源的数据类型、组织方式,存取方式等特点;在直接数据访问(DDA)的方式下,针对异构模型数据源各自特定的属性和拓扑关系以及逻辑组织制定了快速绘制原则,提出了一种符合数据交换原则的统一数据模型规范CUDM,规范了数据的表达与组织结构,为数据互操作提供了接口;在CUDM基础上,分析了异构数据源集成模块的功能和架构,搭建了三维模型数据源集成系统框架,并在实际应用中取得了预期效果.     

面向混合数据源的企业数据库私有云设计

针对混合数据源的采集、集成和应用问题,提出一种面向混合数据源的数据库私有云设计,针对混合数据源的不同结构化程度,将数据源分成结构化、半结构化和非结构化;针对混合数据源不同的不同时序特点,数据库私有云设计定时采集和实时采集两种采集方式;为了提高混合数据源的存取效率,数据库私有云将非结构化和半结构化数据存储在分布式文件系统...     

基于Java3D网络大数据多分辨率采集方法仿真

针对传统的网络大数据多分辨率采集方法通常存在采集成本高、完成时间较长、采集准确率较低等问题,提出基于Java3D的大数据网络多分辨率采集方法。通过对基于Java3D网络的大数据多分辨率进行时间序列的空间重构,求出多分辨率时间序列的自相关函数,并引入平均互动数据提取方法对网络数据多分辨率采集的功率谱密度进行估计,采用ADASYN算法,对无效多分辨率数据进行去除,实现大数据多分辨率精准采集。实验结果表明,所提方法采集成本较低、完成时间较短、采集准确率较高;具有一定的实用价值,可广泛应用于各个领域。     

基于大数据的电力客户行为分析体系研究及实践

随着我国电力市场的发展,供电企业紧跟数字化发展步伐加快信息系统建设,各业务系统在运行过程中积累了海量信息数据资源,利用这些数据资源进行数字化分析已经渐渐成为供电企业的重点工作。在供电企业不断地拓展分析范围,优化分析方法的过程中,大量的数据资产被盘活,巨大企业价值与社会价值逐渐显现。大数据技术的使用可体现在电力系统运行的各种环节,为电力信息的商业化利用提供有力支撑。基于大数据技术的电力客户用电行为分析能提高电力系统的运行效率,为供电企业的实际运行提供决策依据。文章分析了国内、外电力行业大数据应用的进程及现状,根据不同类型客户的用电行为建立了基于大数据技术电力客户行为分析体系,对大数据技术的实践情况进行探究,实现电力客户用电行为的深度分析,为客户提供更优质的服务体验。     

便携式数据采集控制系统的设计与实现

利用传感器无线数据采集卡监测突发灾害,需要主控设备及时做出回应监测相应数据;传统的数据采集控制设备占用空间大、传输速率慢,可移动性差;通过分析这些缺点,设计了一种基于WiFi无线网络技术的便携式的无线数据采集控制系统;整个系统包括数据采集单元、数据传输单元和数据控制单元3大部分;该数据采集控制系统能够在WiFi网络覆盖区域内,以手持Android小型终端为控制终端,以无线网络为传输通道,实时控制数据采集卡,并读取采集数据,即时数据可帮助用户更加可靠地分析实际情况,具有实际应用价值。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

基于大数据的发电量预测分析数据平台建设

现有电力企业发电指标统计渠道较分散,发售配电各个环节产生的数据种类繁杂且体量较大,因此针对电力数据质量差、已挖掘价值低的问题,本文采用大数据预测神经网络和数据平台可视化展示的方法,以某发电企业为研究对象,构建了发电量预测的模型及以此为核心的数据平台。发电量预测的应用服务支持PC和APP端,涵盖了某电力企业所有控股电厂及新能源项目,以滚动预测的模式迭代优化算法模型,提高发电量预测精度,有利于安排生产、燃料采购、物资计划,进一步做好污染物排放预测和管控。平台重点实现了数据多维管理和用户界面的可视化展示。数据层面,从源头做好数据采集清洗和数据库实时数据交互;用户层面,更直观形象展示大数据预测从获取数据、数据分析及预处理、数据训练到预测的四个阶段。     

面向智慧电网大数据的云计算框架研究及应用

随着电网覆盖范围不断扩大,并网数据已呈指数型增长,使得数据处理与分析缓慢且成本高。针对海量化、多类型电网大数据,探究了电网大数据与云计算二者之间的关系,基于Hadoop系统建立了电网大数据云计算可执行框架,并根据云计算框架设计了智慧电网多能源电力调度系统结构框架和功能与界面,实现云计算框架在智慧电网上的应用。     

电力大数据在配电网规划中的应用及效果

当前配电网规划中存在的规划存在不合理、数据处理效果不佳、系统故障诊断效率偏低等问题,为提高配电网规划水平,本文结合大数据在电力系统应用的时代背景,提出电力大数据在配电网规划中的应用对策,并分析电力大数据在配电网规划中的应用效果。电力大数据在配电网规划中的应用具有重要意义,能够实现对配电数据的精准处理,对电网状态进行准确评估,同时也为配电网结构优化提供技术支持。具体应用过程中,应该在主动配电网数据调度、主动配电网数据规划管理、配电网电压数据规划管理中运用电力大数据,并把握技术要点,合理进行配电网规划。实际应用表明,电力大数据满足配电网规划需要,能够提高配电系统数据信息处理效果和系统故障诊断效率。     

面向电力大数据的云审计研究与应用

随着电网数字化转型的深入开展,电力大数据时代悄然而至,也为电网企业的内部审计带来了挑战,大数据等新技术的推广应用为革新审计模式开拓了新的思路。在此背景下,基于信息融合技术和数据挖掘技术,本文搭建了具备“开放、融合、动态、智能”特点的面向电力大数据的云审计平台,实现电网全业务领域审计数据资源共享。借助该平台,审计人员可以及时、准确地获取数字化审计需要的全业务数据,实现跨系统、跨业务数据分析,并可通过自主搭建审计分析模型,捕获疑点,筛查线索。通过配网项目全过程监督评价模型实践应用,充分验证了云审计可以有效提升审计效率和质量,对防范和化解电网企业经营管理风险起到了积极的促进作用。     

EAST电源数据采集控制系统的设计与实现

随着EAST装置不断升级,现有的电源数据采集及其控制系统已不能满足等离子体长时间放电要求,需设计新型EAST电源数据采集控制系统.该控制系统采用LAMP架构,对采集参数管理加入多种安全验证,实现了数据采集系统的远程启动、实时监测、异常检测、故障恢复和日志管理,解决了原有系统移植性差和安全性弱等问题;此外通过对实验数据进行有效性分析,并对有效实验数据的关键参数进行统计,实现了基于数据内容的检索.实验结果表明,该系统能够稳定运行,可有效降低人为故障,缩短异常处理时间,具备良好的扩展性和移植性,对EAST其他子装置的数据采集及其控制系统的升级有很好的参考价值.     

面向开放大数据环境的动态数据保护系统

大数据成为国家基础性战略资源,数据的开放共享是我国大数据战略的核心.云原生技术和湖仓一体架构正在重构大数据基础设施,并推动数据共享和价值传播.大数据产业和技术的发展都需要更强的数据安全和数据共享能力.然而,开放环境下数据的安全问题已成为制约大数据技术发展与利用的瓶颈.无论开源大数据生态还是商业大数据系统,所引发的数据安全及隐私保护问题都日益凸显.开放大数据环境下的动态数据保护系统面临着数据可用性、处理高效性和系统可扩展性等方面的挑战.提出了面向开放大数据环境的动态数据保护系统BDMasker,通过一种基于查询依赖模型(querydependencymodel)的精准查询分析及查询改写技术,能够精准感知但不改变原始业务请求,实现动态脱敏全过程对业务零影响;通过面向多引擎的统一安全策略框架,实现了动态数据保护能力的纵向扩展和在多种计算引擎中的横向扩展;利用大数据执行引擎的分布式计算能力,提升系统的数据保护处理性能.实验结果表明, BDMasker提出的精准SQL分析及改写技术是有效的,系统具有良好的扩展能力和性能表现,在TPC-DS和YCSB基准测试中,整体性能波动在3%之内.