综合智能电力系统动态监视平台及其应用

提出基于虚拟中心数据库的多数据源综合智能电力系统动态监视平台,该平台基于虚拟中心库实现不同应用系统的界面统一和数据共享,而不需对数据进行大量的转移和复制;采用考虑电力系统数据特点的高效无损数据压缩技术,提高平台对海量数据的实时存储和处理能力.并以该平台为基础开发基于PMU动态测量数据的各种电力系统监视和分析应用功能,主...     

海量数据干扰下冗余数据高性能消除方法

针对海量数据处理过程中大量相似特征会给数据分类造成冗余干扰,在分类中心确定时出现多次校验、重复等弊端,提出一种海量数据干扰下冗余数据高性能消除方法.采用主动采样方法提取海量数据干扰下冗余数据特征,并对其进行分类.引入均值漂移传递函数对冗余数据进行分类处理,获取冗余数据活跃程度,实现冗余数据的高性能消除.结果表明,相比传统的消除方法,高效消除方法性能良好,所需时间短,具有一定的优越性.     

基于MongoDB的海量电能质量数据存储方案设计与实现

在研究非关系型数据库Mongo DB的基础上,设计实现了基于Mongo DB的海量电能质量数据存储方案,并与基于关系型数据库的存储方案进行了性能比较测试。测试结果表明:该存储方案具有更好的数据存储和查询性能,可为海量电能质量数据的存储与处理提供借鉴。     

基于数据增广的CNN用于地震数据重建

由于环境和经济约束,实际采集的地震资料往往呈现不规则分布,影响了后续地震数据的处理和解释.基于卷积神经网络(Convolutional Neural Network,CNN)的地震数据重建方法近年来引起广泛关注.该方法无需任何先验假设,从海量训练数据集中自动学习缺失数据到完整数据的映射,取得了良好的重建效果.然而,网络...     

海量地层数据管理与可视化实现

国内外对海量地形数据的研究比较深入,但对具有一般意义的海量地层数据研究较少.针对油气田勘探、开发领域的数据特点,建立海量地层数据组织和管理的一种途径,为大规模的三维地质建模、实时显示作数据准备.基于数据分区、八叉树索引、访问预测等相关技术,实现海量数据的快速访问、快速检索、空间算法等.     

基于IDL的复杂环境数据处理方法及应用研究

IDL是第四代面向对象的可视化数据分析语言,它完全面向矩阵进行计算,克服了传统软件基于像素处理数据比较慢的缺点,加快了数据处理速度,在卫星数据的同步处理方面以及海量遥感影像的实时处理、分析及应用中有着很大优势.     

云环境下多源数据资源发现机制的构建研究

云计算的出现带来了图书馆和数据中心信息化建设的突破性发展,其在处理多源异构数据方面具有独特的优势,有利于海量信息资源的发现和整合.通过分析数字化图书馆和数据中心建设在云计算环境下的发展、优势和挑战,探讨了云环境下海量多源异构数据的计算和存储,以及多源数据资源的发现机制和资源整合.     

基于分布式云数据中心的城乡规划大数据集成处理平台

基于分布式云数据中心,结合Hadoop架构,构建了城乡规划大数据集成处理平台,为海量多源的城乡规划大数据提供可扩展、连续的处理支持,满足其多样化、动态化的应用需求。以多源异构的城市POI及二手房数据为例,进行融合处理与存储测试。研究结果表明:系统能够在较短时间内处理多源海量数据,为用户请求提供完整而不冗余的信息。     

供应链中本体驱动的分布式信息处理

针对供应链环境下制造企业基于海量感知数据的业务处理存在语义异构,同时难以进行集成和高效应用的难题,提出一种本体驱动的分布式信息处理方法.构建基于海量感知数据的供应链事件本体,完善定义和表达企业业务处理粒度,通过本体映射实现异构信息源到统一描述事实组的转换.定义并构建基于事件本体的语义规则语言（SWRL）处理规则,实现企业决策应用.提出一种规则分解和事实分发策略,采用基于MapReduce和Rete算法相结合的分布式处理架构,实现大规模数据的高效处理.通过企业实例对比分析,结果表明,以推理结果准确性和处理效率为指标,验证了该方法的可行性.     

网络科学的发展新动力:大数据与众包

大数据时代的来临给网络科学带来了新的发展机遇,但如何处理海量数据也成为网络科学领域面临的严峻挑战.与大数据时代同时到来的,是近年来兴起的众包项目模式.公开竞赛和数据公开等众包形式,已成为解决数据领域问题非常流行的方法.该文概述了海量数据和众包模式在多个方面对网络科学发展的促进作用,并详细介绍了2013年首届阿里数据平台创新大赛的竞赛流程和本团队的获奖成果.在众包模式的驱动下,人们期待以大数据处理为中心的数据科学和网络科学相辅相成、共同发展.     

基于层级设计的输变电工程数据存储架构

针对输变电工程数据来源多样、类型复杂、数据量大导致数据存储压力大的问题,提出了一种基于层级设计的输变电工程数据存储架构.将输变电工程数据划分为结构化数据和非结构化数据,使用不同的存储方式以优化配置存储资源;使用基于遗传算法的数据迁移方法实现海量数据的迁移,使用不同配置的数据存储中心进行仿真与测试.结果表明,所提出的存储架构和数据迁移方法能有效解决海量输变电工程数据存储的问题,提升输变电工程数据存储系统的性能.     

WebGIS中的矢量数据压缩

WebGIS在传输GIS中的海量数据时由于Internet带宽的限制有很大的缺陷,因此海量数据的传输是目前WebGIS亟待解决的一个问题.本文介绍了目前WebGIS中为解决传输速度问题所应用的几种矢量数据压缩方法,然后对这些算法进行了比较分析.     

基于窗口滑动总体最小二乘法的输电线路参数辨识

输电线路参数的准确度与电力系统稳定运行密切相关,而广域测量系统的发展为利用PMU实测数据获取线路参数提供了新的途径.提出基于滑动窗口总体最小二乘的线路参数辨识算法,该方法对PMU数据采取窗口滑动处理,将目标函数变为窗口误差平方和最小,因而抗噪声能力较强;同时,对于大量辨识结果的可信度分别进行核密度估计和点估计,以获取参数辨识值的统计结果.仿真分析表明,该方法与单时刻辨识相比在含噪声环境下仍然能够保持较高的准确性与稳定性.某电网500kV线路实测PMU数据计算结果也验证了该方法的有效性和准确性.     

大数据技术在生态环境保护中的价值

大数据技术在大数据发展战略提出后,被广泛的应用到了各个行业领域中,并且取得了较为显著的成果.将大数据技术应用到生态环境保护中,能够在短时境内实现对于大量乃至海量数据信息的收集和处理,为环境保护工作提供相应的数据支持,确保生态环境保护决策的合理性和有效性.本文从大数据技术在生态环境保护中的价值出发,就大数据技术在生态环境...     

WebGIS中的矢量数据压缩

WebGIS在传输GIS中的海量数据时由于Internet带宽的限制有很大的缺陷,因此海量数据的传输是目前WebGIS亟待解决的一个问题.本文介绍了目前WebGIS中为解决传输速度问题所应用的几种矢量数据压缩方法,然后对这些算法进行了比较分析.     

大型数据中心海量数据存储解决方案的设计

作者分析了大型数据中心对海量数据存储的要求 ,根据海量数据存储遵循性能优化的原则 ,提出了一整套完备可行的数据存储管理解决方案 ,包括数据的备份与恢复、数据归档、数据迁移与分级数据管理、数据资料的迁移和回迁方法以及SAN文件共享     

基于扁平N叉树搜索的RFID防冲突算法

防冲突技术是无线射频识别(RFID)系统中的关键技术. 针对二进制搜索防冲突算法读取海量数据标签效率低的问题,通过分析标签数量为海量数据的特征以及标签编码的规律性,基于管理系统中海量数据标签的编码规律和现有二进制搜索算法思想,提出了适合于读取海量数据RFID标签的扁平N叉树搜索防冲突算法. 测试结果表明,该算法在标签总数大于一定数值时,其读取标签效率优于二进制搜索算法.     

基于多维数据库的海量零售数据处理系统设计与实现

在大数据时代,零售数据的商业价值日益凸显.介绍了一种海量零售数据的处理模式,设计并实现了包含文件匹配、快速加载、多维数据库分析等在内的处理系统.该系统能够每秒导入百万级的数据,并利用多维数据库的优势对海量数据进行高效处理,快速作出分析预测.     

海量数据管理平台统一接入访问工具的设计与实现

简要介绍了实时数据库的特点及数据在实时库中的存储结构,利用关系数据库和实时数据库的核心技术,实现了海量数据管理平台对准实时数据的统一接入、存储、共享及访问;着重介绍了3种海量数据接入方式的设计与实现,并分析了各种数据接入方式的适用范围.     

基于ArcGIS Server的遥感卫星数据检索系统技术研究与实现

随着我国遥感卫星技术的发展,遥感卫星数据量和用户量呈几何级数增长.因此,针对海量遥感卫星数据高效检索技术的研究,成为遥感卫星数据分发系统的主要研究内容.针对遥感卫星数据的重要特点——空间信息,提出了基于ArcGIS Server的管理和发布方法,并在此基础上设计了检索系统的主要功能,为面向互联网的海量遥感卫星数据的高效检索系统的建设提供了思路.