面向输变电工程数据存储管理的分布式数据存储架构

针对输变电工程数据的多源、异构、迭代更新和集成应用导致需要巨大存储空间且不利于数据挖掘分析的问题,提出了一种面向输变电工程数据存储管理的分布式数据存储架构.该架构基于元数据模型对输变电工程的工程地理信息、三维设计模型和文档资料三类数据进行细化,并根据不同数据存储模式的不同,设计了一种分布式存储架构分别处理各种数据.系统实现与仿真实验结果表明,所提出的分布式存储架构在保证存储效率及数据完整性的同时,也能保证数据的安全.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题,提出了一种基于非关系型（NoSQL：NotonlySQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表,通过C#语言编写测试程序,与SQLServer在地学大数据的存储、查询等方面进行了性能对比。结果表明,与传统关系型数据库相比,NoSQL数据库的增、删和查询耗时明显降低,尤其是针对海量的非结构化、半结构化数据,其性能优势更加明显。     

大型数据中心海量数据存储解决方案的设计

作者分析了大型数据中心对海量数据存储的要求 ,根据海量数据存储遵循性能优化的原则 ,提出了一整套完备可行的数据存储管理解决方案 ,包括数据的备份与恢复、数据归档、数据迁移与分级数据管理、数据资料的迁移和回迁方法以及SAN文件共享     

基于HBase的输电线路综合数据存储方案设计

输电线路综合数据具有复杂性、体量巨大及多源异构等特点。针对当前关系数据库对于视频图像、图片等非结构化数据处理能力不足的问题,结合大数据的相关理论,提出基于Hadoop和HBase的输电线路综合数据的存储方案,将结构化数据和非结构化数据均转化为Bytes数组存入HBase数据库,并阐明具体的存储原理和工作方式,有效地解决了原有数据信息共享性差、非结构化数据难以存储等难题,弥补了关系数据库的不足,为大数据时代下智能电网的信息化建设提供思路。     

非结构化表格文档数据抽取与组织模型研究

针对现有文档数据抽取方法无法抽取多值属性且灵活性不高的问题,提出了一种面向非结构化表格文档的数据抽取方法与组织模型.在分析文档结构特征和数据流特征的基础上,定义了数据流生成基本规则,给出了一个基于规则的数据抽取流程,包括逻辑结构抽取、文档预处理、数据抽取和数据组织等主要步骤,设计实现了单值区域与多值区域数据抽取算法;从文档中抽取的数据被组织成适合于MapReduce分析的结构化数据模型,该模型能够为大数据分析提供模型支持.实验结果表明：该抽取方法具有较高的准确率与召回率,数据组织模型也能够有效地支持大数据分析.     

基于MongoDB的海量遥感影像大数据存储

随着科技的发展,遥感影像照片在质量及数量上急剧增加,如何安全并高效地将其存储已成为当前研究的一个热点问题.应用NoSQl非关系型数据库,提出一种基于MongoDB的遥感影像大数据的存储方法.用基于GridFS的大文件存储方式存储影像,再将其有关的属性信息以一条文档的形式插入MongoDB数据库,两者之间用相同的ID编号连接.通过与关系型数据库PostgreSQL在大文件以及传统海量文档存储方面进行性能测试比较,结果表明基于MongoDB的海量遥感影像大数据存储方法在各方面性能均明显优于基于关系型数据库的存储方法.     

面向大数据的非结构化数据安全保障技术研究

针对大数据的非结构化数据安全问题,基于数据类型和数据敏感度级别,提出了一种保障非结构化数据安全的方法.首先,通过数据分析获取所需数据类型和敏感度级别,并构建数据库的数据节点.其次,为数据节点提供安全算法,这些安全算法与数据节点交互形成安全套件.再次,通过接口的调度算法为非结构化数据提供足够的安全性,以及降低系统的开销和提高访问效率.最后,通过实验表明该方法在能够充分地保障大数据安全的前提下,系统的时间开销不超过传统方法的52.85%.     

Hadoop构建的银行海量数据存储系统研究

针对目前国内银行的OLAP(Online Analytical Processing)技术滞后于海量数据处理需求的情况,研究了海量数据存储、处理的关键技术,设计并实现了用Hadoop平台和关系型数据库架构的银行海量数据处理系统.介绍了系统架构、文件存储层次设计、数据迁移方案、任务调度算法等关键技术的实现.通过实验验证,系统能够实现数据的高可靠性与数据的高可用性目标,既能满足业务数据实时处理的需求,也能满足海量数据统计分析的需求.     

一种海量大数据云存储系统框架设计

随着数据爆炸性增长,传统的存储方式已经不再满足海量数据的存储需求,云存储技术的飞速发展,使得云存储成为了一种新型的数据存储解决方案。文章在分析Hadoop分布式文件系统HDFS的基础上,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。     

基于XML的Web数据抽取方法的研究

针对Web挖掘中Web数据的抽取问题，设计了一种基于XML的Web数据抽取方法。由于Web数据的最大特点是半结构化，所以采用XML(半结构化的数据模型)来解决传统的关系数据库不适合Web数据存储的问题，从而将XML的档描述与关系数据库中的属性一一对应起来，实施精确地查询与模型抽取。由于Web数据的大量信息都与抽取无关，所以利用XSL过滤掉XML的无关数据，并进行实时抽取，最后将合并结果保存到XML档中。实验结果表明，此方法可以很好地解决Web数据的抽取和存储问题。     

“多站融合”背景下边缘数据中心运行优化研究

随着泛在电力物联网的发展，传统通信技术与计算平台已逐渐无法适应庞大的数据传输与计算规模，5G通信技术与边缘计算将成为支撑泛在电力物联网建设的中坚力量。“多站融合”模式的提出为边缘数据中心的运营提供了新的方向，多站一体化运行方法有待深入研究。针对边缘数据中心的数据迁移方法以及“多站融合”模式下各功能站协同优化问题，文章设计了涵盖数据中心、储能电站等功能站的融合站运行架构，构建了数据中心负荷模型、储能电站数学模型，并基于混合整数非线性规划方法，建立了以最小化年总成本为目标的融合站协同优化与数据迁移调度模型。通过模型的优化求解，确定了最佳数据迁移调度策略与储能电站最优运行方案。利用案例分别对数据迁移策略与储能电站的作用进行仿真分析，通过计算，采用数据迁移策略后，典型日运行成本降低了2.38%，年总成本降低了1.36%；发挥储能电站削峰填谷作用后，典型日运行成本进一步降低了8.34%，年总成本进一步降低了4.67%。结果表明，在满足时延约束情况下将数据负荷按一定策略进行分配可以实现各边缘数据中心互补调度，达到降低运行成本的效果，结合分时电价政策，利用储能电站参与日常电力调度，可以进一步将峰时负荷转移至谷时，从而显著降低运行成本。     

基于机会约束的考虑N-1安全约束的储能优化配置方法

为了解决公共储能在含高比例可再生能源输电网中选址定容的问题,提出了一种基于机会约束的虑及N-1安全约束的公共储能规划方法,用于计算公共储能的安装地点、额定容量和功率配置,在确保输电网安全运行的前提下,提升输电网的经济效益和新能源消纳比例。该方法综合考虑常规电厂、可再生能源电站和储能投资者三方利益,以输电网发电成本、弃风光惩罚最小和储能收益最大为目标函数,在考虑常规发电机组开、停状态和出力约束的同时考虑储能的充、放电状态及充、放电功率约束,在考虑输电网正常状态下安全约束的同时考虑输电网N-1状态下的安全约束。针对发输电可靠性测试系统IEEE RTS-96建立了仿真算例,以典型日负荷、风电和光伏预测出力数据作为依据,利用改进广义Benders分解法进行求解,并使用灵敏度分析法对优化结果进行对比分析,分析结果表明,所得储能优化方案可有效消除N-1故障时的支路潮流越限,能够保证输电网N-1状态下的安全运行,相较于不考虑N-1网络安全约束,本文方法所得优化结果虽然经济性略有降低,但是在线机组最大容量、负载率均衡度等安全指标均得到明显提高,提升了储能整合后输电网运行的安全性。所得储能规划方案实现了确保输电网N-1安全性的经济性最优,可用于指导对安全性要求较高的储能规划,具有一定的工程实用价值。     

源网荷全景同步测量系统分布式主站的设计与实现

源网荷全景同步测量系统（Full-View Synchronized Measurement System ,SYMS）实现了对高比例电力电子化的新型电力系统的全方位实时检测。SYMS 主站作为测量数据的接收与分析平台，其数据处理能力对保障SYMS稳定运行与应用效果具有重要意义。然而，由于数据类型多、装置数量激增、数据分析过程复杂，集中式架构的主站难以保证同步相量数据处理的实时性与可靠性。因此，本文提出一种适用于SYMS系统的分布式主站设计方法，并进行了实现。首先，该方法分析了SYMS不同测量装置的通信方式，提出并建立了基于开源相量数据集中器（Open Source Phasor Data Concentrator, OpenPDC）的多源异类数据适配器，并设计实现了基于HAProxy的主站前置服务器的负载均衡集群；其次，针对主站数据在线分析延时高的问题，设计并开发了基于流处理框架的Storm适配多语言、多时间窗算法的分布式计算方式，进一步搭建了包含前置数据平台与在线应用平台的SYMS分布式主站；实际系统测试结果表明，与集中式架构相比，所提架构在实际运行中可有效均衡负载，利用分布式方式提高运算速度，针对多类型实时测量数据具有更强的并发处理能力与更短的处理延时，并有效监测系统的异常状态。可为新型电力系统特性分析、建模、闭环控制等应用提供数据基础与应用平台。     

基于DBSCAN聚类的电力工程数据完整性分析

针对电力工程数据完整性分析困难的问题,提出了一种基于DBSCAN聚类算法的电力工程完整性分析方法.该分析方法包括数据获取、数据预处理、特征提取和聚类分析4个步骤,能从大规模电力工程数据中快速找出所缺失的数据,并对其进行形态分析.对电能表与智能终端数据缺失数量和数据缺失同步性进行多角度分析的结果表明,所提出的方法可以有效分析电力工程数据的完整性及其缺失的形态分布,对于提高电力工程数据的完整性及分析用户的用电情况均具有较好的参考价值.     

四元数空间M-集与J-集的可视化及高维数据转换的应用探讨

讨论四元数空间M-集与J-集的可视化问题；利用数字图象的0-l序列与复平面上点的对应，针对数字图象编码问题，研究了一种基于复数基的数字转换方式；理论上说，这种数据转换方式有助于数据的安全存储与传输。此外，本文建议一种采用四元数J-集作为隐秘载体的数据隐藏新途径。     

一种高度并行的卷积神经网络加速器设计方法

为实现卷积神经网络数据的高度并行传输与计算,生成高效的硬件加速器设计方案,提出了一种基于数据对齐并行处理、多卷积核并行计算的硬件架构设计和探索方法. 该方法首先根据输入图像尺寸对数据进行对齐预处理,实现数据层面的高度并行传输与计算,以提高加速器的数据传输和计算速度,并适应多种尺寸的输入图像;采用多卷积核并行计算方法,使不同的卷积核可同时对输入图片进行卷积,以实现卷积核层面的并行计算;基于该方法建立硬件资源与性能的数学模型,通过数值求解,获得性能与资源协同优化的高效卷积神经网络硬件架构方案. 实验结果表明: 所提出的方法,在Xilinx Zynq XC7Z045上实现的基于16位定点数的SSD网络(single shot multibox detector network)模型在175 MHz的时钟频率下,吞吐量可以达到44.59帧/s,整板功耗为9.72 W,能效为31.54 GOP/(s·W);与实现同一网络的中央处理器(CPU)和图形处理器(GPU)相比,功耗分别降低85.1%与93.9%;与现有的其他卷积神经网络硬件加速器设计相比,能效提升20%~60%,更适用于低功耗嵌入式应用场合.     

基于区块链的车联网数据安全共享方案

针对传统车联网（IoV）数据易被篡改、访问控制不够灵活的问题,提出基于区块链和带权密文策略属性基加密的车联网数据安全共享方案. 该方案由路侧单元共同维护区块的生成、验证和存储,实现分布式数据存储,保证数据不可篡改;基于属性对链上数据进行访问控制,保证只有授权的访问者才能访问数据内容;针对车联网场景下多实体、多角色的数据共享需求,通过挖掘车联网数据访问角色间属性权限的关联关系,构造基于多属性的层级访问策略制定方法,简化访问控制策略的复杂度. 实验分析表明,该方案能够实现对车联网数据的安全存储与灵活访问控制,所构建的层级访问策略制定方法能够有效降低车辆的计算和传输开销,满足车联网场景下多实体、多角色的访问需求.     

基于SVR的电能质量数据压缩算法

针对电力系统日益突出的海量数据流量的传输和存储问题,提出二维小波与支持向量回归结合算法用于电能质量数据压缩.利用小波变换把二维电能质量图像分解到不同尺度的子空间,对得到的不同方向的小波系数采用不同的数据组织方式.高频子空间系数采用可控制压缩比的ν支持向量回归(ν-SVR)学习系数间的相关性,用稀疏的支持向量表示原始数据,可以达到去冗余和数据压缩的效果.仿真实验利用不同的电能质量事件测试样本,对本文算法与传统支持向量机以及小波阈值法的压缩性能进行测试,结果表明,本文算法的压缩性能相比有了一定的进步.