云计算环境下支持复杂查询的多维数据索引机制

针对云计算环境下分布式存储系统的数据索引不支持复杂查询的问题,提出了一种多维数据索引机制M-Index,采用金字塔技术(pyramid-technique)将数据的多维元数据描述成一维索引,在此基础上首次提出前缀二叉树(prefix binary tree,PBT)的概念,通过提取一维索引和PBT有效节点的前缀作为数据在存储系统中的主键.数据根据主键和一致性Hash机制发布到存储节点组成的覆盖网络.设计了基于M-Index的数据查询算法,将复杂查询请求转换成一维查询键值,有效支持多维查询和区间查询等复杂查询模式.理论分析和实验表明,M-Index在复杂查询模式下具有良好的查询效率和负载均衡.     

面向复杂网络存储系统的元胞自动机动力学分析方法

大规模网络存储系统中复杂的数据传输行为隐藏着一定的动力学规律性.针对基于对象的大规模网络存储系统,结合存储对象的智能性和主动性特征,分别在宏观与微观两个层次上提出了用于复杂网络存储动态行为规律分析的存储元胞自动机模型SNCA和OSDCA.在SNCA模型中,对网格拓扑结构的存储网络,结合存储对象的生命周期属性,可在宏观上分析网络存储系统的数据流动规律,确定存储网络拥塞程度,仿真结果揭示数据对象流动和存储网络中的相变具有全局相关性;在OSDCA模型中,综合热点数据的迁移和复制机制,在微观上分析I/O负载动态分布特性和存储热点迁移规律,仿真结果表明对象存储系统中的数据分布具有一定的自组织特性.     

无线传感器网络中基于压缩感知的分簇数据收集算法

针对无线传感器网络(WSNs)能量有限、通信链路不可靠的特点,提出一种基于稀疏分块对角矩阵进行压缩感知的分簇(SBDMC)数据收集算法.该算法以稀疏分块对角矩阵作为观测矩阵以减少参与收集节点数目;采用分布式分簇路由实现数据的分布式收集;通过分析能耗模型得到最优簇头数目以减少网络能耗.在此基础上,给出一种有效的分簇路由数据收集算法.仿真分析表明:提出的算法较之已有算法可以减少通信能耗、延长网络寿命,同时均衡能耗负载.     

WSN中一种改进的数据复制策略研究

通过利用WSN应用环境工作负载先验知识,提出了一种无线传感器网络存储数据可用性优化框架.首先根据节点的查询负载将WSN网络分区,然后提出了基于法定票数的数据复制策略以优化能耗,并保证满足给定的最小数据可用性要求.最后,基于真实的Great Duck Island WSN实验工作负载假设,通过四种代表不同工作负载的查询集合进行实验,结果表明,该策略可以在能耗、数据可用性和节点可用性间实现高效平衡.     

面向WSN数据汇集应用的动态负载均衡算法

针对WSN数据汇集应用中,由于负载分配不均衡,使得网络节点出现早死,缩短网络寿命问题,提出一种面向WSN数据汇集应用的动态负载均衡算法（DLB-DGA）。DLB-DGA算法采用压力传输和压力均衡的思想,通过压力计算模型和流量均衡计算模型,动态调整子节点转发给父节点的数据流量比例,使网络上游节点的负载逐渐趋于最大程度的均衡,延长网络寿命。仿真实验表明DLB-DGA算法可行。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。     

一种能耗均衡的WSNs动态数据汇聚方法

无线传感器网络一般采用分簇路由协议实现数据的汇聚,这类协议要求Sink节点的位置固定,并通过节点间多跳接力传输,将数据汇聚到Sink节点。由于网络中不同节点承担中继的负载不同,这会导致某些负载过重的节点能量提早耗尽,从而形成网络空洞。虽然某些路由协议在网络能耗均衡方面做了一定的措施,但仍无法较好的解决该问题。为此提出一种能耗均衡的动态数据汇聚方法,该方法的汇聚节点(Sink)为可移动节点,为平衡网络能耗,利用网络节点的能量为Sink节点确定若干个数据汇聚位置。并结合TSP算法规划Sink节点的最佳移动路径,通过对该算法进行大量的仿真,并与现有的一些方案进行比较,验证了该算法在各种性能指标上的有效性。     

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.     

一种分布式非结构化数据副本管理模型

针对云存储系统中数据副本管理的延时响应等问题,提出一种面向非结构化数据的分布式副本管理模型.该模型采用机架选举算法,通过提高每个机架能源利用率的方法降低系统整体能耗,为绿色数据中心提供技术保障.运用多路线性散列算法,将数据副本动态均匀地分布到不同机架的不同节点中,以提高系统性能、平衡负载和资源利用率.仿真实验结果证明,与传统的全局映射法相比,该模型可以达到较高的存储与负载平衡,具有良好的扩展性和可用性.     

基于RCFile的无线传感器网络数据存储策略研究

随着无线传感器网络技术的发展,其应用价值遍布环境监测、工农业、抢险救灾、军事国防、生物医疗等许多领域.由于无线传感器网络特征与节点特点,其数据存储与查询策略研究成为热点.对已有的数据存储策略进行了详细介绍与研究,并分析它们的优缺点;其次结合大数据中一种高效的数据存储结构——RCFile,并将其应用到传感器网络的数据存储中,结合行列存储的优势,改变数据存储结构,提出了一种基于RCFile的无线传感器数据存储算法(Wireless sensor network Data Storage based on RCFile,WDSR),并给出了仿真结果分析.仿真结果表明,提出的算法在低能耗、高效率方面存在一定优势.最后指出了无线传感器网络数据存储算法的发展方向.     

面向数据分析的Web页面静态化方法研究与实现

Web应用系统多采用动态网页技术,通过客户端页面频繁与服务器交互完成动态数据展示,但对大型分布式系统而言,频繁的数据交互给后台服务器带来沉重负担,不但影响系统正常运行效率同时也加重网络负荷。结合南方电网超高压输电公司与各基层单位网络系统分布式架构,提出一种Web页面静态化方法,在不影响系统响应速度、各级数据一致性、系统可连续访问的前提下,实现超高压输电各级单位静态报表的多点存储,减轻系统及网络负荷,避免多级用户数据不一致、跨地域网络间断等问题。     

基于数据挖掘的PSO-BP短期电力负荷预测

针对海量用电数据环境下,如何提高电力负荷预测精度的问题,采用数据挖掘对电力负荷历史数据进行聚类分析以及异常检测,并利用灰色序列对异常数据进行修正。利用蚁群算法对粒子群优化-反向传播(PSO-BP)算法进行优化,以提高算法的预测精度。通过对历史负荷数据进行试验,验证该方法的预测平均误差为3.16%,低于无数据挖掘的PSO-BP算法模型以及PSO-BP算法模型的预测误差。该方法具有一定的实用性以及有效性。     

含混合储能微网对配电网可靠性的影响

混合储能可快速平滑微网中分布式电源出力的随机性,从而提升配电网可靠性。提出了一种基于网络划分的蒙特卡洛模拟法,定量研究了含混合储能微网对配电网可靠性的影响。首先建立蓄电池与超级电容组成的混合储能系统模型并制定其充放电策略;在设备发生故障后,根据系统区域划分和负荷削减模型,确定负荷停电原则,采用序贯蒙特卡洛模拟法计算可靠性指标。以改进的IEEE RBTS BUS6系统为算例,对比分析了不同储能方式的微网接入前后的系统可靠性指标,结果表明：含混合储能微网接入配电网,能提高配电网供电的可靠性。     

Minimum energy storage for power system with high wind power penetration using p-efficient point theory

Minimum energy storage （ES） and spinning reserve （SR） for day-ahead power system scheduling with high wind power penetration is significant for system operations. A chance-constrained energy storage optimization model based on unit commitment and considering the stochastic nature of both the wind power and load demand is proposed. To solve this proposed chance-constrained model, it is first converted into a deterministic-constrained model using p-efficient point theory. A single stochastic net load variable is developed to represent the stochastic characteristics of both the wind power and load demand for convenient use with the p-efficient point theory. A probability distribution function for netload forecast error is obtained via the Kernel estimation method. The proposed model is applied to a wind-thermal-storage combined power system. A set of extreme scenarios is chosen to validate the effectiveness of the proposed model and method. The results indicate that the scheduled energy storage can effectively compensate for the net load forecast error, and the increasing wind power penetration does not necessarily require a linear increase in energy storage.     

A load control method for small data centers participating in demand response programs

This paper presents a load control method for small data centers, which are rarely studied although they account for more than 50% of all data centers. The method utilizes the data network and the electrical network to control power usage for participation in demand response (DR) programs, which are regarded as the killer applications of the emerging smart grid (SG). Traditional data center power management often directly manipulates energy usage, which may be ineffective or impractical for small data centers due to their limited resources. Both the SG and the data centers are considered to be the cyber-physical systems (CPSs). This article proposes an approach that performs the data center DR load management through the cyberspaces of the SG and the targeted data center. The proposed method instructs the workload dispatcher to select the best-suited algorithm when a DR event is issued. Additionally, this method also adjusts the temperature set-points of the air conditioners. The simulation result shows that this approach can achieve a 30% power reduction for DR.     

网络数据动态传输与存储安全自动监测系统设计

为了提高网络数据动态传输与存储安全自动监测能力,进行监测系统优化设计,提出基于负载均衡调度和嵌入式总线传输控制的网络数据动态传输与存储安全自动监测系统设计方法。构建网络数据动态传输的信道均衡调度模型,采用随机线性均衡控制方法进行网络数据动态传输与存储过程中的信道自适应调度,提取网络数据动态传输过程中的模糊关联规则,采用自适应的链路转发控制方法进行网络数据动态传输与存储的安全监测和负载均衡调度。在嵌入式总线协议下进行网络数据动态传输与存储安全自动监测系统的软件开发设计。仿真结果表明,采用该方法进行网络数据动态传输与存储安全自动监测的稳定性较好,自适应控制能力较强,降低了网络数据动态传输的误比特率。     

Big Data Based Self-optimization Networking: A Novel Approach Beyond Cognition

It is essential to satisfy class-specific QoS constraints to provide broadband services for new generation wireless networks. A self-optimization technique is introduced as the only viable solution for controlling and managing this type of huge data networks. This technique allows control of resources and key performance indicators without human intervention, based solely on the network intelligence. The present study proposes a big data based self optimization networking (BD-SON) model for wireless networks in which the KPI parameters affecting the QoS are assumed to be controlled through a multidimensional decision-making process. Also, Resource Management Center (RMC) was used to allocate the required resources to each part of the network based on made decision in SON engine, which can satisfy QoS constraints of a multicast session in which satisfying interference constraints is the main challenge. A load-balanced gradient power allocation (L-GPA) scheme was also applied for the QoS-aware multicast model to accommodate the effect of transmission power level based on link capacity requirements. Experimental results confirm that the proposed power allocation techniques considerably increase the chances of finding an optimal solution. Also, results confirm that proposed model achieves significant gain in terms of quality of service and capacity along with low complexity and load balancing optimality in the network.     

基于框图法的网络存储系统可靠性分析

随着信息的快速增长和对数据安全要求的提高,网络存储系统的可靠性直接影响信息系统性能.重点针对网络存储系统中的设备失效问题,在分析典型网络存储系统可靠性模型的基础上,采用框图法理论提出了一种基于混联结构的网络存储系统的可靠性分析与评价方法,包括基于属性节点的系统可靠性框图描述方法、负载关联的M取值方法等.通过典型混联结构的FC-SAN系统实验,验证了该方法的有效性.该方法相对于测试等其它方法具有简单、省时、费用低等特点,因此更有利于应用于网络存储系统的方案和设备优化.     

考虑广义需求侧资源的深度置信网络短期负荷预测方法

随着智能电网信息化水平的不断提高以及可控负荷、分布式电源和储能等广义需求侧资源的大量接入,将产生海量负荷数据集并改变负荷特性.为了提高负荷预测精度,提出了一种考虑广义需求侧资源的深度置信网络(DBN)负荷预测方法.首先,借助负荷聚合商确定了广义需求侧资源参与电力市场的机制,构建了基于合同的广义需求侧资源调度模型,并利用该模型求解广义需求侧资源参与电力市场的最优调度计划.其次,引入DBN结构,并将广义需求侧资源的最优调度计划作为其输入量,建立了短期负荷预测模型.最后,以实际数据进行仿真测试,结果表明,本文所提方法具有更高的预测精度.