面向海量NetFlow数据的存储和查询处理方法研究

针对全国骨干网高速海量Net Flow数据到来速度快、数据量大以及对所存数据进行频繁多维查询操作的特点,提出了一种多维属性聚簇存储(MACS)模型。该模型根据实际应用环境中查询的特点对数据进行空间分片,以并行加流水的方式对数据进行存储。此外,为Net Flow提出了一种超多面体的查询模式。真实环境实验结果表明,运用MACS模型实现的系统单点数据实时存储速度达到270万条/s,远远快于其他的数据分析系统,并且多维属性查询的速度优于Hive和Impala。     

基于负荷特性指标修正的地区能源经济循环模型研究

为了实现地区能源与经济的均衡发展,构建了一种基于负荷特性指标修正的地区能源经济循环模型.应用能源消费的生产函数模型,分析了能源负荷特性指标与经济发展的相关性,构建了基于能源消费与经济增长误差修正的地区能源经济循环发展优化模型.以能源消费负荷特性指标为例,采用协整理论深入研究能源消费负荷特性指标与经济增长间的关系,通过误...     

FQPSK调制在双波散射功率衰落信道下的性能

研究了深空通信系统的性能计算。系统采用Feher正交相移键控(FQPSK)调制和双波散射功率(TWDP)衰落信道,因为TWDP信道模型的散射传输波中含有两个镜面反射多径分量,可依据不同参数表达不同的衰落,因此适合描述复杂的电磁深空通信环境;FQPSK调制与标准QPSK相比具有频谱主瓣窄和滚降快的优势,因此更适合应用于深空通信系统中。为简化系统性能计算,推导了FQPSK调制在TWDP衰落下的误码率闭式解,并验证了推导的正确性。基于深空通信系统仿真平台,分析了不同种类QPSK调制及各种TWDP衰落参数下的误码率性能。结果表明,FQPSK与QPSK相比,结合卷积编码后可实现性能提升。     

面向多用户环境的MapReduce集群调度算法研究

针对MapReduce集群现有调度策略在多用户环境下无法根据用户的实际资源需求实现动态资源分配的问题,提出了一种基于历史执行信息(HEI)的MapReduce集群调度算法——HEI Scheduler。该算法通过建立集群作业执行信息的收集和分析机制,得到各用户组资源需求随时间变化的规律,并以作业实际占用slot的时间作为作业占用资源量的衡量标准,进而动态地确定资源池的最小共享资源以及集群剩余资源分配的权值。实验结果表明,执行信息分析机制能够更准确地表征作业对资源的需求,采用集群调度算法HEI Scheduler能够有效地缩短作业的整体执行时间。     

基于滑动窗口的数据流字符串近似查询

针对数据访问模式随着网络技术的发展逐渐从静态磁盘转移到动态数据流的状况,研究了数据流上的字符串近似查询.为了解决数据流的连续性、无边界性、不可预知性和在线计算资源的局限性导致基于静态数据集的近似查询处理方法无法高效地支持数据流的问题,提出了基于滑动窗口数据流的字符串近似查询(AS3)方法.该方法基于过滤-验证框架和基本窗口索引更新机制,改进并应用非对称特征策略提取数据流和查询关键字的特征,采用了两个新的过滤算法——预剪裁过滤(PPF)算法和流统计(CFS)过滤算法,以及基于矩阵坐标的验证(CV)算法.实验结果表明,AS3方法能够高效地支持基于滑动窗口的数据流字符串近似查询,在保证结果准确率的同时具有较高的实时性及峰值处理能力.