基于数据局部性的推测式Hadoop任务调度算法研究

针对Hadoop平台现有任务调度算法优化程度不高的问题, 提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例, 结合不同节点上数据的局部特性, 采用了比现有算法更精确的任务进度探测方式找出快慢节点, 在快节点上启动剩余时间最长的落后任务的备份任务, 用移动计算代替移动数据。在Hadoop环境中进行了实验, 结果表明该算法比现有算法缩短了任务平均运行时间, 加快了任务的执行效率。     

怒江流域云南区段降雨时空变化分析

利用怒江流域云南区段及其毗邻地区77个站点1980~2009年雨量资料,以及怒江干流道街坝站1957~2015年和南汀河支流姑老河站1960~2015年降雨、径流资料,研究该流域降雨区域分异特征及变化趋势。结果表明:怒江流域云南区段多年平均面雨量达1 336.7 mm,远大于全省平均降雨量;怒江干流云南区段上游贡山地区和下游支流苏帕河流域,以及支流南汀河流域下游多年平均降雨量达1 500 mm以上,而干流的中游怒江坝干热河谷不足1 000 mm,降水空间分布格局与西南季风强弱及纵向岭谷地形密切相关;怒江流域云南区段降水量呈下降趋势,与怒江上游西藏区域相反,支流南汀河流域面雨量减少速率(56 mm/10 a)大于怒江干流云南区段(29 mm/10 a);怒江流域云南区段夏季降水占全年降水量的51%,怒江干流云南区段与支流南汀河流域降水量差异主要表现在夏季;怒江流域云南区段春季降水量呈增加趋势,夏季、秋季和冬季降水量呈减少趋势;怒江干流道街坝站、支流南汀河姑老河站降雨量长周期分别为36 a和33 a左右,从降雨变化长周期来看,2002年以来的少水期将持续到2018~2020年。怒江干流云南区段降水量变化的Hurst指数值为0.69,表明其未来趋势与过去一致,仍将延续降水量减少的变化趋势。     

鄱阳湖流域水分盈亏时空变化特征分析

根据1960~2014年鄱阳湖流域13个气象站点的气象资料,采用FAO推荐的Penman-Monteith法、Mann-Kendall趋势检验法和相关分析法,研究鄱阳湖流域水分盈亏量时空分布变化趋势及其与气象因子的关系。研究结果表明:鄱阳湖流域近55 a来水分盈亏量多年平均盈余为565.88 mm,空间上呈由西北向东北和由西南向东北逐渐递增的趋势;水分盈亏量年内分布呈秋季亏缺,其他季节盈余,水分盈余量表现为春季夏季冬季秋季;在研究时段内流域各地水分盈余量均呈增加趋势,但各季节水分盈余量变化存在一定的差异性,其中春季和秋季呈减少趋势,但趋势不明显,而夏季和冬季均呈显著的增加趋势(p0.05)。鄱阳湖流域水分盈亏量与降雨、日照时数和日最高气温关系密切,流域年水分盈余量的增加是由于夏季和冬季降水量的增加、日照数和风速的减少。     

基于连续缓存和二级缓存的DFTL改进算法

DFTL(demand-based FTL)是一种根据负载访问特点动态加载映射项到缓存中的知名FTL(flash translation layer)算法,但是它没有考虑到请求的空间局部性,而且缓存中的一个映射项剔除就可能会导致翻译页的更新,缓存中映射项的频繁剔除又会导致额外的擦除操作.在DFTL的基础上,提出了SDFTL(sequential/second cache DFTL)算法.SDFTL新设置连续缓存和二级缓存,连续缓存通过预取映射信息,利用请求的空间局部性,提高了FTL对连续负载的处理性能;二级缓存通过暂存从一级缓存中剔除的、发生更新的映射项,并采取批量更新策略回写到闪存,减少了闪存的翻译页写回次数和擦除次数.利用实际负载做的实验结果显示,SDFTL相比DFTL缓存命中率平均提高41.57%,擦除次数平均减少23.08%,响应时间平均减少17.74%.     

Temporal aggregation and spurious instantaneous causality in multiple time series models

Large aggregation interval asymptotics are used to investigate the relation between Granger causality in disaggregated vector autoregressions (VARs) and associated contemporaneous correlation among innovations of the aggregated system. One of our main contributions is that we outline various conditions under which the informational content of error covariance matrices yields insight into the causal structure of the VAR. Monte Carlo results suggest that our asymptotic findings are applicable even when the aggregation interval is small, as long as the time series are not characterized by high levels of persistence.     

基于ATSQL2时间点与时间段时态操作扩充

以时态数据操作语言ATSQL2为基础,对其时间点与时间段查询运算操作存在的不足进行扩充。增加时间运算操作函数,完成不同时态逻辑时间段运算,不同时间粒度之间的转换和时间比较逻辑判断操作。结果表明,扩充后的时间运算操作,丰富了原有ATSQL2的查询操作语义,简化了复杂时态数据操作语句的书写,使时态查询操作更加高效、简便。     

保持空间准确度与时间一致性的深度估计算法

为提高深度图的准确度,提出了一种基于图割的深度估计算法. 利用平均亮度 梯度联合匹配测度函数代替单像素亮度匹配,并考虑邻近像素深度相关性改变图割网络结构,提高深度估计的空间准确度;采用前一时刻同位置像素的深度约束当前时刻像素的深度值,使估计的深度图在时间上保持一致. 提出的算法考虑了深度图的空间、时间特征,可以提高深度图的准确度. 实验结果表明,与传统的基于图割的深度估计算法相比,新算法估计的深度图更加准确.     

基于保局映射的图像纹理聚类

为了解决图像检索中的聚类问题,提出一种改进的图像纹理聚类算法.在纹理特征提取阶段,采用双树复小波对图像进行分解,然后对每个高频段提取直方图签名作为纹理特征;在聚类阶段,根据数据分布的密度来动态地计算数据点的邻接矩阵,再采用保局映射进行降维,对降维后的数据进行k-means聚类.通过采用直方图签名的方式能有效地表示图像纹理在各个方向上特征信息,同时根据数据密度构建的邻接矩阵,能够和保局映射一起更有效地发掘数据之间的局部相关性.实验表明:相对于传统方法,该算法具有更高的聚类正确性.     

基于空时显著性感知的运动目标检测方法*

从视觉系统生理结构出发,对Itti视觉注意力模型进行了改进,融入运动特征,提出了一种基于视觉空时显著性感知的运动目标检测方法。首先提取图像的空间特征,形成空间显著图;然后利用相邻帧图像的全局运动、局部运动和相对运动,确定运动目标与背景的运动差异,形成运动显著图,并且对各显著区的空间特征和运动特征进行融合形成空时显著图,检测出运动目标。理论分析和实验结果表明,该方法能快速、准确地发现目标,减少目标的截获时间,提高目标跟踪性能。     

二次B-Spline时域基函数的TDFEM的应用

提出了时域有限元法(TDFEM)的一种新的基函数—二次B-spline时域基函数.首先简述了时域有限元法的原理和基本公式;然后提出了新型的基于B-spline函数的条件稳定和无条件稳定的时域有限元法方案,并应用于三维电磁辐射问题.通过典型的算例对这两种方案的精度、运算时间进行了比较,证实了基于二次B-spline函数的时域有限元法的有效性.通过稳定性理论分析得出该算法的精确稳定性,并且通过数值计算的结果得到验证.