模型驱动的大数据流水线框架PiFlow

复杂流程的大数据处理多依托于流水线系统，但大数据处理的流水线系统在易用性、功能复用性、扩展性以及处理性能等方面存在不足。针对上述问题，为提高大数据处理环境的构建与开发效率,优化处理流程，提出了一种模型驱动的大数据流水线框架PiFlow。首先，将大数据处理过程抽象为有向无环图；然后，开发一系列组件用于构建数据处理流水线，并设计了流水线任务执行机制。同时，为规范和简化流水线框架的描述，设计了基于模型驱动的大数据流水线描述语言——PiFlowDL，该语言以模块化、层次化的方式对大数据处理任务进行描述。PiFlow以所见即所得(WYSIWYG)的方式配置流水线，集成了状态监控、模板配置、组件集成等功能，与Apache NiFi相比有2~7倍的性能提升。     

格点QCD基础求解器及其异构计算实现的性能优化

格点量子色动力学(格点QCD)是研究夸克、胶子等微观粒子间相互作用的重要理论和方法. 通过将时空离散化为四维结构网格, 并将量子色动力学的基本场量定义在网格上, 让研究人员可以使用数值模拟方法, 从第一性原理出发研究强子间相互作用和性质, 但这个过程中的计算量极大, 需要进行大规模并行计算. 格点QCD计算的核心基础为格点QCD求解器, 是程序运行主要的计算热点模块. 本文研究在国产异构计算平台下格点QCD求解器的实现与优化, 提出一套格点QCD求解器的设计实现, 实现了BiCGSTAB求解器, 显著降低了迭代次数; 通过对奇偶预处理技术, 降低了所求问题的计算规模; 针对国产异构加速卡的特点, 优化了Dslash模块的访存操作. 实验测试表明, 相比优化前的求解器获得了约30倍的加速比, 为国产异构超算下格点QCD软件性能优化提供了有益的参考价值.     

多进程DNS服务器中通信方法的设计与实现

多进程技术是目前大型软件开发中降低复杂性的有效途径.针对BIND10服务器软件的开发提出一种基于安全socket的多进程通讯方法,其中包括一种多进程通信协议(MPCP),通讯接口CI和消息路由进程MRouter的设计.CI使用SSL协议来保障通信的安全性,MRouter使用消息寻址转发机制实现进程之间的点对点和点对多点通信.目前该设计已经在BIND10软件项目中应用并实现,能够完成各个进程模块的实时通讯、支持分布式部署、保证容错性和健壮性、便于扩展功能的实现等.     

可伸缩的网格资源查找可视化方法研究

受笛卡尔坐标系的制约和资源数量的影响,大量资源的多变量显示与分析成为网格资源查找的难点之一。提出了一种基于平行坐标可视化技术的查找新方法,将资源多维状态数据映射到二维空间。提出了新的可视化度量：资源覆盖度、资源重叠度和资源相似度。对资源的可视化效果及聚类质量的评价及优化问题进行了研究。新方法克服了传统查找方法可伸缩性差的缺点。基于新度量的可视化可以动态调整坐标轴的数据分布,从视图结构角度对聚类质量进行定量分析。     

反事实增强的对抗学习序列推荐

最近,强化学习技术在序列推荐系统取得成功,它能从用户长期反馈信号中学习有效的推荐策略.然而,模型的激励函数设计面临区分度过低的难题.这限制了模型学习不同用户反馈信号间的价值差异的能力,并导致推荐策略总是次优的.现有工作主要通过调节衰减因子来保证激励函数区分度,但它依赖专家先验知识缺乏理论基础.为了更合理地设计激励函数和提高其区分度,本文依据因果论来分析推荐系统,并提出一种基于反事实区分度增强的序列推荐算法CAL4Rec.首先,所提出方法用结构因果图描述序列推荐过程,并创造性地用因果图定义了因果可鉴别的价值激励区分度.其次,该方法用反事实生成对抗的自监督学习过程优化推荐策略网络,以学习用户的真实倾向.在一系列序列推荐基准数据集上,对CAL4Rec开展了广泛对比和消融实验,实验结果表明CAL4Rec的提升对多种网络实现结构有效(平均2.34%).     

GPU集群下第一原理非局部映射势能计算

平面波赝势密度泛函（PWP-DFT）计算是材料计算中应用最广泛的方法,其中映射计算是PWP-DFT方法求解自洽迭代中重要的一部分。针对映射势能计算成为软件加速的瓶颈,提出了针对该部分的图形处理器(GPU)加速算法,其中考虑GPU的特点:1）使用了新的并行机制求解非局部映射势能;2）重新设计了数据分布结构;3）减少内存的使用;4）提出了一种解决算法中数据相关问题的方法。最终获得了18~57倍加速,使每步分子动力学模拟最终降为12s。详细分析了该模块在GPU平台上的测试时间,同时对该算法在GPU集群上的计算瓶颈进行了讨论。     

基于下一代互联网的中国陆地生态系统通量观测研究网络

面向我国碳循环研究的实际需求,于2012-2013年开展了基于下一代互联网的中国陆地生态系统通量观测研究网络信息基础设施应用研究。面向ChinaFLUX 10个野外台站,通过部署全面支持IPv4/IPv6无线通信网络和无线传感网络,在已构建信息化环境基础上,实现基于下一代互联网的ChinaFLUX碳水通量观测数据从通量塔、野外台站到综合中心的自动采集、高速传输、存储与共享。并开展了一系列陆地生态系统碳收支科学研究。     

科学数据网格中数据传输技术的研究与改进

针对科学数据网格子系统DAS系统2.0版本不能很好地解决海量数据的传输问题,首先分析了DAS2.0版本中所采用的数据传输技术在处理海量数据传输时存在的不足之处,指出了导致出现问题的原因,然后提出了一个集成FTP,HTTP,SOAP,SOCKET等技术的新的数据传输解决方案,阐述了该传输方案中各个模块的设计和在DAS系统新版本中的实现。该传输方案可以有效地解决不同数据量的数据在网格环境下的传输问题,并且提供了多种传输方式供不同类型用户选择使用,具有有效性、易用性和可扩展性等特点。     

DNS与关键词服务请求分布研究

分析了Internet上DNS和关键词服务两种不同服务请求分布各自特性以及二者与WWW请求分布的相互关系，得出DNS，关键词服务与WWW请求分布都遵从Zipf定律的结论。借助于中国互联网络信息中心（CNNIC）独一无二的资源优势，通过统计分析两个实际应用系统在一定时间段内的请求分布，验证了该结论，并探讨了其重要的研究意义。     

基于W-Kmeans算法的DNS流量异常检测

为了对DNS查询进行有效检测,及时发现DNS流量异常,提出了适合于检测DNS流量异常的权重Kmeans (WKmeans)算法.对CN顶级域2009年5月19日的原始查询日志抽取有用信息,提取相关的向量特征,对不同的向量特征赋予不同的权重值.利用W-Kmeans算法对查询日志进行聚类检测,并分析了算法各种参数选择的影响.5.19事件的DNS查询检测结果表明,W-Kmeans算法可以有效检测DNS流量异常的发生.