Alluxio数据随机访问方法的研究

为保证系统的可扩展性和容错性，Alluxio简化了文件系统实现，不支持数据随机访问，但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差，不支持传统应用，不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后，提出了新式数据随机访问方法，其核心思想是改变原有数据访问和缓存时机，将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写，从而实现对数据的随机访问。在此基础上，还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明，该方法的数据读取性能提升了14.5%，写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法，可获得数倍至数十倍的性能提升。     

Hadoop海量数据迁移系统开发及应用

当前高能物理实验产生的数据量越来越大，利用大数据处理平台Hadoop进行高能物理数据处理时，面临数据迁移的实际需求，而现有迁移工具不支持HDFS与其他文件系统间的数据传输，性能存在明显缺陷。从高能物理数据同步、归档等需求出发，设计和实现了一个通用的海量数据迁移系统，通过扩展HDFS数据访问方式，使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外，系统设计实现了动态优先级调度模型，进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站（LHAASO）宇宙线等物理实验中的数据迁移，实际运行结果表明系统性能良好，能够满足各个实验的数据迁移需求。     

Spark迭代密集型应用的优化方法研究

Spark是一个非常流行且广泛适用的大数据处理框架,具有良好的易用性和可扩展性。但在实际应用中,仍然存在一些问题需要解决。例如在部分迭代计算场景中,得到的加速效果并不理想,究其原因在于使用Spark等分布式系统后引入的额外损耗较大。为准确分析并降低这些损耗,提出了Spark效率分析公式,以分布式计算代价衡量额外损耗,以有效计算比衡量执行效率。在此基础上,还针对Spark迭代密集型应用设计并实现了一种优化策略。测试结果表明,有效计算比和程序执行性能得到了大幅提升,其中有效计算比提升了约0.373,程序执行时间缩短了约68.2%。