基于MapReduce的SQL查询优化分析

对SQL翻译成MapReduce程序的性能进行分析,并对影响翻译性能的原因进行阐述。结合MapReduce作业间输入相关性、数据转换相关性和作业流相关性的分析,通过合并冗余的作业,减少资源消耗,从而达到提高SQL查询性能的目的,给出了优化条件和优化规则。通过对优化前后的性能进行对比,证明改进后的SQL过程有更高的执行效率。     

分布式系统下大数据存储结构优化研究

在分布式系统中,数据的存储结构直接影响了大数据的存储效率和处理性能。在行式存储结构下,数据从本地读取,加载速度快,但压缩效率低且存在数据冗余;在列式存储结构下,数据压缩效率高,但数据的跨节点访问增加了网络传输消耗。针对行式存储结构和列式存储结构的缺点,提出一种以行列结合的存储方式,对数据存储结构进行改进。实验结果表明,改进的数据存储结构在加载速度上略低于行式存储;在数据压缩上,比行式存储和列式存储的效率都高。行列结合的存储结构不仅避免行式存储的额外磁盘I/O开销,同时也减少了列式存储不必要的网络传输,极大地提高分布式系统对大数据存储效率及处理性能。     

矿石品位自动检测系统的设计与实现

系统基于.NET平台,采用C/S架构和MVC模式设计开发,运用串口通信技术采集硬件数据。依据数值积分计算矿石体积,并利用动态称重仪表检测矿石重量。根据矿石品位与体积和重量之间的数学关系,在无人值守的情况下可高效、精确地检测出矿石的品位。     

浅谈集装箱建筑材料与功能研究

集装箱是一种具有较高强度、刚度和固定规格的钢结构体,其在港口主要是作为承担货物运输的大型容器使用。这种具有完整内部空间及良好结构形态的工业制成品,如果将它重新作为建筑构件或者建筑的单元体加以再利用,可以带来良好的低碳环保效应,集装箱建筑就是这种利用废弃集装箱与新集装箱进行组合搭建的新型装配式建筑体系。以集装箱建筑作为研究对象,总结并分析了集装箱建筑的材料性能与应用功能研究现状。