大数据流式计算：关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态，目前，关于大数据批量计算系统的研究和讨论相对充分，而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征，给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征，论述并对比了已有的大数据流式计算系统的典型实例，最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.  

大数据计算的关键技术浅议

移动互联以及物联网产生的海量的数据,被称为大数据,大数据通过收集、存储、计算可以分析出重要的一些数据,从海量的数据中挖掘出有用的数据是大数据计算的根本目的.本文介绍了大数据计算的几个关键技术.  

过程工业大数据建模研究展望

人们对大数据的认识已从"3Vs" (Volume-大容量; Variety-多样性; Velocity-处理实时性)、"4Vs" ("3Vs"与Value-价值)、到现今的"5Vs" ("4Vs"与Veracity-真实性).在此背景下,首先分析过程工业大数据的"5Vs"特性;接下来,综述现有数据建模方法,并结合过程工业大数据特有性质(包括:多层面不规则采样性、多时空时间序列性、不真实数据混杂性)论述现有数据建模方法应用于工业大数据建模时的局限;最后,探讨过程工业大数据建模有待研究的问题,包括:1)多层面不规则采样数据的潜结构建模; 2)用于事件发现、决策和因果分析的多时空时间序列数据建模; 3)含有不真实数据的鲁棒建模; 4)支持实时建模的大容量数据计算架构与方法.  

大数据分析中的计算智能研究现状与展望

随着产业界和科学界数据量的爆炸式增长,大数据技术和应用吸引了众多的关注.如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题.计算智能是科学研究和工程实践中解决复杂问题的有效手段,是人工智能和信息科学的重要研究方向,应用计算智能方法进行大数据分析具有巨大的潜力.对大数据分析中的计算智能方法进行综述,结合大数据的特征,讨论了大数据分析中计算智能研究存在的问题和进一步的研究方向,阐述了数据源共享问题,并建议利用以天文学为代表的数据密集型基础科研领域的数据开展大数据分析研究.