一种分布式大数据管理系统的设计与实现

随着云计算、物联网、移动互联网等技术的飞速发展,海量数据在这些崭新的领域迅猛地生长着,大数据作为一项颠覆性技术,为处理海量数据提供了无限可能。而传统的关系型数据库的不再适用,导致了分布式数据库NoSQL的应运而生。针对大数据领域面临的种种现实难题,设计并实现了一种基于Hadoop和NoSQL的新型分布式大数据管理系统(DBDMS),其提供大数据的实时采集、检索以及永久存储的功能。实验表明,DBDMS可以显著提高大数据处理能力,适用于海量日志备份和检索、海量网络报文抓取和分析等领域。     

基于组件的大数据分析服务平台

随着数据规模的快速增长,单机的数据分析工具已经无法满足需求。针对大数据的分析问题,设计并实现了一种基于组件的大数据分析服务平台Haflow。Haflow自定义了业务流程模型和可扩展的组件接口,组件接口支持各种异构工具的集成。系统接收用户定义的业务流程,将其翻译成执行流程实例,提交到Hadoop分布式集群上执行。Haflow是一个可扩展的、分布式的、支持异构分析工具的、面向服务的大数据分析服务平台。提出该平台有两重意义:一方面平台将与数据分析业务无关的工作封装起来,支持各种异构组件,以加快分析应用的开发速度;另一方面,平台后端使用Hadoop分布式系统来实现多任务的并发,从而提高应用的平均执行速度。     

一种改进的活性边表区域填充算法

为提高区域填充效率,对三种常见的区域填充算法进行了介绍和分析,并对其中优势较为明显的活性边表区域填充算法进行了进一步改进。改进算法针对原始算法的不足,充分利用多边形顶点信息,建立了活性边动态发现机制,使得算法时间效率和空间效率都得到提高;同时,为填充自相交多边形,又提出一种简单有效的基于扫描线的多边形自相交点探测方法,使得算法的适用性得到进一步增强。实验结果表明,算法的改进取得了很好的效果。     

一种瓦斯涌出量系统预测辨识模型的研究

针对煤与瓦斯突出灾害中瓦斯涌出量的辨识预测问题,结合采煤工作面瓦斯涌出量系统的现场实际特点,提出了混沌免疫遗传优化算法(CIGOA)与Elman神经网络相结合的耦合算法(CIGOA-ENN)。利用GIGOA的全局寻优能力替代梯度下降法,以克服Elman神经网络固有的缺陷。并根据输入的数据,构造基于CIGOA和ENN耦合算法的瓦斯涌出量系统辨识预测模型。利用矿区采集的现场监测数据进行仿真预测,实验表明该预测模型与BPNN,GA-ENN等神经网络预测模型相比,其收敛速度更快、收敛精度更高、鲁棒性更强,为解决煤矿瓦斯涌出量的预测问题提供了一个行之有效的方法。     

物流监控系统人工免疫数据融合算法研究

为实现对果蔬等农产品物流过程的低能耗实时监控,提出一种适用于现代果蔬物流过程的实时监控系统监测数据处理方案。通过在运输车辆的车厢内部署具有RFID功能的温湿度传感器,获取物流过程中果蔬储存环境的实时温湿度数据;采用生物免疫机理对节点感知数据进行预处理,降低节点数据传输量;计算节点数据融合信度获取融合权值,对节点数据加权融合获取对监测对象的完整一致性监测结果;用感知数据与融合结果相似度差值,对节点感知数据的融合信度进行更新;根据实际情况选取通信模式,降低节点通信能耗及紧急事件的响应时间。仿真结果表明,该方案可有效降低果蔬物流过程实时监控的网络通信能耗。     

动态数学形态学轮廓提取算法在ARM上的实现

提出一种新的基于动态数学形态学的动态腐蚀轮廓提取算法。该算法以动态数学形态学中的约束条件为判断准则,通过定义评价函数来动态确定结构元素的移动方向,直接对感兴趣的目标进行轮廓提取。该算法引入自适应滤波门限,进一步增强了其抗噪处理能力。通过在ARM上对算法进行实现,得到了清晰的人体轮廓图像。该算法对实时目标的轮廓提取具有快速性和准确性的特点。     

Polyamidoamine dendrimers as curing agents: The optimum polyamidoamine concentration selected by dynamic torsional vibration method and thermogravimetric analyses

Polyamidoamine (PAMAM) dendrimers were investigated as curing agents in bisphenol A epoxy resin systems. The cure behavior of epoxy resin/PAMAM at varying components was investigated by a dynamic torsional vibration method (DTVM); the thermal behavior of the materials was characterized by means of thermogravimetric (TGA) analyses. The DTVM results show that 10/100 parts of the resin (phr) PAMAM was the optimum concentration for 1.0, 3.0, and 5.0 G PAMAM dendrimers/resin systems in our experiment. Also, the TGA results agreed with the conclusions made by the DTVM. © 2006 Wiley Periodicals, Inc. J Appl Polym Sci 103: 1430–1434, 2007     

企业大数据治理研究

介绍了面对大数据的数据量大、种类多、速度快和高价值的处理技术挑战,企业应当如何建立可靠的大数据平台。利用信息架构原则和实践,实现大数据与企业数据的灵活集成,通过结合使用分布式文件系统、NoSQL与关系型数据库,企业可以获取、组织和分析其所有企业数据(包括结构化和非结构化数据),从而做出最科学的决策。     

基于数据仓库的OLAP中的索引技术研究

数据仓库建立好后,需要对其充分高效地利用,OLAP联机分析处理就是一个很好的数据分析展现工具。人们对速度的追求是永无止境的,建立索引可以更快捷地响应用户的查询。索引的种类很多,相关研究表明位图索引既能节省空间,又能利用其进行的位运算而提高相应的查询速度,然而位图索引对字段基数较低的字段有比较好的效果,当遇到字段基数较高的字段时也会占据大量的空间,其效果不及B‐T ree索引,论文针对这种情况对位图索引进行了扩展,引入了标识符索引,并对其进行了比较讨论,最后提出可以根据维的各自特征建立不同的索引。     

基于资源三号卫星数据的数字正射影像图制作研究

资源三号卫星的成功发射填补了我国立体卫星测绘的空白,可以提供优于5m地面分辨率的遥感影像.论文提出基于资源三号卫星遥感数据的数字正射影像图（DOM）制作流程,重点对影像纠正、影像配准、影像融合、影像镶嵌等关键步骤进行研究,并通过实验验证方法的可行性.实验证明该方法具有较强的实用价值和广泛的应用前景.