大数据时代管理模式的创新

在“大数据”时代,数据不仅仅由互联网产生,汽车、物流、工业设备、道路交通监控等设备上装有无数的传感器,其产生的数据信息也是海量的,从TB级别跃升到了PB级别,这也就是说传统的数量级已经无法衡量如今社会各行各业产生的庞大数据了。对于大数据,更重要的含义是指处理这些海量数据的技术——如何挖掘出这些数据蕴含的巨大的商业价值,如何实现本行业的价值增值。     

混凝土行业中基于JCS的海量数据协同模块的研究

随着国内预拌混凝土行业的发展,混凝土企业高层越来越意识到搅拌站信息化管理的必要性,各种混凝土搅拌站ERP软件在国内得到了迅速的发展,通过这种软件的信息化管理,后台数据库每天都会产生大量的生产数据。为了避免搅拌站之间的恶性竞争,混凝土行业协会和政府部门需要对某个区域乃至整个行业的搅拌站的生产运营情况有实时的了解,以便对其进行监管,最终促进行业的公平竞争。本文结合国内混凝土行业自身的特点,阐述了混凝土行业海量数据协同的总体构想和数学模型,之后从多维度论述了基于JCS多级缓存的海量数据协同模块的设计,最后,采用Socket的方式最终实现了Server端与Client端的一对多的数据通信。     

空间数据质量不确定语言评价研究

为解决空间数据质量评价遇到用不确定语言且各属性指标权重不明的问题,引入Vague集理论对不确定语言进行科学量化,利用属性区分度来确定权重,用正理想方案距离进行空间数据质量评价。研究结果表明:基于Vague集和属性区分度的评价结果反映了评价者对空间数据质量信息认识的模糊性和不确定性,能正确确定各指标权重,评价结果更能反映实际空间数据质量,使评价结果增加客观性减少主观性,从而使评价结果更科学。本研究结果可为空间数据质量定性评价提供一种参考方法。     

一般空间对象的空间数据类型

空间数据类型的定义一直是空间数据库和GIS等领域的研究热点.针对一般空间对象的空间数据类型定义问题,依据点集和拓扑理论,采用函数方法,研究了一般空间对象的特点,并给出了一组有效时间内的一般空间对象的带时间维的空间数据类型定义,包括一般点,一般线,一般区域.一般空间对象的空间数据类型定义将一般点定义为多个单点的并集;一般线定义为多个连续函数的并集;一般区域定义为多个面的并集.在一般空间对象的空间数据类型基础上,可建立一般空间对象的数据模型,一般空间对象的空间关系,从而在空间查询中,能处理针对一般空间对象的空间查询.     

红外图像采集与控制系统研究

针对红外图像采集中的非均匀校正及图像存储等问题,构建多通道红外图像采集与控制系统,通过神经网络算法实现非均匀校正,并实现海量图像实时存储等功能。系统能快速有效实现非均匀校正功能,在采集过程中能稳定保存图像数据。     

烟草企业基于Hadoop的数据处理研究

Hadoop是一个开源分布式计算平台。具有高容错性,高伸缩性等优点,允许用户将Hadoop部署在低廉的PC上,充分利用集群的计算和存储能力,完成海量数据的处理。结合国内烟草企业面对不断剧增的业务数据,而现有的业务数据处理能力明显不足的现状,分析烟草企业构建Hadoop分布式数据处理平台的可行性,并详细介绍了Hadoop平台技术及其项目结构和体系结构。     

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。     

数据库系统应用分片中间件

随着国家电网信息化系统一级部署的陆续实施, 业务数据库的表越来越多, 表中的数据量越来越大. 海量数据的存储与访问对数据库造成了相当大的负载, 数据处理能力和访问能力均遭遇瓶颈. 本文针对国家电网一级部署数据量快速增长的特点, 提出了数据分片中间件UAPDS(UAP DB Sharding). UAPDS以集群、分区、分片三层拆分模式, 通过读写分离、单库分表、多库分表等多种解决方案将数据按照一定的规则切分到不同的库或表中, 有效的缓解了对数据库的压力, 提高了数据访问效率, 在实际应用中取得了较好的效果.     

基于Hadoop的用户搜索行为分析

用户搜索网页行为的分析是目前信息搜索的研究的热点,本文针对云计算中的并行计算搜索存在的检索速度慢,效率低等缺点提出了一种基于Hadoop海量用户搜索网页行为的方法,该方法主要是在网页PageRank算法的基础上,将用户影响因子,时间向量和网页相关性因素加入到算法中,使得改进后的PageRank算法得到了提高,进一步提高用户搜索网页行为的效率,实验中通过使用优酷实验室中的查询日志分析证明了本文的算法具有良好的效果,并对云计算中的用户行为分析具有一定的指导意义.     

基于粒计算与区分能力的属性约简算法?

传统的属性约简方法将整个数据集一次性装入内存,很难适应大数据背景下的数据分析。为此文中提出基于粒计算与区分能力的属性约简算法。该算法运用统计学中的分层抽样技术,拆分原始大数据集为多个样本子集(粒),在每个粒上运用属性的区分能力进行属性约简,最后将各粒约简结果进行加权融合,得到原始大数据集的属性约简结果。实验表明该算法对海量数据集进行属性约简的可行性和高效性。