大规模GIS数据二维可视化算法研究

本文针对当前大规模GIS数据可视化速度较慢的问题,提出了一种四叉树分块、多比例尺GIS数据可视化的算法.试验结果表明,该算法在普通微机上就可达到流畅的显示效果,且消耗的内存较小.本算法还可用于大规模图象数据的可视化.     

一种大规模数据快速并行导入工具的研究与实现

随着大规模数据的快速增长及高可靠性需求,将本地数据迁移到分布式数据库势在必行。针对这种情况,提出一种基于MapReduce的"快速并行导入"技术,充分利用集群的并行计算能力,直接向HBase底层存储文件HFile写入数据,既可避免上层数据导入时间的浪费,又节省资源开销。有效解决了从单机数据库向HBase分布式数据库导入数据功能低下、效率不高等问题。实验结果表明,在"快速并行导入"技术的基础上设计并实现的快速并行导入工具,支持多列族文本数据的快速导入。与传统使用API导入数据相比,速度提升一倍以上。     

大规模科学可视化的数据流网络优化分析

对大规模科学数据的分析与理解最终要依赖于可视化手段来完成,数据的存储与组织方式是影响可视化效率的关键因素,特别是集成大量可视化与数据分析功能的大规模并行分布式可视化与数据分析系统、可视化流程及数据流网络中所需要的优化手段对数据的存储与组织提出更高的要求.通过分析针对大规模数据可视化所采用的方式方法总结对数据及相关信息的存储与组织需求,借助高效的数据组织方式加快科学可视化过程.     

商业销售分析数据仓库的数据可视化的一种设计

文章研究了一个基于商业数据仓库的多维数据可视化分析的方法,利用这些数据可以确定商品的种类及层次关系,并用树形目录表示出来,且商品的销售可以用图形表示出来,这些图可以反映某一种商品在某一段时间(可以是近几年,一年中的12个月或1个月中的每一天)的销售状况.这种设计原理在数据仓库理论与应用中具有一定的通用性.     

数据可视化的研究与发展

针对数据可视化是可视化技术在大型数据库的应用中提出的新的数据分析和处理技术，该文介绍了数据可视化的概念和发展状况，然后针对大型数据集介绍了几种数据可视化技术以及它们的代表方法，并对数据可视化和科学计算可视化进行了分析和比较，最后探讨了数据可视化技术的研究发展方向。     

一种多维数据的可视化技术及其实现

引入了数据可视化概念,以聚类挖掘K-Means算法为例,实现了一种将N维数据向3维空间点坐标转换的方法;并利用图形软件开发包DirectX8.1将得到的点集合在屏幕上绘制出来,描述了挖掘结果,最终实现了结果的可视化;此外,也对本实验方法的优点和有待改进的地方做了总结.     

一种环境质量数据可视化与可视分析系统

随着全球环境气候的日益严峻,迫切需要通过环境信息化手段来为政府相关部门在保护环境、规划社会发展等方面提供决策支持,环境质量数据可视化与可视分析技术在环境信息化过程中起着举足轻重的作用。本文主要从可视化和可视分析的角度介绍所设计和实现的系统的体系结构和功能,并对系统的关键技术进行重点讨论。实例结果表明,该系统在多源环境质量数据的可视化建模、组织方式和数据的二三维可视化展现以及数据的动态调度、三维场景的实时渲染等方面都有独特的解决方案,系统可以全方位地展现环境质量数据中的信息,实现对综合多源环境质量数据进行分析。     

基于图像的大规模数据集交互可视化

随着计算机性能的不断提高,大规模数值模拟的规模成倍增长.即使在大型可视化服务器上,针对这些模拟结果的大规模数据可视分析也难以进行流畅地交互.提出基于图像的交互分析方法并开发相应系统,可以预先生成多视角的可视化结果图像,基于这些图像可以在普通设备上实现3D可视化结果的交互分析与展示,可以交互改变观察视角,动态展示数值模拟全过程的可视化结果,可以有效提高数值模拟的效率.     

一种多维数据的聚类算法及其可视化研究

提出了一种基于主次属性划分的聚类方法和一种新的数据可视化方法.首先,利用数据的主属性和次属性的特征值对数据集进行聚类;然后,采用彩色刺激光谱投影到RGB颜色空间的原理,通过色度学中麦克斯韦的三角平面坐标色度图对各聚类结果进行可视化显示.实验证明了文中方法算法简单、容易实现,可视化结果有利于用户全面地理解数据,为数据的预测、决策起到重要作用.     

多维数据可视化技术综述

数据挖掘可视化是数据挖掘过程中的重要组成部分。通过交互式数据挖掘可以增强挖掘结果的可理解性和可信度。如何可视化多维数据,是目前可视化研究的热点。本文对目前主要的关于多维数据可视化技术和方法进行了综述。     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

面向大规模数据集的近邻传播聚类

近邻传播聚类在计算过程中需构建相似度矩阵,该矩阵的规模随样本数急剧增长,限制了算法在大规模数据集上的直接应用。为此,提出一种改进的近邻传播聚类算法,利用数据点的局部分布,借鉴半监督聚类的思想构造稀疏化的相似度矩阵,并对聚类结果中的簇代表点再次或多次聚类,直至得到合适的簇划分。实验结果表明,该算法在处理能力和运算速度上优于原算法。     

基于数据仓库的高校教职工图书借阅多维分析

介绍构建高校图书借阅数据仓库的过程,建立多维图书借阅数据集,使用OLAP数据分析方法对教职工图书借阅进行多维分析,对结果进行认真的分析和解释,并指出今后高校教师应加强自身综合素质的提高才能适应高素质人才培养的要求。     

Hadoop分布式架构下大数据集的并行挖掘

基于Hadoop分布式计算平台,给出一种适用于大数据集的并行挖掘算法。该算法对非结构化的原始大数据集以及中间结果文件进行垂直划分以确保能够获得完整的频繁项集,将各个垂直分块数据分配给不同的Hadoop计算节点进行处理,以减少各个计算节点的存储数据,进而减少各个计算节点执行交集操作的次数,提高并行挖掘效率。实验结果表明,给出的并行挖掘算法解决了大数据集挖掘过程中产生的大量数据通信、中间数据以及执行大量交集操作的问题,算法高效、可扩展。     

大规模数据密集型系统中的去重查询优化

针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升.     

面向HBase的大规模数据加载研究

分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间.基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载方式在效率和灵活性方面存在不足;进而,提出了自定义并行数据加载算法,并针对集群进行优化.实验结果表明,优化后的自定义并行数据加载方式能充分发挥集群性能,具有较好的加载效率和数据操作能力.     

超大型压缩数据仓库上的CUBE算法

数据压缩是提高多维数据仓库性能的重要途径,联机分析处理是数据仓库上的主要应用,Cube操作是联机分析处理中最常用的操作之一.压缩多维数据仓库上的Cube算法的研究是数据库界面临的具有挑战性的重要任务.近年来,人们在Cube算法方面开展了大量工作,但却很少涉及多维数据仓库和压缩多维数据仓库.到目前为止,只有一篇论文提出了一种压缩多维数据仓库上的Cube算法.在深入研究压缩数据仓库上的Cube算法的基础上,提出了产生优化Cube计算计划的启发式算法和3个压缩多维数据仓库上的Cube算法.所提出的Cube算法直     

融合大数据技术架构在大型商业银行海量数据分析的应用

相对于软硬件一体的企业级数据仓库解决方案,以X86开放式硬件平台为基础的并行处理数据库和Hadoop/Spark生态体系,在扩展性和低成本方面有明显的优势,随着其不断发展成熟,已经成为企业级大数据平台不可或缺的一部分.本文从如何应对“大数据”所带来的挑战出发,提出一套适用于大型商业银行数据分析处理的融合大数据技术架构,并已取得应用实践的成功.     

基于多维数据建模的一体化平台

基于快速原型开发思想,设计并实现了一个一体化的多维数据建模平台,该平台为OLAP应用系统设计人员提供了一个快速构建原型系统的支撑环境,采用图示化的方法描述了用户需求,经过简单的操作,可以演示对应的分析结果,便于用户修正与确认,并为系统设计人员提供了一个导向,加快了系统的开发速度。