海量超声数据体可视化研究

近年来,随着科学数据的快速增长,海量数据的可视化分析成了急需解决的难题.越来越多的处理海量数据的方法向着并行、分布式处理的方向发展.本文提出了一种混合的框架来处理海量的超声数据,该框架通过整合多种硬件环境和计算资源来处理海量数据;所有的数据都存放在一个基于高速网络环境的数据共享中心,具有高性能显卡的前端工作站将耗时的处理任务分配到网络中的计算结点,而自身处理显示和交互的操作;同时基于OpenCL和OpenMP实现了可视化算法在GPU和CPU上的并行计算;核外算法应用在本框架中来处理海量的体数据.实验结果表明,本文提出的框架不仅可以处理海量数据,而且具有较高的交互性能.     

浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

基于Spark分布式ETL在海量后勤数据的应用

在处理某大型企业的海量后勤大数据时,传统的基于MapReduce的ETL技术在数据提取、转换过程中,因为频繁进行磁盘读取的原因,存在数据处理效率不足的问题。考虑到Spark是基于内存操作的计算引擎,不依赖于磁盘操作,对数据的提取、转换效率的提升有一定帮助,因此文中采用了基于Spark的分布式ETL技术来处理这些海量数据,并通过实验进行效率比较。     

面向海量数据处理的网管改造方案

随着业务系统云化改造的实施,监控节点会成倍的增长,网管系统必须满足海量资源与信息的监控与处理要求。早期的架构存在单点隐患、资源管理效率低、数据处理速度慢等问题,原来集中处理与存储架构的方式,不能满足海量数据采集与处理的需要。单纯增加高性能服务器来实现系统性能的提升越来越困难,且成本昂贵。基于以上需求,参考互联网系统架构的建设,提出一种面向海量数据处理的网管改造方案,有效解决现有平台的问题。     

关于海量数据处理软件的程序设计

程序员在开发应用软件的过程中需要解决诸多难题，其中关于海量数据的处理问题就是诸多难点之一。本文从数据结构设计、程序流程组织和编程技术的使用等几个方面来介绍一个关于海量数据处理软件的开发方法。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

基于MapReduce数字图像处理研究

随着海量图像数据的增加,使得需要处理的数据规模越来越大,为了解决在处理海量数据信息时所面临的存取容量和处理速度的问题,在深入研究MapReduce大规模数据集分布式计算模型的基础之上,本文设计了基于MapReduce实现对数字图像并行化处理。实验结果表明：运行在Hadoop集群上的基于MapReduce并行化算法具有数据节点规模易扩展、处理速度快、安全性高、容易实现等特点,能够较好地满足海量数据图像的处理的要求。     

基于Hadoop云平台的模糊聚类算法研究

随着信息科学技术和移动互联网技术的快速发展,各种信息数据持续呈指数级爆发式快速增长。当今数据分析主要的目标是充分发掘出隐藏在海量数据背后信息,以此来推动各行业稳定持续发展。显然,云计算技术的出现为海量数据挖掘工作提供了便利,在传统单机模式的数据挖掘基础上,Hadoop云计算平台能够将信息数据分片处理,并将数据片分配到各个节点并行处理,大大提高了数据处理的效率。文章详细研究了基于Hadoop云计算平台的模糊聚类算法,充分利用Hadoop云计算平台并行化来解决对大规模海量数据挖掘的问题,并能够为社会经济发展作出贡献。     

基于服务的网格数据管理框架研究与应用

文章基于OGSA设计了一种网格数据管理框架．为网格环境中分布式异构数据提供方便、统一的管理和操作方式。描述了基于服务的网格数据管理框架的层次结构及功能，为网格数据管理系统的设计与实现提供了一种新的思路。     

云数据存储和管理标准化研究

分析云数据存储和管理面临的挑战,指出云数据存储和管理接口标准化问题,提出云数据存储和管理接口标准体系架构,并对标准体系架构中两类云数据存储接口和三类云数据管理接口分别进行阐述,提出未来的标准化工作建议.     

一种新的内部网安全传输方案设计与实现

通过对现有安全传输方案研究,设计并实现了一种新的网络安全传输方案。该方案在专用驱动中加入网络数据加／脱密,并通过修改网卡配置芯片将专用驱动与专用网卡建立特殊绑定关系。这样既兼顾了数据安全与传输效率,又兼顾了数据安全与实施成本,非常适用于中小型内部网。该方案现已利用多款Intel网卡进行了实验,实验系统运行稳定,能满足用户需求。     

引入移动节点的无线传感器网络

文章围绕引入移动节点可以节省无线传感器网络的能量消耗这一主题,对引入了移动节点的无线传感器网络的数据收集方式进行了一个全面合理的分类,并且结合相关文献对每类数据收集方式展开深入讨论,系统全面地论述了该主题的研究现状、存在的问题以及面临的挑战。     

一种认知无线电平台的硬件配置方法

本文比较详细介绍了认知无线电的工作原理和硬件配置,并给出了相关的测试数据。提出了一种利用射频收发芯片AD9361构架通用认知无线电硬件平台的方法,对认知无线电的大规模应用具有普遍指导意义。     

数据仓库技术在决策支持系统中的应用

介绍了数据仓库和决策支持系统的定义及相关技术,并论述了数据仓库技术应用在决策支持系统中的方案及其开发方法。     

计算机局域网络的安全性和保密技术

文章着重讨论了计算机网络安全研究中的重要内容之一－数据加密技术。首先,文章概括介绍了网络信息加密的基本结构原理;其次,通过从技术角度的分析比较,提出了一种探索性方案－网络安全卡,供大家参考,讨论。     

高级加密标准AES候选之一--Serpent

介绍了一个新的分组加密算法——Serpent,它是AES的一个候选算法,该算法使用256位的密钥对128位的块数据进行加解密;描述了Serpent的加解密过程及子密钥生成过程,同时对其性能作了部分阐述．     

多功能日历时钟在微型计算机中的应用

实时微机系统中，由多功能日时钟提供时间基准，既节省运行时间，又能对数据提供掉电保护。这里对DS1216作详细介绍，给出硬件结构和实用软件清单。     

霍夫曼算法在数字示波器中的应用

针对于数字存储示波器中要存储的波形数据或设置数据比较大，并且用户多用来存储周期波形这一特点，提出了本来用于文件压缩算法的霍夫曼压缩算法，将其改进为应用于数据流压缩。首先描述了用于霍夫曼算法的压缩和解压缩基本原理，并对压缩算法重点讨论，给出了详细的过程，解压过程比较简单，只筒略描述。并对传统的只能对字符进行压缩的霍夫曼算法进行了改进，使之可以完成对数据流压缩。