基于MapReduce数字图像处理研究

随着海量图像数据的增加,使得需要处理的数据规模越来越大,为了解决在处理海量数据信息时所面临的存取容量和处理速度的问题,在深入研究MapReduce大规模数据集分布式计算模型的基础之上,本文设计了基于MapReduce实现对数字图像并行化处理。实验结果表明：运行在Hadoop集群上的基于MapReduce并行化算法具有数据节点规模易扩展、处理速度快、安全性高、容易实现等特点,能够较好地满足海量数据图像的处理的要求。     

面向OLAP的高效海量数据存储技术研究与实现

文章在分析了OLAP大规模海量多维数据特点的基础上,针对当前一般规模关系数据库处理海量多维数据能力的不足,通过使用数据库分区技术和并行磁盘组技术,设计并实现了一种高效的、面向OLAP应用的数据存储管理结构。并针对传统查询优化器对于大规模海量数据统计信息更新不及时的问题,设计了一种基于分区技术的统计方法。实验证明,该设计可以对百TB级的多维海量文本数据进行有效的管理。     

基于FSM的物联网大数据清洗算法

在定长滑动窗口算法的基础上,应用有限状态机,按照标签的状态,对RFID标签数据进行清洗。算法解决了在清洗算法中重复窗口的问题,通过创建多阶哈希表存储标签读写记录,针对在海量标签数据中存在的多读、冗余读的现象,通过改进滑动窗口的数据清洗方法,解决其在处理效率方面的不足。对阈值等影响清洗算法准确率的相关因素进行仿真,结果表明基于FSM的海量RFID标签数据清洗算法可以有效清洗标签数据,且性能优于SMURF等算法。     

基于改进K-means模糊聚类的区域健康大数据智能分析方法研究

区域健康数据的特点是其具有海量性和高维性,而使用传统K-means聚类方法无法应对高维度的数据处理,不但容易造成结果误差,且会使算法的执行效率较低、时间开销较大。针对上述问题,文中对传统K-means聚类方法进行了深入改进,在加入模糊项以保证其聚类效果的基础上,使用粗糙集理论对高维数据属性的权重值进行确定,通过对其数据属性数量进行简化,从而保证模型的精确度与执行效率。数值实验结果表明,文中所提算法在处理高维数据时,其准确度相较对比算法提升了约5%,算法的执行时间相较传统算法缩短了约50%,证明了该算法对高维数据进行聚类处理的有效性。     

Polyline线的抽稀与圆滑

在GIS基础数据的采集过程中，地理信息数据总量非常大，是海量数据，这就要求我们在数据处理的初级阶段采取合理有效的手段控制数据质量。针对这种情况，需要对数据进行圆滑或抽稀处理，这里介绍了对自动生成的等高线进行圆滑和抽稀处理的一种算法。     

基于Hadoop平台的电信大数据入库及查询性能优化研究

随着移动互联网的快速发展,电信运营商内部各种IT系统中的数据出现了"大数据"的特征,既有的技术架构和路线已无法高效处理如此海量的数据。针对流量经营大数据管理和大数据服务中海量DPI数据的数据入库和数据查询场景,提出了一种基于Hadoop的分布式数据服务架构,并设计出在该架构下的数据入库和查询性能的优化算法,通过模拟数据的实验对性能优化算法进行了验证。     

基于Flink平台的K-Means算法

对于K-Means算法在数据聚类时存在的K值敏感问题,基于密度分布的特性,采用核密度并针对大数据处理的需求,基于Flink平台对算法进行并行化处理。通过对比查准率、误差平方和,以及在串行和集群化处理中的加速比、任务执行时间等,并结合Flink平台的并行化计算优势,结果表明,算法在处理海量数据时具有较好的稳定性和高效性。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

采用云计算技术的网络流量检测

为了实现对现网大数据网络流量的实时、有效检测,提出了一种基于云计算的网络流量检测方案。该方案充分利用Hadoop平台Map/Reduce编程模型在海量数据处理方面的优势,采用分层化的设计思想,克服了传统检测方案在海量数据应用环境中效率低下、可扩展性与安全性不足的缺点。重庆移动DPI平台应用表明,该方案较为有效,流量检测效果良好,在大数据处理时效率较普通分布式处理有明显提高。     

非结构化海量网络数据处理技术研究

为实现网络化测试系统下非结构化海量网络数据的快速分析处理,在关键的算法和系统化集成处理方面提出解决方法。采用内存映射文件方式快速读取海量数据,并设计了时间矩阵算法,用以快速进行同步分析处理;应用分布式中间件方式实现海量数据的并发处理和数据分发,对飞行试验采集的网络数据进行了分析处理,使用这些算法的数据处理软件,可以使处理效率满足飞行试验海量网络数据处理的需求。这些都为新一代机载采集系统应用于飞行试验提供了技术保障。     

合成孔径雷达的Chirp Z成像算法研究

基于Chirp Z变换的合成孔径雷达成像算法是一种重要的频域类成像算法,文中对该算法进行了研究.首先给出时频域的算法表示,以及二维频域聚焦函数和新的相位补偿因子;其次推导了Chirp Z成像算法和常用Chirp Scaling成像算法在聚焦处理上的等效性,并对两种算法进行了比较分析.最后用点目标仿真和实际数据成像处理的结果验证了所述内容的有效性.     

浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.     

海量超声数据体可视化研究

近年来,随着科学数据的快速增长,海量数据的可视化分析成了急需解决的难题.越来越多的处理海量数据的方法向着并行、分布式处理的方向发展.本文提出了一种混合的框架来处理海量的超声数据,该框架通过整合多种硬件环境和计算资源来处理海量数据;所有的数据都存放在一个基于高速网络环境的数据共享中心,具有高性能显卡的前端工作站将耗时的处理任务分配到网络中的计算结点,而自身处理显示和交互的操作;同时基于OpenCL和OpenMP实现了可视化算法在GPU和CPU上的并行计算;核外算法应用在本框架中来处理海量的体数据.实验结果表明,本文提出的框架不仅可以处理海量数据,而且具有较高的交互性能.     

基于经营分析系统的数据仓库设计方案

随着近年来广西移动业务的不断发展,对经营分析系统海量数据处理能力要求也不断提高.在这一背景下,设计和构建了一个具备海量数据处理能力、快速响应机制、支持数据实时加载、复杂平行查询,拥有强大可伸缩性的数据仓库系统,并结合广西移动业务数据特点对经营分析系统数据仓库的框架设计进行了阐述.     

一种新的高速多目标快速参数化检测算法

针对线性调频脉冲压缩雷达参数化检测高速多目标时受到距离徙动、多普勒扩散和速度模糊的影响,该文首先采用联合频域变标脉冲压缩处理与吕方法(2011)实现目标信号的相参积累,然后在其基础上采用基于多普勒频率模糊数搜索的方法完成高速多目标的参数化检测.算法所提出的频域变标脉冲压缩处理可同步完成距离维的徙动补偿与多普勒维的模糊数补偿,降低了实现目标参数化检测的计算复杂度,且由于算法采用相参积累方式,在低信噪比下可以进行精确的目标检测和运动参数估计.相参积累算法运算量分析、计算机仿真以及实测数据处理结果验证了该文所提算法的有效性.     

云计算环境下多服务器多分区数据的高效挖掘方法设计

云计算环境下的多服务器多分区系统中存在海量数据,传统串行数据挖掘方法对这些数据进行挖掘的过程中,无法对海量数据进行并行处理,挖掘效率低。针对该问题,设计云计算环境下多服务器多分区数据挖掘系统,其包括基础设施即服务层、平台即服务层、软件即服务层,可实现大规模数据的高效挖掘。系统通过平台即服务层中的多服务器多分区数据处理模型,实现海量数据的分布式运算,并基于MapReduce机制实现K均值聚类数据挖掘算法的并行化,通过Map和Reduce函数实现多服务器多分区数据的并行挖掘。实验结果表明,所设计系统大幅度降低了云计算环境下多服务器多分区数据的挖掘时间,提高了数据的挖掘效率和稳定性。     

试飞数据的压缩传输技术研究

目前飞行试验测试数据快速增长,试飞数据的海量化是必然的趋势,海量试飞数据的传输越来越成为试飞数据处理效率的瓶颈。通过分析海量试飞数据压缩传输的可行性,设计了试飞数据压缩传输的模型。实验结果表明试飞数据的实时压缩传输可大幅提高数据的传输效率和显著缩短数据的传输时间,为试飞数据的快速处理打下了坚实的基础。     

基于MapReduce的关联规则挖掘算法的研究及应用

随着新一代信息技术的发展,人工智能、云计算、物联网、大数据技术的应用越来越广泛。对自然灾害的实时监测等应用的也逐步增多,使其产生了海量的监测数据,而传统的关联规则挖掘算法Apriori在处理海量数据时效率低,扩展性差等弊端也显而易见。由此,加大了数据处理分析的压力,用户提取有效信息的难度也不断地增加。文章针对在大数据环境下提出了基于MapReduce的关联规则挖掘算法的改进算法,并探讨其在山体滑坡监测预警中的应用。     

电力巡线直升机激光扫描数据的高效组织与显示

为了提高激光扫描数据的后处理速度和显示效率，采用了并行化阈值分割构建八叉树结构、对海量点云进行分块处理的方法。基于高差的数据抽稀方法，逐层精简八叉树叶节点中的数据，保存在八叉树外存结构中，构建点云多分辨率细节层次模型。采用视点变化与分页数据库结合的内外存调度策略，对一组电力巡线直升机获取的激光扫描点云数据进行实验验证。结果表明，该方法在八叉树构建速度和海量点云数据显示效率上的优越性，可以很好地满足电力巡线的时效性需求。     

半监督多视图学习在大数据分析中的应用探讨

半监督多视图学习是机器学习领域一种极具潜力的大数据处理和分析方法,该方法能有效处理异构和半监督数据,并能方便地在线化和并行化,适合处理海量数据。该方法在大数据时代的应用前景值得研究人员和业界关注。指出未来需要通过引入其他领域新的研究技术和成果,不断丰富和完善半监督多视图学习的理论体系和算法设计,并在实验和实践中不断检验和探索。