基于云计算的海量大数据存储系统设计和实现

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。     

面向海量文本数据的多任务并行调度加载技术研究与实现

随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加栽子任务,从而利用合理的并行调度算法使各个加栽子任务高度并行执行.MDMP中基于多任务并行调度加栽技术提供了高性能的加载.主要研究了多任务并行调度加载技术.     

基于Vue框架的海量数据处理系统设计

针对现有系统在处理海量数据时,存在处理耗时长、处理后数据利用价值不高的问题,引入Vue框架开展海量数据处理系统的设计研究。首先,基于海量数据处理系统的运行目标,设计海量数据处理系统基本结构;其次,利用八叉树技术实现海量数据区域分割与压缩;最后,通过Vue框架完成系统前端数据处理实例化开发。实验结果表明,新的处理系统对海量数据处理的效率更高,且处理后数据的利用价值得到提升。     

基于实时技术的大气颗粒物在线分析系统

针对环境监测中,难以实时在线处理海量颗粒物数据的问题,提出了一种基于实时技术的大气颗粒物在线分析系统,实现了颗粒物统计、浓度变化、来源解析等功能.该系统利用实时数据库来实时采集、存储海量大气数据,解决了环境监测中数据的海量问题;同时,引入自适应共振神经网络算法和逻辑回归模型进行数据分析,成功降低数据规模,提升数据分析速度.实践表明,该在线分析系统能在合理时间内得到准确的分析结果,具有重要的实际意义.     

海量数据查询优化算法的研究

当前,越来越多的业务部门都需要操作海量数据,如规划部门的规划数据,水利部门的水文、水利数据,气象部门的气象数据,这些部门处理的数据量通常都非常大。它包括各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。我们需要从大规模的、没有关系的数据中,在存储、管理、处理、优化等各个环节中注重效率,并提取出所需要的信息。海量数据存储管理在各行业的信息化过程中很重要,受到广泛的关注。本文综述了海量存储管理技术的研究及应用现状,以及结合大型收费系统同,介绍了一些关键的优化技术,包括数据库的存储,数据的管理,SQL语句,页面分割等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

基于IFC标准的建筑信息模型分布式大数据平台存储技术研究

随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。     

Hadoop平台下新型图像并行处理模型设计

Hadoop在处理海量小图像数据时，存在输入分片过多以及海量小图像存储问题。针对这些问题，不同于采用HIPI、SequenceFile等方法，提出了一个新型图像并行处理模型。利用Hadoop适合处理纯文本数据的特性，本模型使用存储了图像路径的文本文件替换图像数据作为输入，不需要设计图像数据类型。在Map阶段直接完成图像的读取、处理、存储过程。为了简化图像处理算法，将OpenCV和Map函数结合并设计了对应的存储方法，实现小图像文件的存储。实验表明，在Hadoop分布式系统平台下，模型不论在小数据量还是在大数据量的测试数据环境中，都具有良好的吞吐性能和稳定性。     

基于Hadoop农业大数据管理平台的设计

信息技术的高速发展使得每天的数据量以TB级速度暴增,如何有效利用和管理这些爆炸式增长的大数据呢？是当前亟待处理的问题.大数据已经渗透到包括农业领域在内的各个领域,随着农业信息化建设以及物联网技术在农业生产中的应用,产生了海量的农业大数据待存储、管理和处理.本文以成都农业科技职业学院彭州葛仙山农业示范基地的农业信息化建设为背景,根据农业物联网和信息化建设要求,构建高性能基于Hadoop农业大数据管理的平台,实现农业大数据的安全可靠存储、智能管理与应用,最终达到对农业生产的智能预警、智能决策和智能分析的目的,并为农户提供专业的指导.为我国进入精细化种植、精准化控制、可视化管理、智能化决策的智慧农业时代奠定基础.     

多工作表数据导出的解决方法

随着网络系统与信息技术的日益发展,大批量数据的存储与处理预示着大数据时代的到来,各种各样的数据、信息需要被记录和存储,在海量的数据中将数据分类、统计、汇总,并呈现给普通用户查阅;Excel是常用的办公软件,也是终端用户最直观、最常用的数据查阅表格,在网络系统中将海量数据分类导出到Excel中,Excel又能承载多少数据量,一直是大家关注的问题.介绍了从数据库中将超大量分类数据导出至一个Excel工作簿中的多个工作表的解决方法.     

一种基于Hadoop的云运维监控模型设计与实现

随着企业信息化在生产实时监测、海量存储和科学分析决策等方面的需求不断提升,运维监控系统已逐渐成为主要的管理手段。采用最新的云计算技术,设计及搭建一个数据规模易扩展、处理速度快、安全性高、成本低的云运维监控系统;针对运维控制系统中海量监控历史数据实时提取响应速度慢的缺点,设计并实现一种基于Hadoop的分布式海量数据处理模型。仿真实验证明,Hadoop在对云监控系统中的海量数据提取效率优于传统方法,随着数据量的快速增长,优势越明显。     

环境评估大数据管理平台初探及技术综述

随着软硬件成本的下降和相关技术的日趋成熟,传统的数据分析和管理方式已不能适应业务发展需求.由于环境保护监测和评估数据符合大数据的特征,因此利用大数据技术构建新的环境评估管理平台已成为可能.本文在通过对环境评估大数据管理平台三层架构以及物理实现方案的阐述,结合弹性扩展、流处理、数据湖、大规模并行处理、机器学习等技术的研究,尝试解决环境评估数据的高速、深入、智能处理问题,从而为业务管理提供更高效率的数据支撑.     

基于微服务架构与区块链技术的环境监测系统

针对高速公路服务区环境监测所面临的主要挑战和问题,提出了基于微服务架构结合区块链技术构建环境监测系统的思路和方法,并成功研发了一套高速公路智能环保监控管理系统.通过物联网中间件技术打通了环境监测数据从终端传感器到云服务器的壁垒;通过分治法思想将整体系统分割为水质、大气、噪声和固废等面向多污染源的服务单元(可独立部署);...     

基于Storm的海量数据实时聚类

针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。     

Object class segmentation of massive 3D point clouds of urban areas using point cloud topology

A large number of remote-sensing techniques and image-based photogrammetric approaches allow an efficient generation of massive 3D point clouds of our physical environment. The efficient processing, analysis, exploration, and visualization of massive 3D point clouds constitute challenging tasks for applications, systems, and workflows in disciplines such as urban planning, environmental monitoring, disaster management, and homeland security. We present an approach to segment massive 3D point clouds according to object classes of virtual urban environments including terrain, building, vegetation, water, and infrastructure. The classification relies on analysing the point cloud topology; it does not require per-point attributes or representative training data. The approach is based on an iterative multi-pass processing scheme, where each pass focuses on different topological features and considers already detected object classes from previous passes. To cope with the massive amount of data, out-of-core spatial data structures and graphics processing unit (GPU)-accelerated algorithms are utilized. Classification results are discussed based on a massive 3D point cloud with almost 5 billion points of a city. The results indicate that object-class-enriched 3D point clouds can substantially improve analysis algorithms and applications as well as enhance visualization techniques.     

面向超大规模计算系统的监控、调度及网络优化实践

【目的】为应对超大规模计算系统所带来的监控数据风暴、作业调度稳定性及灵活性、网络复杂度及高效性等实际挑战,本文分享了近期真实实践的经验和解决办法。【应用背景】当计算系统从P级逐渐向E级过渡,节点数量可超过10000个。在计算系统设计之初就需要确定网络拓扑的选型,而在系统的具体使用中更是离不开高效的调度和及时的监控。【方法】本文采用了基于动态负载均衡的分布式监控架构设计,基于高速缓存的分布式告警架构设计,基于SLURM的源码和配置优化,以及nd-Torus网络拓扑仿真对比等相关技术手段,基本满足了实际业务使用需求。【结果】数据表明,对于~10000节点的计算系统,实时告警数据库表的数据量大小基本可以控制在100万条以内。优化后的SLURM调度系统,可满足系统的业务级调度需求。网络方面,6D-Torus网络由于网络直径低、平均通信距离短,性能和网卡线缆用量较Fat-Tree网络和3D-Torus有一定提升,饱和吞吐率超过40%。【结论】分布式监控架构和告警架构可以有效解决监控数据风暴问题。SLURM在优化后可以实现对超大规模计算系统的作业调度功能。就线缆和交换机使用数量而言,6D-Torus相对于传统Fat-Tree网络更加经济,且性能优于3D-Torus,更适合超大规模计算系统。     

基于机载实时处理的振动监控系统设计与实现

针对某型直升机需要对振动信号进行安全监控的问题,设计了一种基于机载实时处理的振动监控系统,以机载振动实时处理设备为核心,并通过MATLAB软件仿真选取最优的算法,利用该系统与原有的测试系统共同实施机载端的振动安全监控,解决了振动信号实时监控中带宽不足的技术难题。试验结果表明,该方案设计合理,具有实时性好、可靠性高的优点,振动数据实时处理结果与事后处理结果基本一致。该系统的成功设计保证了直升机的试飞安全,可推广至其他飞机的飞行试验中使用。     

基于RPC的分布式系统个性监测与预测分析

随着分布式文件系统的深入研究与日益完善,出现以下2个问题:一是监测系统虽能获取各节点物理状态信息,但缺乏一种个性化监测机制获知系统软件运行的动态信息;二是缺乏对各类监测数据整合处理方法,以形成整体节点运行时的状态描述.针对上述问题,提出并实现一种基于远程过程调用协议(Remote Procedure Call Protocol,RPC)个性监测技术与预测分析技术相结合的监测系统.针对系统的各类监测数据,提出了基于多元线性回归的信息拟合算法,将系统服务端的监测信息进行拟合;构建了预测分析建模,利用系统历史监测数据,实现对元数据端命令处理速率的预测.     

基于WSN的地窖贮藏环境自动监测系统研究

针对我国窖藏环境监测难的问题,设计开发了一套基于无线传感器网络的地窖贮藏环境自动监控系统。该系统能快速、准确地获取影响物品贮藏区的环境参数,并且以无线方式自动上传到服务器终端,实现数据的自动分析、处理、显示、查询、预警和辅助决策等功能。本文从无线传感器网络的系统整体架构、通信机制和监控平台软件给出了详细的设计和实现过程。该系统可靠性高、功能易扩展,适用各种规模化窖藏的用户使用,具有广阔的市场前景和实用价值。