基于Hadoop云存储系统在设计院的应用研究

近年来,三维设计、协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求。本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于Hadoop构建的云存储系统模型,并应用于数据备份、归档及数据共享等领域,满足了设计院对海量数据存储、数据共享和数据挖掘等要求。     

基于Hadoop的气象信息数据仓库建立与测试

气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。     

基于大数据集群架构的数据管理系统设计

由于传统存储设备容量、传输带宽有限,而且设备节点扩展难、使用难、数据管理难,不足以应付不断增长的用户及数据存储要求。针对这种情况,通过对现有大数据底层支撑技术的梳理,搭建了一种基于大数据集群架构的数据管理系统,该系统为满足支持不同地域海量数据服务的需求,考虑了高性能、易用性、易扩展和可靠性等方面的因素,解决了在用户激增的情况下,较容易的通过增加硬件就完成系统的扩容,并具备异地就近服务、异地互备的能力。     

Hadoop下并行遗传算法研究及在应急设施选址中的应用

随着云计算的出现,大数据的概念也随之产生。自然灾害日趋增多,要求应急设施的部署规模不断扩大,这时,如何有效进行大规模应急设施的选址成为应急管理系统的关键。因此,提出一种改进的并行遗传算法并在Hadoop平台上编程实现,并应用于求解应急设施选址问题的集合覆盖模型,达到求解应急设施选址的目的。试验结果表明,改进的并行遗传算法不管在获取全局最优解上还是在求解大规模应急设施选址的时效性上都优于原有算法,是一种云计算环境下有效的应急设施选址问题求解算法。     

基于Hadoop的出租车服务策略

出租车服务策略是出租车司机群体智慧的体现,隐藏在大规模的出租车GPS轨迹数据中.基于大数据分析工具,针对出租车GPS轨迹数据进行服务策略挖掘,提取好的服务策略指导司机营运可以提高司机收入和营运效率.乘客搜索策略是出租车服务策略的主要内容,在对GPS轨迹数据进行清洗之后导入HDFS,首先提取司机个人轨迹,并对其收入进行量化,然后对乘客搜索策略建模,根据模型利用hadoop平台统计出司机对各种策略的使用情况,结果表明,收入较高的司机在乘客搜索策略选择上与收入一般的司机有显著差异.     

一种基于Hadoop的大规模图直径算法

为提高具有百万个节点以上的大规模图处理效率,通过研究大规模图和分布式框架Hadoop,提出了GDH大规模图直径算法。算法通过每次计算出半径相同的图节点,直到最后一次迭代求出所有节点的半径,然后用节点半径之和除以节点数算出大规模图直径。算法的时空复杂度不大,并且与经典的直径算法相比,GDH算法的效率高些。经测试雅虎网站和脸谱网站的网页数据,发现该算法可清晰地分析Web图的网页节点和社交图的人际关系。     

机器学习算法的网络大数据级应用实践

提出了基于hadoop平台的关于大数据级协同过滤推荐系统的一系列关键技术和实践.前期大数据处理平台hadoop的搭建,包括底层的硬件平台以及基于hadoop的数据处理工具;以基于物品的协同过滤推荐算法——slopeone算法为核心实现了协同过滤推荐并设计了整套实验流程,实验选择了一个具有代表性开放数据源作为处理对象,最后地实验结果给出了预测的均方根误差以及实验的耗时和数据量等指标.     

基于云平台Hadoop的三维虚拟地球数据组织形式

云计算的发展推动了整个行业的进步,同时也给GIS的发展提供了非常大的机会。本文针对开源云平台Hadoop搭建了一个小型的私有云,利用Hadoop HBase存储键值对数据的优势,将三维虚拟地球GeoGlobe格式数据存储于HBase之上,实现了三维GIS的金字塔状瓦片数据存储到HBase中,最后给出了具体的实现方案。     

电信运营商IT系统去IOE思路及实施方法

长期以来,电信运营商的核心支撑系统都主要使用小型机、高端磁阵及大型商业数据库。系统横向扩容难、资源综合利用效率低、维护成本高等矛盾日益突出。随着X86服务器处理性能的大幅提升,系统虚拟化技术及基于Hadoop开源软件解决方案的日趋成熟,国内一些大型互联网企业推进去"IOE"战略取得了重要突破。结合在电信运营商"去电信化"相关课题中的研究,提出了电信运营商IT系统去IOE的思路,并给出了如何进行分步实施的具体建议。     

基于Flink的海量医学图像检索系统设计与实现

医学图像检索是有效利用医学资源的基础，而医学图像的海量性和增量性为图像检索带来了新的挑战和要求。为了提高医学图像检索过程的效率，设计并实现一种基于Flink的海量医学图像检索系统。首先，系统通过Web应用作为用户操作入口，在后端搭建数据平台和业务集群；其次，系统通过HBase对医学图像数据进行分布式存储，利用深度卷积神经网络模型提取医学图像特征；然后，将所提取的医学图像特征数据进行乘积量化编码，并通过HBase进行存储；最后，通过基于Flink的内存计算对接Kafka进行实时图像检索，以及对批量导入图像的特征索引编码。系统在4个节点的服务器上部署分布式集群，使用真实医学图像数据集进行测试，通过在MapReduce和Spark两种不同技术模块下的对比实验表明本系统具有更好的检索效率表现。