浅谈Hadoop云计算的认识

Hadoop是一个分布式系统基础架构,已经广泛应用在云计算领域,Hadoop的框架最核心的设计是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。     

基于Hadoop的大数据论坛日志系统的分析与设计

大数据时代的诞生,为解决挖掘海量数据存储的信息带来了技术上的革命,通过网站点击存留的日志数据,分析这些数据,可获知许多对网站运营至关重要的信息。本文采用Hadoop分布式平台,使用HDFS数据存储,利用Hive来分析日志数据,设计一种Web日志分析系统,并阐述了系统的设计过程。     

Hadoop 3.0大数据平台性能

针对发布的Hadoop3.0,本文研究了Hadoop3.0大数据平台性能。首先,采用华为云服务器搭建大数据平台;其次,利用Hadoop框架提供的基准性能测试程序进行性能验证,测试指标包括TestDFSIO、MRBench和TeraSort。最后,对比分析不同负载、不同数据量对平台性能的影响。实验结果表明,Hadoop3.0在HDFS读写能力、MapReduce计算能力上均表现出较优的性能。     

基于Scrapy和Hadoop平台的房屋价格数据爬取和存储系统

本文提出基于Scrapy和Hadoop的房屋价格爬取及存储系统,利用Scrapy框架通过多线程爬取,爬取结束后执行完整性检查,过滤出信息不完整的网页,进行再次爬取直到信息完整,以文本文件的形式存入HDFS(Hadoop Distributed File System),然后对爬取到的网页进行数据分析,提取出有价值的数据。     

基于Hadoop+BP神经网络的海绵城市大数据平台设计研究

依托西安小寨区域海绵城市工程构建基于Hadoop+BP神经网络的海绵城市大数据平台,将HDFS(Hadoop Distributed File System)作为智能数据存储分析计算单元,在提高海量数据的访问效率、节省集群存储空间的同时,为海绵城市的决策支持提供了数据支撑,推进小寨区域海绵城市工程建设。     

基于MapReduce技术的海量文本数据统计方法研究

为了实现海量文本数据的有效发掘和统计,从文本分类与大数据并行处理两个方面着手,研究在海量文本数据挖掘的相关理论知识和MapReduce编程模型的相关技术支撑下的海量文本数据挖掘统计方法。在并行运算模型的开源实现Hadoop平台上,提出了一种简单、有效的文本分类方法——基于MapReduce的平均朴素贝叶斯文本分类算法。     

基于并行计算的大数据挖掘在电网中的应用

目前并行计算和云计算平台已成为解决大数据挖掘的重要手段。并行计算是将大数据划分成独立的小数据分别进行计算,阐述了常用的分布式和MapReduce方法等数据挖掘方法。分布式方法将大数据以手动的方式划分为若干个子集,并采用相应的数据挖掘算法进行处理,通过合并子集结果来获得最终的结果。MapReduce方法基于云计算平台对数据进行筛选和排序,再拆分成若干个映射任务,最后汇总成最终的输出结果。结合国家电网四个大数据集对分布式和MapReduce方法在数据挖掘的准确性和效率上进行对比,仿真结果表明,除了类不平衡的数据集,MapReduce明显优于基准和分布式计算模式。     

分布式环境下的GML存储

由于GML空间数据的急剧增加,单机存储已不能满足其发展的需要,为了能够更好共享和管理网络地理信息以及针对海量GML数据的存储问题,本课题研究在分布式环境下对GML空间数据进行存储,进而提高资源利用率。搭建Hadoop平台对GML空间数据按其模式分为不同的数据集,把同一数据集的数据分别存储在不同存储节点上,并用一个主目录...     

面向铁路BIM的数据存储与交互式关键技术

随着BIM技术的发展,其在铁路行业的应用也逐渐普及。铁路BIM技术的实施和发展离不开BIM数据存储技术和BIM模型跨平台、跨专业交互等技术。随着铁路工程中BIM相关应用产生的数据体量越来越大以及用户对交互体验感受要求越来越高,如何高效可靠地存储BIM数据以及便捷快速的完成模型可视化交互成为BIM技术在实施过程中的一大挑战。基于此,文章研究面向铁路应用的BIM存储技术,重点讨论基于分布式大数据平台Hadoop的HBase数据库、图数据库Neo4j以及GIS数据库等技术在铁路BIM中的应用,此外,文章还对基于B/S与C/S架构的BIM模型跨平台交互技术以及其在铁路行业的相关应用进行了分析。     

Hadoop支持下海量出租车轨迹数据预处理技术研究

海量出租车轨迹数据预处理是轨迹数据挖掘和应用的前提。出租车轨迹数据是典型的大数据,传统的数据处理技术无法解决大规模出租车轨迹数据误差分析和处理问题,文章在分析轨迹数据误差来源和误差类型的基础上,提出基于Hadoop的海量出租车轨迹数据预处理模型,使用Hive实现轨迹数据误差统计分析,设计MapReduce并行处理程序实现轨迹数据预处理。实验结果表明,该模型可以有效解决大规模出租车轨迹数据预处理问题,处理方式可靠性较高,大大提高了轨迹数据预处理效率,为后期轨迹数据深入挖掘和分析奠定了基础。     

引领教师成为研究者的有效措施

引领教师成为研究者,能有效地提高教师的教育教学能力。要让一个地区的大多数教师成为研究者,不能等待教师自动自发行动,而要制定有效的策略去组织、去引领。对教师进行教育科研的专业引领,要连续地、面对面地、手把手地引领,从选题确定到设计方案,再到调查研究,到最后的实践、反思、提炼以及撰写研究报告都需要跟进。只有通过这样的引领,教师才能成长为专业型教育教学研究者。     

资料索引

户式燃气热水供暖炉应用中的一些问题户式燃气热水供暖炉在我国应用于住宅供暖已有多年,作为集中供暖的一种补充方式,相对于集中供暖,它有利于供暖收费制度的改革,有利于用户自主选择供暖标准(供暖期和供暖温度等)。在实施节能标准(尤其是北京即将实施第三步节能目标)的住宅中使用,用户实际支出的供暖费用会明显低于采用燃气、油、电等“清洁能源”集中供暖的供暖费用。但在实际使用中,由于认识上的盲目性导致了出现供暖费用高、炉子的容量偏大、燃烧调节方式不合理、水泵不匹配、排烟及环境影响等诸多问题。只有妥善解决这些问题才能发挥其…     

资料索引

浅析综合布线(PDS)的管道施工综合布线系统(PDS)是一种模块化、灵活性极高的建筑物内或建筑群之间的信息传输通道,它既能使语音、数据、图像设备和交换设备与其它信息管理系统彼此相连,也能使这些设备与外部世界相连接。它是建筑物内弱电信号的传输和联络的基础,是进一步实现社会信息化的需要,也是实现办公自动化、楼宇自控等智能体系的一个必不可少的环节。综合布线是由不同系列和规格的部件组成,其中包括:传输介质、相关连接硬件以及电气保护设备等。管道施工是PDS系统的基础,对整个系统非常重要。要做好综合布线管道施工的前期规划,…     

资料索引

浅议招标代理工作质量控制 招标 代 理 制 度 是 为 适 应 建 筑 市 场 工 程 招 标 而 建 立 起 来的,招标 代理 机 构 因 在 为 业 主 择 优 选 择 承 包 商 方 面 做 出 的 成绩而 为社会 所 接 受 , 但 由 于 工 程 招 标 代 理 尚 处 于 起 步 阶 段 ,实际 操作中 存在 许多不 尽如 人意的 地方 。招 标代理 的质 量控制必 须从招 标 代 理 的 几 个 主 要 环 节 入 手 ,目 前 招 标 代 理 程 序大致 划分为 :与 业主沟 通发 布招标 公 告 、资 格 审 查 、编 制 招 标文件 、开 标主持 与评标 报告 、资料 整 理 上 报 、工 程 回 访…     

资料索引

燃气发动机驱动复合转轮除湿空调系统的应用推广燃气空调是缓解夏季峰时用电的有效途径。燃气发动机驱动复合转轮除湿空调系统(以下简称复合式空调系统)既能缓解峰段用电负荷,又能克服传统的除湿设备能耗大、卫生状况差等缺点。同时回收的燃气发动机余热用于吸湿剂再生将提高系统的能源利用率。但用户能否采用则取决于复合式空调系统的经济性、能耗、气候条件及燃气价格。复合式空调系统用能结构合理,一次能源能耗低,且具有削弱峰时用电、改善空调卫生条件等优点,但受目前国内能源价格限制,并不能广泛体现该技术的经济性。随着能源市场的开…     

资料索引

磷-氧对磷工业废渣烧制水泥熟料的影响,硅树脂阻燃聚碳酸酸酯的研究,纳米TiO2政性及在涂料中的应用研究,LIPN阴尼材料的合成和动态力学性能,污水池混凝土构筑物的防腐防渗,……     

An interactive data management system for river water quality data

Water quality data banks are needed to document the status and trends of water pollution in a country. Examples of such systems are the STORET system in the U.S., the NAQUADAT system in Canada and the EIS system in Scandinavia. All of these systems require trained personnel to help in the formulation of the inquiry and the actual querying of the system.By contrast, what is described in this paper is an on-line, interactive data management and analysis system which allows the user the direct search, update, retrieval and analysis of the data from a computer terminal. The user addresses the system in a high level language closely resembling English and has complete control over building, updating and querying the individual data banks. Almost all statistical operations can be performed on the data starting from histograms, distributions, correlations to regression, discriminant, component and spectral analysis. Commands for producing camera-ready graphs on graphic terminals are available.The system is implemented on The University of Michigan Computer System and can be accessed through local telephone numbers in more than 100 cities in the U.S. and Canada and from the major European capitals via the TELENET system. The operation of the system is illustrated on a small sample data base on the Ohio river provided by the Ohio River Sanitation Commission (ORSANCO).     

利用数据库虚拟表技术保护用户数据安全研究

在ORACLE数据库系统的理论学习和实际应用中,为保护数据表安全,分析用户数据管理具体需求,依据数据库字典管理平台,利用虚拟工具建立用户虚拟数据表,实现数据检索结果的别名输出。