基于Hadoop和MapReduce的大数据处理系统设计与实现

随着信息技术的猛烈发展,各行各业产生的数据呈指数型增长。如何利用,分析,整合这些"大数据"成为信息时代的一大挑战。文章针对信息时代下,大规模数据处理分析效率等一系列相关问题,利用Hadoop技术,设计并实现了一套基于Hadoop和MapReduce的大数据处理系统,该系统利用Hadoop分布式文件系统(HDFS)存储数据,利用Hadoop Map Reduce框架分布式处理数据分析任务。实验结果表明:该系统可以将单一数据处理任务分配到一个Hadoop集群上去,继而提高大数据文件处理效率。     

基于Hadoop的Web医疗咨询数据分析系统的实现

相对传统的分布式数据库和数据仓库技术,Hadoop和MapReduce技术以其简单性、良好的可扩展性和容错性成为当前大规模数据处理的主流技术之一.而Hive等软件产品在Hadoop基础上实现了与关系数据库的接口模式,从而进一步改善了Hadoop的易用性.数据存储使用Hadoop分布式存储,使用Hive特有的数据库语言HiveQL实现数据的查询以及分析操作.最后使用Java JFreeChart实现结果可视化,将结果以柱状图的形式显示出来.由于使用Hadoop作为基础,数据的查询分析速度更快,能够更好地与系统后台对接,方便管理者操作.     

智慧校园中新升本院校迎新服务系统应用研究

迎新服务系统是智慧校园的重要组成部分,体现了学校迎新服务管理的信息化水平。然而,新升本院校在智慧迎新方面仍存在诸多问题。因此,文章以汉江师范学院迎新服务系统为例,结合智慧校园的理念,通过线上线下同时优化迎新服务流程,采用B/S架构设计系统的应用层、逻辑层和数据层,最后从实际应用的角度出发,介绍系统为新生、迎新工作人员和系统管理员提供的主要功能。汉江师范学院迎新服务系统的设计与应用,有力推进了智慧校园建设进程,可为其他院校改进迎新服务系统提供参考借鉴。     

大数据时代的网络舆情分析系统

网络舆情是通过互联网传播的,公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点.面对数亿网民和浩如烟海的网络言论,网络舆情的监测和分析越来越依赖舆情大数据分析技术与平台.大数据的相关技术目前应用最成熟的是由Apache基金会提出的Hadoop解决方案,将Hadoop技术应用于网络舆情分析系统,可以有效适应海量数据的处理需要.     

基于多变量动态算法的Hadoop负载均衡优化与实现

分析了云计算平台Hadoop负载均衡机制,针对Hadoop系统自带的均衡器要预先输入阈值才能运行的不足,通过多变量动态估计阈值对其进行优化与实现,依据集群磁盘空间负载情况和集群繁忙程度,动态估计均衡器的阈值,并给出了与估计阈值相关的计算公式,在此基础上采用集群系统对上述算法进行了测试验证.实验结果表明,对比Hadoop系统自带的需要固定阈值的均衡器,新方法能在均衡过程中利用系统相关信息动态估计阈值,对Hadoop的负载均衡优化取得更加令人满意的效果.     

基于Docker的Hadoop集群网络性能分析

针对Hadoop从网络的角度来研究提高Hadoop性能的方法不足的问题,提出了一个通过相关工具,根据不同的网络配置,在虚拟化环境Mininet下监测并分析Hadoop集群的网络特性的系统框架。本系统建立一个在Docker容器内运行的Mininet的Hadoop集群,按照不同的需求,通过配置Mininet方便地修改网络拓扑结构,可以监测容器和虚拟交换机的网络流量,并通过网络流量监视器观察网络行为,分析不同的网络设置对Hadoop性能的影响。实验从集群中没有背景流量、集群中的背景流量无Qo S控制、集群中的背景流量有Qo S控制,三个方面对Hadoop集群网络性能进行了详细分析。     

基于Web的高校数字迎新系统构建策略

为了有效解决高校传统迎新工作流程甚多、效率低下等问题,文章结合高校迎新流程及系统需求分析,以Web为基础开发了高校数字迎新系统,对系统整体框架、功能模块与实现过程进行了阐释,以促进高校迎新工作效率的稳步提高。     

Hodoop集群计算在电信业BI系统中的应用

传统的数据分析方法和相关BI数据分析软件面对海量电信数据已显得力不从心。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可扩展的优点,被广泛应用于云计算领域。文中在对云计算和Hadoop进行分析和研究的基础上。介绍了Hadoop技术及业界的一些典型应用案例,提出了Hadoop未来可以应用在电信业BI系统中的一些场景,并进行了探讨和研究。     

分布式数据质量管理系统在电力企业的实践和应用

随着企业信息化水平和企业精细化管理要求的不断提高,企业对数据管理的需求也随之增强,如何提高企业数据质量更是需要重点解决的问题.针对电力企业数据质量管理面临的挑战,创新提出了分布式数据质量管理解决方案.针对集中式数据质量系统的性能瓶颈,在研究数据质量系统特点并借鉴国内外对大数据的解决方案后,提出了基于Hadoop分布式处理框架的解决方案.利用Hadoop集群,可以把缺陷数据从Oracle 中抽离,分散存储在集群里多台服务器上,以有效提高磁盘I/O性能和数据分析性能.     

基于混合架构的国产化大数据平台研究与应用

文章主要研究一种基于混合架构的国产化大数据平台,可以更好地适配国产化ARM主机和麒麟操作系统,解决现有开源Hadoop平台的技术缺陷。通过对现有开源Hadoop平台进行改造并自主研发分布式调度系统和分布式存储系统,使本文大数据平台一方面摆脱底层架构受限问题,可以很好地适配ARM主机和传统X86主机,且全部功能均适配麒麟操作系统,性能稳定可靠;另一方面解决开源Hadoop平台调度系统不完善、交互效率低和单点故障问题。另外通过自主研发统一元数据及安全管理体系,将元数据进行统一规划,使本平台能够节省存储费用,提高安全管控能力。     

基于WEB的远程自动控制系统研究和实现

虚拟实验室有助于实现实验室资源共享,成为了目前高校实验室建设中研究的热点。针对远程实验过程中操作复杂和大量实验数据存储的问题,提出了一种通过网络远程自动控制硬件平台的虚拟实验平台方案。该方案包括客户端部分、数据处理和硬件实验平台部分,通过JNA技术、云存储技术以及SCPI编程相结合使用,实现数字预失真平台远程自动测试和解决复杂数据的处理问题。     

基于云计算的海量图片存储管理系统研究

随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。     

商密云存储系统应用研究

分析了云存储及其应用面临的安全需求,提出了以商用密码和云存储技术为基础的商密云存储业务系统。系统地介绍了商密云存储业务系统的系统架构及功能设计,并通过实施高强度安全认证、数据加密存储、统一密钥管理、数据传输加密以及安全隔离等安全机制,保障用户数据在网络传输、处理、存储等全流程的安全,最后从政企客户和公众客户两个层面提出商密云存储产品的服务形态设计思路。     

基于Raspberry Pi的家庭附网存储系统的设计与实现

为解决当前家庭用户大量数据下载、存储和共享的问题,提出了一种新的基于树莓派硬件平台的家庭附网存储系统.设计搭载了基于Debian的Linux操作系统,提供了基于CIFS/SMB、NFS和F1P协议的网络异构系统的文件共享,并实现了多种方式的脱机下载.系统将RAID技术和LVM技术相结合,并且利用Bypy同步百度云空间,提高了设备中数据的读写速率和系统的安全性,同时采用B/S模式的Web管理系统,用户可以通过浏览器对NAS设备进行控制和管理.通过测试数据表明,系统稳定可靠,具有数据传输速度快、安全性高、可扩展性好等优点.     

基于云计算的云找回信息资讯平台的开发与实现

为解决信息时代下的物品丢失问题,特设计出一款基于云计算的云找回信息资讯平台。该平台利用Web技术,巧妙结合Springboot框架、云计算思想下对数据迁移和云数据库的部署将传统的告示形式的失物招领系统转变为网络可视化智能匹配方式,将失主与拾主联系在一起,架起用户之间的桥梁。本文着重阐述系统的总体结构和框架,说明了详细的功能设计模块,同时给出后台的数据库设计方式以及云数据库部署的实现。设计结果表明,该平台符合当下社会现代大众的需求,相关的功能和设计与使用者相适宜。     

基于物联网技术的消毒设备监控系统

用于食堂、教室等环境消毒的臭氧消毒设备使用的过程中缺少监管,极易出现设备宕机时间太长等问题。提出了一种基于物联网技术的消毒监控系统,系统通过数据采集网关与消毒设备控制系统的通信去采集设备的运行数据,数据经过网口或4G传给服务器,经过分析处理后在平台端进行展示。试验证明,该系统能帮助设备厂商实时监控消毒设备的运行状态,设备的宕机时间减少到2天以内。同时通过对设备运行数据的整合分析,可以促进设备厂商对于设备的升级改造。     

面向云计算环境下Web数据挖掘技术

在云计算环境下,Web数据挖掘技术得到了快速发展。由于云计算的应用,Web数据挖掘体系已体现出新的特点。分析云计算环境下Web数据挖掘技术的特点,可以明确应用要点,可以实现云计算在数据存储中的突破,实现存储的能力与安全性的提高。从海量数据中高效挖掘有价值的资源,属于信息技术要解决的关键问题。云计算技术支持下的数据挖掘实现了资源的优化配置,体现出实用性、虚拟性的特点,可以保证数据挖掘的高效、精准。因此,有必要构建基于云计算的数据挖掘模式,保证数据挖掘具有更高的精准度,并实现挖掘成本的降低。     

民间艺术资源的云存储技术研究

我国民间艺术资源平台的建设和研究是当前文化艺术领域面临的一项重要而紧迫的课题,存在着诸多挑战。在大数据时代背景下,采用云计算和云存储技术是一个必然的趋势。文中介绍了Hadoop云计算与云存储技术,提出了基于Hadoop的民间艺术资源云存储平台建设方案。构建基于Hadoop的民间艺术资源云存储平台具有可行性和有效性。     

云计算关键技术之虚拟化技术认知研究

在信息化浪潮席卷全球的今天,信息技术必须以更加智慧的姿态来应对复杂的未知世界.“虚拟化”作为“智慧信息技术”的重要组成部分之一,已成为当今信息产业领域最受关注的新兴概念.虚拟化针对的是IT资源,用户只接受服务或使用,在虚拟环境中实现真实功能.虚拟化常见类型有网络虚拟化,存储虚拟化,系统虚拟化,应用虚拟化等.虚拟化在体现当代智慧信息技术的云计算中,将发挥更大的作用与绩效.     

中国电信商密云核心架构及发展探讨

介绍了云平台应用存在的用户信息滥用、隐私泄露等潜在安全风险,提出了合理运用国家商用密码算法是提高云计算应用安全、增强云计算使用者使用信心的重要手段。通过阐述密码技术、商密技术与云安全的关系,提出了发展商密云的安全理念,分析了中国电信基于国家商用密码算法的商密云安全平台及应用服务体系,从打造商密云产业链、推动国家商用密码产业发展、提升国家整体信息安全水平等方面探讨了中国商密云发展的策略。