基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于大数据技术的中医药云服务平台基础架构设计

为了解决传统中医药云服务平台存在的时效性差、故障发生率高的问题。提出一种基于大数据技术实现对平台基础架构的优化设计。通过优化设计的平台基础架构,完成对平台网络架构的设计。根据通信网络存储数据,建立中医药服务数据处理大数据技术。通过挂号预约服务、中医问诊等服务业务,保证中医药云服务平台的正常运行。与传统基础架构下开发的中医药云服务平台相比,加载速度有所提高,且在恶劣条件下平台故障发生的次数有所降低。     

基于并行挖掘大数据的无损云取证模型仿真

互联网犯罪问题日益严峻,云取证也存在数据取证效率低、完整度不高问题.由此提出一种基于并行挖掘大数据的无损云取证模型.把较小数据集当作并行挖掘单元,采用数据属性稠密化方法挖掘通信单元间的关联规则,使用全局通讯模式连接每个单元,增强云通信效果,提高云取证效率;分块采集犯罪数据,运用子带量化预测法压缩初始数据,通过量化压缩数...     

遵义市智慧规划大数据云平台设计与实现

在国家政策和规划变革的驱动下,当前规划信息化系统的业务支撑包容性、数据资源复杂度及服务对象需求都在不断增长,原有平台在IT架构支撑、内外流程串联、数据增值空间和政务服务模式等方面的潜力已经见底,不能应对当前政务改革和服务创新提出的要求。城市要现代化,基础设施必须现代化,这就要求加快规划建设智慧城市,大力建设各类“专业云”和“特色云”,推动一体化的大数据云平台建设,提高城市精细化、智能化、信息化水平。本文基于成熟的面向服务的架构（SOA）体系,采用主流的GIS技术和数据库技术,提出了平台建设目标、设计思路和总体框架,最终实现了一套智慧规划大数据云平台。     

基于云平台分析大数据信息的安全机制

在网络技术快速发展的背景下,大数据急剧增加.在开放的网络平台中,大数据为企业、商业、个人等带来很多便利,促进了社会的发展,但也伴随着更高的信息安全风险.加上人们对信息安全重视程度不断提升,信息安全防护已经成为共识.文章中主要基于云平台来分析大数据信息安全现状,并对各种安全机制进行总结.     

云计算平台下的Web数据挖掘研究

近年来,计算机科学技术快速发展,在人们的生活、工作和学习中发挥着越来越重要的作用。计算机互联网的信息资源非常丰富,与此同时碎片化、海量的数据信息在很大程度上增加了人们获取有价值信息的成本和时间。当前云计算平台下的Web数据挖掘技术为海量数据信息的处理和分析提供了极大的便利,通过研究云计算平台下的Web数据挖掘,进一步完善和优化Web结构数据挖掘技术,降低大量数据信息存储和处理的成本,提高系统运行效率。本文简要介绍了云计算和Web数据挖掘,阐述了云计算平台下的Web数据挖掘系统。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

基于大数据云平台的智慧城市建设

大数据云平台的迅猛发展是该百年未来生活方式以及生产技术的根本条件,也是影响城市、企业决策的根本原因。随着中国的迅猛崛起,大数据云平台和城市管理二者的结合产物也随之出现,智慧城市的建立能够帮助越来越多的市民参与城市的管理,还能够从根本上提高城市管理的效率以及质量。     

大数据背景下智慧教育云平台构建研究

基于神经网络教育平台存在资源获取速度慢的缺点,针对该问题,提出了大数据背景下智慧教育云平台构建研究。在大数据支持下,设计智慧教育云平台总体架构,通过物理层、虚拟资源层配置相关硬件设备,经过逻辑层和展现层为用户提供有效服务,利用现有智慧信息,为用户提供个性化服务。优化处理Web端框架代码,降低代码复杂性,注重系统权限管控,科学设计服务功能,完成智慧教育云平台构建。由实验结果可知,该平台资源获取速度最高可达到99.5 MB/s,有效提高了学生学习效率。     

一种基于云计算数据挖掘平台架构的设计与实现

随着网络技术的飞速发展,不仅给人们生产和生活提供更多有价值的信息,而且又能提升人类从大量数据中发现有价值信息的能力。现阶段,数据挖掘技术已广泛应用在各行各业当中,并且已取得了较好成果。本文主要针对基于云计算的数据挖掘平台架构设计与实现进行了深入探究和分析。     

基于云计算的大数据信息检索技术研究

随着云计算的快速发展,信息呈现爆炸式增长。廉价的云存储和计算能力,加速了大数据的产生,也使得解决大数据的信息收集和信息检索成为必然。大数据超过50%是非结构化数据,所以它们绝大部分以文件的形式存储。大数据被分成许多块存储在块服务器中,同时也产生存储在主服务器上的相应元数据。该文就如何收集大数据的web-url及关键词,又如何检索其中的信息,作了探讨。     

基于云计算平台的政务大数据系统自动检索方法研究

传统检索方法查准率和查全率相对较差,导致自动检索精准度较低。为此,提出了基于云计算平台的政务大数据系统自动检索方法研究。在云计算平台下,利用CiteSpace软件对政务大数据系统中的关键词进行统计分析,获取相关资源。在电子政务联机模式下,揭示政务大数据系统中资源相关属性,在MapReduce挖掘模型支持下,进行政务大数据系统数据挖掘,实现政务大数据系统自动检索。实验验证分析,该方法检索查准率和查全率较高,具有高效检索效果。     

云计算Hadoop平台的异常数据检测算法研究

近年来,随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入,云平台下的数据处理已成为大规模数据的主要处理方式;但是,现有的云计算Hadoop平台在海量数据异常涌入状态下,常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题,造成无法对上述异常数据进行有效检测处理,严重影响云计算Hadoop平台的数据运算准确性;针对上述问题,提出云计算Hadoop平台的异常数据检测算法研究方法;采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决;通过仿真模拟实验证明,提出的云计算Hadoop平台的异常数据检测算法研究方法,具有异常数据识别率高,准确性高,速度快、可实施性强、稳定性好的特点。     

云计算环境下并行分布式数据挖掘平台研究

网络技术在带给人们大量信息的同时,也极大地增加了人们从海量数据中发现有用知识的难度,而解决这一问题的努力促进了数据挖掘技术的出现和快速发展。云计算是能够提供动态资源池、虚拟化和高可用性的计算平台,云计算开发平台可被用来开发高性能应用程序。研究云计算环境下并行分布式数据挖掘平台的3个层次,依下而上为分布式计算层,知识发现平台层以及用户应用层。     

基于云计算的科技资源信息共享模式的构建

随着我国电子政务系统的不断升级换代,各个地区和各个业务部门的应用系统已经开始逐步完善起来,但是由于信息化技术水平的限制,造成了大量的人力和物力的浪费,很多业务服务系统之间不能实现信息共享,“信息孤岛”问题越来越突出,如何避免该问题的重复再现,一直是一个研究的热点课题。伴随着当今云计算技术的推广,使用云计算实现大规模数据存储和计算,以及使用云平台整合服务和构建新的应用服务将有助于解决以上问题。本文提出一种基于云计算的平台共享范式,意在解决地区科技资源的信息共享,并实现科技资源数据的大规模存储,防止信息系统碎片。     

云平台下的装备保障管理系统结构化数据查询

首先针对我军装备保障管理系统关系数据库在海量数据查询以及分析处理方面的不足,在对系统数据资源分析的基础上提出并实现了基于Hadoop云平台结构化数据查询策略,通过Sqoop工具将数据库中的数据导入到HDFS中,并利用Hive进行数据分析.然后通过实验证明此方法克服了海量数据在单机环境中查询效率低下的缺点,具有较高的实用价值.     

基于云桌面技术的高校计算机实验室资源共享平台创建

实验室软硬件资源在高校建设中得到迅速发展,如何有效共享资源为教学科研发展服务成为高校信息化建设的重要课题.云计算技术将用户主机变为云桌面,实现资源有效利用,以云桌面发布技术实现实验室资源共享平台是有效的手段,云技术共享平台建设目标及技术架构,表明虚拟桌面平台可提供便捷资源共享方式,为高校实验室共享平台建设提供参考.     

基于大数据云分析平台的企业经营分析系统建设

针对现有经营分析系统的海量数据存储、海量数据处理及企业业务发展需求,我们设计并构建了基于大数据云分析平台的企业经营分析系统.本文重点介绍了该系统的建设技术路线、总体框架图、系统实现及运行效果.结果证明,该系统能够较好的提高数据综合利用效率,为企业运营提供数据支撑.