基于气象大数据云平台的自动化告警应用研究

气象大数据云平台围绕数据资源进行业务重构,可提供"数算一体"的平台化服务.基于宁夏地面气象观测自动化运行改革后台站取消日常值守、告警信息逐步向省级集约的气象业务现状,提出在气象大数据云平台中云化融入Quartz定时任务框架.该框架可设定执行任何有规律性的任务,而气象数据具有资料量级大、种类多且每时次呈现一定规律性的特点...     

混合云环境下考虑工作流的任务调度策略

针对混合云环境下的工作流调度问题, 提出一种结合黏菌算法和粒子群算法思想的工作流调度算法。利用粒子群算法的优点, 对较差解进行引导, 加快较差解的收敛速度, 对质量较好的解进行局部变异, 避免陷入局部最优, 同时增加交叉算子, 细化算法在任务调度问题中的寻优粒度, 根据混合云环境下的工作流调度模型, 进行离散编码, 完成对多个调度目标的优化。在现实工作流下进行仿真实验, 结果表明, 本文算法与单一启发式算法以及对应改进算法相比, 具有更好的优化性能。     

基于分布式云数据中心的城乡规划大数据集成处理平台

基于分布式云数据中心,结合Hadoop架构,构建了城乡规划大数据集成处理平台,为海量多源的城乡规划大数据提供可扩展、连续的处理支持,满足其多样化、动态化的应用需求。以多源异构的城市POI及二手房数据为例,进行融合处理与存储测试。研究结果表明:系统能够在较短时间内处理多源海量数据,为用户请求提供完整而不冗余的信息。     

一种海量大数据云存储系统框架设计

随着数据爆炸性增长,传统的存储方式已经不再满足海量数据的存储需求,云存储技术的飞速发展,使得云存储成为了一种新型的数据存储解决方案。文章在分析Hadoop分布式文件系统HDFS的基础上,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。     

大智移云背景下地方财政数据治理的转型研究

地方财政数据治理有助于实现财政数据资产价值最大化。在大数据、智能化、移动互联网和云计算的背景下,研究地方财政数据治理的转型,构建"财政数据治理"平台,逐步实现财政数据的互通和共享,进而优化公共财政体系,达到财政管理规范化、精细化和科学化的目标。     

基于学习速率与更新向量的混合云数据冗余值迭代算法

针对传统混合云数据冗余值迭代算法的平均回报值较低、收敛稳定性较差、收敛动作规模较小等问题,提出一种基于学习速率与更新向量的混合云数据冗余值迭代算法。首先,构建混合云数据冗余值值函数,在该函数中引入一个新的参数更新权重向量,基于深度学习中学习速率要求,获取值函数的稳定值;其次,依据获取的稳定值计算值函数稳定值向量,利用新权值处理稳定值向量,获取值函数更新向量;最后,对权值增量进行计算,结合哈希表完成混合云数据冗余值的迭代研究。实验结果表明,该算法的平均回报值最高,且收敛速度最快。     

基于大数据资源感知机制的云服务人工智能评估算法研究

为解决云服务条件下评估算法存在的用户服务评估效率较低、评估时长难以控制等问题,提出一种基于大数据资源感知机制的云服务人工智能评估算法。首先,针对大数据条件下用户访问热度及服务存在的集中突发特点,采取级别匹配方式,尽量满足不同层次用户的访问需求,提高服务匹配精确度,降低服务评估时长;然后,考虑到云资源占用对服务匹配的影响,采取从低到高的排序方法,提升用户服务颗粒度;最后,引入休眠机制增强资源评估效率。由仿真实验结果可知,相较于ABC算法和HM算法,所设计算法的服务评估时长更短,单位时间用户服务满足积累数更高,具有很强的评估收敛能力及用户服务质量。     

基于混合密码体制的大数据隐匿性特征安全提取技术

传统大数据隐匿性特征安全提取技术忽略了大数据密文的公钥及密钥封装,且大数据隐匿性特征类别混乱,导致该技术的提取精度偏低、冗余度较高.为此,本文提出一种基于混合密码体制的大数据隐匿性特征安全提取方法.通过混合密码体制中的公钥封装以及密钥封装机制生成大数据密文;根据密文内容设计对称加密方法和非对称加密方法,基于此分类隐匿性特征,利用不同类的隐匿性特征构建大数据隐秘性特征相空间,计算大数据间的关联维值,实现大数据隐匿特征的安全提取.实验结果表明,与传统方法相比,所提出的大数据隐匿特征提取方法冗余度低,大数据隐匿特征平均分类正确率高达95%,且特征安全提取误差低,验证了所提方法具有更好的应用性能.     

基于云教育大数据平台的高校英语课程学生综合素养测试与评价路径研究

云教育依托云计算、大数据、互联网对大学英语学习过程产生巨大的影响.通过问卷星对大学生英语综合素养测试与评价的现状、特点进行抽样调查,旨在积极探讨大数据背景下学生英语综合素养测试与评价方式的构建路径,提出从动机、态度、品质、评价本身等多维度建构测评体系,并对基于大数据测评中出现的问题提出合理化建议.     

基于动态混合分片机制的云存储系统I/O性能优化算法

为了解决云存储系统中存储I/O性能优化的问题,从数据分布的角度进行研究,建立了存储分片性能模型,并以此为基础给出了以I/O性能最优为目标的分片决策算法以及最优分片数的计算方法,提出了基于动态混合分片机制的数据分布算法(DADH).DHAH能充分考虑各存储节点和客户机的实际性能,动态地进行文件分片决策和最优分片数的计算,并且能根据存储节点的实际性能优化数据分布.实验结果表明:DADH较传统数据分布算法具有最优的I/O性能,并且算法性能提升效果在各种带宽下平均达到18%~44%.     

基于云计算和大数据的在线交互应用研究

在云计算和大数据的内涵特征基础上,对在线交互所面临的问题进行分析,构建基于大数据和云计算支持的在线交互平台模型,重点分析平台的功能实现,使用户实现完美的在线交互活动,达到高水平的交互目的,进而总结了利用云计算和大数据在线交互平台的特点和优势。     

基于Spark的大数据三枝决策分类方法

针对大规模的数据,借助Spark平台的分布式快速处理能力,提出了基于Spark的大数据三枝决策分类方法。该方法基于三枝决策理论,使用Spark对数据进行并行化处理。由经验数据获得数据的决策边界后,通过并行的方式进行正例和反例的判断,从而提高了在大数据集上的决策效率。采用多轮的分步决策方法提高了决策的效率与准确率。通过在UCI公开数据集mushroom和connect-4上的试验结果表明,新方法适用于大数据情况下的决策问题,大大提高了三枝决策分类算法的效率。     

基于云计算及数据挖掘技术的海量数据处理研究

主要介绍了在HADOOP平台下使用优化的SPRINT算法进行海量数据处理。首先介绍了传统的数据挖掘算法SPRINT算法,然后结合云计算中的MapReduce编程模式对SPRINT算法进行改进和优化,将并行的sPRINT算法移植到HADOOP平台下,最后通过实验实现分布式数据处理。     

大数据流式计算系统研究综述

互联网产业的迅速发展在带来数据规模爆炸式增长的同时,也使大数据呈现出越发鲜明的流式特征,传统的基于MapReduce的批处理模式难以满足流式大数据处理对于计算实时性的要求,因此,更为高效的流式计算系统得到了越来越广泛的应用。首先介绍了流式大数据的相关概念和特征,并对几类典型的流式计算系统实例进行了介绍和比较,分析了它们的系统架构、性能特点以及主要应用场景。最后总结并展望了大数据分析处理技术的发展前景。     

云环境中工作流的数据分配方法

云计算为工作流应用提供所需的高效率计算和大存储量同时也给商业机密等隐私数据的保护带来了挑战.由于保护隐私数据会造成数据传输时间的增加,本文提出一种新的基于数据协同破坏度的数据分配算法,以改进已有的数据分配策略.算法依赖私有云的安全性和公有云的计算机能力,在初始阶段只对非隐私数据进行划分来改进原始数据的静态分配方法,在运行阶段则不断地动态调整生成数据得到数据分配方案.实验表明,该改进方法在减少数据的传输时间花销上是有效的.     

智能工厂工业大数据云平台的设计与实现

针对智能工厂工业大数据应用需求,以炼化企业为例,通过搭建智能工厂大数据云平台,实现全网全流程多源异构数据采集,提供多层次分析方案,建立数据挖掘方法模型库,承载智能生产、网络化协同制造等智能服务,提升企业自身的核心竞争力.     

大数据环境下竞争情报系统的研究与实现

为让企业在大数据的环境下及时获得准确和可靠的竞争情报,提出了基于大数据的企业竞争情报系统的构建。通过B/S（浏览器/服务器）架构,运用聚焦爬虫工作原理的网络爬虫进行情报信息的采集,并用基于Hadoop的KNN算法进行情报信息的处理和分类,克服了大数据下KNN分类算法时间复杂度高等问题,同时系统支持用户个性化定制。     

基于数据挖掘的移动大客户管理系统

数据挖掘是依据相应的规则和策略,从海量的实际应用数据中提取有用信息和知识的一种技术。通过对移动通信业中所存在的问题和数据挖掘技术进行分析,针对通信业中突出的增量不增收问题,提出基于数据挖掘的移动大客户管理系统,以期通过加强对大客户的管理,为企业提供决策依据,从而提高移动通讯业客户管理的科学性,增强企业市场竞争力。该系统根据对大客户的特征描述,定义了相关的功能;并针对不同的数据挖掘模型,给出了相应的可验证实例。实验结果表明基于数据挖掘的移动大客户管理系统能够为企业提供有用的分析数据,有利于企业的决策。     

基于云计算的医疗信息系统研究

探讨了多地、异构的医疗卫生机构信息管理数据迁移到云平台上集中管理、应用的实施方案,通过云计算环境,对现有的医疗信息进行联机管理、集成与共享,以实现信息资源的共享,构建医疗信息的共享平台,实现医疗设备、医务人员、医疗机构之间的大范围、多层次互动,实现跨地域、跨学科、多模式的医疗数据的整合与共享,以此实现医疗数据的最优整合和最大协同效应.