面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

一种基于spark的边缘云大数据分析算法研究

算力和时延等要求不断提高,加速了边缘计算(MEC)的规模应用,边缘计算将计算和存储功能下沉至网络边缘的数据生产侧,将传统云计算的部分处理任务迁移至边缘计算节点,提升了用户体验,但同时,分布式计算产生海量日志数据,对运维管理提出了更高要求。文章以云宽带边缘大数据为例,探索并提出了一种基于spark的日志数据的分析算法实现,并对比了Hadoop MapReduce在分析过程中的效率,该实现能够有效解决边缘计算中普遍存在的度量分析效率的问题。     

网络舆情的云计算监测模式分析与实现

针对传统网络舆情监测方式的不足,选取较为成熟的云计算架构,采用统一收集各局域网日志,并对海量数据使用云计算技术进行存储和分析的方法,提出了一种网络舆情云计算监测模式及其具体实现方法,并通过实验给出在设备配置、分析效率等方面有参考意义的实验数据。     

一种基于查询事件的域名服务器日志模型

提出了一种基于查询事件的日志模型,采用查询/应答日志匹配的方法完整的记录了一次查询事件,利用内存数据结构提高了海量数据写入的I/O效率;在日志分析过程中对日志文件建立二维哈希索引,利用布隆过滤器减少磁盘I/O次数,提高了分析效率.     

云计算环境下海量数据高效调度模型仿真

在云计算环境下海量数据调度的过程中,数据节点的利用存在较强的随机性.传统调度方法容易造成数据节点冲突,从而导致调度效率降低.提出基于数据节点冲突避免的云计算环境下海量数据高效调度方法.将整个调度任务划分成多个子任务,计算每个子任务任务量,根据目标数据在数据节点的传输情况,对数据节点的任务量进行计算,根据计算结果,建立优化的云计算环境下海量数据调度模型.实验结果表明,利用改进算法进行云计算环境下海量数据调度,能够有效提高调度的效率,避免了数据发生冲突的情况.     

云计算环境中基于用户访问需求的角色查找算法

提出了一种云计算环境中基于角色的访问控制模型CARBAC,将角色分为用户角色和资源拥有者管理角色。针对管理角色对用户访问的角色指派,提出了在混杂角色层次关系中基于用户权限的角色查找算法。对于一组给定的授权,该算法能在云计算系统的角色中选择一组数量最少的角色指派给用户。仿真实验表明,针对云计算环境中的海量用户访问,本算法能显著减少系统中角色的数量,缩短用户授权时间,提高系统运行效率。     

基于云计算的安全管理平台技术研究

提出了一种基于云计算的安全管理平台模型.该模型采用先进的云计算技术,利用其提供的强大的数据处理能力解决海量安全事件处理效率低的难题;实现对网络安全设备的分布化、虚拟化、服务透明化的实时管理;充分保证网络的安全性、可靠性,降低网络风险.通过与传统的安全管理平台的比较表明,该模型在数据处理能力、安全性、高可用性等方面性能显...     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

互联网环境下网络入侵检测算法研究与应用

随着云计算的发展和应用范围的不断扩大,云环境下的安全和隐私问题日益突出。传统的入侵检测系统已经远远不能满足当今海量数据的要求,建立云环境下高效的入侵检测系统已经成为入侵检测领域的重要研究方向。基于云计算提供的超大规模的计算能力和海量存储能力,提出了一种基于云环境的入侵检测系统,系统能够对海量入侵检测数据学习,实时检测,在入侵检测的效率和精度上比传统的入侵检测系统有所提高。     

基于Hadoop云平台的模糊聚类算法研究

随着信息科学技术和移动互联网技术的快速发展,各种信息数据持续呈指数级爆发式快速增长。当今数据分析主要的目标是充分发掘出隐藏在海量数据背后信息,以此来推动各行业稳定持续发展。显然,云计算技术的出现为海量数据挖掘工作提供了便利,在传统单机模式的数据挖掘基础上,Hadoop云计算平台能够将信息数据分片处理,并将数据片分配到各个节点并行处理,大大提高了数据处理的效率。文章详细研究了基于Hadoop云计算平台的模糊聚类算法,充分利用Hadoop云计算平台并行化来解决对大规模海量数据挖掘的问题,并能够为社会经济发展作出贡献。     

基于云计算的数据挖掘平台的研究与应用

随着网络和移动互联技术快速发展,海量数据的处理和分析具有超价值意义。将云计算技术引入数据挖掘,通过对二者技术的深入研究构建基于云计算的数据挖掘平台,利用云计算提供存储能力与计算能力,突破传统数据挖掘的瓶颈,提高数据挖掘的效率。     

基于TF-IDF算法的运营商用户画像分析

随着通信技术的迅速发展，海量日志的产生给企业运营带来了安全隐患，除了能否及时检测出电信运营商企业内各类业务系统及设备的海量日志是否安全、合规之外，基于用户行为的分析对日志安全也尤为重要。为了直观掌握用户行为，本文基于TF-IDF标签权重算法对运营商海量用户业务日志数据构建用户画像。根据实际业务场景构建RFS模型，通过开发的用户画像标签体系分析研究运营商用户行为，对用户操作日志中的潜在高风险信息进行数据挖掘，并输出可视化用户行为分析画像结果。实际应用表明，通过用户画像能识别风险用户行为信息，同时也能为日志安全分析提供参考价值，帮助企业实现数据安全运营动态监测。     

基于云计算的数据管理技术研究

从云计算和互联网发展关系的角度出发,借鉴传统数据管理技术的理念和优势,以实现研究、设计和开发新的基于云计算的数据管理技术的目的。通过对云计算的服务器虚拟技术、数据分布存储技术、海量数据管理技术和分布式并行编程模型4个关键技术的剖析,结合云计算对数据管理的特殊需求,详细阐述了GFS、MapReduce和BigTable 3种数据管理技术的功能、特点和管理数据的过程。证明云计算数据管理技术基础理论建设与完善是传统数据管理技术向云计算管理方式的改造与迁移。     

基于分布式云计算技术进行海量数据运营的探讨

电信企业内部会在清单、信令、日志等多个地方生成海量数据,传统的处理方式成本高、速度慢,无法应对互联网时代快速、高效的要求.针对这一问题,采用云计算技术Hadoop集群处理海量用户清单,为业务系统和分析系统提供一个分布式可动态扩充的数据库,有效地提升了清单入库、查询和统计速度,同时硬件成本降低了90％以上.     

云计算环境下多服务器多分区数据的高效挖掘方法设计

云计算环境下的多服务器多分区系统中存在海量数据,传统串行数据挖掘方法对这些数据进行挖掘的过程中,无法对海量数据进行并行处理,挖掘效率低。针对该问题,设计云计算环境下多服务器多分区数据挖掘系统,其包括基础设施即服务层、平台即服务层、软件即服务层,可实现大规模数据的高效挖掘。系统通过平台即服务层中的多服务器多分区数据处理模型,实现海量数据的分布式运算,并基于MapReduce机制实现K均值聚类数据挖掘算法的并行化,通过Map和Reduce函数实现多服务器多分区数据的并行挖掘。实验结果表明,所设计系统大幅度降低了云计算环境下多服务器多分区数据的挖掘时间,提高了数据的挖掘效率和稳定性。     

一种基于云计算的大数据关联规律挖掘分析方法

随着云计算时代的到来,云计算为海量数据的挖掘分析提供了一种新的技术途径,能够有效地解决传统数据挖掘方法不能适应海量数据挖掘的问题。介绍了云计算的含义和特点,分析了运用云计算技术实现数据挖掘的优势,设计了基于MapReduce并行处理架构的关联规律挖掘算法,并开展了试验验证。试验结果表明,基于云计算平台的并行关联规律挖掘算法能够极大地提高数据挖掘的执行速度。     

信息银行 自由存取

企业网盘是基于云计算理念推出的企业数据网络存储和管理解决方案,利用互联网后台数据中心的海量计算和存储能力为企业提供数据汇总分发、存储备份和管理等服务。     

云计算在机场安检信息系统中的应用

针对我国机场安检信息系统面临的海量数据处理、快速响应等需求,文中提出了一种基于云计算技术的机场安检信息系统解决方案。该方案利用云计算平台的海量数据处理能力和高可用性,结合智能分析、图像识别等技术,为机场安检提供了实时、准确、全面的数据服务。另外,分析了基于云计算的机场安检信息系统的总体框架和功能设计,详细阐述了云计算在机场安检信息系统中的应用,有助于我国民航事业的发展。