大数据背景下网络数据库云计算技术平台搭建研究

大数据时代网络数据库存储内容与类型呈海量增长,数据库访问用户与访问量数以万亿、亿计。文章利用云计算等先进技术对网络数据库进行优化,基于云计算等技术重新设计一种面向大数据的网络数据库,实现平台操作设计、集群模块搭建以及数据整合与预处理等。基于云计算等技术对网络数据库进行优化,是实现网络数据库存储容量提升,全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措。     

大数据应用模式及安全风险分析

传统设备和工具在扩展性和分析技术上已经不能满足大数据的应用要求,当前大数据通常是在云计算环境下搭建Hadoop进行存储和分析,而基于云的大数据安全风险来源于云计算服务商以及远程数据应用者对未授权文件及内容的越权操作。本文分析了在不同云计算部署模式下,Hadoop不同阶段操作过程中,不可信主体对数据服务和隐私安全构成的威胁,并给出对应的威胁模型实例。最后根据上述安全风险给出对应的安全策略。     

基于云计算的大数据分析

数据爆炸的年代多元化数据大量涌现,大数据的技术和市场正在快速发展,应充分利用现有的云计算技术对大数据进行管理分析,挖掘出数据的潜在价值,从而促进企业的生产经营活动。     

浅谈大数据技术发展趋势

随着信息技术的迅猛发展,各种数据呈指数级增长,标志着大数据时代的到来。大数据已经开始影响我们的工作、生活,甚至国家决策,大数据技术因此也得到了各大研究机构与企业广泛的关注和研究。本文对大数据的相关概念进行了介绍,并对大数据技术未来的发展趋势进行了展望。     

大数据研究

大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命。大数据挖掘和应用可创造出超万亿美元的价值,将是未来IT领域最大的市场机遇之一。大数据利用对数据处理的实时性、有效性提出了更高要求,需要根据大数据特点对传统的常规数据处理技术进行技术变革,形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。文中介绍了大数据的概念及其关键技术,描述了大数据带来的机遇和挑战,概述了美国政府的"大数据研究和发展倡议"。     

大数据技术应用研究

对大数据的产生背景和来源作出了介绍,分析了大数据处理的技术,提出了可以采用的数学模型,阐述了大数据处理系统的应用,最后对其未来的发展做出了思考。     

大数据技术应用研究

对大数据的产生背景和来源作出了介绍,分析了大数据处理的技术,提出了可以采用的数学模型,阐述了大数据处理系统的应用,最后对其未来的发展做出了思考。     

云计算Hadoop平台的异常数据检测算法研究

近年来,随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入,云平台下的数据处理已成为大规模数据的主要处理方式;但是,现有的云计算Hadoop平台在海量数据异常涌入状态下,常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题,造成无法对上述异常数据进行有效检测处理,严重影响云计算Hadoop平台的数据运算准确性;针对上述问题,提出云计算Hadoop平台的异常数据检测算法研究方法;采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决;通过仿真模拟实验证明,提出的云计算Hadoop平台的异常数据检测算法研究方法,具有异常数据识别率高,准确性高,速度快、可实施性强、稳定性好的特点。     

大数据云计算下网络安全技术的研究

在大数据云计算环境下,网络有着很大的风险,有些黑客或者不法分子为了满足自身的利益,便采用不良手段来窃取数据信息,这种行为不仅违法,而且对用户造成不可估计的损失。因此,在这种情况下,必须要有效运用网络安全技术,以确保可以从根本上实现网络安全的发展目标。基于此,本文简要分析了大数据云计算下网络安全技术,以供大家学习和参考。     

基于云计算的大数据研究

笔者结合云计算技术、物联网技术对大数据进行研究。首先对大数据的产生进行了阐述,对大数据的概念、特征和相关技术进行了分析,进而对云计算技术进行了分析,涉及云计算的概念、特征以及云计算架构等,最后结合云计算对大数据进行了研究。     

大数据环境下的平台架构技术研究

大数据时代的到来,对数据的管理和存储带来了挑战。为了更好地管理和利用大数据,对大数据的基本特征进行了剖析,从大数据和分析技术平台的视角,分析了海量并行处理架构、云计算、网格计算和MapReduce这几种重要的技术,比较了其技术特点,对运用不同的技术对大数据时代数据管理产生的作用进行了分析,讨论了大数据分析工作所需要的混合环境,整合环境资源以使能够协同工作,使得每一项技术变得更加强大有效。     

基于私有云和物理机的混合型大数据平台设计及实现

大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。     

Computing infrastructure for big data processing

With computing systems undergone a fundamental transformation from single-processor devices at the turn of the century to the ubiquitous and networked devices and the warehouse-scale computing via the cloud, the parallelism has become ubiquitous at many levels. At micro level, parallelisms are being explored from the underlying circuits, to pipelining and instruction level parallelism on multi-cores or many cores on a chip as well as in a machine. From macro level, parallelisms are being promoted from multiple machines on a rack, many racks in a data center, to the globally shared infrastructure of the Internet. With the push of big data, we are entering a new era of parallel computing driven by novel and ground breaking research innovation on elastic parallelism and scalability. In this paper, we will give an overview of computing infrastructure for big data processing, focusing on architectural, storage and networking challenges of supporting big data paper. We will briefly discuss emerging computing infrastructure and technologies that are promising for improving data parallelism, task parallelism and encouraging vertical and horizontal computation parallelism.     

探析大数据在高职教育中的个性化应用

伴随着移动宽带、物联网、云计算的迅猛发展以及越来越多的移动终端、传感设备接入网络,现代社会正在以不可想象的速度产生海量数据,对传统教育模式产生广泛而深刻的影响。在数据量庞大、种类繁多、信息多样化的大数据背景下,高职院校教学服务和数据利用方式将发生显著变化,并因此带来新的机会.大数据技术的应用,使得高校可以对其数据资源采取完全数据筛选的方式来分析、挖掘隐藏在数据背后的规律,获得具有洞察力和新价值的东西依靠数据作出科学决策,让高校的信息化建设成果为办学所用,为素质教育所用。     

云计算环境下基于数据关联度的海洋监测大数据布局策略

海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。     

大数据技术在特高压变电站运维中的应用

特高压变电站在运行过程中会积累大量数据,数据规模和增长速度都是超高压变电站所不能比拟的,如何有效的利用这些丰富的数据资源进行业务决策是急需解决的问题。大数据技术为特高压变电站运维工作提供了新的解决思路,通过将站内传感器采集的数据集成到变电站云平台,基于云平台开发各种应用子系统可方便巡检及故障预测,大大优化人力配置。本文首先分析了当前特高压变电站数据的来源及特性,界定了特高压变电站数据从属于大数据的研究范畴,接着从智能巡检和故障预测两方面探讨了大数据技术如何助力特高压运维工作,阐述了新的巡检模式,介绍了利用大数据技术进行故障发现及预测的工作思路,最后分析了与特高压变电站云平台搭建相关的大数据技术,对相关趋势进行了展望。     

大数据技术在水利统计查询分析系统中的应用

目前水利统计信息系统收录了全国各省市、自治区的农业灌溉、供用水、水土保持、水利建设投资、 农村水电、水文站网等行业数据,这些数据来源渠道广、涉及维度多、信息量级大,传统的数据分析手段已经很难满足水利业务分析的需要。为解决水利统计数据体量大、类型多、分析慢的问题,基于大数据技术提出包含从数据接入到业务应用的架构体系,设计综合展示、空间分析、智能分析及多维分析等功能模块,建立基于大数据技术的水利统计查询分析系统。结果表明：大数据水利统计查询分析系统不仅能够满足水利统计业务分析的需要,而且可以统筹分析不同类别、频率的数据,为水利统计查询分析业务提供平台支撑,同时也为大数据技术应用于其他行业提供参考。     

Pipeline provenance for cloud-based big data analytics

Provenance is information about the origin and creation of data. In data science and engineering related with cloud environment, such information is useful and sometimes even critical. In data analytics, it is necessary for making data-driven decisions to trace back history and reproduce final or intermediate results, even to tune models and adjust parameters in a real-time fashion. Particularly, in cloud, users need to evaluate data and pipeline trustworthiness. In this paper, we propose a solution: LogProv, toward realizing these functionalities for big data provenance, which needs to renovate data pipelines or some of big data software infrastructure to generate structured logs for pipeline events, and then stores data and logs separately in cloud space. The data are explicitly linked to the logs, which implicitly record pipeline semantics. Semantic information can be retrieved from the logs easily since they are well defined and structured beforehand. We implemented and deployed LogProv in Nectar Cloud,^* associated with Apache Pig, Hadoop ecosystem, and adopted Elasticsearch to provide query service. LogProv was evaluated and empirically case studied. The results show that LogProv is efficient since the performance overhead is no more than 10%; the query can be responded within 1 second; the trustworthiness is marked clearly; and there is no impact on the data processing logic of original pipelines.     

大数据时代下计算机软件技术的应用探析

近年来,随着计算机互联网信息技术的蓬勃发展,我国已经进入大数据时代。在此背景之下,计算机软件技术已被广泛应用于各大领域和产业中。文章首先介绍了大数据时代计算机软件技术的发展现状,重点解析了现代计算机技术中几种常见的计算机软件技术类型,剖析了大数据时代计算机软件技术的实际应用价值,并探讨了大数据时代计算机软件关键技术的应用,旨在促进当代计算机软件技术更好地为人类社会和企业服务。     

大数据和云计算技术的应用策略

目前,大数据和云计算在各行业得到了广泛运用,提升了企业的经济效益和社会效益,也为人们的生活创造了便利条件。文章主要分析了大数据和云计算技术,并对其应用策略进行了探讨,以供相关人员参考。