大数据技术在生态环境领域的应用综述

现阶段来看,我国信息技术水平正在不断提升,各种信息技术的衍生技术在我国应用也越来越广泛,在实际应用的过程中发挥出了较为理想的效果.对于大数据技术来说,其属于现阶段互联网信息时代所诞生的重要技术手段之一,可以实现对多类型、多来源数据的高效处理.目前来看,大数据技术在我国生态环境领域的应用也受到了广泛关注,但是其在中国生态...     

刍议大数据技术在信息安全领域中的应用

新时期背景下,科学技术发展速度明显加快,信息安全发展趋势愈加复杂.在此过程中,安全数据量骤然增加,安全防护的思想也实现了转型化发展,由此信息安全领域跨入了大数据时代.将大数据技术作为重点研究对象,并与现代社会大数据技术在各领域行业变革中的重要性相互结合,探讨了其在信息安全领域中的具体应用,希望有所帮助.     

浅谈大数据

大数据是这两年非常热门的词汇,大数据应用已经开始被人们所关注。本文试着介绍大数据的由来、大数据的特点以及大数据的应用,并对大数据给信息技术带来的问题及大数据的发展趋势进行分析。     

大数据机器学习系统综述

机器学习需要有大量的背景数据作为训练集,而大数据技术正好给机器学习带来了这样的大量数据训练集。结合机器学习和大数据技术,为了实现高效的大数据机器学习而设计的大数据机器学习系统面临着诸多的技术问题。大数据机器学习系统成为大数据技术和机器学习领域研究的重要课题。本文介绍了大数据机器学习系统应该具有的概念、特征及相关典型的大数据机器学习系统。     

大数据应用的现状与展望分析

信息化时代的迅猛发展,大数据正在以惊人的速度改变着整个社会的生产方式,影响着我们每个人的生活,同时我们的生产、生活和工作等各个方面也都离不开大数据带来的便利.为了能够更好的利用大数据,最大限度的发挥其在政治、经济和社会等方面的作用,对其在当时社会发展中所表现出的特征进行分析的基础上,对它的应用现状也进行细致的分析,并且针对它未来的发展趋势进行详细的探讨,以此来提高我国在应用大数据中的主动性及创新意识.     

航空大数据研究综述

大数据伴随着物联网、云计算和人工智能等技术的发展成为目前的研究热点,并在许多领域得到了应用.蓬勃发展的航空领域具备天然的大数据土壤,受到人们越来越高的重视.近年来,学者们开始研究面向航空的大数据技术;航空公司也着手利用航空大数据为其提供服务,并将之提升至发展战略的高度.已有研究和实践表明,航空大数据不仅有利于降低航空公...     

水利大数据应用初探

面对"节水优先、空间均衡、系统治理、两手发力"的治水新思路,新一届水利部党组提出"水利工程补短板、水利行业强监管"的水利改革发展总基调,由此带来的一系列传统水利信息采集、处理和服务不适应问题越来越突出,传统水利信息工作模式已无法满足当前水利工作改革发展需要,二者之间甚至产生不可调和的矛盾。为此,只有采用新一代信息技术,尤其是大数据技术才能有效解决这一矛盾。通过对水利工作面临的主要问题,大数据及其应用特点,以及将两者结合形成13种可行的水利大数据典型应用的介绍,从利用大数据快速处理、综合和关联分析的能力解决传统方式难以解决的水利工作面临的主要问题方面,对大数据在水利中的应用进行初步探讨和研究。     

大数据应用技术浅析

随着大数据概念的热炒,大数据已经与我们的生活密切相关了。但是对于大多数人来说,大数据仅仅是一个新名词,并不了解大数据的概念以及应用。大数据的概念目前尚无定论,大数据应用技术还需要解决很多问题,相关的理论体系也急需建立,目前它的发展还面临着很大的挑战。     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

互联网金融中的大数据应用

互联网金融是基于互联网及移动通信、大数据、云计算、社交平台、搜索引擎等信息技术,实现资金融通、支付、结算等金融相关服务的金融业态,是现有金融体系的进一步完善和普惠金融的重要内容。数据是互联网金融的核心,大数据技术是保证互联网金融健康发展的关键支撑,互联网金融中的大数据应用包括精确营销、信用评估、资产定价、风险管理和指数编制等。互联网金融大数据应用面临着共享失联、内容失真、处理失速、分析失能和安全失控的问题和挑战。     

大数据应用的安全性探索

大数据具有规模大、生成速度快、种类繁多等方面的特点,大数据就是使用数据对其进行分析,并从其中挖掘出一些有效的信息进行分析,建立合理的数学模型后,得到预测结果,为企业发展提供有效的解决措施。大数据处理流程主要包含获取数据、集成数据、分析数据三个方面的内容。由于大数据本身的特征,大数据应用过程中存在一定的安全性问题。     

Survey of Large-Scale Data Management Systems for Big Data Applications

Today, data is flowing into various organizations at an unprecedented scale. The ability to scale out for processing an enhanced workload has become an important factor for the proliferation and popula...     

天玑大数据引擎及其应用

大数据计算面对的是传统IT技术无法处理的数据量超大规模、服务请求高吞吐量和数据类型异质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献,Apache Hadoop软件已成为PB量级大数据处理的成熟技术和事实标准,并且围绕不同类型大数据处理需求的软件生态环境已经建立起来。文章介绍了大数据计算系统中存储、索引和压缩解压缩的硬件加速三项研究工作,即RCFile、CCIndex和SwiftFS,有效解决了大数据计算系统的存储空间问题和查询性能等问题。这些研究成果已形成关键技术并集成在天玑大数据引擎软件栈中,直接支持了淘宝和腾讯公司的多个生产性应用。     

视频大数据研究综述

科学技术与生产力的发展带来了数据量的高速增长,其中视频图像等多媒体数据占了很大的比重。如何高效处理这些海量数据并从中快速挖掘有价值的信息是当前的研究热点。通常大数据具有四个特点,即数据量大、需要快速响应、数据类型多样和价值密度低。视频大数据同样具有以上特点,但其特殊性在于数据冗余更大,需要进行高效的压缩编码与分析处理。总的来说,视频大数据的研究内容包括了视频数据表示、智能视频分析、视频压缩与传输、视频显示与评价等方面。在发展趋势上,视频数据的表示将向真实感与智能化两个方向发展;智能视频分析技术将会借助深度神经网络获得更准确的识别分类结果;视频压缩技术在提升压缩效率的同时也会探索降低编码复杂度的方法,并通过结合人眼视觉感知特性的编码算法来减少视频大数据的视觉冗余;视频显示设备将伴随着视频数据表示形式的改变而进行相应的升级换代;视频质量的评价准则将由单一的图像质量评价向更加综合全面的用户体验质量评价发展。     

大数据关联关系度量研究综述

大数据关联性分析是大数据挖掘的基础,一个好的关联性度量是实施关联分析的关键。本文首先指出大数据时代关联度量面临的挑战和研究现状,从关联关系度量的构造角度出发,对现有的关联关系度量进行整理,归纳总结了这些关联关系的性质和适用条件。在回顾关联度量发展历程的基础上,结合大数据时代关联关系的特点,提出构造关联度量可能满足的条件。最后针对多模态数据关联关系度量的若干问题进行探讨和梳理,从3个角度出发,提出应对多模态数据空间转换的挑战,以引起对该领域更深入的思考与研究工作,从而促进大数据挖掘工作的进展。     

A Flexible ADMM Algorithm for Big Data Applications

We present a Flexible Alternating Direction Method of Multipliers (F-ADMM) algorithm for solving optimization problems involving a strongly convex objective function that is separable into \(n \ge 2\) blocks, subject to (non-separable) linear equality constraints. The F-ADMM algorithm uses a Gauss–Seidel scheme to update blocks of variables, and a regularization term is added to each of the subproblems. We prove, under common assumptions, that F-ADMM is globally convergent and that the iterates converge linearly. We also present a special case of F-ADMM that is partially parallelizable, which makes it attractive in a big data setting. In particular, we partition the data into groups, so that each group consists of multiple blocks of variables. By applying F-ADMM to this partitioning of the data, and using a specific regularization matrix, we obtain a hybrid ADMM (H-ADMM) algorithm: the grouped data is updated in a Gauss–Seidel fashion, and the blocks within each group are updated in a Jacobi (parallel) manner. Convergence of H-ADMM follows directly from the convergence properties of F-ADMM. Also, we describe a special case of H-ADMM that may be applied to functions that are convex, rather than strongly convex. Numerical experiments demonstrate the practical advantages of these new algorithms.     

大数据环境下威胁的协作式检测综述

恶意的不法分子采用直接或间接的方法攻击个人、机构、国家,从而使其遭受不同程度的威胁。此类信息的形式多种多样,数据量巨大,而且需要被高速地处理。因此,首先对5种典型的协作式检测模型Esper,Hadoop,Agilis,Storm和Spark进行分析、比较,阐述不同模型所适用的网络环境;然后对网络环境中常用的攻击手段DDoS,MITM,APT进行分析,说明检测这些攻击适合采用的模型;最后给出威胁的协作式检测架构模型部署方案,该方案包括发送和接收处理两个组件,并指出可根据实际需要进行不同模型的架构部署;特别地,给出了对等 网络、分等级的安全域网络、分层结构网络中架构模型的部署方案。