大数据应用技术浅析

随着大数据概念的热炒,大数据已经与我们的生活密切相关了。但是对于大多数人来说,大数据仅仅是一个新名词,并不了解大数据的概念以及应用。大数据的概念目前尚无定论,大数据应用技术还需要解决很多问题,相关的理论体系也急需建立,目前它的发展还面临着很大的挑战。     

大数据可视化技术及应用探讨

伴随着我国经济高速的发展持续,科学技术突破也随之持续提升,大数据技术已经走入人民群众日常生活之中,并取得了积极的反响与效益成就。与此同时,大数据可视化技术得到了社会各界的重视,它将人机互动进行科学的融合,借助计算机高效的运转效率,帮助人们解决部分生活、工作中的难题。基于此,本文总结出大数据可视化相关概念,并提出了全新的应用方法,针对该技术未来发展形势进行了畅想。     

大数据技术与应用专业实践教学体系构建与研究

随着信息时代的普及和社会的飞速发展,大数据时代也悄然来临,未来发展中的智慧城市、交通、医疗、金融和城市规划等各领域都离不开大数据技术的应用。对于高校而言,大数据技术与应用专业应运而生,如何构建专业的教学体系也是专业重点内容之一。在而今的时代背景下,通过对高校开设大数据技术与应用专业的实际需求和开设基础的分析,提出实践教学体系构建应坚持与时俱进的教学理念,从教学内容和形式、课外实践等方面展开分析研究,希望对相关人员给予帮助和启发。     

计算机数据信息处理中大数据技术的应用研究

大数据技术以云计算为主要技术依托,作为新兴的计算机技术具有高涵盖性、颠覆性等特点,其处理数据的过程主要包括数据采集、数据处理和集成、数据分析以及数据解释等流程。基于其主要特点以及技术依托,大数据技术被广泛应用于数据处理的过程中。针对大数据技术在数据处理过程中的应用,本文对其在信息采集与加工、虚拟资源调度、数据挖掘、数据信息的安全保障、数据解释等方面的应用展开了论述。     

基于大数据技术的学校德育评价体系研究

在大数据时代,可以把大数据的优势应用到学校德育工作中,做出更精准的德育评价,使教育工作者能够更好地了解和认清德育客观情况,为国家制订人才培养计划提供精准支持。文章构建了基于大数据技术的学校德育评价体系,并从大数据的视角开展对学校德育评价体系构架的研究。     

大数据技术在高校网络安全中的应用探究

随着计算机网络技术的迅猛发展,我国已经进入到了大数据时代。在大数据时代背景下,高校的教育信息化格局也发生了不同程度的改变,为了使高校营造出安全的信息环境,将大数据渗透到校园网络领域当中成为大势所趋。文章将基于大数据时代多样性、有效性及可控性的特点,结合网络信息时代高校网络易出现的安全漏洞、恶意攻击、非法侵入等问题,探讨将大数据技术应用在高校网络安全的信息采集、查询、存储及分析过程中,以此提高高校网络安全管理能力,提高高校信息化、智能化水平。     

高职院校大数据技术与应用专业课程体系研究

随着新一代信息技术产业的发展,社会对大数据、人工智能和云计算岗位的需求巨大,培养新一代信息技术人才迫在眉睫。基于此,笔者针对高职院校大数据技术与应用专业课程体系进行了研究,提出了一套"专业基础+专业核心+项目实战"大数据课程体系,对大数据课程体系进行了创新和改革,旨在不断提高人才培养质量。     

应用型高校数据科学与大数据技术人才培养体系探究

随着整个社会对大数据人才需求的井喷,如何培养出契合社会需求的数据科学与大数据技术专业人才成为高校急需解决的问题。文章通过分析大数据技术专业人才培养当前面临的主要问题,结合大数据专业的特点,从多个维度对普通应用型本科院校大数据人才培养体系进行了探究,并指出作为普通应用型本科院校,应结合自身的专业特色,形成以应用为主导的特色大数据人才培养体系。     

新形势下行政事业单位大数据应用安全体系研究

本文主要是在《数据安全法》出台后,行政事业单位的大数据应用非通用且关系民生,伴随着疫情发展和"最多跑一次"的改革,分析了目前行政事业单位硬件、软件的架构的不足,针对性地在法律、技术、管理这三个角度展开分析,希望能给大家带来一些思路.     

天玑大数据引擎及其应用

大数据计算面对的是传统IT技术无法处理的数据量超大规模、服务请求高吞吐量和数据类型异质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献,Apache Hadoop软件已成为PB量级大数据处理的成熟技术和事实标准,并且围绕不同类型大数据处理需求的软件生态环境已经建立起来。文章介绍了大数据计算系统中存储、索引和压缩解压缩的硬件加速三项研究工作,即RCFile、CCIndex和SwiftFS,有效解决了大数据计算系统的存储空间问题和查询性能等问题。这些研究成果已形成关键技术并集成在天玑大数据引擎软件栈中,直接支持了淘宝和腾讯公司的多个生产性应用。     

大数据应用的安全性探索

大数据具有规模大、生成速度快、种类繁多等方面的特点,大数据就是使用数据对其进行分析,并从其中挖掘出一些有效的信息进行分析,建立合理的数学模型后,得到预测结果,为企业发展提供有效的解决措施。大数据处理流程主要包含获取数据、集成数据、分析数据三个方面的内容。由于大数据本身的特征,大数据应用过程中存在一定的安全性问题。     

互联网金融中的大数据应用

互联网金融是基于互联网及移动通信、大数据、云计算、社交平台、搜索引擎等信息技术,实现资金融通、支付、结算等金融相关服务的金融业态,是现有金融体系的进一步完善和普惠金融的重要内容。数据是互联网金融的核心,大数据技术是保证互联网金融健康发展的关键支撑,互联网金融中的大数据应用包括精确营销、信用评估、资产定价、风险管理和指数编制等。互联网金融大数据应用面临着共享失联、内容失真、处理失速、分析失能和安全失控的问题和挑战。     

挖掘大数据的发展潜力

随着大数据时代的到来,企业也正向着智慧性方向发展,如何利用好大数据是当今几乎所有企业面临的问题.找到、找准大数据应用的切入点是融入大数据时代所迫切需要迈出的重要一步.在线数据的爆发性增长,基于海量数据的存储技术、发掘技术、计算技术、剖析技术等各种技术的飞速进步,让大数据的应用形式不断创新,大数据成为当下最流行的概念之一.随着海量、细致的新数据源的呈现,将使企业可以深化发掘大数据的发展潜力,应用以往无法应用的商业信息,从而发现业务时机,并以此研发一系列新的业务应用.     

Survey of Large-Scale Data Management Systems for Big Data Applications

Today, data is flowing into various organizations at an unprecedented scale. The ability to scale out for processing an enhanced workload has become an important factor for the proliferation and popula...     

大数据存储问题研究

讨论目前主流存储技术应对大数据时,面临的常见问题及解决方法,并提出主流存储技术有待解决和探讨的问题。本文所讨论的大数据,主要是指那些通过仪器采集、记录、探测等而获得的非结构化大块数据,如电影、电视等多媒体数据、卫星测绘、石油勘探、天文观测、基因测序数据等。     

大数据环境下的城市计算及其应用

介绍城市计算的技术内涵、数学模型及研究方法。包括数据流、图数据模型和排队论以及传感技术、城市数据管理、城市环境异构数据可视化等技术。并指出当前国内外的研究热点课题以及城市计算的应用和面临的挑战。     

实时大数据技术监督方案的开发

文章介绍了用实时厂级监控系统大数据开发技术监督指标的方法,运用具体案例阐述了开展预防监督的实用程序和闭环管理的解决方案。     

A Flexible ADMM Algorithm for Big Data Applications

We present a Flexible Alternating Direction Method of Multipliers (F-ADMM) algorithm for solving optimization problems involving a strongly convex objective function that is separable into \(n \ge 2\) blocks, subject to (non-separable) linear equality constraints. The F-ADMM algorithm uses a Gauss–Seidel scheme to update blocks of variables, and a regularization term is added to each of the subproblems. We prove, under common assumptions, that F-ADMM is globally convergent and that the iterates converge linearly. We also present a special case of F-ADMM that is partially parallelizable, which makes it attractive in a big data setting. In particular, we partition the data into groups, so that each group consists of multiple blocks of variables. By applying F-ADMM to this partitioning of the data, and using a specific regularization matrix, we obtain a hybrid ADMM (H-ADMM) algorithm: the grouped data is updated in a Gauss–Seidel fashion, and the blocks within each group are updated in a Jacobi (parallel) manner. Convergence of H-ADMM follows directly from the convergence properties of F-ADMM. Also, we describe a special case of H-ADMM that may be applied to functions that are convex, rather than strongly convex. Numerical experiments demonstrate the practical advantages of these new algorithms.