大数据环境下个人数据保护问题探析

网络环境下,个人数据被迅速记录、转发、存储和利用,该过程在大数据背景下呈现出一系列新特性,使得个人数据极易脱离个人数据主体的控制,受到侵害。文中首先介绍了大数据与个人数据在法律上的界定,以及大数据环境下对个人数据的侵害问题;然后讨论在大数据背景下个人数据呈现的新特点与新特点下面临的新问题,最后提出保护个人数据免受侵害的对策和建议。     

大数据安全管理研究与探讨

在移动互联网时代,大数据的开发与应用,对各行各业均有重要影响。当前,大数据应用百花齐放,主要包括电商大数据应用、征信大数据应用、金融大数据应用、医疗大数据应用、教育大数据应用、工业大数据应用和电信大数据应用等多个领域。在享受大数据应用成果的同时,大数据的安全问题也不容忽视。结合近年来在大数据管理方面的实践与经验,文章对大数据的安全管理进行分析与汇总,旨在为后期的发展提供决策性的参考。     

大数据与农业：现实挑战与对策

大数据目的在于从庞大的数据集合中找寻、挖掘有价值的数据和知识。大数据技术对发展农业具有重要的意义,有必要推动大数据在农业领域的跨界应用。本文在分析大数据技术在农业中的应用情况后,分析了大数据产业发展面临的现实挑战,并认为有必要从政府扶持、主体培育、农业计算水平提升、数据开发等方面提高农业大数据技术应用水平。     

基于字典学习的土壤地球化学数据稀疏重构

在土壤地球化学数据的勘察和采集过程中,因为各种客观因素导致数据不完整,这会对后续的研究工作造成一定的影响,因此对数据进行重构是预处理阶段最基本的步骤。基于土壤地球化学数据在自身或在变换域内的稀疏性,建立基于字典学习的土壤地球化学数据重构模型,将数据重构问题转化为稀疏优化问题,可以减少数据重构后的平滑效果,在一定程度上保留土壤地球化学数据在异常区和背景区交界处的结构特征。最后将反距离插值法和稀疏重构算法重构后的数据进行对比,结果表明稀疏重构算法能有效地对土壤地球化学数据进行重构。     

大数据来了!

当业界反复讨论海量数据增长、非结构化数据挑战、大数据究竟是什么等话题时,大数据时代已经来临,越来越多的企业已开始意识到数据的价值,以及大数据所带来的创新机遇。但与此同时,大数据泡沫日益增多,话题炒作被《驾驭大数据》一书作者Bill Franks视为已达顶峰。本期《通信世界》将从实际案例出发,呈现大数据的行业应用,并选取电子商务、金融保险两个国内大数据应用走在前列的行业,作为代表予以参考。同样,在电信行业中,大数据的价值也正在被运营商所看重,在后续报道中,《通信世界》将会呈现大数据在电信行业的应用。)     

分布式存储系统在通信运营商中的应用分析

随着运营商的网路的发展,数据大部分存储在不同的区域网络,所以数据管理系统将面临数据的存取效率以及确保取得的数据内容一致的问题。针对数据分散存储与数据存取的问题,本论文提出一个通过阶层式逻辑数据索引与快取的设计建立在分布式数据管理系统中的数据存取机制,在现有网络带宽与架构下,提供更有效率的数据传输与数据管理。     

浅谈大数据时代的数据能力培养

在大数据时代的环境下,数据的作用越来越重要,当然,数据能力培养就更为关键了.在信息基础的教育过程中,实行数据能力的培养是不可缺少的环节.本文详细的介绍了大数据时代的数据素养的内涵、数据教育意义、数据素养构成.     

数据中台的数据资产管理体系研究

伴随大数据时代的到来,各个领域对数据的重视达到了前所未有的高度."数据即资产"的理念得到了人们的认可.数据中台是科技数据智能化业务的核心部分,在引入数据中台之后能够打破数据和数据之间、技术和业务之间的使用限制,为业务层的更新提供更为快捷的数据信息支持,从而实现业务数据资产化管理.文章在阐述数据中台内涵和实施重要性基础上...     

向大数据2.0时代进发

所谓的大数据1.0,主要是利用如Hadoop这样的工具,打破收集和存储大数据的技术壁垒;而大数据2.0的核心是,致力于打破将分析转换为价值的技术壁垒。每天都有大量、不同类型的数据在不断生成,在信息时代,最不缺的就是数据。数据爆炸催热了＂大数据＂,前几年业界还在讨论着大数据概念与商机,如今已务实地转向如何从大数据中获取价值。     

金融行业:从大数据到大分析

<正>"我们各行各业,无论是电信、金融、医疗卫生行业、国防、国家信息安全,甚至在最基础的传统的科学研究——无论是生命科学还是地球勘探气侯等等,都涉及到大量的数据处理。"曙光信息产业股份有限公司(以下简称"中科曙光")CTO唐志敏在首届中国科技金融促进高峰论坛表示,"我们到底要从大数据里头挖掘什么东西、我们想拿这些数据做什么,我们能不能拿到这些数据?另外,那些我们没有想到的东西,有没有可能在这里头找出来并帮助到我们,这就是我们在大数据时代面临的一系列挑战。"金融服务业是世界上数据最为密集的行业之一,其数据主要包括金融交易数据、客户数据、运营数据和监管数据以及衍生的各类数据。     

基于大数据的研究

在知识大爆炸的信息时代,每天生活生产中都产生海量的数据,如何通过数据挖掘技术从这些海量数据中挖掘出具有巨大商业价值的信息并且推动信息产业变革,已经成为当今研究热点。本文对大数据进行详尽的文献调研,主要对大数据的产生背景、大数据含义、大数据特点和大数据的应用进行了研究,并对大数据的研究意义和大数据在应用实施过程中存在的问题进行了分析,最后对大数据在应用实施过程中存在的问题给出了一些建议。     

基于数据中台的云储存中数据可用性关键技术

针对目前使用的云储存中数据可用性方法,无法保证数据不具有重复性而导致时间开销长的问题,提出了基于数据中台的云储存中数据可用性关键技术。基于数据中台结构,构建数据安全删除模型,控制重复数据安全删除的时间开销,确保重复数据被安全删除。分别计算数据在云储存和数据中台中的可用性,获取云储存数据在数据中台中的冗余度,确定基于数据中台的数据在云储存中分布阈值。将阈值发送给租约节点,并传输至中心存储服务器,更新租约中的相应内容,完成基于数据中台的数据可用性维护。由仿真测试可知,该技术去重数据时间开销、静态存储时间开销均小于实际时间开销,云储存中的数据具有可用性。     

随机森林在运营商大数据补全中的应用

电信运营商有大量数据,但是鉴于多种原因,数据的质量不够理想,出现大量数据不完整甚至缺失。对于已有数据的挖掘,必须在数据满足质量要求且达到足够采样比例的前提下开展。依托现有的全国日志留存系统,设计完整数据的模板样库,鉴别不能满足质量要求的数据,使用随机森林算法,找到最符合的相同或相关数据,补全数据并提升数据质量;用回溯反馈的方法优化并扩充模板样库。在全国日志留存系统中构建数据补全子系统,实现端到端的数据质量保障和提升,补全并改善历史数据甚至实时数据的质量,最终满足数据处理和挖掘的要求,提升运营商数据质量和价值。     

基于智能化数据探索的数据质量管理方法

数据作为推动经济社会发展及数字化转型的新动能已成为社会共识,数据质量已成为影响数据要素发挥价值的重要因素。在政务领域,随着数据应用的深度和广度逐渐加强,数据质量问题已成为数据深化应用的制约因素。以数据质量管理相关理论为基础,以源头数据质量管控为手段,提出了基于智能化数据探索的数据质量管理方法,即通过数据质量管理激活数据资源价值,该方法在政务数据质量管理工作中具有借鉴意义。     

大数据在移动通信中的应用

主要从大数据的关键技术作为出发点,分析和研究大数据在移动通信的运用现状,阐述大数据应用在移动通信的具体表现,提出在移动通信领域应用大数据的相关策略。     

大规模网络流量数据异常快速检测研究

在大规模网络流量环境下,由于传统的网络流量数据异常检测方法对于异常特征的识别效果不佳,影响了网络流量异常数据检测的准确率,研究一种新的大规模网络流量数据异常快速检测方法。通过设定采集时间间隔,实时记录数据并存储在数据库中,便于数据读取,实现大规模网络流量数据采集。根据数据采集结果,提取网络流量异常特征,计算异常特征序列信息熵,去除网络流量数据的冗余特征。根据特征提取结果建立网络流量数据异常快速检测模型,判断网络流量中是否存在异常数据,实现大规模网络流量数据异常快速检测。在实验过程中将该文方法与传统方法 1和传统方法 2进行对比,该方法在不同数据个数情况下的检测准确率均在90%以上,在不同流量异常数据类别条件下的漏检率最低,且运行耗时短,证明该方法可以精准检测大规模网络流量数据异常。     

基于大数据平台的铁路机车超声检测软件研制

在铁路机车的超声探伤中,探伤数据的处理要随着信息化时代的发展不断地更新。因此将大数据平台与超声探伤结合起来,从探伤数据的获取,传输和在大数据平台的存储处理3个方面进行了研究。在数据获取方面,从探伤仪的操作入手,设计了操作更便捷的软件;在数据传输方面,采用了Wifi通信。在数据存储和处理方面,搭建了探伤数据的大数据平台和用于回放探伤过程的客户端。     

关于智慧交通大数据治理的探讨

大数据治理是大数据实现的基础。相比于传统的数据治理,大数据治理在数据治理体系和方法上都发生了深刻的变化。数据在智慧交通中扮演了很重要的角色,是智慧交通得以发展的血脉。大力发展智慧交通大数据,是推行智慧交通的关键步骤之一。文章介绍了大数据治理的相关概念和重要意义,分析了交通大数据,根据交通大数据的特点,提出了数据治理的架构和流程。     

企业大数据分析挖掘中大数据BI工具的应用探讨

现阶段,随着大数据相关技术的不断发展,数据资源价值在企业管理领域更加凸显。对于现代企业来说,在经营过程中,对于数据资源的应用水平以及应用能力会在很大程度上影响企业的市场竞争力以及发展潜力。目前来看,现代企业对于大数据的分析以及挖掘主要依靠大数据BI工具。大数据BI工具能够实现数据资源的高效处理和分析,让数据资源充分发挥出价值,但大数据BI工具的应用具有一定的复杂性,应用的水平也会在很大程度上影响大数据挖掘以及分析的效果。基于以上认识,文章从大数据BI工具的概念出发,分析了大数据分析挖掘关键节点,探讨大数据BI工具在企业管理领域的实际应用,希望该研究能够为大数据BI工具的有效应用提供一定的思路。     

基于大数据技术的电力数据质量评估数据框架研究

在大数据时代,大多数应用都是由数据驱动的。如果能提高数据质量,大数据应用的有效性和可靠性也能得到提高。在电力行业中,不断积累的电力数据越来越多,并在此基础上开发了许多电力应用。在我国,电力大数据在规模、结构、格式、评估要求等方面都具有一定的特殊性,传统的大数据评估框架无法直接应用。因此,本文提出了一个电力数据质量评估的大数据框架。该框架增加基于灰色理论的量化评价模块,并给出一般性的数据指标质量计算公式。本框架可以同时积累实时数据和历史数据,为电力大数据评估提供集成计算环境,支持不同类型数据的存储。本文研究结果为其他具有相似特征的大数据应用亦提供了一个有价值的框架。