挑战大容量数据

“我有太多的数据要分析”业务分析人员常常这样抱怨。今天，对于非常大容量数据集的定义是由十年之前人们对于大数据集的定义演变而来的，这非常具有戏剧性。十几年前，几个GB的数据都被看作是大数据集，几十个GB的则被认为是巨大数据集。那时候，有一些人就致力于改善一些技术，以帮助人们以合理的速度来分析GB级的数据。     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据环境下的数据治理框架研究及应用

大数据技术及应用创新促进了数据的业务化。从数据中发现问题到解决问题、从业务支撑到业务创新、从商业智能到决策指引,数据与业务相伴相生,大数据环境下的机遇与风险共存。通过对当前国内外数据治理理论、方法和新的应用需求分析,提出大数据环境下的数据治理框架,包含数据治理目标、治理保障、治理域和治理方法论等。并分析大数据治理框架的应用,对组织开展大数据环境下的数据治理具有重要的参考价值和意义。     

基于大数据技术的学校德育评价体系研究

在大数据时代，可以把大数据的优势应用到学校德育工作中，做出更精准的德育评价，使教育工作者能够更好地了解和认清德育客观情况，为国家制订人才培养计划提供精准支持。文章构建了基于大数据技术的学校德育评价体系，并从大数据的视角开展对学校德育评价体系构架的研究。     

云端速递——移动警务与大数据对接的黏合剂

基于当前大数据警情线索到基层民警实战化应用存在缺统一发布评审平台、预警到基层渠道不畅、开发与应用红利不对等的现状和痛点，探讨通过移动警务创新向大数据应用赋能的方式，引入互联网“商城模式”和“滴滴抢单模式”，大数据模型在商城发布，各类线索、指令、消息以一个“总通道”智能派送到民警移动端进行地图抢单，并建立反馈与评估优化闭环。打破了多家平台预警信息指令到基层民警渠道缺失或多系统推送给民警造成的困扰，实现大数据线索发现到基层民警指尖移动终端的渠道畅通，提升民警获取大数据红利的积极性。     

关于大数据的若干思考

关注大数据技术与应用以及大数据产业的发展，必须思考四个方面的问题：一是大数据的价值，二是数据的可信性，三是数据的可视化，四是大数据的挑战。     

浅谈大数据时代的IT建设

大数据时代到来，企业将由数据驱动。拥有数据资产的企业欲通过大数据获取价值，需首先完成符合大数据要求的lT建设。     

施勤：数据帮你把握未来

认识施勤是在两年前一次北大CIO培训班的活动上，两年来，他留给记者的印象始终是沉稳与含蓄。从业20多年，经历了从技术到市场，从硬件到软件的转变，施勤对信息化有了自己的理解和判断。对于数据价值的判断，使他执著于数据价值挖掘的道路。“当今企业数据已经扮演着越来越重要的角色，成为企业进一步挖掘商业价值的基础。”     

HP欲打造大数据“港湾”

大数据市场的火热引得众多国际IT巨头纷纷出手。过去一两年,包括IBM、甲骨文、SAP等在内,都在大数据领域推出了重量级产品。近日,HP公司也对其旗下与大数据相关的产品进行了组合,并推出了大数据平台HAVEn。HAVEn这一平台包含了HP的多款产品：以HadooP为代表的非结构化数据平台接口;HPIL年前重金收购的非结构化数据分析技术Autonomy;     

被数据奴役的日子——个信息主管的辛酸

我再也不能从“信息主管”这个头衔上找到丝毫的荣耀了！两年前，我到这家知名的零售企业上任时“为企业管理好数据”的就职宣言渐已远逝，只是两年的时间，我和数据之间的角色定位已经悄然发生了置换——原被委以管理数据重任的我，逐渐在丧失自己的职权，直到今天我发现自己已经被数据奴役了……[编者按]     

大数据时代来临，数据集成是关键

现在．大数据时代已经到来。不久前,Facebaak宣布其用户量目前已超过75亿,每天的分享次数达40亿。这是一个非常巨大的数据。根据1DC的预测,从2009年到2020年,数据总量将增长44倍,达到35ZB（zettabyte）。其中．80％的数据都是非结构化数据。无疑,世界已经进入到大数据时代。因此．如何有效地利用大数据,以及其中所沉淀的信息,成为未来的一大竞争焦点。     

大文件有大智慧

几年前我们还生活在MB的空间，但短短几年后，我们却已经完全进入了GB的时代，越来越便宜的存储空间，越来越成熟的存储技术，使得我们处理的数据也越来越大，尽管我们生活在一个海量且廉价的存储世界里，但懂得节约仍是很好的美德。让大文件变小或者把不必要的文件请出硬盘，学习一些诸如此类的处理大文件的实用技巧也成了我们的必修课。     

基于大数据时代的数据可视化应用分析

如今随着数据采集、存储和数据分析技术飞速发展,大幅度降低了数据储存和处理的成本,我们即将步入一个大数据时代。大数据时代的改革将海量数据处理变为可能,而且大幅降低了处理成本,促使越来越多跨专业学科的人才投入到大数据的开发应用中来。如何才能让大型数据集变得简单和易于理解,可视化无疑是最有效的途径。对大数据背景下的数据可视化应用展开研究,将有助于我们发展和创新数据可视化技术。     

驰骋数据海洋

浩瀚的数据海洋始终处于不断发展、变化的过程中，当企业数据的处理能力提高到一定程度时，给企业注入的活力和变革将不可限量。对于日交易额达到45亿元的支付宝来说，如何畅游于大数据海洋？     

大数据时代背景下的数据可视化应用研究

在近十年时间里,数据采集、存储和数据分析技术飞速发展,大大降低了数据储存和处理的成本,使得一个大数据时代逐渐展现在我们的面前。曾经,枯燥的数据统计和分析只是统计学家、数据分析师和科研学者们的专利,而大数据革新性的将海量数据处理变为可能,并且大幅降低了成本,使得越来越多跨专业学科的人投入到大数据的开发应用中来。大数据能够帮助人们更明智的制定决策、更清晰的传达理念。面对大数据瑰丽且深奥的面貌,如何才能让大型数据集变得亲切和易于理解,可视化无疑是最有效的途径。对大数据背景下的数据可视化应用展开研究,将有助于我们发展和创新数据可视化技术。     

引入大数据的最大障碍——你自己

引入大数据的技术障碍是显而易见的，据麦肯锡预测，到2018年，全球数据分析师的缺口将达到近20万，但抵达分析者乐园的更大障碍还是如何克服强烈的“数据恐惧症”的公司文化。     

应用型高校数据科学与大数据技术人才培养体系探究

随着整个社会对大数据人才需求的井喷，如何培养出契合社会需求的数据科学与大数据技术专业人才成为高校急需解决的问题。文章通过分析大数据技术专业人才培养当前面临的主要问题，结合大数据专业的特点，从多个维度对普通应用型本科院校大数据人才培养体系进行了探究，并指出作为普通应用型本科院校，应结合自身的专业特色，形成以应用为主导的特色大数据人才培养体系。     

高等教育大数据与高校质量保障研究

随着大数据技术的不断发展,高等教育大数据的价值不断得到重视。质量保障作为高等教育必不可少的环节,其所采用的技术和方法决定着高等教育质量的高低。将高等教育大数据应用到质量保障过程当中,既是对大数据技术和应用的拓展,更是对高等教育质量保障体系的优化和重塑。首先从内涵、划分和特点等角度对高等教育大数据进行阐述;进而分析高等教育大数据在质量保障中的应用意义;再着重从理论、技术和平台等三个层面分别给出高等教育大数据在质量保障中的研究和应用情况;最后总结当前高等教育大数据在质量保障应用中的难点和不足,并给出对策建议。     

同义词库在公安大数据组织中的研究与应用

论文分析了公安大数据发展趋势、大数据全生命周期管理、同义词库研究现状,提出了一种数据元、同义词、字段关联方法,应用到上海市公安局数据标准管理系统,详细介绍了系统功能、整体架构设计,提出了系统设计的三个创新点。     

基于大数据的网络安全态势感知技术研究

从网络信息安全角度看，大数据是一把双刃剑。海量的数据通信使得数据的密集程度降低，为APT等黑客的入侵提供了良好的隐蔽环境，同时收集、挖掘、分析海量数据，能够准确地检测到网络中的攻击和威胁，因而对基于大数据的网络安全态势感知技术进行研究。分析网络安全态势影响因素，结合隐马尔可夫模型理论，构建安全态势感知模型，并将其与边界点之间的间距、自变量相结合，最终达到了混合组织的网络安全态势信息整合，以达到对混合组织的网络安全信息的最优感知。实验结果表明，该方法在分析过程中所耗费的时间和精确度均高于其他相关技术，其安全性评估的效果与真实情况相符。