大数据平台安全威胁与防护技术研究

大数据平台安全与其承载数据的安全同生共息,分布式存储和计算等新技术的应用为大数据安全带来新的挑战。首先分析大数据平台面临的安全威胁,在NIST大数据平台参考架构的基础上,提出大数据平台安全总体框架,研究目前主流大数据平台Hadoop的安全机制,分析现有安全机制存在的问题并提出解决建议。     

基于Hadoop平台的地铁NCC数据中心方案研究

线网指挥中心是地铁管理控制中的承上启下的重要环节,接入线网各线路的控制中心,实时的监测线网整体的运营状况;并通过与上级政府交通管理部门系统的对接,将相关数据提交至交通管理系统,配合交通管理部门的工作;数据中心是线网指挥中心的核心环节,存储线网所有线路的生产数据和业务数据;目前线网指挥中心的数据中心都是基于传统的数据仓库的架构来创建的,而随着线路的不断增多,数据的种类和数量都在不断增加,传统数仓暴露出成本高,扩容难,维护困难的缺点;该方案提出的基于Hadoop大数据平台的数据中心建设方案,极大地降低了使用和维护成本,Hadoop生态圈包含了各类的组件模块,能够解决建设和使用中遇到的各类问题,提高了数据中心的性能。     

基于递归随机搜索算法的Hadoop平台大数据软件系统研究

随着互联网时代的到来,互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择,金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作,便于提高使用者的使用效率和准确率。本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成,主要包括:金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块。在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、Hadoop平台进行设计研究。经过测试,在选用服务器为Intel Atom D510时,金融机构大数据抓取软件系统优化模块在Hadoop集群上开展优化,系统任务执行时间变短,比原来的数据时间缩短了5%以上,优化有效。     

Hadoop大数据平台安全问题和解决方案的综述

大数据时代的到来,更强的计算机和更成熟的大数据平台工具让企业从海量数据中挖掘数据价值成为了可能,尤其是基于Hadoop的大数据平台,甚至利用廉价的商业硬件处理TB、PB级别的数据. 在最初Hadoop大数据平台落地建设的过程中,往往功能先行,而忽略了安全的管控策略,直到2009年Yahoo团队提出了基于Kerberos的身份验证方案,才带动了Hadoop大数据平台安全管控工作的全面开展. 本文介绍了Hadoop大数据平台的基本历程,描述了2009年之前Hadoop大数据平台存在的传统安全问题,并尝试着将目前行业内Hadoop生态系统组件的安全性和每个组件的安全解决方案做一次系统的梳理,希望为构建Hadoop大数据平台管控方案时提供参考意见,以便合理利用先进的安全管控方案保护好企业、用户的隐私数据.     

基于Hadoop农业大数据管理平台的设计

信息技术的高速发展使得每天的数据量以TB级速度暴增,如何有效利用和管理这些爆炸式增长的大数据呢？是当前亟待处理的问题.大数据已经渗透到包括农业领域在内的各个领域,随着农业信息化建设以及物联网技术在农业生产中的应用,产生了海量的农业大数据待存储、管理和处理.本文以成都农业科技职业学院彭州葛仙山农业示范基地的农业信息化建设为背景,根据农业物联网和信息化建设要求,构建高性能基于Hadoop农业大数据管理的平台,实现农业大数据的安全可靠存储、智能管理与应用,最终达到对农业生产的智能预警、智能决策和智能分析的目的,并为农户提供专业的指导.为我国进入精细化种植、精准化控制、可视化管理、智能化决策的智慧农业时代奠定基础.     

汽车工业企业的Hadoop大数据平台设计

在万物互联大数据时代的海量数据处理中,如何大数据中挖掘出数据中的潜在信息价值并转化为决策依据的能力,特别是对于拥有高附加值数据的汽车企业,将是企业重要竞争力。开源Hadoop在大数据分析过程中,有着易扩展、成本低、吞吐量大等优势,Hadoop分布式平台已经成为绝大多数企业的首选。本文设计实现基于Hadoop开源技术为汽车工业中的企业进行大数据平台设计,实现高效率、高可扩展、高容错、低延时大数据平台,保证了平台的高容错性和灵活性。     

基于Hadoop的高校大数据平台构建研究

高校业务系统数据资源的结构、内容以及数据利用价值还不够清晰，尚未真正发挥应有作用。以笔者所在高校为例，本文介绍基于Hadoop的“智慧校园大数据平台”的数据建设方案。文章根据学校现状提出适合高校信息化建设的数据治理方案，主要通过Hadoop分布式系统架构为大数据存储提供底层支撑，通过共享数据中心存储权威数据，通过智慧校园大数据平台实现数据流调用和共享，为大数据分析和决策提供依据。     

基于Hadoop的大数据平台风险监测系统设计

以Hadoop平台为基础,开发设计了一种用于企业大数据平台风险监测的系统。该系统模型能够有效防止主机管理环境下的入侵监测保护系统遭受分布式拒绝服务攻击（Distributed Denial of Service attack,DDoS）,利用网络神经实现对检测对象的特征选择,并分类配置云服务器,能够检测大数据平台安全风险。     

基于Hadoop的大数据平台多租户管理策略研究

随着大数据时代的到来,电信运营商按照"一个平台,应用百花齐放"的原则进行大数据平台的建设,开始将企业核心数据汇聚到基于Hadoop的大数据平台.由于采用多厂商、跨部门方式开展大数据业务,大数据平台在资源调度、权限管理方面的机制已成为制约大数据业务开展的关键因素.提出了一种基于Hadoop的大数据平台多租户管理策略,解决电信运营商大数据平台在多租户开放模式下面临的资源调度、权限控制的难题,拓宽电信运营商大数据的使用范围,实现创新应用.     

基于Hadoop的生物质能源工程数据资源管理平台

针对我国生物质能源工程信息化程度比较低的现状,结合当今流行的大数据处理技术,基于Hadoop开源框架设计并且实现了生物质能源工程数据资源管理平台.介绍了平台的主要功能模块,包括生物质能源工程的管理、监测指标的管理、实时监测、反欺诈模型的管理、统计分析等.对平台建设中的关键技术包括数据获取、大数据存储、大数据处理、负载均衡等做了深入研究.旨在将物联网技术,互联网技术和大数据处理技术与生物质能源工程有机的结合起来,提高生物质能源工程的信息化水平,保障生产安全,优化工艺流程,实现效益最大化,为同类工程的建设提供理论和实践依据.     

大数据应用模式及安全风险分析

传统设备和工具在扩展性和分析技术上已经不能满足大数据的应用要求,当前大数据通常是在云计算环境下搭建Hadoop进行存储和分析,而基于云的大数据安全风险来源于云计算服务商以及远程数据应用者对未授权文件及内容的越权操作。本文分析了在不同云计算部署模式下,Hadoop不同阶段操作过程中,不可信主体对数据服务和隐私安全构成的威胁,并给出对应的威胁模型实例。最后根据上述安全风险给出对应的安全策略。     

政府大数据安全保护模型研究

建立政府数据共享平台可以为大数据在未来政府的应用打下基础,但是建立政府数据共享平台给政府信息系统带来了很多新的安全问题。文章研究了两大安全问题,一是针对共享数据安全管理问题提出了二级管理安全模型;二是为了防止共享数据的二次非法授权访问提出了采用数据密封机制,对共享数据进行加密,加密密钥与数据授权使用系统的软硬件信息相关联。     

面向医疗临床科研的大数据平台

目前我国医疗信息化建设已有一定历史,各医院积累了大量电子病历临床数据,但数据结构多样。如何利用这些数据以辅助临床诊疗、科研、节约医疗资源、提升医疗效率和医疗质量,成为各医疗科研机构普遍关注的问题。该文提出了一种面向临床科研的大数据平台,构建多源数据采集方式解决信息基础设施不一致的问题：统一化存储方式应对不同数据类型、分布式计算平台提升效率与可拓展性,并对敏感数据去隐私处理;同时,构建临床科研平台辅助临床科研人员进行科研分析。根 据架构搭建集群,在专病分析流程上将原本人工约 4 个月的工作简化到 15 秒左右;数据处理效率方面,由已有平台的 5 天导入 16 692 条数据提升到 10 分钟导入 15 217 026 条数据,速度与数量有了显著提升。该平台有助于完成临床数据采集,建立专病数据库、临床科研、辅助临床诊疗的闭环,为临床科研提供高效一体化的数据平台支持。     

企业大数据治理研究

介绍了面对大数据的数据量大、种类多、速度快和高价值的处理技术挑战,企业应当如何建立可靠的大数据平台。利用信息架构原则和实践,实现大数据与企业数据的灵活集成,通过结合使用分布式文件系统、NoSQL与关系型数据库,企业可以获取、组织和分析其所有企业数据(包括结构化和非结构化数据),从而做出最科学的决策。     

Analyzing Relationships in Terrorism Big Data Using Hadoop and Statistics

We used big data software Hadoop in Google News to collect complex high-velocity, high-volume terrorism information. We used big text search to code the factors of interest into nominal fields. We integrated new fields and records into an existing database drawn from other researchers. Our testable hypothesis was that there was a significant relationship between terrorist group ideology and terrorist attack type. Then we used correspondence analysis in SPSS to test our hypothesis. Our hypothesis was supported, so we developed a symmetric model to visualize the hidden relationships between terrorist ideology and attack type. Our purpose was to demonstrate how statistical software methods may be applied in big data analytics. These methods will generalize to other researchers and practitioners. The finding of a significant relationship between terrorist ideology and attack type may generalize to supply chain operations and national security planning.     

智慧社保大数据分析平台构建

针对社保业务数据分散、大数据分析能力较低等问题，采用“云结构、积木式架构、容器技术、多级权限设计”构建智慧社保大数据分析平台的整体架构。该平台包含数据交换平台、基础计算平台、流程调度平台、管理分析平台和实时分析平台。采用OGG接口技术获取源系统中的增量数据，通过流程调度服务实现对各层数据和业务工作流的调用和管理。该平台已包括1960万人的基本信息，集成了社保的各项业务和服务，为“最多跑一次”助力。