生态环境大数据监管平台的研究

伴随着国民经济水平不断提高的是不可再生资源的不断减少,珍稀动物陆续灭绝,全球变暖和空气质量的每况愈下,人们也逐渐意识到环境保护的重要性,但当前生态环境保护各部门之间的协同办公仍留存许多问题和难题.2018年4月国务院批准成立生态环境部,不再保留环境保护部,也意味着我们不能再局限于狭义的环境,而是需要扩展到整个生态领域范...     

游戏大数据平台研究与实践

立足于游戏平台数据快速处理需求,构建基于分布式+关系数据混合多元的大数据处理架构,针对高价值密度的结构化数据采用关系数据处理;大量无序的非结构化数据采用分布式机制处理.两种类型数据实现有序化后,统一交予传统关系数据库构建关系化模型并展示,既能实现关键经营分析数据的高效处理,又能满足无序的日志数据规模化处理需求.通过剖析其总体架构、主要功能和关键技术,从而为其他业务平台大数据分析建设和改造提供借鉴和参考.     

基于大数据技术构建生态环境信息化体系及其重点应用研究

近年来,我国生态环境形势日益严峻,为此,构建生态环境信息化体系已成为全社会重点关注的问题之一。但是,从我国现有的生态环境信息化体系来看,并不完善,对此,就需要相关技术人员积极将大数据技术应用于生态环境信息化体系建设中,完善生态环境物联感知管理系统,才能促进生态环境信息化体系高效地运行,从而才能为我国生态环境管理工作提供可靠的数据支持。文章主要简述了基于大数据技术构建生态环境信息化体系的紧迫性,总结了基于大数据技术构建生态环境信息化体系总体架构与技术路线设计方法,最后,论述了基于大数据技术的生态环境信息化体系的重点应用。     

Hadoop大数据计算平台搭建实践

无线电监测工作者在日常工作中积累了海量的监测数据文件,如何快速解析处理这些监测数据成为亟待解决的问题.本文首先介绍了 Hadoop大数据分析框架,其次详细介绍了 Hadoop大数据分析平台的分布式部署方法,最后对平台进行验证测试,为高效处理海量无线电监测数据奠定基础.     

大数据平台安全防护研究

本文首先明确大数据平台的风险,提出大数据平台安全防护目的及防护体系,提供大数据基础设施、大数据接口、大数据存储、大数据计算处理和平台管理等方面的安全防护措施.     

游戏大数据平台工作流引擎研究与实践

随着业务人员对数据分析的需求不断增加,基于开源Hadoop的游戏大数据平台运行着越来越多相互依赖的作业任务.为了更加高效地完成作业管理和调度,升级了Zeus构建工作流引擎,优化Zeus任务启动过程,实现了多线程启动任务,缩短了启动时间.通过扩展Zeus系统,使其支持Oracle存储过程.同时,利用管道技术,实现了异构数据源的无缝高效共享和传输.     

大数据和云计算平台应用研究

首先介绍了大数据和云计算平台的应用现状,基于大数据和云计算的定义和产生背景,对大数据/云计算平台的主要技术框架进行了探讨,并对国内外互联网、运营商和设备商等的大数据/云计算平台的使用和应用情况进行了深入的研究和分析。最后,针对大数据/云计算平台的国内外应用情况,对我国的相关企业的大数据/云计算平台的应用进行展望。     

基于大数据平台的数据分发机制研究

大数据平台具有很好的扩展性,如何与传统的数据仓库结合并发挥其优势成为研究的热门方向。文章重点研究传统数据仓库架构中接口机承担的数据分发机制,完成功能架构和技术架构设计,开发并进行了应用推广。通过引入大数据平台,使之具有良好的扩展性,同时解决了性能问题。该方案不仅解决了接口机的时效性问题,还可以作为混搭的大数据融合平台架构的一部分,为基础电信运营商数据仓库的建设积累了一些宝贵的经验。     

共享开放的运营商大数据平台架构研究

当前电信运营商大数据业务模式和应用场景日趋清晰,对内对外大数据应用支撑要求搭建集约和开放共享的大数据平台。Hadoop生态系统的更新与扩展、混合计算模式与内存计算等技术发展为大数据平台建设提供了新的技术思路。文章通过分析运营商大数据建设面临的业务和技术新形势,提出近期运营商大数据平台建设向共享和开放能力平台的演进方向和核心要求,并从总体架构、技术架构等方面详细给出一种集约、融合、开放的运营商大数据平台架构设计方案及其工程实践案例。     

大数据平台数据脱敏关键技术

随着社会的进步,我们逐渐的步入了大数据时代。大数据带给了我们巨大的商业价值,但也有很大的隐患,比如隐私问题、信息保护等方面。大数据的安全问题在于如何在实现数据共享,分享信息的同时保护人们的隐私和敏感问题不被泄露,这正是大数据中安全保护的棘手问题。而脱敏技术正是一个通过对技术和机制的研究,不断的创新来保护用户在共享和使用中出现的问题。数据脱敏可以在用户之间交流共享时保护人们的敏感隐私信息。本文是对在大数据环境下数据脱敏的作用以及出现的问题进行分析和研究,促进人们对其了解和认识。     

证券行业大数据平台探索与实践

针对原有开源大数据平台难以支撑业务与数据量的不断增加、无法兼容国产硬件平台及操作系统等问题,选择自主研发、安全稳定、架构创新、功能完备的大数据基础平台TDH替换开源大数据平台CDH,基于国产大数据平台与国产硬件环境组合,高效支持金融券商的核心数据业务。     

基于电信大数据的数据建模平台研究

基于电信大数据的Hadoopdesigner系统,是针对电信大数据的特点,根据元数据的设计思想开发的数据建模平台,融合了数据仓库的很多建模思想和理论,为电信大数据处理提供了一种新的方法,也为不同种类的数据提供了统一、标准、可视化的模型,大大降低了统一、快速满足不同业务的不同需求的难度,提高了数据处理效率。     

公安大数据平台建设思路研究

从分析当前公安监控技术的发展情况及面临的主要问题入手,提出了公安大数据平台的建设原则及系统的逻辑架构、总体架构,分析了不同业务的大数据处理流程,并对大数据平台的功能需求进行了阐述。     

农村商业银行大数据平台建设探索与实践

针对现有数据平台存储能力不足、升级维护成本高、场景应用匮乏等问题,从提升数据服务的易用性和便捷性出发,构建统一的大数据平台,通过企业应用市场、企业资产目录、数据模型市场等建立基于多租户的大数据服务体系,并使用SQL开发、分布式ETL等工具实现其功能,从而提升数据组织、处理、管控和服务能力,扩展大数据在经营管理、风险管控...     

人工智能赋能时空大数据平台

根据作者关于"人工智能赋能时空大数据平台"的学术报告整理而成.主要讨论了3个问题:① 从怎样理解人工智能、 人工智能百年曲折道路、20世纪60—90年代国内外专家系统研究的反思、 人工智能"回归基础"后出现的转机和人工智能时代正在到来的主要标志等5个方面,论述了"人工智能时代"的到来是时代之大势;② 在认识时空大数据和...     

公共交通大数据平台架构研究

针对公共交通数据跨公司、跨系统、海量、异构的现状,提出了公共交通大数据平台的核心思想,并依此给出了公共交通大数据平台架构。从个人、企业、政府的需求出发,建立了集成公共交通车辆的全方位调度,其中以数据仓库的方式集成数据层;SOA的方式设计逻辑层;Portal的方式展现表现层。该架构有利于整合公共交通各系统的数据资源,同时能较好地适应海量数据的存储和处理,为构建智能交通提供参考。     

大数据平台性能优化研究

随着社会进入移动互联网时代,当今社会产生的数据量呈指数级增长,流量的快速增长和复杂业务分析场景的不断增加,使大数据平台的高可利用性成为一个关键问题。基于某运营商大数据平台进行性能优化实践,从业务场景、算法逻辑等多个维度对大数据平台性能优化方案进行深入研究,对当代大数据平台的性能优化研究有着重要的意义。     

高校智慧校园大数据一体化平台的研究与实践

本文针对高校智慧校园大数据一体化平台展开研究与实践具有极为重要的现实意义。文章从数据中心平台、数据分析平台两个角度出发,阐述了高校智慧校园大数据一体化平台的设计要点,希望能够为同行业工作者提供一些帮助。