大数据环境下的平台架构技术研究

大数据时代的到来,对数据的管理和存储带来了挑战。为了更好地管理和利用大数据,对大数据的基本特征进行了剖析,从大数据和分析技术平台的视角,分析了海量并行处理架构、云计算、网格计算和MapReduce这几种重要的技术,比较了其技术特点,对运用不同的技术对大数据时代数据管理产生的作用进行了分析,讨论了大数据分析工作所需要的混合环境,整合环境资源以使能够协同工作,使得每一项技术变得更加强大有效。     

基于云计算架构的水文大数据云平台建设策略

在当今的大数据时代中,水文工作也实现了信息化的发展.为有效提升水文工作的信息化效果,本文特对以云计算框架为基础的水文大数据云平台建设进行分析.希望通过本次的分析,可以对水文大数据储存、处理、管理与应用等工作的信息化提供相应参考.     

托管PaaS平台安全容器的设计与实现

作为一种新型的分布式计算模型,云计算近年来发展讯速并成为学术界和产业界的焦点,但是其推广应用却没有像人们想象中那样被广泛接受,最主要原因就在于其大规模共享资源的同时带来的一系列安全问题.PaaS作为云计算的一种服务方式,是一种较低成本的方案,同时也是SaaS模式的一种应用,降低了SaaS开发应用的门槛,是一场互联网应用软件开发的革命.本文研究了托管PaaS平台及其面临的安全问题,分析目前已有的云平台安全解决方案,并提出多租户托管PaaS平台的应用安全解决方案,从应用安全、容器安全和网络安全三个方面来实现托管PaaS平台安全容器.     

大数据时代中药图谱文件云服务PaaS模型设计

通过分析IaaS虚拟化平台的IO传输缺陷,结合中药图谱研究中大量以文件形式存在的图谱数据传输需求,研究中药图谱文件系统向虚拟化平台迁移中的局限,并对比现有解决方案,提出通过业务分层的方法将文件IO负载从应用系统中剥离的文件PaaS模型,该模型将文件式IO密集型应用分解为:UI服务层、业务逻辑层、数据传输层和数据存储层,UI服务和业务逻辑可方便的部署于IaaS虚拟化平台中,数据传输层和数据存储层则通过PaaS文件服务平台为第三方应用提供文件管理、存储传输等服务实现,此外,通过内部随机加密令牌的方式,实现第三方安全存取访问。通过该模型,解决云计算环境下中药图谱数据挖掘过程中难以解决大数据传输效率的问题,为图谱分析系统向云计算环境改造提供高效、安全的解决方案。     

基于大数据和云计算平台应用研究

大数据和云计算是现代计算机中主要数据应用,大数据能够实现数据资源的智能存储,而云计算能够实现网络数据的综合计算.本文对大数据和云计算平台应用的研究,主要基于大数据和云计算的基本理论,对其实际程序应用实际进行探究.     

大数据云计算平台的用户实践的探讨

目前,从云计算、大数据获得的收益仅占中国运营商收入的1%不到,远远低于外国同行。对于全球运营商而言,从最初90%以上都是语音业务,到今天数据业务占比80%,语音业务逐渐被数据业务所代替。然而运营商流量与收入形成明显的剪刀差,收入并未随着流量而明显增加,一方面受互联网内容企业的冲击,电信网络管道化,另一方面运营商仍未建立适合新发展趋势的感知体系,指导业务发展和创新增收。如何打造智能管道成为运营商的核心竞争力,如何建立新型的感知体系,从客户需求转变为用户体验,成为迫在眉睫的课题。     

基于Java安全体系结构的托管PaaS平台安全容器

分析了PaaS云平台的特征及其面临的一些安全问题,及现有解决方案存在的不足,在此基础上提出新的解决方案——基于Java安全体系结构的托管PaaS平台安全容器。     

基于Cloud Foundry的云计算PaaS平台拓扑展示设计与实现

云计算PaaS（platformasaservice,平台即服务）平台是互联网领域近几年来非常热的技术方向,不仅可以为用户提供开发环境、开发平台和硬件资源,还可以提高硬件资源的利用率,降低业务运营成本。然而,在提供服务的过程中,缺乏一种有效的机制来约束服务提供商的行为。文章为实现云计算PaaS平台下对应用的监测,提出了拓扑管理的概念。应用拓扑可以监测应用与资源的关系,资源拓扑可以监测资源与应用的关系,两者从不同的角度实现对应用的监测。文章采用哈希数组保存拓扑信息,采用消息总线的“发布-订阅”模式传递消息,实现拓扑信息的获取,将结果使用网页进行展示。本系统可以使服务提供商清晰地掌握系统中应用与资源的关系以及资源情况,有效提高资源利用率,因此,系统可以提升服务质量,进而保障用户利益。应用拓扑展示和资源拓扑展示可以及时反映系统中应用与资源的关系,从两种不同的角度展示出来,给云计算提供者管理应用提供了很大的方便。     

基于云计算的大数据研究

笔者结合云计算技术、物联网技术对大数据进行研究。首先对大数据的产生进行了阐述,对大数据的概念、特征和相关技术进行了分析,进而对云计算技术进行了分析,涉及云计算的概念、特征以及云计算架构等,最后结合云计算对大数据进行了研究。     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

基于大数据的智能工厂数据平台架构设计与研究

在分析智能工厂国内外研究现状基础上,对基于大数据的智能工厂数据平台架构技术展开研究,为智能生产的运行分析、预测、决策调控以及数字孪生信息物理融合提供技术参考。探讨了智能工厂定义与内涵,以及智能工厂大数据来源和特征,采用Hadoop、Spark、Storm热门开源大数据计算引擎,提出了数据来源层、数据传输层、数据存储层、资源管理层、处理分析层以及业务应用层构成的智能工厂大数据平台技术架构,有效解决智能工厂大数据多源复杂性和实时性的要求和难点。所提数据平台技术架构将对智能制造和智能工厂的实现具有重要的借鉴价值。     

民航机场应急救援大数据处理平台架构研究

安全是民航领域的第一准则,随着新一代信息技术和机场行业的发展,机场运行产生的业务数据呈爆炸性增长,论文依托大数据存储和处理技术,构建机场应急救援大数据处理平台,能更有效支撑现场指挥,智能决策,遇案推演,趋势预测,舆情监控等各项救援行动需求.通过结合目前国内外民航机场应急救援领域大数据技术的应用现状,梳理机场应急救援需求...     

Big Data-Oriented PaaS Architecture with Disk-as-a-Resource Capability and Container-Based Virtualization

With the increasing adoption of Big Data technologies as basic tools for the ongoing Digital Transformation, there is a high demand for data-intensive applications. In order to efficiently execute such applications, it is vital that cloud providers change the way hardware infrastructure resources are managed to improve their performance. However, the increasing use of virtualization technologies to achieve an efficient usage of infrastructure resources continuously widens the gap between applications and the underlying hardware, thus decreasing resource efficiency for the end user. Moreover, this scenario is especially troublesome for Big Data applications, as storage resources are one of the most heavily virtualized, thus imposing a significant overhead for large-scale data processing. This paper proposes a novel PaaS architecture specifically oriented for Big Data where the scheduler offers disks as resources alongside the more common CPU and memory resources, looking forward to provide a better storage solution for the user. Furthermore, virtualization overheads are reduced to the bare minimum by replacing heavy hypervisor-based technologies with operating-system-level virtualization based on light software containers. This architecture has been deployed on a Big Data infrastructure at the CESGA supercomputing center, used as a testbed to compare its performance with OpenStack, a popular private cloud platform. Results have shown significant performance improvements, reducing the execution time of representative Big Data workloads by up to 4.5×.     

健康大数据智能采集与挖掘系统平台的软件架构实践

健康大数据智能采集与挖掘系统平台即能满足医学院校实训室建设需求,又能满足未来的社会化需求,为学生提供一个创新创业平台。文中从平台功能需求出发,利用先进的大数据云计算技术,采用合理的层次理论将平台分割成多层,本文主要介绍了该平台架构层次。     

基于大数据平台的图像数据库架构的设计与实现

图像识别及其图像修复技术在目前的数字化领域应用非常广泛,在金融、安防领域尤为突出。因此,从经济和实用性角度出发基于大数据的图像修复技术有着广阔的应用前景。但大数据环境下复杂的数据存储是数据图像修复的关键,如何建立一个高效、安全、高容量的基于大数据平台的数据库,是数据库建立需要考虑的关键问题。下文从数据库架构的构成、应用目的、数据量大小、访问量、安全要求等各个角度研究和讨论图像数据库的建立,力求使数据库建立在安全、合理、流畅的数据库架构之上,达到最优的数据库架构模型。     

融合大数据技术架构在大型商业银行海量数据分析的应用

相对于软硬件一体的企业级数据仓库解决方案,以X86开放式硬件平台为基础的并行处理数据库和Hadoop/Spark生态体系,在扩展性和低成本方面有明显的优势,随着其不断发展成熟,已经成为企业级大数据平台不可或缺的一部分.本文从如何应对“大数据”所带来的挑战出发,提出一套适用于大型商业银行数据分析处理的融合大数据技术架构,并已取得应用实践的成功.     

面向医疗临床科研的大数据平台

目前我国医疗信息化建设已有一定历史,各医院积累了大量电子病历临床数据,但数据结构多样。如何利用这些数据以辅助临床诊疗、科研、节约医疗资源、提升医疗效率和医疗质量,成为各医疗科研机构普遍关注的问题。该文提出了一种面向临床科研的大数据平台,构建多源数据采集方式解决信息基础设施不一致的问题：统一化存储方式应对不同数据类型、分布式计算平台提升效率与可拓展性,并对敏感数据去隐私处理;同时,构建临床科研平台辅助临床科研人员进行科研分析。根 据架构搭建集群,在专病分析流程上将原本人工约 4 个月的工作简化到 15 秒左右;数据处理效率方面,由已有平台的 5 天导入 16 692 条数据提升到 10 分钟导入 15 217 026 条数据,速度与数量有了显著提升。该平台有助于完成临床数据采集,建立专病数据库、临床科研、辅助临床诊疗的闭环,为临床科研提供高效一体化的数据平台支持。     

基于Hadoop的大数据平台风险监测系统研究

随着云计算大数据技术的发展,传统的安全监测技术无法满足不间断服务的应用需求。本文所设计系统基于一种检测模型,实现对大数据平台风险进行检测,系统模型可防止主机管理环境下的入侵检测保护系统分布式DDoS攻击。模型设计过程中使用主成分分析和线性判别分析元启发式算法,被称为是Ant Lion优化,通过神经网络实现特征选择,实现对云服务器分类和配置。系统测试结果显示该模型对基于云环境的大数据平台的安全风险预测有较好的性能。