遵义市智慧规划大数据云平台设计与实现

在国家政策和规划变革的驱动下,当前规划信息化系统的业务支撑包容性、数据资源复杂度及服务对象需求都在不断增长,原有平台在IT架构支撑、内外流程串联、数据增值空间和政务服务模式等方面的潜力已经见底,不能应对当前政务改革和服务创新提出的要求。城市要现代化,基础设施必须现代化,这就要求加快规划建设智慧城市,大力建设各类“专业云”和“特色云”,推动一体化的大数据云平台建设,提高城市精细化、智能化、信息化水平。本文基于成熟的面向服务的架构（SOA）体系,采用主流的GIS技术和数据库技术,提出了平台建设目标、设计思路和总体框架,最终实现了一套智慧规划大数据云平台。     

水利云下的数据清洗策略研究与实现

随着水利信息化系统迁入云端之后,由设备或人为、环境等各种主客观原因造成采集到云数据中心的数据中含有大量的"脏数据"(如乱序、异常、相似重复、误报、不完整、逻辑错误等),这些大量的"脏数据"会给应用系统带来高额的处理费用,延长响应时间,甚至会导致数据分析异常,降低决策支持系统的准确率,严重影响系统服务质量,难以支撑上层应用。本文结合项目中的实际情况给出了清洗这些脏数据的流程和方法,并通过实际数据和实验方案验证了本数据清洗方案的有效性,大大改善了水利信息化系统预测预警的效率。     

云平台下智慧农业传感网络的设计与实现

近年来,随着互联网平台的迅速发展,农业传感网络能促进农业向网络型转化;针对传统农业存在的资源交互性差、有效农业数据普及范围小、农业网络信息更新速度慢等问题,提出云平台下智慧农业传感网络的设计与实现;利用大数据环境搭建专项数据云平台,储存汇集优良农业网络数据资源;采用云采资源换算算法,对云端平台内的数据进行快速调取,进行双位动态影像空间设计;智能交互窗口模块分为资源检索、资源导航、农资互动、专家指导4个板块,智能交互窗口模块采用高速视频无损压制算法,能够保证传输流畅,同时采用片源压制减小片源体积;通过仿真实验测试证明,提出的云平台下智慧农业传感网络的设计各项数据优异,满足现代农业发展应用要求,为现代化网络型智慧农业的生产应用领域提供新的思路。     

基于气象大数据云平台的海南气象数据共享平台设计与实现

为打破“数据孤岛”，推动气象数据跨部门融合使用，充分发挥气象数据科学价值，针对海南省气象部门与外部门数据共享方式杂乱、共享水平低、管理滞后等问题，依托专线网络，从气象数据需求类型、数据格式出发，设计了一套气象数据跨部门的分发处理流程。在气象大数据云平台数据环境的基础上，整合各类数据资源，基于B/S架构、SSH框架，采用分布式存储技术、数据缓存技术，建立了跨部门跨行业的气象数据共享平台。目前，该平台已经投入业务使用, 为海南省气象数据跨部门跨行业使用提供稳定、高效的实时数据共享服务，取得了较好的应用效果。     

云原生数据湖服务平台的设计与实现

云原生数据湖已经成为数据管理和分析领域的研究热点,相关技术和应用也得到了广泛的关注和探索。数据湖部署存在着成本高、组件之间兼容性差等问题,存算不分离制约着数据湖平台延展性,缺乏完备的数据入湖体系容易引起数据湖沼泽的形成,导致用户无法从中提取数据价值。该文设计并实现了云原生数据湖服务平台,平台以Kubernetes为底层构建云原生环境,结合容器技术将数据湖组件镜像化,同时设计数据湖存算分离方案来提高数据湖平台的可扩展性和可移植性,并配合监控、组装生产线将镜像容器化,实现数据湖上云操作。并建立用户入湖作业与云原生计算引擎之间的桥梁,对入湖信息进行预处理,提供多类型作业以满足多元化入湖场景,以统一catalog的方式将数据写入数据湖中。实际运行结果表明,该平台既提高了数据湖平台的灵活性和可靠性,又确保了元数据和数据资产的规范性存储。     

基于云平台的大数据资源挖掘技术研究

针对云平台下大数据资源挖掘过程准确率低、耗时长等问题,对大数据资源挖掘技术进行改进研究;利用MST聚类法对云平台数据集进行预处理,根据数据间的关联性来增强检测结果,并提高数据索引效率,将数据间的邻接矩阵作为边的权值,生成全图的MST,获取评价数据资源挖掘准确度的标准,并得到k个最小生成子树,其中的一个子树就是数据集最优聚类结果;实验结果表明,所提方法有效提高了大数据挖掘准确性,使得数据资源得到了更高效的利用。     

云数据中心网络虚拟化技术实现及运用研究

近些年来,我国信息化技术得到了快速的发展,尤其是云计算和虚拟化技术,而网络虚拟化技术是IT行的研究重点.在云数据中心网络的基础上,有效的推动了数据中心的建设与发展,对数据中心网络需求提出了较高的要求.要想更好的满足上述要求,则需要引进网络虚拟化技术.     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

基于异步数据云的云备份平台

随着信息化技术的发展,信息系统安全在企业管理中显得越来越重要。在分析了云存储技术架构的基础上,提出了一种新的基于异步数据云的系统备份平台,将逻辑数据云与物理数据云接入网络,提供稳定、高效的数据备份功能,并针对不同备份对象制定备份策略,从而达到备份资源优化的目的。在浙江中烟备份系统的应用实施,充分说明该平台是一种适用于跨地域、大数据量的数据备份方案。     

大数据思维的民爆安全云平台探讨

为提升民用爆炸物品行业安全生产信息化融合度,利用物联网技术及大数据思维,搭建基于大数据管理的民爆行业信息采集系统,并构建民爆安全云平台,实现异构基础数据系统的信息实时汇集、交互,达到汇集数据、分析数据、引导决策的目的。通过计算机或手机终端完成系统的实时监控与管理,实现整个民爆安全云平台的智能化。     

高校数字化校园数据中心平台的研究与设计

针对在高校信息化建设中,各职能应用系统之间数据标准不一,数据不能交流、共享的问题,以云计算技术为基本方法,结合高校数字化校园建设的现状,即没有统一的数据标准和规范,无法形成高校的全局数据信息,提出高校数据中心的建设内容及规划设计,规划了数据中心平台的建设,数据中心建设内容等。再根据各业务系统之间的数据流,结合各业务部门之间的数据联系,数据的权威性,给出数据中心中数据共享的总体规划,数据在各业务系统之间的流转、交流,学校自编代码的制定和流转策略。最后以实践中的高校西安文理学院数据中心为例,结果表明该规划设计是有效性的。     

建立数据中心,设计统一数据平台

本文主要以创建数据中心,设计统一的数据平台为指导思想,灵活地处理现代管理中出现的各应用子系统之间既能保持相对独立又能实现信息共享。分析了数据中心在实际应用中的重要性,以及基于数据中心,如何设计统一数据平台。     

大洋数据管理与共享平台设计

随着对我国大洋调查的不断深入与拓展,大洋数据类型与数据量日益增多,大洋数据的服务需求也越来越迫切,实现大洋数据的科学有效管理与共享服务至关重要。本文通过分析总结大洋数据的特点与管理现状,结合工作实际,提出建设大洋数据管理与共享服务平台的思路,设计平台的总体框架,包括逻辑架构、物理架构、功能架构和技术架构,并提出平台的服务内容与服务方式。     

数据中心平台的一种设计与实现

数据中心平台是信息采集、加工处理和存储各类共享数据,并为学校师生提供信息共享服务的平台,用以存放数据的同时能够有效地管理数据,对大量的信息进行科学、规范的定义和分类,并提供数据访问的手段,为多个系统的集成和各个系统之间的数据共享提供平台,保证数据的及时性、完整性和一致性。本文以广州电大实施的数据中心平台系统为例,分别对数据中心平台的总体结构和各个子系统进行了详细的说明,并指出了今后数据中心发展的趋势。     

国家高能物理科学数据中心分布式数据处理平台

【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。     

广东省水利数据中心数据资源化研究及应用

物联网等信息技术的发展,极大地丰富了水利行业的数据资源。如何对数据资源进行标准化操作,实现资源共享条件下水利业务应用协同的目标,是当前水利行业亟待解决的重要问题之一。结合广东省水利数据中心数据资源化建设与实践,讨论了当前水利数据资源化建设存在的主要问题,从六个方面阐述了广东省水利数据中心数据资源化建设的实践。     

校共享数据中心平台设计与实现研究

信息资源流通的局限性,导致校园网的信息系统虽然实现了共享,但是仅仅局限在小范围内,而无法发挥信息资源利用的最佳效益,各种负面影响也随之产生,这就需要建立信息共享数据中心平台,以通过新的决策支持数据支持新的应用开发领域。针对高校共享数据中心平台的设计与实现进行研究。     

智慧高速数据挖掘平台设计及其实现

为更好地探讨、解决智慧高速数据挖掘问题,以京港澳高速驻马店至信阳段为例。在规划思路和内容、现有数据资源分类、数据资源架构、数据流程设计、数据共享设计等方面对智慧高速公路数据挖掘平台进行设计,对建立实时、准确、高效的数据共享挖掘机制有一定的借鉴意义。     

Envisat ASAR数据共享平台的设计与实现

随着经济和社会的迅速发展,科学数据共享是一个大趋势,也是目前研究的热点之一,而卫星数据共享是科学数据共享的非常重要的组成部分。中国遥感卫星地面站是我国重要的民用对地观测遥感卫星数据接收、处理、存档和分发单位,目前已经存储的各类遥感卫星数据近百万余景,数据存储量高达100TB。为了适应我国经济建设和科学研究的需要,中国遥感卫星地面站提出了“建立国家级卫星数据共享基础平台”的目标,承担了科技部“Envisat-1ASAR雷达卫星数据共享项目”。本文介绍了地面站的Envisat-1ASAR雷达卫星数据共享系统的设计依据和实现思路,阐述了系统的若干关键技术和创新点,最后展望了系统将来的发展方向。     

流程企业数据平台的设计与实现

针对当今中国流程企业的现状,提出了一种对企业多种数据源进行整合和管理的解决方案——流程企业数据平台。该数据平台可以实现流程企业中多种数据的集成,并支持企业业务过程的持续改善和企业新应用的开发。流程企业数据平台由数据模型、数据发布接口、数据整合工具和平台管理工具组成,是平台级的软件产品。针对流程企业典型代表的石化企业的特点,给出了数据平台的实现。