云原生数据湖服务平台的设计与实现

云原生数据湖已经成为数据管理和分析领域的研究热点,相关技术和应用也得到了广泛的关注和探索。数据湖部署存在着成本高、组件之间兼容性差等问题,存算不分离制约着数据湖平台延展性,缺乏完备的数据入湖体系容易引起数据湖沼泽的形成,导致用户无法从中提取数据价值。该文设计并实现了云原生数据湖服务平台,平台以Kubernetes为底层构建云原生环境,结合容器技术将数据湖组件镜像化,同时设计数据湖存算分离方案来提高数据湖平台的可扩展性和可移植性,并配合监控、组装生产线将镜像容器化,实现数据湖上云操作。并建立用户入湖作业与云原生计算引擎之间的桥梁,对入湖信息进行预处理,提供多类型作业以满足多元化入湖场景,以统一catalog的方式将数据写入数据湖中。实际运行结果表明,该平台既提高了数据湖平台的灵活性和可靠性,又确保了元数据和数据资产的规范性存储。     

面向烟草行业研发应用的大数据分析平台

烟草研发体系具有业务广泛、数据庞杂等特点,影响大数据分析技术在烟草研发领域的推广应用.构建面向烟草行业研发应用的大数据分析平台,遵循全局数据应用的整合思维,封装多源异构的烟草研发数据的采集与存储过程;采用应用场景驱动与数据分层融合策略,完成数据主题化规范化管理;设计并开发数据分析过程可视化编排器,简化数据资产价值挖掘过程.该平台能够让"非数据专家用户"更专注于烟草研发业务,有利于推动大数据分析技术在烟草研发体系中的应用.     

基于InfluxDB的监控设备通用运维管理平台

监控设备大规模安装和应用带来了运维困难的问题.本文研发了一个通用运维管理平台,平台通过前端状态采集装置获取监控设备运行时产生的各种状态信息;平台的运维管理系统汇总、存储状态信息,并提供监控、统计、分析、报警等管理功能以支持运维业务;平台的可视化展示子系统对状态信息进行可视化渲染呈现,为系统运维提供智能化的支持.状态采集装置模块化和冗余设计使得设备具有通用性、可扩展性、高可靠性和易维护性.状态信息具有时序数据特征,运维管理系统使用InfluxDB存储状态信息,大幅度降低了存储空间需求,并保证了数据查询和管理的性能需求.基于InfluxDB的监控设备通用运维管理平台已在多个用户单位安装试用,运行状态良好,具有很好的经济社会效益和推广价值.     

大数据技术在网络威胁情报系统的应用研究

本文结合威胁情报系统的设计、开发和运维经验,系统研究了流式数据处理、交互式数据分析、数据湖以及分布式数据处理等大数据技术在威胁情报系统中的应用.分析和总结了在威胁情报系统建设场景中,大数据技术的选择、大数据产品的选型以及大数据平台的设计,为基于大数据技术的应用系统的设计和开发提供参考.     

数据科学研究的现状与趋势

大数据时代的到来催生了一门新的学科——数据科学。首先,探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题,并提出了专业数据科学与专业中的数据科学之间的区别与联系。其次,分析现阶段数据科学的研究特点,并分别提出了专业数据科学、专业中的数据科学及大数据生态系统中的相对热门话题。接着,探讨了数据科学研究中的10个争议及挑战:思维模式的转变(知识范式还是数据范式)、对数据的认识(主动属性还是被动属性)、对智能的认识(更好的算法还是更多的数据)、主要瓶颈(数据密集型还是计算密集型)、数据准备(数据预处理还是数据加工)、服务质量(精准度还是用户体验)、数据分析(解释性分析还是预测性分析)、算法评价(复杂度还是扩展性)、研究范式(第三范式还是第四范式)、人才培养(数据工程师还是数据科学家)。然后,提出了数据科学研究的10个发展趋势:预测模型及相关分析的重视,模型集成及元分析的兴起,数据在先、模式在后或无模式的出现,数据一致性及现实主义的回归,多副本技术及靠近数据原则的广泛应用,多样化技术及一体化应用并存,简单计算及实用主义占据主导地位,数据产品开发及数据科学的嵌入式应用,专家余及公众数据科学的兴起,数据科学家与人才培养的探讨。最后,结合文中工作,对数据科学研究者给出了几点建议和注意事项。     

运维驾驶舱大数据平台关键技术研究

电网自动化调度业务繁多,若存在数据遗漏,数据突变等数据准确率问题很难通过人工发现.本文通过阐述运维大数据、云计算和智能电网之间的关联,提出了基于智能电网的海南运维驾驶舱大数据平台总体框架.该平台的总体框架分为五个层,分别是应用程序层、数据源层、数据调度处理层、数据集成存储层以及数据分析层.本文对基于大数据的集成管理技术、索引技术、分析技术和数据挖掘技术进行了深入的探索和研究,以实现自动化驾驶舱大数据关键技术的突破.     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

基于疫情常态化的校园健康大数据分析与应用

项目团队自主研发了校园疫情常态化综合管理大数据分析系统,通过自建云平台搭建数据环境,完成了校园一体化数据同控管理,快速实现了相关人员的健康、生活情况的实时监测,实现了服务数据化,为快速部署、机动反应和快速反馈提供了技术平台支持,同时项目的实时性、可视性和预警性大大提高了被服务单位和用户的体验能力,也为面向全省地区开展疫情常态化校园健康大数据应用服务工作提供了基础数据与解决方案。     

XML数据集成平台的研究与应用

为了提供访问异构数据源的统一接口,使开发人员不必考虑数据模型的异构性、数据抽取,数据合成等问题,设计了一个基于XML技术的数据集成平台,采用XML作为数据模型以统一的方式查询异构数据源,并将其应用到了防讯决策支持系统的开发中.实验结果表明,用XML作为数据集成模型和XQuery处理技术相结合可有效的解决数据源的差异性问题,提高集成平台的可扩展性.     

领域科学数据云资源聚合模型

数据中心作为领域科学数据资源的核心设施,正在变得过于复杂、昂贵和低效.大规模领域应用和用户数量的增长,给数据中心的连接性、稳定性和安全性带来严峻的挑战.关于数据中心的资源整合、自动部署以及资源集中化管理正在受到当前学术界和企业界的广泛关注.以实现领域数据中心资源聚合、共享以及统一管理为目的,通过构建领域科学数据云,将多个数据中心连接成一种虚拟的数据网络,以便为领域数据访问、数据集成和数据管理提供环境和服务支持.着重研究了数据云代理模型、异构源共享模型以及资源消息模型.这些模型对于提高数据中心可扩展性和容错性、降低数据中心资源整合成本以及实现从传统数据中心向云化数据中心过渡起到非常关键的作用.最后,将领域科学数据云资源聚合模型引入到油气井科研数据共享服务平台的开发、部署、运行及监控管理中.实践表明,领域科学数据云模型是切实可行的,对于推动领域数据集成、共享、管理研究具有重要的参考意义和应用价值.