面向医疗临床科研的大数据平台

目前我国医疗信息化建设已有一定历史,各医院积累了大量电子病历临床数据,但数据结构多样。如何利用这些数据以辅助临床诊疗、科研、节约医疗资源、提升医疗效率和医疗质量,成为各医疗科研机构普遍关注的问题。该文提出了一种面向临床科研的大数据平台,构建多源数据采集方式解决信息基础设施不一致的问题：统一化存储方式应对不同数据类型、分布式计算平台提升效率与可拓展性,并对敏感数据去隐私处理;同时,构建临床科研平台辅助临床科研人员进行科研分析。根 据架构搭建集群,在专病分析流程上将原本人工约 4 个月的工作简化到 15 秒左右;数据处理效率方面,由已有平台的 5 天导入 16 692 条数据提升到 10 分钟导入 15 217 026 条数据,速度与数量有了显著提升。该平台有助于完成临床数据采集,建立专病数据库、临床科研、辅助临床诊疗的闭环,为临床科研提供高效一体化的数据平台支持。     

面向暗物质粒子探测卫星在轨运行与科学研究的科研信息化应用

【目的】面向中国科学院紫金山天文台“十三五”战略布局和重大应用需求——暗物质粒子探测卫星在轨运行与科学研究,建设形成支撑暗物质卫星科研活动的特色数据资源体系和统一应用服务平台。【方法】充分汇集暗物质卫星科学系统数据资源,通过统一设计和整体部署,深入进行系统整合和信息化支撑系统建设。建立了精确检索封装集成化、多点同步的伽马数据发布系统;能进行资源的全周期在线汇交审阅的科研成果审批系统;能够针对多种目标的光子挑选、统计分析、观测模拟的伽马数据分析软件。【结果】构建了暗物质粒子探测卫星科研信息化应用系统,实现了暗物质卫星地面系统科研资源的汇聚管理、融合应用和整体运维服务,为面向暗物质粒子探测卫星的科技创新和持续发展奠定重要的数据支撑,并将依托中国科学院数据云服务环境,提供资源共享服务。     

科学数据网格中面向天文应用的问题求解环境设计与实现*

通过对虚拟天文台中科学课题的需求分析,提出一种基于数据网格针对天文应用的问题求解环境的框架;以"2MASS巡天星表搜寻OB星协候选体研究银河系的旋臂结构"科学课题为例,在科学数据网格上设计和实现了面向天文应用的问题求解环境,并对实现中的关键技术进行研究.     

遥感数据资源管理研究

遥感数据管理是对来自各类卫星传感器大批量数据高效接收、存档、监控等,通过多种遥感资源的整合,实现多种传感器数据采集和数据归档存储管理功能,提供多种查询方式,支持数据的可视化展示,支持数据记录编辑和数据统计等功能,并能提供多种数据打包下载功能和定期推送功能。可面向政府内部用户,各行业用户、社会公众用户提供数据分发服务。通过整合数据资源,实现资源的交换和共享,实现遥感数据通用数据处理功能、门户网站和应用示范建设,实现政府相关部门的互联互通,为各类用户提供服务。     

基于大数据技术的高校科研管理服务平台优化

为实现高校科研管理平台的数据安全,本文提出一种基于大数据技术的高校科研管理服务平台优化方法。利用大数据技术对平台设计过程进行优化,通过大数据检索技术解决数据存储问题,通过布尔检索模型连接平台本地空间中检索目录与云存储空间,减轻本地平台大数据存储压力。结果表明设计平台科研数据置乱程度较高,达到80%以上,加密功能较好;F-measure值较高,检索时间5 s以下,可以达到高校科研管理服务平台优化的目的。     

三维CAD环境下的产品数据管理方法

分析三维CAD中基本数据类型，并抽取面向管理的结构化信息；定义了数据问的关系类型及数据生命周期状态；给出数据约束和关联定义．结合CAD数据的生命周期管理，提出关联数据在进行出库、入库、发布等方面的操作时，相关数据进行自动更新的规则．针对CAXA实体设计系统给出管理数据模型，并在SMARTEAM平台上实现．     

奥德塔:释放数据效能 支撑复工复学

为更好助力企业和高校复工复学,由奥德塔自主研发的企通查企业风控大数据+教育科研大数据服务平台,特面向企业和高校免费开放大数据资源服务,为企业实现供应商和客户业务风控提供核心数据保障,为高校教学和科研提供丰富的大数据资源保障。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

大数据环境下Web数据源质量评估方法研究

在大数据环境下Web数据资源的开放性和多源性使得不同互联网平台提供的数据质量参差不齐,严重影响人们从互联网中有效准确地获取信息。为此,提出一种Web数据源质量评估方法。建立面向多源互联网平台的统一数据模型和数据质量标准模型,给出针对大数据全样本数据分析的质量标准度量和表示方法,并通过多维数据质量的综合评估实现Web数据源质量的统一度量。实验结果表明,该方法能全面度量互联网平台的数据质量,为用户提供准确高效的质量评价结果。     

一种面向多源数据的智慧园区管理平台

智慧园区通过物联网、云计算、大数据等新一代信息技术应用，实现园区管理服务的自动化、智能化和智慧化，推动园区高质量发展。本文提出一种面向多源数据的智慧园区管理平台架构设计，构建智慧园区数据管理网关，集成扩展园区设备设施专业管理系统、整合已有园区管理和服务的信息化成果、新建基于物联网的园区实时状态感知系统，解决园区管理中多系统、多架构、多标准的“信息孤岛”和数据交互问题。通过GIS全景地图呈现和业务功能联动，实现园区房产和设备设施集中展示、集成管理和统一调度，为园区运行监控和经营管理提供实时、全面、准确的技术支撑平台，在上海自贸区得以实现，取得了良好的经济和社会效益。     

基于HDF5格式的FAST望远镜数据重分布策略

目前,世界上最大的单口径射电望远镜FAST (Five-hundred-meter Aperture Spherical radio Telescope)处于调试期,采集的数据面临着加载效率上的瓶颈,给后续的数据处理效率带来了挑战。本文结合科学数据存储格式HDF5（Hierarchical Data Format Release 5）和数据降维,提出一种适合大多数FAST望远镜数据处理场景的存储优化方法。通过优化,硬盘中的数据从二进制表格模型转换为按类型分布的多个数据集。实验结果表明本文提出的方法能够显著提高FAST望远镜的数据加载效率。     

FastNavi：巡天数据的交互式探索系统

目前,我国天文科学领域的重大科学工程FAST（500?m口径球面射电望远镜）已于2016年9月建成并进入调试和试运行阶段。为满足FAST建成后开展科学研究的需要,采用基于阵列模型的科学型数据库系统作为巡天数据的存储支撑系统,设计实现了一个能够满足对大规模巡天数据进行高效读写、复杂分析的交互式探索系统FastNavi。该系统涵盖了最为常用的巡天数据可视化探索的核心功能,通过优化对巡天数据的可视化分析及观测信息导航的实现,向天文学家或其他非专业人士进行天文研究提供了一种新的交互式探索方式。FastNavi目前已在国家天文台FAST工程科学部巡天数据研究规划中应用,并被其列为巡天数据科学研究的支撑软件。     

西南河流源区数据管理与共享平台研究

西南河流源区是我国水资源和水能资源的重要储备，国家自然科学基金委员会设立的“西南河流源区径流变化和适应性利用重大研究计划”改善该地区基础数据资料匮乏状况。为发挥该重大研究计划延续性作用，亟需研发西南河流源区数据管理与共享平台。从数据管理与共享角度出发，梳理出多源异构数据集成、数据质量保障、数据全流程管理、数据共享、专题数据展示等功能需求，提出“数据存储—应用支撑—业务逻辑— 应用视图”平台框架，实现西南河流源区多源异构数据的一致性存储、“数据上传—评审—下载—评价”全流程管理及专题数据二三维一体化可视化展示。以数据质量为主线，提出“规范元数据体系 + 数据评审”双重质量控制流程。结合繁杂的数据类型和日益增加的数据量对数据管理提出更高要求，探究未来数据平台改进方向与思路。该研究将为研发适用于西南河流源区数据管理与共享的平台奠定坚实基础。     

领域科学数据云资源聚合模型

数据中心作为领域科学数据资源的核心设施,正在变得过于复杂、昂贵和低效.大规模领域应用和用户数量的增长,给数据中心的连接性、稳定性和安全性带来严峻的挑战.关于数据中心的资源整合、自动部署以及资源集中化管理正在受到当前学术界和企业界的广泛关注.以实现领域数据中心资源聚合、共享以及统一管理为目的,通过构建领域科学数据云,将多个数据中心连接成一种虚拟的数据网络,以便为领域数据访问、数据集成和数据管理提供环境和服务支持.着重研究了数据云代理模型、异构源共享模型以及资源消息模型.这些模型对于提高数据中心可扩展性和容错性、降低数据中心资源整合成本以及实现从传统数据中心向云化数据中心过渡起到非常关键的作用.最后,将领域科学数据云资源聚合模型引入到油气井科研数据共享服务平台的开发、部署、运行及监控管理中.实践表明,领域科学数据云模型是切实可行的,对于推动领域数据集成、共享、管理研究具有重要的参考意义和应用价值.     

国外电力企业大数据需求侧应用分析

针对大数据技术的研究和实际应用,总结了国外企业大数据技术的实际应用现状。在国外企业大数据需求侧管理应用中,介绍了法国电力公司、美国巴尔的摩燃气电力公司、美国南加州爱迪生电力公司和德国意昂电力公司四大能源企业大数据技术的应用主题和管理模式。通过上述介绍,在数据平台建设、数据管理和数据分析应用三个方面总结了各类大数据应用的启示,即集中建设统一大数据平台,并采用云部署方式是企业目前大数据平台建设的主流方式;统一数据标准规范有利于数据共享与数据管控,实现数据资源价值最大化;大数据分析应用有两个特点：一是大数据分析应用应紧紧围绕业务需求,以专业级应用为重心,配备充足的人力资源,准确聚焦业务痛点,快速解决业务实际问题。二是企业应结合业务特点和发展要求开展基础技术和基础应用方面的研究,为专业级分析应用提供服务和支撑。     

面向中原城市群的科技服务资源池研究与设计

随着我国科学技术的快速发展,中原城市群的信息化建设取得了较大进步,形成了具有地域特色的科技资源,但是总体而言,中原城市群科技服务资源分散,集成化不高,服务效率低,难以做到真正意义上的科技资源共享。为解决上述问题,本文研究数据抽取、处理、校验、标准化和融合技术。通过科技服务数据采集集成引擎,运用大数据整合技术,将分散独立的各类科技服务数据整合为一体;采用HBase列存储数据库和HDFS分布式文件系统存储不同类型数据,支撑结构化、半结构化、非结构化数据的并行处理,进而向平台提供数据检索、数据分析等各类数据服务,解决各类不同来源数据融合的问题,完成中原城市群科技服务资源池的架构设计,提高科技资源利用率,促进科技资源合理利用。     

分布式地球系统科学数据共享平台研究

科学数据共享平台是科学数据共享活动的重要支撑,既是标准规范和数据资源物化的平台,又是用户服务的窗口,其关键是要实现数据资源由数据生产者向数据使用者的流动。在分析分布式地球系统科学数据共享平台内涵的基础上,提出了以“总中心、认证中心和若干分中心”为构架的“物理上分布、逻辑上统一”的分布式软件体系。对用户单点登录与权限认证、数据中心信息同步、元数据汇交与同步收割、多源异地数据资源透明访问等关键技术进行了详细的论述。基于Java EE环境,研制开发了分布式地球系统科学数据共享平台,软件平台能够实现跨部门、跨操作系统的部署。目前,软件平台已经部署在总中心和13家分中心,为用户提供了稳定的“一站式”数据共享服务。     

Scientific Data Collections and Distributed Collective Practice

As the basic sciences become increasingly information-intensive, the management and use of research data presents new challenges in the collective activities that constitute scholarly and scientific communication. This also presents new opportunities for understanding the role of informatics in scientific work practices, and for designing new kinds tools and resources needed to support them. These issues of data management, scientific communication and collective activity are brought together at once in scientific data collections (SDCs). What can the development and use of shared SDCs tell us about collective activity, dynamic infrastructures, and distributed scientific work? Using examples drawn from a nascent neuroscience data collection, we examine some unique features of SDCs to illustrate that they do more than act as infrastructures for scientific research. Instead, we argue that they are themselves instantiations of Distributed Collective Practice (DCP), and as such illustrate concepts of transition, emergence, and interdependency that may not be so apparent in other kinds of DCPs. We propose that research into SDCs can yield new insights into institutional arrangements, policymaking, and authority structures in other very large-scale socio-technical networks.     

民航机场应急救援大数据处理平台架构研究

安全是民航领域的第一准则,随着新一代信息技术和机场行业的发展,机场运行产生的业务数据呈爆炸性增长,论文依托大数据存储和处理技术,构建机场应急救援大数据处理平台,能更有效支撑现场指挥,智能决策,遇案推演,趋势预测,舆情监控等各项救援行动需求。通过结合目前国内外民航机场应急救援领域大数据技术的应用现状,梳理机场应急救援需求及数据类别,设计并搭建机场应急救援大数据处理平台整体架构;对大数据处理基础对的名称节点、数据节点进行功能设计,并对大数据平台数据批处理计算、流处理计算等计算需求进行研究,提供具体的处理引擎;分析表明研究成果有助于提高我国民航机场安全运行效率,为民航机场应急救援大数据处理平台提供支撑。