基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

基于规则的土壤数据校验模型研究与实现①

数据校验是数据挖掘与知识发现中的重要一环。我国土壤观测数据由于台站观测人员上网条件、观测地记录不便以及需要适当的数据预处理等原因,无法实行在线入库,一般借助于Excel等软件来记录中间结果,再提交土壤分中心,这样的记录过程经常引入不必要的错误。提出了一个基于可定制规则库的土壤数据校验模型。模型主要包括数据格式转换模块、权限管理模块、元数据管理模块、重复记录去除模块、数据校验模块及规则定制与解析模块。低侵入式的轻量级设计,使得在大大减轻数据校验人员工作量的情况下,原有的数据填报流程不需要改变。可定制规则使得模型易于扩展。     

XML Schema在科学数据库元数据互操作中的应用*

XML Schema是XML的Schema语言,用来描述XML文档的合法结构、内容和约束。以科学数据库元数据标准建设为背景,介绍了XML Schema及其在科学数据库元数据互操作中的应用情况,并展望了科学数据库元数据互操作研究的发展方向。     

深层网站Ajax页面数据采集研究综述

如果能够提高网络爬虫采集Ajax网页数据的能力, 必然会提高搜索引擎的覆盖率和准确率。因此, 深层网站Ajax页面数据采集成为当前网络爬虫技术研究的热点之一。从深层网站Ajax页面数据采集的研究目标、近年来国内外采取的研究方法和取得的成果（研究领域、采集流程、支撑技术）、未来的研究方向三个方面进行了综述。     

2017科学大数据管理专题前言

科学数据是科研活动的输入、输出和资产,是科研人员对其所研究的客观对象相关现象的描述。以大规模巡天望远镜、大型粒子加速器、高通量基因测序仪等为代表的新一代观测与实验装置源源不断产生巨量科学数据,将科学研究推入一个前所未有的大数据时代。这将改变人类几个世纪以来主要研究和理解相对简单、未耦合或弱耦合系统这一局面,大大增强我们详细表征和描述复杂性能力,以及分析高度耦合复杂系统动态行为的能力。可见,科学大数据管理与分析能力及水平,成为了未来在分秒必争的重大科学发现中能否胜出的关键。来自于天文学、生命科学、高能物理等应用领域的迫切需求,也正在挑战着当今所有数据管理系统的极限,成为当下科学界和数据管理领域需携手攻坚的难题。2017年《计算机研究与发展》以科学大数据为专题,结合科学大数据的特点和典型应用需求,重点关注科学大数据管理理论与方法、关键技术与系统,以及各应用领域的最新进展等。本期专题经过公开征稿,总计收到40篇论文投稿,最终收录了5篇论文,内容涉及科学大数据管理基本理论与关键技术,天文大数据、高能物理大数据、遥感大数据等领域大数据管理需求与实践,科学数据众包服务等主题。这些文章为相关领域的研究者探讨科学大数据理论基础及应用、讨论最新的突破性进展、交流新的学术思想和新方法,以及展望未来的发展趋势,提供了很好的交流机会。     

科学数据库元数据注册系统研究与实现

首先介绍了科学数据库中元数据管理和应用存在的问题,根据元数据特点给出了元数据分层模型,提出了一个满足科学数据库元数据标准规范建设需求的元数据登记系统设计方案,分析并解决了该登记系统中的关键性理论和技术难题,并在应用实践中进一步完善。     

基于被引频次统计的基础科学数据库影响力分析

客观评价科学数据的共享和应用成效已是科学数据资源持续建设和良性发展的重要内容。数据库在学术论文中被引用和标注情况是分析其服务效果和影响力的一个重要参考指标。本文通过独立的第三方机构——同方知网学术文献总库,统计分析基础科学数据库 2009 年 10 月至 2012 年 12 月被学术论文全文引用的情况。同方知网从论文年度、论文类型、作者单位、获得资助分布和所属研究领域等五组指标对引用基础科学数据库的论文进行分析。结果显示,在过去三年多的时间内,基础科学数据库共被引用 968 次,并呈现逐年增长的趋势;文献类型涉及期刊、博硕论文、会议论文和报纸文章等;作者单位即有高等院校和科研机构,也包括政府部门和公司企业。这一结果表明基础科学数据资源已经产生了积极广泛的影响力。     

新型高能力格栅填料的流体力学性能研究

本文对四种交叉排列形式格栅填料的流体力学性能进行了研究,关联了试验数据,总结了压降和操作负荷计算公式,并对流动状态作了分析。试验表明,格栅填料是一种能力大、压降低的优良塔用填料。     

面向食源性疾病爆发检测的大数据分析方法

食源性疾病是指通过摄食而进入人体的有毒有害物质 (包括生物性病原体) 等致病因子所造成的疾病,一般具有感染性或中毒性。爆发检测的目标是根据收集得到的医院病例数据判断是否有同构性的食源性疾病爆发。本文采用基于并查集 ^[1] 的 MPI 并行 ^[2] DBSCAN 算法来检测聚集性的食源性疾病爆发,可以在 1 分钟完成 25 万病例数据集的聚集性爆发检测,比原始的单机 DBSCAN 算法速度快了 100 倍。本文设计了 S-K-CPS 算法 (Spark 下的 ^[3] K-CPS 算法) 来检测食源性病例数据的散发性爆发,能够实现对于 100 万病例数据规模的检测,并在速度上比 K-CPS 算法快了 10 倍左右。