深层网站Ajax页面数据采集研究综述

如果能够提高网络爬虫采集Ajax网页数据的能力, 必然会提高搜索引擎的覆盖率和准确率。因此, 深层网站Ajax页面数据采集成为当前网络爬虫技术研究的热点之一。从深层网站Ajax页面数据采集的研究目标、近年来国内外采取的研究方法和取得的成果（研究领域、采集流程、支撑技术）、未来的研究方向三个方面进行了综述。     

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

基于规则的土壤数据校验模型研究与实现①

数据校验是数据挖掘与知识发现中的重要一环。我国土壤观测数据由于台站观测人员上网条件、观测地记录不便以及需要适当的数据预处理等原因,无法实行在线入库,一般借助于Excel等软件来记录中间结果,再提交土壤分中心,这样的记录过程经常引入不必要的错误。提出了一个基于可定制规则库的土壤数据校验模型。模型主要包括数据格式转换模块、权限管理模块、元数据管理模块、重复记录去除模块、数据校验模块及规则定制与解析模块。低侵入式的轻量级设计,使得在大大减轻数据校验人员工作量的情况下,原有的数据填报流程不需要改变。可定制规则使得模型易于扩展。     

XML Schema在科学数据库元数据互操作中的应用*

XML Schema是XML的Schema语言,用来描述XML文档的合法结构、内容和约束。以科学数据库元数据标准建设为背景,介绍了XML Schema及其在科学数据库元数据互操作中的应用情况,并展望了科学数据库元数据互操作研究的发展方向。     

基于被引频次统计的基础科学数据库影响力分析

客观评价科学数据的共享和应用成效已是科学数据资源持续建设和良性发展的重要内容。数据库在学术论文中被引用和标注情况是分析其服务效果和影响力的一个重要参考指标。本文通过独立的第三方机构——同方知网学术文献总库,统计分析基础科学数据库 2009 年 10 月至 2012 年 12 月被学术论文全文引用的情况。同方知网从论文年度、论文类型、作者单位、获得资助分布和所属研究领域等五组指标对引用基础科学数据库的论文进行分析。结果显示,在过去三年多的时间内,基础科学数据库共被引用 968 次,并呈现逐年增长的趋势;文献类型涉及期刊、博硕论文、会议论文和报纸文章等;作者单位即有高等院校和科研机构,也包括政府部门和公司企业。这一结果表明基础科学数据资源已经产生了积极广泛的影响力。     

科学数据库元数据注册系统研究与实现

首先介绍了科学数据库中元数据管理和应用存在的问题,根据元数据特点给出了元数据分层模型,提出了一个满足科学数据库元数据标准规范建设需求的元数据登记系统设计方案,分析并解决了该登记系统中的关键性理论和技术难题,并在应用实践中进一步完善。     

新型高能力格栅填料的流体力学性能研究

本文对四种交叉排列形式格栅填料的流体力学性能进行了研究,关联了试验数据,总结了压降和操作负荷计算公式,并对流动状态作了分析。试验表明,格栅填料是一种能力大、压降低的优良塔用填料。     

面向食源性疾病爆发检测的大数据分析方法

食源性疾病是指通过摄食而进入人体的有毒有害物质 (包括生物性病原体) 等致病因子所造成的疾病,一般具有感染性或中毒性。爆发检测的目标是根据收集得到的医院病例数据判断是否有同构性的食源性疾病爆发。本文采用基于并查集 ^[1] 的 MPI 并行 ^[2] DBSCAN 算法来检测聚集性的食源性疾病爆发,可以在 1 分钟完成 25 万病例数据集的聚集性爆发检测,比原始的单机 DBSCAN 算法速度快了 100 倍。本文设计了 S-K-CPS 算法 (Spark 下的 ^[3] K-CPS 算法) 来检测食源性病例数据的散发性爆发,能够实现对于 100 万病例数据规模的检测,并在速度上比 K-CPS 算法快了 10 倍左右。     

支持向量机理论及算法研究综述

介绍了SVM的理论基础和它的多种主要算法及这些算法的利弊与发展现状,并介绍了SVM在现实生活中的应用原理及应用现状。最后分析了SVM在发展中的不足之处,指出了其研究方向及前景,并提出在分布式支持向量机这个方向上可以进行更深层次的研究。