地震前兆数据的大数据挖掘研究

【摘要】：在地震千兆观测项及方法不断增加的过程中,传统数据分析方法已经无法满足观测数据分析需求。大数据挖掘技术的出现为地震前兆观测工作带来了较为积极的影响,所以本文就对地震前兆的大数据挖掘分析进行了研究,从而为相关方面提供参考。     

基于反向选择的地震前兆观测数据异常检测

针对现有前兆异常检测方法因异常数据较少导致检测准确率偏低的问题,提出一种基于反向选择的检测方法。定义地震数据中的self集与nonself集;将随机选取的未成熟检测器与self集进行匹配,生成半径可变的成熟检测器,覆盖nonself空间;将待检测数据与检测器匹配,通过判断是否在nonself空间得到检测结果;与现有地震异常检测方法BP神经网络、支持向量机进行对比,实验结果表明反向选择用于地震前兆观测数据异常检测有更好的效果。     

大数据技术研究

大数据技术是继物联网、云计算技术之后IT业界又一次技术浪潮。为了全面深入地理解大数据技术的内涵,从大数据的定义及4V特征、关键技术及主要应用领域等四个方面进行阐述。介绍了大数据的基本概念、特征,总结了大数据的热门应用领域并用典型案例进行佐证,重点剖析了云计算、Hadoop、数据备份等三大核心技术及关键策略,最后对大数据应用中滋生的信息安全隐患提出了相应的对策。     

基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法研究

伴随流式数据处理需求而产生的复杂事件处理技术,在处理具有多样性和流式特征数据方面性能表现突出,被广泛应用于复杂事件大数据处理系统中。针对复杂事件大数据处理系统测试需求,提出一种基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法,该方法以部分真实数据中的复杂事件结构关系及概率分布特征构建贝叶斯网络预测模型,生成具有真实数据结构特征与分布特征的复杂事件测试数据集。实验结果表明,提出的方法具有可行性。     

大数据架构下的地震波形数据分析应用浅析

地震波形数据的分析应用是国家地震数据灾备中心未来可做内容之一.从大数据平台的角度,介绍地震波形数据的基本情况和灾备中心业务架构,着重阐述了地震波形数据在大数据架构下的分析应用设想.     

基于Spark的地震数据处理与分析系统设计与实现

地震往往会造成十分严重的人员伤亡和财产损失,如能对已知地震数据进行系统的分析和研究,并从中找出一些规律,就能尽早地采取一些防震避震措施。通过使用大数据技术中的Spark大数据处理框架技术对地震数据进行了详细的分析,并使用SSM框架技术对大数据分析的结果进行了可视化展示。系统的实现对于人们防震避震和研究地震的特点具有十分重要的作用。     

中国地震大数据搜集与展现

利用大数据技术从互联网搜集统计中国地震数据,在军队内网构建地震数据平台,为部队抗震救灾预案制定和营救行动提供数据支撑.     

基于大数据的异常检测方法研究

离群数据检测,主要目的是从海量数据中发现异常数据。其有以下两点好处：第一,作为数据预处理工作,减少噪声点对模型的影响;第二,针对特定场景检测出异常,并对异常现象本身进行挖掘,也非常有价值。目前,国内外主流的方法像LOF、KNN、ORCA等,无法兼顾全局离群点、局部离群点和离群簇同时存在的复杂场景的检测。 针对这一情况,提出了一种新的离群数据检测模型。为了能够最大限度对全局、局部离群数据以及离群簇的全面检测,基于iForest、LOF、DBSCAN分别对于全局离群点、局部离群点、离群簇的高度敏感度,选定该三种特定基分类器,并且改变其目标函数,修正框架的错误率计算方式,进行融合,形成了新的离群数据检测模型ILD-BOOST。实验结果表明,该模型充分兼顾了全局和局部离群数据及离群簇的检测,且效果优于目前主流的离群数据检测方法。     

基于大数据背景下的企业生态系统架构研究

随着全球网络技术与移动通信设备的融合发展,“大数据”时代已经引起社会各界的重点关注。苹果、三星、华为、IBM、微软、腾讯等国际知名企业都开始建构出“大数据”时代的企业生态系统。本文将对“大数据”时代的企业生态系统的演化和建构进行深入分析。     

基于大数据技术的气象业务监视数据采集处理

气象数据生产过程中秒级数据流量达到6万次/秒,为了对海量气象数据进行实时监控,快速定位数据观测、传输、处理、服务全流程中各环节故障,研发了对监视数据的采集和处理框架.基于REST接口和Flume框架实时采集原始监视信息,采用Kafka实现监视数据流的缓冲和持久化存储,在Spark Streaming流式计算平台上实现对...     

基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.     

基于SNFS地震资料处理并行共享存储系统

针对传统并行共享存储系统在深水海洋地震资料处理应用中存在的缺点,设计部署了一种新的基于SNFS并行共享存储系统.通过对其进行功能与性能测试分析,结果表明该系统具有优越性,能满足实际石油物探应用需求.在此基础上,进一步提出了对该存储系统优化的建议与方法.     

嵌入式异构多核测试的流式大数据处理系统

本文采用FPGA实现四通道传感器的高速数据采集、同步转换和LMS自适应降噪,使用ARM搭建了边缘计算平台,进而实现了一种云-边-端协同的测试流式大数据处理系统,并且在磨床设备检测中得到了应用.实验和现场测试结果表明,本系统可以满足实际应用的需求,为基于工业物联网的设备监测提供了一种可行的方法.     

基于Hadoop的大数据平台风险监测系统研究

随着云计算大数据技术的发展,传统的安全监测技术无法满足不间断服务的应用需求。本文所设计系统基于一种检测模型,实现对大数据平台风险进行检测,系统模型可防止主机管理环境下的入侵检测保护系统分布式DDoS攻击。模型设计过程中使用主成分分析和线性判别分析元启发式算法,被称为是Ant Lion优化,通过神经网络实现特征选择,实现对云服务器分类和配置。系统测试结果显示该模型对基于云环境的大数据平台的安全风险预测有较好的性能。     

基于物联网和大数据的水域天网监测系统

本文使用传感器、ZigBee无线传感网络、嵌入式系统、GPRS、云端、大数据挖掘分析等技术,设计并实现了一种多指标、多节点、低功耗的"水域天网监测系统".测试表明,系统设计方案合理可行,系统运行稳定,实现了水质状态分布式监控、预警、大数据分析和多种科学图表可视化,有效扩大监测范围,加快预警和反应速度,提高水质监测治理进程.     

基于大数据的大学生健康数据分析与处理系统设计

既有体质健康测试数据管理系统的统计分析与处理功能相对不足,为确保学生可充分在了解自身体质状况,满足高校分析处理学生健康数据,本文基于大数据设计了大学生健康数据分析与处理系统。首先设计系统整体结构,其次详细设计系统功能模块,再次进行数据库与系统运行流程设计,最后完成系统测试。测试结果表明,此系统可帮助体育教师完成学生体测与管理,实现数据统计与分析,且操作便捷,可有效基于系统数据结果分析学生健康状况,从而给出运动建议。     

大数据处理技术与系统研究

当前,随着信息技术的快速发展,该领域内的数据呈现出爆炸式增长的趋势,而这也意味着大数据时代的到来。大数据所包含的商业价值与社会价值为全球的发展带来极大的机遇,同时,也提出巨大的技术挑战。笔者主要从两个方面进行研究,即大数据分层式大数据存储系统缓存调度策略与性能优化和大规模RDF语义数据存储管理技术与系统,以期为大数据处理技术与系统研究提供一定的参考。     

基于大数据平台的电力设备运作状态监测系统研究

针对目前电力设备运作状态监测系统焦点都在集群的硬件索引上,对电力设备的线状、性能、节点状况和指令反馈等数据层的监控不足,本文采用大数据技术对电力设备运作状态的显著性及统计因子变量进行相应的决策分析,建成一套通过主动监测设备潜在的运行状态变化的多元回归系统模型。从而有效解决了电力设备运行过程实时监控,潜在故障预警、评估、回溯管理等问题。通过宁夏电力公司的试运行结果表明该模型平台能预期捕获电力设备运作状态下的各项影响变量因素,对这些因素进行掌控将广泛应用于电力设备运作部署与运维。据此结论为该大数据平台的电力设备运作状态监测系统,可自定义设备运行分析报表,实现数据分析结果的随需展现,起到保障电力设备安全、可靠运作,具有一定的推广意义。     

接收与处理分离的实时大数据处理模型

在大数据处理过程中,系统必须有非常高的数据处理效率。为了满足对大数据实时、高效、稳定处理的需求,提出了一种接收与处理分离的数据处理模型。该数据处理模型由数据接收单元、内存数据库、原始数据分发单元、数据处理单元、处理数据分发单元、数据归并单元组成。接收单元负责接收、整合结构化数据与非结构化数据,把每条完整的数据放入内存数据库中;分发单元从内存数据库中检测获取数据,按照海量数据负载均衡算法把数据分发到数据处理单元;数据处理单元处理数据,处理结果放入内存数据库;处理数据分发单元继续从内存数据库中获取处理后的数据,并按照海量数据负载均衡算法把数据分发给数据归并单元。实验证明,使用该模型方法,系统保持了非常高效的处理效率。