浅谈跨内外网交换平台海量卡口数据实时同步交换方法

着力探讨海量数据如何跨网闸实时同步复制的方式,通过对多种跨网闸数据交换方式的性能和安全评测,选择使用oracle goldengate实现海量卡口数据实时同步交换,在实际应用中,交换通道运行稳定,性能高、安全可靠、维护成本低,满足了海量数据交换应用的需求,对同类问题的解决具有借鉴作用。     

海量跨域数据交换平台

不同系统之间的数据交换一般通过数据交换平台来实现,但面对不同部门之间海量数据交换时,由于系统的不一致,效率成为瓶颈.针对如何处理跨域海量数据交换和高并发请求,笔者对构建高效率的数据交换平台进行了研究,提出了通过三层数据处理引擎来统一调度用户请求,解决了系统内外部数据流转的问题.然后研究了内存块复制技术和调度算法,结果表明此技术能大幅提高海量数据的处理速度,并能动态响应高并发的数据请求.     

面向海量数据的数据一致性研究

复制是实现海量数据管理的关键技术之一,多副本之间的数据一致性维护是提高分布式系统的容错能力与性能的重要保证。强一致性确保并发的修改操作不会发生冲突,但是限制了系统的可用性、连通性以及副本数量;弱一致性确保副本的最终一致,提高了系统的容错能力。本文从已有的一致性维护方法出发,结合海量数据的特点,对一致性维护过程中所涉及的更新发布、更新传播方式、更新传播内容以及更新冲突解决等几个方面进行了分析,提出了相应的解决方法。     

海量数据实时采集机制研究

在通信等行业中,往往需要对海量数据进行采集和挖掘,常用的采集方式有FTP、FTAM等,但是这些都无法做到实时性;而利用NFS等协议,客户端直接读取文件也存在一定的缺陷,因此,本文提出了一种利用Telnet协议进行采集的方式,经过实际系统验证,它具有实时、高效、系统资源消耗低、实现代价小等优点。     

一种海量数据生成方法

目前还没有得到广泛认可的DBMS数据生成框架.本文发展已有的数据生成方法,建立一种海量数据生成框架.提供了自定义的函数和表达式,在数据序列的基础上进行迭代操作,并在数据序列迭代和RDBMS间建立联系,加入数据非一致性程度控制机制,分析了多个迭代节点简单引用和复杂引用的情况,建立起迭代模型,给出了多个迭代节点有多个引用的解决方法,尽管有一个附加的负载,但可以避免缓冲.提出把迭代可转换为SQL的数据生成语言,可灵活生成不同的数据模式以及多粒度非一致性数据.实验参照测试基准数据模式,结果表明方法是有效的.     

海量数据同步的处理技巧与实战

数据时代的到来,给银行应用通过文件同步数据带来了挑战,文件的增大导致处理时间过长.针对此问题,介绍了海量数据的常见处理技巧,基于案例测试单记录同步、批量同步、多线程单记录同步、多线程批量同步4种方案,并对不同大小文件的用时进行了统计和分析,为银行提供了技术路线,以帮助实现应用间快速数据同步.     

基于Storm的海量数据实时聚类

针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。     

海量数据袋中藏

最新上市的这些移动硬盘不仅拥有庞大的容量,还有丰富的新功能。让我们瞧瞧这种小型存储设备到底是什么样。     

海量数据冲进数字图书馆

在海量数据对数字图书馆的冲击下,要求厂商不仅要有很强的实力,更要有非常强的本地化服务和支持能力。信息化的大潮中,山东体育学院的数字图书馆建设是先行者。早在1998年山东体育学院图书馆就已经开始实施信息化管理。2000年,山东体育学院图书馆便采用了1.7TB的存储系统,在将馆藏数字化的同时,更采购了6万册的数字图书,形成了数字图书馆的雏形。提出新要求经过几年的建设,特别是学院的数字信息资源加入“中国知网”之后,山东体育学院图书馆感觉到,原先的计算系统和架构已经日益“不堪重负”。具体到存储系统,山东体育学院图书馆提出,新的…     

Hadoop 平台下海量数据排行榜过滤算法

排行榜作为现代社会很受关注的一项事物深入大家的生活,但对于海量数据的排行,即使在分布式环境下,依然需要耗费大量硬件资源和很长的时间,有时甚至无法产出榜单。首先对贝叶斯方法进行了改进,提出了一种基于hadoop分布式环境下的行榜海量数据过滤算法,该方法利用熵值理论对缺损数据进行填补得到完整数据;再利用改进的贝叶斯方法计算某商品当日销量进榜单的概率,并对概率低于概率阈值的商品数据进行过滤使其不参与排行计算,从而在确保排行榜精确度的前提下大大缩短榜单的产出时间。对淘宝网中400万条销售记录数据进行实验仿真,结果验证了上述方法的有效性和优越性能。     

基于Kubernetes的海量网络数据存储方法研究

针对传统的集中式网络数据存储方式存储数据效率低的问题,研究了基于Kubernetes的海量网络数据存储方法.对海量网络数据动态合并处理后,设计Kubernetes集群并部署外部上传端与Kubernetes服务的访问过程,从而实现对海量数据的存储.对比实验结果显示,该存储方法相比能够减少约62％的运算内存占用,并且存储操...     

TB级海量数据实时加载技术的研究与实现

随着网络和通信技术的不断发展,在大规模科学计算中间结果的保存和处理、基于Internet信息的分析和研究、实时监控系统信息的存储和处理等诸多应用领域,都产生了TB级的海量数据.数据规模的不断增加以及实时的海量数据加载要求对传统的数据库技术提出了新的挑战.设计并实现了一个面向实时Internet监控信息的海量数据实时加载系统IMIL(Internet monitoring information loader),包括可扩展、高度容错的硬件体系结构,使用SQL*Loader以及交换分区机制的高效批量加载算法以及优化的并行调度机制.性能测试显示,这些海量数据加载及优化技术使得数据加载速度由每天2.2亿条提高到12亿条,10个Cluster同时工作时峰值数据加载速度达到每天6TB.IMIL系统对需要实时加载TB级海量数据的大规模复杂数据库系统具有重要的参考和借鉴价值.     

海量数据搜索

目前,信息化建设存在的问题是:数据信息利用不充分,大量的数据仅以物理状态被简单地存储着.同时由于无法实现海量数据的高效搜索,使得这些数据无法为企业的发展提供决策支持.如何突破海量数据存储和搜索的瓶颈,让数据为企业决策提供支持已经成为信息化建设的重点.通过数据"变革"使得数据能够更合理的存储、更高效的搜索,智能地使用企业的数据财产来制定出更好的商务决策,以提高企业的竞争力.     

基于PostgreSQL的海量准实时数据服务平台访问方案

大数据服务平台在电网系统中具有重要的应用价值.海量准实时数据平台作为电网重要数据中心,存储了大量有价值的数据,其存储的数据多为非结构化数据,无法直接通过SQL语句获取.为了最大限度挖掘数据价值,需要在平台中集成SQL访问实时数据的功能.为此,本文基于PostgresSQL Foreign Data Wrapper （Postgres_fdw）开发了SQL引擎.通过分析PostgresSQL的功能特点以及已有UAPI接口的不足,针对原有大数据平台框架,采用分层策略,基于Postgres_fdw开发了SQL引擎,并提出了针对海量平台中实时数据库的外部表空间估算方案和SQL解析方案,以此实现数据平台运用SQL的方式获取底层海量平台数据的功能.现场功能和性能测试,验证了该引擎的有效性.     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

云计算平台的海量数据知识提取框架

针对从海量数据中分析与提取知识计算时间高的问题,提出一种基于Hadoop的知识提取算法.本文结合Hadoop的并行处理能力与分布式存储特点,设计了一种知识提取框架,可兼容不同的原型约简方法.基于MapReduce编程方法将约简方法并行化处理,并且设计了分类准确率高、计算速度快的原型约简组合规则.最终基于真实UCI大数据集进行实验,本框架将最近邻分类器的分类时间提高两个数量级.     

基于实时同步的分页缓存及分区存贮的海量数据查询优化研究

随着海量数据的集中出现,对数据中心的海量数据的组织、查询和存取日益成为影响其性能的关键因素。传统的数据库优化技术只能实现降低查询处理时间或减少存储以及维护开销中的某一个或者某几个,无法达到同时优化的效果。提出一种基于实时同步的分页缓存及分区存贮（DBMS-Cache-DCS）的海量数据查询优化方法,实验结果表明,通过该方法可以同时降低访问处理时间。     

应用于海洋平台安全保障系统的海量数据管理

根据海洋平台这一环境的实际设计需要,提出从使用主键和索引,改进SQL语句,改进分页显示存储过程等三个方面进行数据库查询优化的方案,解决系统开发过程中对高速数据存储的实际需要,通过实现大量数据的快速查询和快速数据分页显示,得到针对海洋平台这一特定环境的数据管理解决方案,为同类型的软件设计和实施提供新的思路.     

一种电信行业海量数据分组统计方法

结合电信行业海量数据的特点,提出一种分组统计方法,充分利用有限的、较低的系统资源成本,满足海量数据统计分析应用指标计算的精确性和及时性,特别是通过传统全量或增量方法无法快速出数的指标。采用合适的分组,该方法也可以应用于互联网、金融、电子商务等其他行业。     

TDM平台的海量试验数据展现优化

为了满足新的试验数据展现应用的需求,综合试验数据量大、试验数据展现灵活性、交互性等因素,提出了一种基于XML技术的海量试验数据展现的思路.对TDM理念以及TDM关键技术作简要介绍,在此基础上,通过分析主流的试验数据展现方式,指出目前试验数据展现存在的问题和弊端.针对这些弊端,结合控件、XML、OpenGL等多种技术阐述了海量试验数据展现的解决方案,并讨论了如何使TDM平台中的试验数据后处理功能具有丰富的交互性、强大的展现逻辑和良好的用户体验.