用PB访问数据库中大对象数据的方法探讨

为了快速高效地处理数据库中大对象数据,介绍了用PowerBuilder开发数据库应用系统时处理大对象数据的3种方法,比较了3种方法的优缺点,对数据库存储大对象数据的原理进行了分析。实践证明,该实现过程是最可靠、最安全、最有效的一种方法。     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

对PB访问数据库中大对象数据方法的研究

为了快速高效地处理数据库中大对象数据,本文介绍了用PowerBuilder开发数据库应用系统时处理大对象数据的三种方法,并对数据库存储大对象数据的原理进行了分析。实践证明,在Oracle数据库中导入和读取大对象数据的实现过程是最可靠、最安全、最有效的一种方法。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

基于ARM的硬盘数据存储板的设计实现

为了满足航空数据采集系统中存储大容量数据的要求,对利用嵌入式微处理器和硬盘实现大容量数据存储进行了研究,提出了一种可靠、易实现的设计方法.应用ARM7微控制器控制数据的采集,并按照一定格式存储至硬盘,增强了系统的稳定性与智能性.结合嵌入式计算技术,介绍了数据存储板的设计思路和实现方案.详细介绍了ARINC429数据的采集过程,板载微处理器和IDE接口存储器的连接方法,以及数据文件系统的存储格式,为数据存储系统的开发提供了一套完备方案.实验结果表明,存储板长时间工作正确可靠.     

基于IP网络的远程数据同步方法研究

本文基于网络远程数据同步原理展开了对可靠同步子系统的研究,通过其核心功能流程的分析,切实增强了生产业务系统在连续环境下实现低成本异地数据同步存储及传输的可能性,并促进了应用系统可靠服务性的强化提升.     

国产大容量eMMC芯片的数据记录系统设计

本文在国产大容量eMMC芯片的基础上设计了一种数据记录系统,经过实验证明了系统的有效性和可靠性,能实现大于100G的数据存储容量以及可靠的数据传输存储,以及不低于20 Mbps的数据读取速率,满足对国产大容量高可靠数据记录系统的设计需求,具有较高的通用性.     

ArchDB:一个高可靠高性能海量归档流数据库

当前,在科学实验、网站安全、内网审计等诸多领域,监视在线事务或跟踪用户行为会产生大规模归档流数据.这些归档系统规模可达PB级(10~(15)B).在如此规模下存储和分析这些结构化数据至少带来3个挑战;1)数据可靠性问题;2)高效存储和分析高速持续的流数据问题;3)高性能和高可靠目标之间的冲突问题.在分析归档流数据特征的基础上,提出了一种新的高可靠数据库体系结构ArchDB.ArchDB由两部分组成:其一负责加载和查询较小规模的当前数据;其二负责存储和查询大规模的历史归档数据.通过优化设计ArchDB中的数据分布策略、数据块尺寸和归档时机、数据存储和归档流水化机制来高效可靠管理大规模数据.实验结果表明ArchDB既能加倍数据加栽性能,又能加速恢复过程,其加速效果取决于恢复并发度.     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

大数据云存储的技术优化的仿真分析北大核心CSCD

在对大数据云存储的关键技术优化的研究过程中,云数据数量呈现几何指数增长,数据的多样性引起存储过程存储率下降。当前的存储过程以云端随机存储为主,没有考虑海量随机数据存储与后期访问的关联性。导致传统的存储过程在后期访问时,效率低。提出改进随机游走算法的大数据云存储的方法,把存储过程融合于定向随机游走规则,将云存储系统抽象为一个二维随机图,并将系统中的各节点表述为图中的各个顶点,促使汇聚节点收集到的源数据包传递至云存储系统中的部分节点上,将云存储数据流中的历史大数据依据时间的先后排列为时间戳序列,并对历史大数据进行多层递阶抽样存储,通过设置不同的大数据抽样比例保证了大数据存储新样本的随机性,有效地完成了大数据云存储的关键技术优化。仿真结果证明,改进随机游走算法使大数据云存储访问效率增加。     

监控数据海量存储系统设计实例

建立完善的技术防范体系是保卫工作的重要保证．其中，完善、可靠、先进的数字监控系统与数据存储平台正是保证安全的最重要手段之一。本文重点讲述了海量监控系统的存储方法．为监控系统存储提供了一个新的发展方向。     

海量数据的存储与高速查询方案设计与研究

本文阐述了实现海量数据的可靠存储及高速查询的理论基础，以银行系统为例给出了具体实现方案，光纤通道等设备的出现将存储领域推向了网络化的新阶段，这种技术的应用将给我们的生活带来极大的方便，提高工作效率。     

Balance-Peer:负载均衡的结构化P2P模型

为了有效实现结构化P2P系统中数据均衡分布,借鉴并行数据库中数据划分的基本思想,通过在节点加入和数据加入时的存储均衡算法实现大数据量在系统中存储均衡,使得系统存储差异系数大大降低.设计了一个使用数据划分的结构化P2P模型Balance-Peer.在不需要全局信息的情况下,实现动态数据划分方法.实验结果表明了该存储均衡策略是有效的.     

EEPROM数据指针的断电保护方法

在存储式数据采集系统中,数据指针的断电保护和延长EEPROM的寿命是两个重要的工作.本文采用了校验加冗余的方法对数据指针进行存储,达到了可靠存储的目的.分配了若干个内存块循环存储数据指针,避免了对同一内存块重复擦写的情况,然后使用地址指针记录数据指针的地址.应用证明,该算法满足了工业的需要.     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

基于大数据的高校决策分析系统的构建

随着计算机技术和互联网以及物联网的不断发展,"大数据"时代已经到来。针对现有的大数据集合建立决策分析系统,对高校决策分析具有重要的实际意义。本文首先介绍高校建立基于大数据的决策分析系统的背景,然后分别从基于大数据的数据存储方式、决策分析系统的层次结构及实现三个方面介绍基于大数据的高校决策分析系统的构建。     

基于FPGA的图像采集与存储系统设计

设计了一种针对具有大数据量特点图像数据采集、存储及长线回读的测控系统。在控制信号的作用下,此测控系统将CMOS传感器采集的大容量数据存储到Flash芯片中。存储完成后,通过LVDS总线,将Flash芯片中存储的数据回传到上位机进行存盘并显示。实验证明,此系统稳定性高,在工业控制领域具有借鉴意义。     

电能表系统数据存储的研究

为了解决电能表系统数据现场升级程序容易出现数据混乱的问题,分析了目前电能表系统数据存储的方式,针对目前电能表系统数据存储的问题提出了改善方案。通过数据链表创造出一个可以自由伸缩的数据存储系统,形成了以数据块为存储单元的存储模式,解决了电能表系统中新增加数据会导致现有数据地址改变的问题。文章先从目前电能表系统数据存储的问题说起,随后提出了新的数据存储模型,并一一介绍了新数据存储模型的创建、读取、写入及删除等操作,并在电能表上成功实现了新数据存储模型。     

支撑日增万亿级消息的分布式系统

近几年,数据如井喷之势在增加,每天都会有更多的日增数据需要进入存储和计算平台,这就使得大数据体系还需要提供更可靠、更实时、更强拓展性、更高吞吐量的数据接入能力,由此消息传输系统愈发受到重视。本文将深入阐释某大型互联网公司的数据平台实时消息传输系统的组成及其架构演变过程。     

基于索引文件的U盘数据存储模块设计和实现

研制了基于索引文件的U盘数据存储模块。该模块在DSP控制系统基础上扩展了USB主控芯片CH375,通过在DSP内部嵌入USB主机的控制程序,实现对U盘的数据存储功能。针对一般Flash存储介质的U盘,该模块的嵌入式程序实现了基于索引文件的数据存储结构,提高了文件的存储效率。实验表明该模块运行可靠、可移植性好,能满足螺旋焊管截面参数在线测量系统的数据存储要求。