技术创新解决大数据存储之“惑”

大数据时代,数据的存储与快速存取成为多数企业急需解决的重要问题。为此,惠普适时提出创新存储技术,利用其双倍加速虚拟化保障计划帮助客户提升存储的容量,同时利用固态硬盘与自动适配优化技术提高存取效率,从而帮助客户降低成本,实现业务风险的最小化。     

基于HBase的AIS数据分布式存储

自动识别系统(AIS)给船舶提供了电子身份标示。目前AIS数据主要通过关系数据库存储,由于AIS数据不断增加,该存储方式面临着扩展困难,存取效率低的问题。提出一种基于分布式并行处理框架Hadoop利用列数据库HBase存储AIS数据的方法。实验结果表明,Hbase实现了对AIS数据的高效存取。     

数字图书馆中海量异构数据存储组织研究

在大数据时代,图书馆工作中最为重要的问题就是数据的存储以及存取。图书馆数字化的管理方式也提升了资料的数据容量,数字图书馆也面临着更高的存储要求。     

基于PowerBuilder的图象存取及显示

介绍一种基于数据库的图象存取技术。通过将图象信息存储在数据库，避免图象信息的重复存储，有效地解决了数据不一致问题，实现信息共享。通过运用PowerBuilder对数据库存取图象，取得了较好的效果。     

基于Hadoop的电子通信数据快速存储系统设计

在Hadoop云平台进行数据云存储系统的优化设计,提高大容量数据快速存取能力,构建基于Hadoop的大容量数据快速存储系统,采用负载均衡调度和云存储优化方法进行存储系统构架,进行Hadoop云平台的海量大数据进行信息融合处理,对Hadoop云平台大容量数据信息流进行非线性时间序列重组,采用特征空间降维方法降低存储开销,优化存储结构,提高存储和调度的速度。仿真结果表明,采用该方法进行Hadoop大容量云存储系统设计,提高了数据存储的吞吐性能和快速存取性能。     

基于VC＋＋的数据库图像存取方法及实现

图像数据在数据库中的存取问题一直是数据库研究的热点。在建立数据库中经常会遇到对图像数据进行处理,但往往对图像数据的处理不同于其他普通数据那么简单,本文在VC＋＋开发环境中,针对SQL Server 2000数据库关系表中图像（BLOB数据）的存取问题进行了初步探讨,选用直接将图像数据存储在数据库关系表中的方法,在VC＋...     

基于虚拟仪器技术的振动测试数据库设计

本文介绍了基于虚拟仪器技术的数据库存取技术,针对振动测试数据的数据库存储,说明了利用SQL Sever 2005建立数据库,进行采集数据存取的实现方案。以振动测试系统的多通道数据存储为例,给出具体的实现方案,通过测试证明方案是可行的。     

基于VB程序在Access表中存储与读取试题文件

一般试题库的试题信息由简单的文字信息组成,不涉及文件的存取问题,而较为复杂试题库的试题信息则由Office 文件、网页文件、源程序文件、图片文件等组成,而且涉及文件的存取问题.在数据库表中如何快速有效安全地存取试题文件显得十分重要.通过VB编程方法,把50个rtf文件,以二进制方式读写文件到Access数据库表中.为了提高试题文件的安全性,在存储文件到Access数据库表时,对文件的二进制数据进行异或运算,而在读取文件时,对读取到的二进制数据进行同样的异或运算.程序调试表明,基于VB程序,可以在Access表中存储与读取各种类型的文件.     

邻域图像帧存储体的理论及其实现

本文针对高速图像处理的数据流问题,特别是邻域图像数据的并行存取问题,提出了邻域图像帧存储体的体系结构,实现了帧存储体邻域图像数据的并行存取,极大地提高了图像处理的速度。本文描述了邻域图像帧存储体的特征,论述了它独特的存储结构,给出了轮换矩阵,地址标识轮换矩阵定义,揭示了邻域存取规律。本文给出了结构邻域图像帧存储体的具体方法并给出了实例。     

基于InfluxDB与Grafana的物联网监测系统设计

随着监测系统使用时间的增加与物联网设备的不断接入,系统内数据量增长十分迅速,现有的单一存储模式已无法满足海量数据的存取需求。文中针对物联网异构数据海量性、时序型、低修改性和高写入性等特点,提出使用时序型数据库InfluxDB作为数据持久层存储核心业务数据的新思路。在此基础上,视图层增添Grafana组件用于业务数据可视化展示,并提出一种具备设备接入、设备监控、数据分析与展示功能的物联网监测系统。该系统易于操作,耦合程度低,可使用容器化部署方式降低后期运维成本。实验结果表明,系统存储海量物联网数据后,仍可在极短时间内提供服务,实现了海量物联网数据的高效存取,具有较高的研究价值与现实意义。     

基于XML的数据在数据库中的存取技术

近年来,基于XML的数据交换与存取技术成为数据存取和交换领域的一项重要课题。XML不仅作为一种互联网上数据表示和交换的标准,而且被应用于电子商务、搜索引擎、电子数据交换等很多方面,因此受到了广泛的关注。文章将此技术展开分析,探讨了XML数据存取机制,分析了XML在数据库中的存储模式和应用模式,并结合Oracle8i给出应用举例。     

基于Android的数据访问技术研究

数据的存储与访问是Android应用程序设计过程中需要解决的基本问题,随着应用需求的不断增加,采用合理的数据访问技术将有效提高项目的开发效率、优化系统性能.文中通过深入阐述Android系统的数据存储访问机制,提出了文件读写、数据库存取和数据共享等3种数据访问技术的基本实现方法.最后结合各个方法的优缺点分析它们的应用场景.     

基于HBase的配用电海量时序数据存取研究

针对配用电海量时间序列数据,目前南方电网普遍采用关系型数据库进行存储,在技术上使用分库、分区、分表、联合索引等方式进行优化,灵活性、可扩展性、存储量等方面都存在问题。为满足配用电海量时间序列数据的存储要求,分析了关系型数据库优缺点,提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能,并重点分析了HBase数据存储机制及实现方法,最后通过仿真实验进行对比。实验结果表明,基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势。     

协作过滤中的多级分布式日志存取研究

协作过滤作为一种有效的个性化推荐技术受到了广泛的关注.在实际应用中除算法本身效率外,影响算法性能发挥的一个重要的因素就是日志数据的存储与读取速度.针对该问题,文中提出一种多级分布式的日志数据存取方案,采用双哈希表的内存组织与分布式的持久存储相结合的方式来缓解日志I/O的瓶颈问题.实验结果表明,该方法比直接从硬盘读取数据以及串行读取数据的性能有明显提高.     

发布/订阅系统中的历史数据分布式存储算法

在分析当前发布/订阅系统在历史数据存储方面相关工作的基础上,提出了一种利用系统中的存储代理对历史数据进行分布式存储的算法.算法将存储代理组成覆盖网,利用一致性哈希定位主题元数据位置,主题数据分段存储在存储设备上,并采用文件索引、并行读取等方法来提高数据存取性能.在对比实验中,验证了算法在负载均衡和扩展性方面的优势.     

基于OPC标准的实时数据库客户端实现

针对工业过程控制中不同PLC平台与应用程序的数据交换问题,提出了一种基于OPC标准和实时数据库的数据采集、存储和共享方法,实现了应用程序与不同PLC平台数据的安全、透明传输。文章介绍了OPC标准的工作原理和数据存取客户端的开发方法,并通过实验验证了客户端的有效性和稳定性。     

基于Swift云存储技术在高校数据中心的应用

随着高等院校信息化程度的不断提高,高校各种业务数据增长迅速,学校数据中心面临着如何存储海量数据和保障数据存取的高可靠性等问题。文中结合高校数据中心的实际情况,提出了一种开源云存储技术在高校数据中心的应用方案。该方案已经在部分大学校园里部署成功,到目前为止运行良好。     

冷数据存储研究

全面分析典型存储介质的技术特征,提出磁盘是当前冷数据存储适用介质的观点,并围绕降低系统成本、提升存取能力等冷数据存储核心需求,对磁盘系统相关的硬件材料和软件算法两方面的关键技术进行阐述,最后总结和探讨冷数据存储的典型应用场景和业界主流服务提供商在该领域的进展.     

vc多线程流水线在数据存储系统中的设计与实现

在航天测试领域,为分析测试系统的状态和变化情况,经常需要采集、处理并存储状态数据。针对状态数据量大、分析处理复杂、存储速度慢等问题,基于VC++编程,采用多线程、流水线、分块存取的方式,设计数据存储系统软件,实现快速循环读取数据、实时处理显示数据并保存数据至文件,避免了数据的丢失、程序的阻塞。经测试系统整体读数、处理、存数达400MB/s以上。     

弹性存储来临

日前，IBM发布一系列软件定义存储产品，这些产品不仅提高了经济性，还使企业能够在全球任何地方存取和处理存储在任何设备上的任何类型的数据。其中一种称为“弹性存储”的技术提供空前的性能、无限的扩展并能够通过自动将数据移动到最经济的存储设备上使存储成本降低高达90％。