离线应用本地数据存储设计与实现

为解决离线应用系统中本地数据数据存储问题,设计与实现一个以开源数据库SQLite为底层存储的数据存储方案.针对开源SQLite数据库只支持明文存储的不足,提供了两种可选的加密解密算法,并研究和评估了这两种不同的加密解密算法对数据存储效率的影响.在实现本地数据存储层的基础上,提出了一种实用的数据存储模型,以方便离线应用结构化数据的存取.     

面向智能交通系统的大数据分布式存储算法

针对智能交通系统中的大数据分布式存储过程中分布均衡度较低、安全性差等问题,提出面向智能交通系统的大数据分布式存储算法.利用云存储架构构建大数据分布式存储模型及三层数据存储层次,通过上层的数据高度访问、中层数据连接以及下层的数据归档,依据设定的已知数据粒度、机率以及弹性,计算数据存储强度以及层次,实现大数据存储.通过超混...     

去中心化云存储网络的存储任务分配算法

针对联邦学习客户端数据集的存储任务分配问题构建新型模型,为保证去中心化云存储网络的负载均衡,缩短存储数据上传/恢复时间,减少客户端存储总花费,提出了一种考虑客户端需求和全局负载的数据存储任务分配算法——URGL＿allo(Allocation Based on User Requirements and Global Load)算法。在节点分配阶段考虑全局负载、拓扑属性及客户端关注的存储价格和数据恢复时间等节点资源,结合万有引力定律定义新的节点排序方法,选择最佳存储任务分配节点。在链路分配阶段,使用Dijkstra算法计算以客户端节点为中心到网络中其他节点的最短路径,并选择两节点间最短路径集合中带宽值最大的路径进行分配。仿真结果表明,相比基于随机策略的分配算法(Random＿allo),所提算法的负载均衡指数、客户端存储总花费分别降低了41.9%,5%,并且与基于链路带宽的贪婪算法的数据恢复时间相差不大,都稳定维持在(0,2]之间,是Random＿allo算法的1/20,在全局负载和服务质量上的综合表现优于对比算法。     

组合压缩在存储测试系统中的应用

在某些特殊的测试环境中,存储测试系统中既要求大容量数据存储又要求微体积.为解决这一矛盾,在研究了游程压缩和LZW两种算法的基础上,提出了以FPGA为核心实现两种算法的无损组合压缩,利用FPGA芯片内的RAM来建立字典,用VHDL语言和状态机实现该压缩算法.仿真和综合验证表明,通过FPGA实现该组合算法,压缩效果显著,压...     

基于LZW的RFID标签数据压缩算法

针对射频标签(RFID)标签存储空间不大但数据重复性较高的问题,提出一种改进的基于LZW的RFID标签数据压缩算法,采用多叉树存储结构以提高数据压缩速度,改进阈值判断操作方法以避免浪费存储空间。实验结果表明,与其他算法相比,改进算法在压缩时间与压缩效率上具有较大优势。     

基于Spark字典表压缩存储的关联规则算法优化

针对大数据新型处理框架Spark执行Apriori算法存在速率低、内存负荷高等不足,提出一种改进的Apriori优化算法.基于字典表压缩存储的机制,结合Spark框架中列式存储模式对多维多属性值的数据集进行压缩,通过Spark集群进行数据并行处理.实验表明,该算法比原算法执行速率提高23％以上,且在数据量越大的情况下其优势更明显.该算法具有降低内存负荷量、去候选频繁项集、提高执行速率等优势,且解决了多维多属性值数据集的分析难题,具备一定的应用价值.     

海量时空大气电场数据的压缩存储与共享

大气电场数据能够很好地表征地面大气电场的变化情况,对于研究雷电的发生发展具有重要意义。针对电场数据的时空海量特性给数据的存储共享以及专业分析使用都带来很大困难这一问题,根据电场数据随时间起伏变化的特点,提出时间分割基础上的压缩组织存储算法。该算法能够确保在电场数据"波动段无损"的前提下,有效降低电场冗余数据的存储,节省存储空间,提高海量数据的查询效率;基于"波动段"与"非波动段"的组织结构进一步增加了数据检索查询的灵活性。在此基础上本文基于WCF(Windows Communication Foundation)技术实现对电场数据及其压缩操作算法等的服务共享。最后采用实际电场数据进行了实例实现,充分验证了该压缩存储算法以及共享机制的有效性与可行性,能够为海量电场数据高效的专业分析使用提供支持。     

基于RFID路径数据的异常路径检测

RFID技术在物流、供应链管理等需要跟踪物品流动的领域的广泛使用产生了大量路径数据。路径数据描述了物品在RFID系统中的移动轨迹, 路径数据中每个节点同时包含地点和时间信息, 使路径数据比一般的序列数据更复杂。针对现有的序列数据异常点检测算法不适合处理路径数据的情况, 对路径数据的异常路径检测进行了研究, 提出适用于路径数据的扩展概率后缀树(EPST)模型和一种采用该模型检测异常路径的方法。该模型用来计算每个路径和路径数据集的相似度, 在计算相似度时主要利用了路径数据的“短期记忆”性质, 同时考虑了地点和时间信息对路径数据相似度的不同影响。实验表明提出的算法能够准确地检测出异常路径, 并具有较低的空间复杂度。     

优化RFID数据压缩与存储算法的实现

随着物联网的快速发展,RFID作为物联网的核心技术已经广泛应用于物联网,由此带来海量的数据,而传统的关系数据库技术已经不能完全应对如此巨大的数据量以及基于海量数据的检索,由此提出了一种新的数据仓库结构RFID-Box.这种新的数据仓库结构RFID-Box主要利用大量物品的成批移动、数据泛化和部分路径的融合等特性来进行数据压缩和存储,极大地减少了存储空间,提高了查询效率.简单介绍海量数据压缩与存储算法的一种实现过程,并用C#语言实现算法结果.     

基于Gibbs采样与概率分布估计的移动云数据存储

为提高移动云数据存储远程服务器的计算和存储能力,提出一种改进的移动云数据存储算法。利用表决数据分配和表决数据处理框架,构建考虑节点失效概率的重采样期望传播时间计算模型,并建立整合能源效率和容错性的表决动态网络。采用概率分布估计对动态网络模型进行存储路径优化,应用Gibbs采样解决分布估计的样本数据高维耦合和无监督训练问题。实验结果表明,与贪心算法、随机放置算法和分布估计算法相比,该算法具有更高的能源效率和存储可靠性。     

基于粘贴DNA计算模型的数据存储技术

提出了一种新的基于粘贴DNA计算模型的数据存储技术的实现方法。该方法以重组DNA技术作为实现DNA数据存储的技术基础,以DNA计算理论研究中的粘贴模型作为信息编码工具。具体实现过程包括选择DNA载体,选择受体细胞,通过创建粘贴DNA计算模型的ASCⅡ字符编码进行信息编码,创建数据索引,最后实现数据的存储与检索。     

Hadamard矩阵压缩存储算法分析与研究

首先引入Hadamard矩阵（简称H矩阵）,并对计算机存储矩阵所占用存储的空间进行了论证：然后对规范的H矩阵的压缩存储进行描述;最后着重讨论了作为非对称矩阵的非规范H矩阵的压缩存储。对比存储非规范H矩阵的全部元素,提出了一种基于H矩阵定义的压缩存储算法,在H矩阵的阶数达到64阶乃至更高阶时,能够明显地节省存储空间。     

一种新的数据流在线压缩存储方法

针对当前数据流采用的抽样存储方法忽略了对数据流历史数据的分析处理与存储管理的问题,提出一种新的存储数据流的方法。在满足数据精度的情况下,采用加权最小二乘法对缓存数据流进行分段曲线拟合,对拟合结果进行聚类分析。根据聚类分析结果,采用合适的窗口对数据进行分段曲线拟合,利用拟合结果预测数据流的趋势。将预测结果与实际数据比较,根据比较结果采用不同的方法存储。实验结果表明,提出的方法具有良好的性能,能够满足不同的处理需求。     

基于K 2树的大图存储优化研究*

针对大图数据的一种表达方法——K2树,提出了相应的压缩优化算法。该算法利用带有启发式规则的DFS编码对图中所有节点进行重新编码,并通过自适应调整参数K,使得K2树能够充分利用网络中的社团结构特性,从而降低空间代价。给出了K2树的优化算法描述,并针对一系列真实网络和模拟网络进行了实验,验证了优化算法具有较好的压缩效果。     

多维浮点数据的曲线拟合压缩存储方法

以三维位置信息为代表的多维浮点数据是当前高性能计算机系统处理的主要数据对象,对其进行压缩存储是解决海量多维数据量快速增长的需求与存储空间、存储带宽不足的矛盾的手段之一。现有数据压缩算法对浮点多维数据难以取得理想的压缩效果。将多维浮点数据投影到二维坐标上,使用多项式曲线对其进行拟合,将坐标值的存储转换为多项式系数的存储,实现了多维数据的曲线拟合压缩。算法设计中引入了排序作为数据预处理手段,从而得到了较小的压缩误差。理论分析和实验结果表明,在与现有有损压缩误差相当的条件下,得到了优于现有算法的压缩率。     

历史数据实时压缩方法研究

在开发实时数据库中,对历史数据的存储和管理非常重要,由于大量的数据存储,需要高效的历史数据压缩算法。文章基于均方误差的设计思想,提出了一种新的历史数据压缩算法、给出其详细步骤,并和OSI软件公司开发的旋转门算法进行比较。仿真结果表明,该文提出的新压缩算法具有更高的数据压缩率,降低了测量误差对数据压缩影响。     

一种用于时空体元编解码存储的低计算量优化方法

针对时空网格体对象的编解码占用存储空间大的问题,提出了一种用于时空体元编解码存储的低计算量优化方法。首先以十六叉树索引结构为基础,构建了时空网格体元编解码的数学模型,实现体元对象标识和时空位置索引,并借助3DGIS的自动编解码方法,实现了时空网格体元对象编解码存储表示的换算;其次,采用伽罗华有限域理论,构建了网格体元的二进制编码矩阵和存储的低计算量优化算法,实现了体元对象编解码存储过程中的优化计算;最后,以某矿山的矿床空间块体数据为例,对网格体元编解码模型、存储表示换算以及低计算量优化算法进了实际应用,并与八叉树索引结构的Morton码进行比较和分析,结果表明：该方法可有效降低30%的编解码存储计算量,提高了存储网格体元对象的时空效率。     

基于区块链的高速铁路监测数据安全存储方案

为解决高速铁路分布存储的监测数据遭受数据恶意篡改、共享困难等问题,提出基于联盟链的去中心化的双链存储模型。采用无线传感器网络和区块链技术构造高速铁路联盟链感知节点分布框架和数据存储联盟链模型,通过数据采集基站共识形成数据区块链。基于数据的属性、哈希值等信息形成具体类型的hash链,便于对同一类监测项目的历史数据进行分析、总结。安全性能分析表明,数据联盟存储链能实现安全、可靠的存储铁路沿线监测数据。     

作战仿真实体三维模型数据存储方法

为提高作战仿真实体三维模型存储和使用效率，对作战仿真实体模型进行了分类,制定了模型的层次细节、损伤分级、纹理和分组规则。构造了三维模型数据存储系统结构体系，提出了三维模型的层次体系结构，并对每层次数据结构进行了设计。最后介绍了三维模型重构算法。     

Value locality based storage compression memory architecture for ECG sensor node

This paper proposes a value compression memory architecture for QRS detection in ultra-low-power ECG sensor nodes. Based on the exploration of value spatial locality in the most critical preprocessing stage of the ECG algorithm, a cost efficient compression strategy, which reorganizes several adjacent sample values into a base value with several displacements, is proposed. The displacements will be half or quarter scale quantifications; as a result, the storage size is reduced. The memory architecture saves memory space by storing compressed data with value spatial locality into a compressed memory section and by using a small, uncompressed memory section as backup to store the uncompressed data when a value spatial locality miss occurs. Furthermore,a low-power accession strategy is proposed to achieve low-power accession. An embodiment of the proposed memory architecture has been evaluated using the MIT/BIH database, the proposed memory architecture and a low-power accession strategy to achieve memory space savings of 32.5% and to achieve a 68.1% power reduction with a negligible performance reduction of 0.2%.