面向云数据安全存储的分段融合模糊聚类算法

为了提高云数据的安全存储性能,需要对数据进行优化属性聚类归集。针对传统方法采用模糊C均值聚类进行云数据存储归类设计具有对初始聚类中心敏感、容易陷入局部收敛的问题,提出一种基于分段融合模糊聚类的云数据安全存储模型构建方法。建立云数据安全存储的网格分布结构模型并进行数据结构分析,进行云数据属性集的向量量化特征分解,对海量的云存储数据流采用分段匹配检测方法进行特征压缩,实现冗余数据自适应归集合并,挖掘云数据信息流的高阶谱特征。在模糊C均值聚类算法的基础上采用分段数据融合进行数据分簇模糊聚类,提高数据存储的安全性,同时降低云数据存储的负荷。仿真结果表明,采用该方法进行云数据聚类和优化存储设计,能降低数据聚类的误分率,提高云数据存储的吞吐量,确保云数据的安全存储。     

基于MD5算法的重复数据删除技术的研究与改进

随着信息技术的快速发展,信息化已成为决定企业生存与发展的关键因素之一;然而随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;为此,深入研究了重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及MD5算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型;测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空间的存储成本开销。     

一种云存储系统数据持久存储机制

针对云存储中的可靠性产生的担忧,提出一种云存储系统完善的数据存储保障机制,以保证系统的高可靠性和数据的高可用性。在处理与数据持久存储的相关的数据分片、数据分发、完整性检查以及冗余数据的维护中,引入基于纠删码的数据冗余机制,与传统的复制冗余方案相比,能够在获得相同的数据可用性时降低存储空间和网络带宽的开销多达50%以上。采用基于缓冲区的分段读入编码对纠删码算法进行优化后,提高了对文件分片与合并的平均编码速率。     

基于BLOOM FILTER过滤算法的重复数据删除技术的研究与改进

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份给企业的存储空间带来了巨大的存储压力。该文深入研究重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及BLOOM FILTER算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型。测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空问的存储成本开销。     

传感数据存储结构设计与应用优化

对车联网环境下车载终端传感数据存储结构设计与优化问题进行了研究。借助于MySQL数据库插件式存储引擎体系结构的特点,在进行实时数据库、历史数据库、归档历史数据库设计时分别采用不同的存储引擎的方法,力求使得实时数据响应时间和历史数据存储空间均达到比较理想的效果。经过在同等条件下对MyISAM、Archive存储引擎的实验、比较、分析和测试,表明在设计传感数据存储结构时正确选择数据库引擎,是满足系统响应时间和存储空间要求的前提和基础。对于实时传感数据采用Memory存储引擎可保证系统的实时性要求;对大量历史传感数据采用Archive存储引擎不但可以大量压缩存储空间而且可获得较理想的响应时间,结合项目实践总结出在多数据库引擎融合情况下应用优化的原则。     

网络计算机模型下海量大数据存储系统设计

对网络计算机模型下海量大数据进行安全稳定的存储,可以提高网络计算机的使用价值,增加其使用周期。但目前的海量大数据存储方法在存储过程中,无法做到对其进行灵活高效的存储,存在大数据存储分布密度较低,存储开销较大等问题。为此,以网络计算机模型体系结构为基础,提出了一种基于ARM的海量大数据存储系统设计方法。该设计方法先利用ARM芯片对网络计算机模型下海量大数据存储系统进行硬件构造,将网络海量大数据中的可利用与不可利用数据进行分类处理,采用VISA结构根据数据分类结果对大数据存储系统软件部分进行设计,依据大数据调度模型和存储相似度特征对大数据存储的时间,质量等方面进行计算,利用计算结果对大数据传输的阈值以及分布密度进行记录,最后根据循环分段的计算方式进行冗余大数据特性压缩,并对海量大数据的常规数据和冗余数据进行存储。实验仿真证明,所提方法提高了海量大数据存储的兼容性,增强了大数据存储的精确性和灵活性。     

基于文件相似性分簇的重复数据消除模型

为解决现有提高重复数据消除系统吞吐量方法的局部性依赖和多节点依赖问题,提出了一种基于文件相似性分簇的重复数据消除模型。该模型将传统平面型索引结构拓展为空间结构,并依据Broder定理仅选择少量最具代表性的索引驻留在内存中;同时对索引进行横向分片并分布到完全自治的多个节点。实验结果表明,该方法能有效提高大规模云存储环境下重复数据消除性能和平均吞吐量,且各节点数据负载量均衡,故该模型可扩展性强。     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

Learned Index和B-Tree在不同分布数据上的性能对比及优化

Learned Index是一种通过训练模型来建立输入数据和存储位置之间映射关系的索引，它能学习到数据间分布的信息，而不同的数据分布将影响模型训练准确率和模型复杂度之间的平衡。为了探索Learned Index适用的场景，使用不同分布、不同数据量的数据对它和加以优化的可更新的自适应学习索引（ALEX）进行性能测试，并与B-Tree进行对比，最终发现Learned Index构建大批量数据的索引时间比B-Tree短，读操作性能、存储空间大小有明显的优势，但写操作性能较差，因此得出Learned Index更适用于大数据情景下的在线分析处理（OLAP）数据库，用于静态数据的存储和查询操作的结论。基于B-Tree的索引结构，对初版Learned Index的结构进行了优化和调整，最终使优化后Learned Index在大批量数据的读写操作性能上有明显提高，其中读操作最高达到原版Learned Index的2倍，写操作最高达到原版的3倍。     

一种归档存储系统结构

针对归档数据的存储管理问题,提出一种归档存储体系结构AStore,采用数据指纹、数据压缩、数据分块和重复数据删除技术,设计归档存储系统的数据存储和管理策略。测试并分析不同参数设置下存储系统的性能,结果表明该策略能减少数据冗余,提高系统存储空间的利用率和访问性能。     

基于位图的键值存储哈希优化

内存键值存储系统中索引方法决定了系统的时间性能和空间开销,是改进和优化的关键因素。哈希索引提供了O（1）时间复杂度的访问操作,但会产生存储冲突,引起访问性能下降。为此,提出了一种基于位图的键值存储哈希优化方法,可以避免存储冲突提升访问性能。该方法将共前缀的键哈希到同一个块,减少键存储空间;在块内使用层次位图结构,全域位图表示所有键的后缀部分来避免存储冲突,摘要位图支持快速定位和范围查询加速。实验结果表明,优化后的哈希索引在多种负载上均能取得较高吞吐量并具有良好的并发性能,同时内存占用较现有方案大大降低。     

云计算环境下资源调度系统设计与实现

在云计算环境下,对开放的网络大数据库信息系统中的数据进行优化调度,提高数据资源的利用效率和配置优化能力;传统的资源调度算法采用资源信息的自相关匹配方法进行资源调度,当数据传输信道中的干扰较大及资源信息流的先验数据缺乏时,资源调度的均衡性不好,准确配准度不高;提出一种基于云计算资源负载均衡控制和信道自适应均衡的资源调度算法,并进行调度系统的软件开发和设计;首先构建了云计算环境下开放网络大数据库信息资源流的时间序列分析模型,采用自适应级联滤波算法对拟合的资源信息流进行滤波降噪预处理,提取滤波输出的资源信息流的关联维特征,通过资源负载均衡控制和信道自适应均衡算法实现资源调度改进;仿真结果表明,采用资源调度算法进行资源调度系统的软件设计,提高了资源调度的信息配准能力和抗干扰能力,计算开销较小,技术指标具有优越性。     

NUMA感知的持久内存存储引擎优化设计

持久性内存(persistmemory,PM)具有非易失、字节寻址、低时延和大容量等特性,打破了传统内外存之间的界限,对现有软件体系结构带来颠覆性影响.但是,当前PM硬件还存在着磨损不均衡、读写不对称等问题,特别是当跨NUMA(nonuniformmemoryaccess)节点访问PM时,存在着严重的I/O性能衰减问题.提出了一种NUMA感知的PM存储引擎优化设计,并应用到中兴新一代数据库系统GoldenX中,显著降低了数据库系统跨NUMA节点访问持久内存的开销.主要创新点包括:提出了一种DRAM+PM混合内存架构下跨NUMA节点的数据空间分布策略和分布式存取模型,实现了PM数据空间的高效使用;针对跨NUMA访问PM的高开销问题,提出了I/O代理例程访问方法,将跨NUMA访问PM开销转化为一次远程DRAM内存拷贝和本地访问PM的开销,设计了Cache Line Area (CLA)缓存页机制,缓解了I/O写放大问题,提升了本地访问PM的效率;扩展了传统表空间概念,让每个表空间既拥有独立的表数据存储,也拥有专门的WAL (write-ahead logging)日志存储,针对该分布式WA...     

查询感知的关系-图数据库自适应存储技术研究

在大数据时代,针对不同场景下如何保持数据高效查询受到持续关注,但是对通过改进数据的存储管理技术来提高查询效率还有待进一步研究。因此,结合图数据结构类型多变、应用场景丰富、数据集价值高等优势,提出了一种利用关系-图数据模型协同存储数据的模式,并设计了用户查询感知的自适应存储优化技术来解决多数据模型的数据存储冗余优化问题。通过分析不同引擎处理不同的查询得出每种引擎对应的不同查询性能和多数据模型存储存在的数据冗余问题,提出用户查询感知的自适应存储技术。再结合用户历史查询及查询特点,利用基于启发式规则的优化算法完成多数据模型的数据存储优化。     

一种混合云环境下基于Merkle哈希树的数据安全去重方案

重复数据删除技术是云存储系统中一种高效的数据压缩和存储优化技术,能够通过检测和消除冗余数据来减少存储空间、降低传输带宽消耗。针对现有的云存储系统中数据安全去重方案所采用的收敛加密算法容易遭受暴力攻击和密文计算时间开销过大等问题,提出了一种混合云环境下基于Merkle哈希树的数据安全去重方案MTHDedup。该方案通过引入权限等级函数和去重系数来计算去重标签,高效地实现了支持访问控制的数据安全去重系统;同时通过执行额外的加密算法,在文件级和数据块级的数据去重过程中构造Merkle哈希树来生成加密密钥,保证了生成的密文变得不可预测。安全性分析表明,该方案能够有效地抵制内部和外部攻击者发起的暴力攻击,从而提高数据的安全性。仿真实验结果表明,MTHDedup方案能有效地降低密文生成的计算开销,减少密钥的存储空间,而且随着权限集数目的增加,性能优势将更加明显。     

异构复杂信息网络下的异常数据检测算法

异构复杂信息网络承载着不同的协议和网络信道,并通过云储存实现资源调度,由此产生的异常数据会给网络信息空间带来安全威胁和存储开销,所以需要进行异常数据准确检测。传统的检测算法采用简化梯度算法进行异常数据检测,不能有效去除多个已知干扰频率成分的异常数据,检测性能不好。提出一种基于自适应陷波级联模型的异常数据检测算法。构建异构复杂信息网络系统模型,采用固有模态分解把异常数据信号解析模型分解为多个窄带信号,设计二阶格型陷波器结构,用多个固定陷波器级联抑制干扰成份,采用匹配投影法寻求优化特征解,找出所有匹配的特征点对,从而实现异常数据检测的改进。仿真实验表明,采用该算法进行异常数据检测时,信号幅值大于干扰噪声数据幅值;该算法提高了检测性能,具有较好的抗干扰性能。     

智能建筑中央空调监控系统存储优化策略研究

随着智能建筑的迅速发展及管理要求的不断提高,监控系统信息管理的实时性、快速性以及存储模式设计的合理性要求也不断提高。针对智能建筑中央空调管控子系统监控点位多、数据存储量大、子系统多样以及管理复杂等特点,构建数据采集平台,利用OPC XML技术,将关系数据模型与XMLDB结合,设计低冗余数据存储及查询优化策略。实验及应用结果表明, 该策略适用于中央空调监控系统的信息管理与优化存储,在一定程度上提高了系统的管理水平和运行效率。     

空间聚类与方向关系的融合技术研究

在大数据量的环境下,传统空间数据的空间关系仅描述两个空间物体,从而出现数据存储冗余,检索速度慢等问题。提出改进的聚类算法对空间物体聚类,再在聚类结果的基础上表示空间物体的方向关系。提出了基于密度的K-均值算法和空间聚类与方向关系融合的新方法。所提方法增强了空间数据库对空间数据对象的空间方向关系的智能处理能力,节省了存储空间,提高了数据的查询速度。