基于IFC标准的建筑信息模型分布式大数据平台存储技术研究

随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。     

Hadoop平台下新型图像并行处理模型设计

Hadoop在处理海量小图像数据时，存在输入分片过多以及海量小图像存储问题。针对这些问题，不同于采用HIPI、SequenceFile等方法，提出了一个新型图像并行处理模型。利用Hadoop适合处理纯文本数据的特性，本模型使用存储了图像路径的文本文件替换图像数据作为输入，不需要设计图像数据类型。在Map阶段直接完成图像的读取、处理、存储过程。为了简化图像处理算法，将OpenCV和Map函数结合并设计了对应的存储方法，实现小图像文件的存储。实验表明，在Hadoop分布式系统平台下，模型不论在小数据量还是在大数据量的测试数据环境中，都具有良好的吞吐性能和稳定性。     

基于Hadoop的时态信息存储与时态关系演算问题研究

面对海量的非结构化时态信息,构建了在分布式环境下的数据存储模型,并在此基础上提出一种基本的时态数据处理方法。使用Hadoop平台下的分布式、非结构化数据库HBase对海量时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型;针对分布式处理特征和时态集合数据类型,提出一种在Map/Reduce编程计算模式下进行海量时态信息关系演算的实现方法;通过扩展时态区间关系运算,实现以时态集合为基本时态数据操作对象的交、并等关系运算。以医疗时态数据作为研究实例,表明了所提出的时态数据存储模型和关系演算方案在分布式应用系统下的适用性。     

一种基于海量信息处理的云存储模型研究

提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce弱于SQL,以Hadoop++为基础的一种针对互联网海量数据文件处理且具有语义计算效能的计算模型THMapReduce;针对THDFS及其THCloudDB的具有语义效能的智能挖掘分析工具THBI;最后以"清华通"为案例分析了该模型平台的具体应用.     

一种正交分解大数据处理系统设计方法及实现

MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调度算法等方面,无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法,将系统分解为松耦合的多个功能正交的模块,使存储、处理功能分离出来,交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎,原大数据系统退化为调度平台;进而,提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导,以Hadoop作为兼容和改进的对象,实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势,又能消除任务执行的瓶颈,其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明,Arion能够提升大数据处理任务的执行效率,最高达7.7%.     

可撤销属性加密结合快速密度聚类算法的非结构化大数据安全存储方法

针对非结构化大数据难以实现安全存储和易遭受安全攻击的问题,提出可撤销属性加密结合快速密度聚类算法的非结构化大数据安全存储方法.利用可撤销属性方法为非结构化大数据提供安全的存储结构,通过区分安全攻击和传输错误来防止大数据的误传和避免安全攻击;利用霍夫曼压缩技术对数据进行快速压缩,节省非结构化大数据处理过程中的时间开销;利用错误控制技术为潜在丢失的数据提供备份系统,并利用快速密度聚类算法有效处理多维大数据文件.实验证明,相比于其他现有非结构化大数据安全存储方法,该方法的执行速度更快,时间开销更小,信息损失百分比更低,信噪比(SNR)和压缩比更高.     

结合区块链的非结构化大数据云存储优化研究

针对非结构化数据云存储效率低下的问题,提出了结合区块链技术的非结构化大数据云存储方法.云存储网络利用F2域获得存储信息,根据域首判断出数据状况,实时更新存储策略;同时存储调度利用存储窗与采集窗估算出数据均值与动态振荡,确定存储更新的频次.另外,在云存储网络中引入存储审计策略,根据数据热度与损坏性确定存储审计需求,对存储数据进行存储时间、数据包量的审计,从而优化存储效率.最后考虑到传统非结构化数据云存储过程中的数据验证效率不佳问题,设计了区块链网络结构,并在其中实现了基于Merkle树与Hash的数据完整性高效验证.仿真结果表明,结合区块链技术的非结构化大数据云存储方法显著降低了数据的审计与存储时间,有效提高了非结构化数据的云存储效率,具有良好的大数据处理性能.     

遥感影像数据云存储平台的安全防护机制研究

针对基于Hadoop的遥感影像数据云存储平台存在的认证机制不完善、访问控制过于简单等安全问题,采用Kerberos认证结合令牌认证的身份认证机制,提出了基于用户属性与遥感影像数据属性的多维细粒度访问控制策略,达到了完善平台认证机制和增强平台访问控制的目的.实验结果证明,提出的身份认证机制和访问控制策略能有效增强遥感影像数据云存储平台的安全防护能力,且对平台性能影响很小.     

基于Hadoop的农产品安全监控平台的设计

针对当前传统数据库已经不能满足海量农产品安全监控信息的存取及处理需求,借鉴Hadoop平台的分布式文件系统和Map/Reduce并行计算方法设计了农产品安全监控平台的框架,在此基础上,提出了一种用于监测农产品各项指标的Map/Reduce算法;最后通过Linux集群技术,搭建了一个基于Hadoop的农产品安全监控数据存储处理实验性平台,该平台能够有效地对海量农产品数据进行及时存储与处理。实验最终结果表明,相比传统的数据库,该平台能够大幅提升海量农产品数据的吞吐率及数据处理性能,由此验证了平台的合理及有效性。     

基于Hadoop和双密钥的云计算数据安全存储策略设计

针对原有的Hadoop平台仅通过CRC-32循环冗余校验保证数据存储的安全性,设计了一种基于双密钥和混沌信号的云计算安全存储策略;首先,介绍了原有的Hadoop框架下的数据存储对应的文件读写过程,并基于加密机制设计了改进的Hadoop数据存储模型,然后根据云存储数据量大和响应要求及时的特点,设计了一种基于双密钥的改进对称密钥算法,在传统的私钥的基础上加入动态公钥,并作为敏感函数的输入获得最终的密钥,从而实现明文的加密和密文的解密,最终定义了具体的基于Hadoop和改进双密钥对称加密算法的云计算安全存储算法;通过搭建Hadoop仿真实验平台进行实验,结果表明文中方法能有效地实现云计算环境下的安全存储,存储时间与其它方法相比少15%以上,具有安全性高和存储效率高的优点,具有一定的优越性。