面向海量数据的数据一致性研究

复制是实现海量数据管理的关键技术之一,多副本之间的数据一致性维护是提高分布式系统的容错能力与性能的重要保证。强一致性确保并发的修改操作不会发生冲突,但是限制了系统的可用性、连通性以及副本数量;弱一致性确保副本的最终一致,提高了系统的容错能力。本文从已有的一致性维护方法出发,结合海量数据的特点,对一致性维护过程中所涉及的更新发布、更新传播方式、更新传播内容以及更新冲突解决等几个方面进行了分析,提出了相应的解决方法。     

基于元组相似度的不完备数据填补方法研究

随着互联网及信息技术的发展,数据缺失、损坏等问题越来越普遍,尤其随着数据收集工作从人工转向机器,存储介质的不稳定性及网络传输出现遗漏等原因都导致数据缺失更加严重。数据库中大量的缺失值不仅严重影响了用户查询质量,还对数据挖掘与数据分析结果的正确性造成了影响,进而误导决策。目前,对缺失数据的填补还没有一种比较通用的方法,大部分策略都是针对某一类型的缺失值问题进行处理。因此,针对不同缺失类型同时出现在不完备数据中的复杂情况,提出了一种基于元组相似度的不完备数据填补方法(IATS)。采用数据挖掘的方法提取出不完备数据集中的加权关联规则,并根据此规则进行常规缺失数据的填补,而对于数据集的异常缺失问题,又引入数据推荐算法,采用推荐筛选策略进行元组相似度的计算并实现相应填补,在很大程度上提高了数据的有效利用率和用户查询结果的质量。实验表明,IATS策略在保证填补率的前提下具有更好的准确率。     

浅谈基于云计算的数据挖掘技术

21世纪是信息的时代,然而在这个信息大爆炸的时代,数据无疑是这个时代的主宰者,尤其对于一个企业而言,能否挖掘出潜在的有价值的数据在一定程度上将决定一个企业的经济命脉,因此数据挖掘也变得尤为重要。可是随着信息技术的发展,传统的挖掘方式已经不能满足海量数据的挖掘,而云计算的出现使解决这一难题成为可能,可以说云计算的到来给数据挖掘技术带来了一场革命性的改变。本文介绍了云计算的定义、特点以及应用于数据挖掘中的优势,并简单讨论了基于云计算的数据挖掘技术热点问题以及数据挖掘技术所面临的挑战。最后畅谈了基于云计算的数据挖掘技术的未来发展趋势以及自己的感想。     

基于Hadoop集群的海量数据处理系统

近年来,随着各个领域中大规模、海量数据存储和处理需求的不断增加,集群作为一种廉价的可以提供强大计算能力的并行计算技术得到越来越广泛的应用,其具有大型机的超级计算能力和较低成本投入.从而成为各种高性能计算的主流方向,如科学计算与其他需要大规模并行计算的应用服务等.本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型.     

基于银行数据仓库的ETL系统的设计与实现

ETL技术是创建数据仓库的关键。本文以银行数据仓库项目为背景,设计实现了数据的ETL系统,该系统具有良好的人机交互方式。系统采用时钟触发机制实现了数据的自动抽取过程;使用配置文件增强了系统的灵活性;通过对日志的细化实现了系统的快速恢复;针对海量数据的特点,在数据载入过程中优化了系统性能,提高了系统的运行效率。     

基于低秩矩阵完备的大规模MIMO系统信道估计研究*

随着大规模MIMO系统中天线数的增长,获取信道状态信息(channel state information at the transmitter, CSIT)所需的下行信道训练开销和上行反馈开销变得非常巨大。针对信道估计开销过大的问题,提出了一种新的CSIT估计方案和基于低秩矩阵完备的信道估计算法。在本方案中,基站发送训练信号给各个用户之后,用户直接将其观测信号反馈给基站,并在基站端进行统一的CSIT估计。然后,利用大规模MIMO信道矩阵的特点将信道估计问题转化为低秩矩阵完备问题,从而利用软阈值算法恢复出所有用户的信道状态信息。仿真结果表明,该算法可以获得精确的信道状态信息并有效地估计减少了信道估计开销和复杂度。     

燕星系统的设计及其实现中的技术问题

“燕星”是一个基于Internet的网络文件存储系统,能够提供随时随地的存储服务与个人信息的管理。在系统设计上,采用了多名字空间的文件目录管理策略,使得系统更适合于公众网络的应用模式;基于RMI的分布式架构,使系统具有了良好的扩展性;多级cache以及RMI线程的容器管理,则保证了系统良好的性能。大量测试表明″燕星″系统具有很好的实用性能。     

基于降噪回溯SAMP算法的Massive MIMO信道估计

传统的LS算法、MMSE算法应用于信道估计时需要进行协方差矩阵求逆的运算,当信号数量庞大时,会有很高的计算复杂度.考虑到信号稀疏性的特点,可将压缩感知理论应用于信道估计中.常见的压缩感知贪婪类算法有OMP算法和CoSaMP算法,这两种算法需要将稀疏度作为已知条件,因此限制了其使用.提出基于降噪回溯SAMP算法(NrSA...     

基于Hadoop的高性能海量数据处理平台研究

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的CPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过 定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapReduce框架中,可高效处理海量数据。     

Spatial correlation based channel compression feedback algorithm for massive MIMO systems

Aiming at the non-linear structure of massive multiple-input multiple-output (MIMO) channel data, this paper proposes a channel state information (CSI) compression feedback algorithm based on Laplacian Eigenmaps (LE) non-linear processing for massive MIMO uniform linear array. The spatial correlation of the channel array determines the Laplacian matrix, and the channel compression matrix is obtained by Laplacian matrix eigenvalue decomposition. The simulation results show that the proposed LE algorithm can reduce the feedback overhead, and its bit error rate (BER) performance is better than that of the discrete cosine transform (DCT) sparse compression algorithm. In addition, the proposed LE algorithm computational complexity is higher than DCT, and lower than principal component analysis (PCA) and Karhunen-Loeve transform (KLT) algorithms, but the LE algorithm can achieve higher feedback accuracy when the feedback overhead is slightly lower than DCT.