基于xlsx库实现Excel多关键字排序方法

针对目前Golang第三方库都没有实现排序函数的问题,基于xlsx库提供的读写Excel文件函数,通过重写Golang标准库sort.Interface接口中的3个方法,设计并实现了Excel工作表的多关键字排序方法.该方法不仅能够完成普通数据类型的多关键字排序,也能够完成自定义序列类型的多关键字排序任务.该排序方法的...     

基于Hadoop和MapReduce实现词频的统计与排序

在大数据背景下,词频统计是被频繁提及的一个需求。一个词在文档中出现的频率越高就越重要,通过对每个词出现频率的统计而得出质的评价,从而为用户提供大量相关行业的数据信息,最终助力用户简便、快速地找到所需信息,为其做出精确、明智、及时的决策保驾护航。因此,将在Hadoop集群环境下,运用MapReduce计算框架来实现英文单词的统计与排序功能。     

Hadoop系统map阶段的排序性能分析与优化

MapReduce计算框架已被广泛用于大规模数据分析的应用。虽然它具有弹性的可扩展性和细粒度的容错系统,然而性能却并不令人满意。MapReduce可以通过分配更多的计算节点来实现更好的性能,但是,这种做法并不符合成本效益。用户渴望MapReduce在提供弹性的可扩展性和细密度容错的同时,可以具有更高的计算效率。该文提出了一种动态优化map阶段排序性能的方法,并进行了测试,测试结果表明,该方法能够提升MapReduce的基准测试性能。     

Hadoop系统map阶段的排序性能分析与优化

MapReduce计算框架已被广泛用于大规模数据分析的应用。虽然它具有弹性的可扩展性和细粒度的容错系统,然而性能却并不令人满意。MapReduce可以通过分配更多的计算节点来实现更好的性能,但是,这种做法并不符合成本效益。用户渴望MapReduce在提供弹性的可扩展性和细密度容错的同时,可以具有更高的计算效率。该文提出了一种动态优化map阶段排序性能的方法,并进行了测试,测试结果表明,该方法能够提升MapReduce的基准测试性能。     

一种基于哈希链表的多关键字排序算法

该文结合哈希表提出一种多关键字的排序算法,该算法根据数据元素的关键字转换,利用哈希表的地址映射实现数据元素在有序序列中的位置,从而通过减少关键字比较及移动使排序算法得到优化。算法基于哈希表改进而来,在特殊多关键字排序中具有一定的应用。     

基于本体的工程数据关键字检索和排序方法

工程数据大量存在于现代生产制造企业。传统工程数据上沿用的关键字查询方法具有难以处理各种异构文档、无法识别关键字在工程领域的语义等缺陷。针对此,提出一种新的工程数据关键字检索方法。该方法先通过建立代表工程数据的本体,对各种异构的工程文档用适合的工具提取文本信息,建立XML快照。XML快照为索引关键字标注了相对应的本体概念。检索框架首先将用户的查询关键字匹配到本体的概念上,在匹配的过程中,提出一种算法消减关键字的语义混淆。在此基础上,提出一种排序模型,该模型对符合查询的XML快照进行打分排序,打分着重考虑了快照在语义上满足关键字查询的程度。检索框架最后排序并返回快照对应的原始文档给用户,使异构的工程数据文档能被统一处理和查询。该方法在工程数据上的检索结果查全率、查准率高,检索结果排序合理,能适用于实际企业中的大量工程数据文档,解决了传统工程数据检索的不足。实验使用了实际数据集,验证说明了该方法的实际有效性和性能上的高效性。     

基于Hadoop云计算模型探究

云计算是并行计算、分布式计算和网格计算的发展。文中详细地阐述了MapReduce的编程思想、工作原理、步骤和方法。探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。     

烟草企业基于Hadoop的数据处理研究

Hadoop是一个开源分布式计算平台。具有高容错性,高伸缩性等优点,允许用户将Hadoop部署在低廉的PC上,充分利用集群的计算和存储能力,完成海量数据的处理。结合国内烟草企业面对不断剧增的业务数据,而现有的业务数据处理能力明显不足的现状,分析烟草企业构建Hadoop分布式数据处理平台的可行性,并详细介绍了Hadoop平台技术及其项目结构和体系结构。     

顺序存储的线性表中关键字数量有限的记录的排序方法

关于排序已经有许多成熟的算法,但对于一些特殊的问题和有特殊要求的问题,已有的一些经典的排序算法却不一定能满足题目要求,该文就关键字数量有限的记录的排序问题提出了一个有效的算法.     

基于Hadoop MapReduce模型的应用研究

MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算.探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法.     

基于Hadoop的MapReduce模型的研究与改进

针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致。仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间。     

Hadoop平台下全局扩散性分组排列算法研究与实现

随着云计算技术的蓬勃发展,各种应用产生的数据量日益庞大,然而目前大规模数据集的安全并未得到充分保障。密码学是确保数据安全的有效手段,但是将传统加密方法直接应用于大数据加密存在安全隐患。提出了针对大规模数据集加密的排列算法,包括两方面工作：提出一种适用于大规模数据集的分组加密排列算法,对数据规模为2mN〈2m＋1的数据集,经过m＋2轮加密可实现全局扩散;基于MapReduce编程模型,在Hadoop平台上实现了分组加密排列算法。理论分析与实验结果表明,该排列算法具有优异的全局扩散性。     

Hadoop下基于统计最优的资源调度算法

云计算集群中的资源存在异构和节点稳定性问题.异构资源的计算能力不同会导致较突出的作业任务同步问题,而某个节点的不稳定状态会使运行于该节点的任务大量备份或重新计算.针对上述两问题将严重影响集群作业的执行进度,在Hadoop平台下利用统计方法,提出一种资源调度算法,对计算资源较少的节点和不稳定状态的节点进行标志并降权,让集群尽可能调度资源较好的稳定节点.实验结果表明,该算法能够在一定程度上减少作业的周转时间,提高集群的效率和吞吐量.     

基于Hadoop平台的LDA算法的并行化实现

随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题,提出基于MapReduce计算框架,采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现,并且考察了该并行计算程序的计算性能。通过对Hadoop并行计算与单机计算进行实验对比,发现该方法在处理大规模语料时,能够较大地提升算法的运行速度,并且随着集群节点数的增加,在加速比方面也有较好的表现。基于Hadoop平台并行化地实现LDA算法具有可行性,解决了单机无法分析大规模语料集中潜藏主题信息的问题。     

基于Hadoop平台的个性化新闻推荐系统的设计

为使互联网用户快捷地查找所需信息,个性化推荐系统的优势得到了体现和运用。该系统设计的目的是为广大网民在浏览新闻时提供一个个性化的新闻推荐系统,实现对新闻数据的协同过滤推荐处理。系统利用Hadoop的MapReduce模型实现并行快速地聚类海量新闻数据,大大提高了数据处理的速度,聚类使得新闻之间的相似度得以体现,再利用不同的协同过滤算法实现个性化的新闻推荐。     

基于Hadoop的超像素分割算法

针对高分辨率图像像素分割时间复杂度高的问题,提出了超像素分割算法。采用超像素代替原始的像素作为分割的处理基元,将Hadoop分布式的特点与超像素的分块相结合。在分片过程中提出了基于多任务的静态与动态结合的适应性算法,使得Hadoop分布式文件系统（HDFS）的分块与任务分发的基元解耦;在每一个Map节点任务中,基于超像素分块的边界性对超像素的形成在距离和梯度上进行约束,提出了基于分水岭的并行化分割算法。在Shuffle过程的超像素块间合并中提出了两种合并策略,并进行了比较。在Reduce节点任务中优化了超像素块内合并,完成最终的分割。实验结果表明.所提算法在边缘查全率（BR）和欠分割错误率（UR）等分割质量指标上优于简单线性迭代聚类（SLIC）算法和标准分割（Ncut）算法,在高分辨率图像的分割时间上有显著降低。     

Hadoop平台公平调度算法研究与优化

Hadoop Map Reduce框架的公平调度算法以统一的固定配置文件管理计算节点上计算槽的数量,这不能保障集群负载均衡,亦不能满足不同用户的资源需求。针对公平调度算法配置方式的不足,提出一种动态反馈的调度算法。该算法结合公平调度算法预先分配的特性,能够对计算节点上的计算槽进行动态调整。实验结果表明,基于动态反馈的改进算法有效地提高了集群的执行效率。     

Hadoop平台下基于截止时间限制的动态调度算法的研究

为了满足有截止时间限制的MapReduce作业的需求,提出一种基于截止时间限制的动态调度算法（DCDS）。该算法实时监控作业运行状况,并对作业运行时间进行动态估算,从而确定作业优先级;对于时间紧迫的作业,可通过抢占策略来保证在用户要求的截止时间内完成。实验结果表明,与Hadoop平台现有的调度算法相比,该算法不仅能满足作业截止时间的要求,也提高了系统资源的利用率和吞吐量。