基于Hadoop的多关键字排序方法研究

在单机环境下按多关键字对大数据排序需要较长的执行时间,为了提高按多关键字对大数据排序的效率,根据Hadoop的MapReduce模型,给出了两种基于Hadoop的多关键字排序方法。方法一在Reduce函数中使用链式基数排序算法按多关键字对大数据并行排序,利用多个节点的计算能力提高排序的效率。方法二通过定义组合键和比较器实现了对记录的多个关键字按字节比较,节省了将字节流反序列化为对象的时间。通过实验测试了两种方法的性能,实验结果表明,两种方法均能取得较高的排序效率和较好的可扩展性。     

Excel排序技巧两例

1三列以上数据排序Excel提供的排序功能,最多只能同时依据三个关键字段来进行排序。如果我们需要依据三个以上的条件排序,该如何来实现呢?具体操作如下:1.按照排序字段确定优先级,如果有N个字段,按照1→N排列,1为优先级最高的,确定为主关键字段,N为最低条件。2.若N>3,将标为N的关键字放在“排序”对话框的第三关键字,将N-1作为第二关键字,将N-2字段放在第一项主要关键字下方,然后执行排序操作。3.若N值减3后(第1次排序后)仍大于3,则重复第二步骤,直到余下的排序字段小于或等于3为止。接着按照余下字段的优先级,确定主要关键字、次要关键…     

基于关键字之间结构关系的XML查询结果排序方法

非空结果的XML关键字查询中,多个查询关键字之间必然存在联系,这种联系可以通过SLCA(最紧致片段)的结构关系获得.基于SLCA的结构关系,提出了一种推测多个关键字内在联系的XML关键字查询结果排序方法:通过LISA Ⅱ 算法获得SLCA;根据SLCA的结构信息推测出各个关键字之间的内在结构关系,得到所有关键字组成的关系树;然后根据关系树中各关键字对查询结点的严格程度得到对应SLCA的重要程度,据此得到有序的SLCA并输出.该方法利用了XML文档的结构信息对查询结果进行排序.实验结果和分析表明,提出的方法具有较高的准确率,能够较好地满足当前用户的需求和偏好.     

基于xlsx库实现Excel多关键字排序方法

针对目前Golang第三方库都没有实现排序函数的问题,基于xlsx库提供的读写Excel文件函数,通过重写Golang标准库sort.Interface接口中的3个方法,设计并实现了Excel工作表的多关键字排序方法.该方法不仅能够完成普通数据类型的多关键字排序,也能够完成自定义序列类型的多关键字排序任务.该排序方法的实现为今后设计并实现《计算机应用基础》课程自动判卷系统进一步奠定了技术基础.     

按字节的外排序法

本文提出的外排序法直接跳过内排序,并且无需采用归并的思想即可实现数据的排序。假设被排记录的关键字由二个字节组成,取值范围为0～65535。该外排序法的算法步骤如下: (1)从待排文件中读取一个关键字值到变量V中。实施步骤2、步骤3,直到待排文件中的关键字全部被读完。 (2)J=(V MOD 256) 1(根据变量V中关键字值的低字节,求出变量V中的关     

出神入化,Excel排序“特技”

正我们知道,Excel中可以按照数值、笔画等进行排序,但这仅仅是常规的排序功能,其实Excel的排序"特技"远不止这些,本文就为大家介绍相关的排序技巧。按照多个关键字排序在排序时需要匹配多个条件,如先按照学科排序,在此基础上再按照单位排序……在Excel中就可以使用多关键字进行排序。启动Excel2013后打开电子表格,切换到"数据"选项卡,单击"排序"按钮弹出对话框,勾选"数     

一种基于哈希链表的多关键字排序算法

该文结合哈希表提出一种多关键字的排序算法,该算法根据数据元素的关键字转换,利用哈希表的地址映射实现数据元素在有序序列中的位置,从而通过减少关键字比较及移动使排序算法得到优化。算法基于哈希表改进而来,在特殊多关键字排序中具有一定的应用。     

冒泡排序算法详解

排序是计算机程序设计中的一种重要运算，其功能是将一个数据元素(或记录)的任意序列，重新排列成一个按关键字有序的序列。通常在排序过程中需要进行两种基本操作：即比较两个关键字的大小和将记录从一个位置移动到另一个位置。若在排序期间数据记录全部存放在内存，则称之为内部排序；若在排序期间全部记     

一种基于统计的排序算法

本文提出了一种基于统计的快速排序算法 ,并对该算法的时间复杂度和空间复杂度进行了分析 .该算法要求排序关键字满足一定的约束条件 ,其时间复杂度为 O(n) .对该算法做一些简单的修改 ,还可以将其推广到对一般关键字的排序问题 .     

基于流水光总线阵列的快速并行排序算法

基于流水光总线的可重构线性阵列系统(LARPBS)是一种建立在光总线上的并行计算模型。本文提出了一种基于LARPBS模型的快速排序并行算法，该算法使用n个处理器，对关 键字位数固定的n个记录可以在O(1)时间完成排序；对于关键字位数不固定的n个记录，可以在O(d)时间完成排序，这里d为关键字的最大位数。     

求最小完全HASH函数的关键字排序方法

本文在文献[1]的基础上改善和提出了队列排序和填空排序方法.使整个关键字集合在排序过程中相对保持其频率特性和首末字符的队列特性.从而使求关键字集合最小完全HASH函数的回溯方法更加局部化和规范化;在缩短回溯距离、降低计算复杂度和提高HASH函数质量上均有明显效果.文中还给出了排序中典型且实用的PASCAL程序和实例关键字集合的排序结果.     

云存储环境下的多关键字密文搜索方法

针对现有云存储环境下多关键字密文搜索方法效率较低、缺乏自适应能力的问题,提出一种基于改进质量层次聚类的加密云数据多关键字排序搜索（MRSE-IQHC）方法。首先,采用词频-逆向文件频率（TF-IDF）方法和向量空间模型（VSM）构建文件向量;然后,提出一种改进质量层次聚类（IQHC）算法对文件向量聚类,构建文件索引和聚类索引;其次,采用K最近邻（KNN）查询算法对索引加密;最后,采用用户自定义关键字权值的方法构建搜索请求并在密文状态下搜索出前k个最相关的文件。实验结果表明,该方法与加密的云数据多关键字排序搜索（MRSE）方法以及基于层次聚类索引的加密数据多关键字排序搜索（MRSE-HCI）方法相比,在相同的搜索文件数量、返回文件数量、搜索关键字数量条件下搜索时间平均缩短了44.3%和34.2%、32.4%和13.2%、36.9%和19.4%,准确率提升了10.8%和8.6%。所提方法在云存储环境下的多关键字密文搜索中具有较高的搜索效率和准确性。     

一种基于的统计的排序算法

本文提出了一种基于统计的快速排序算法，并对该算法的时间复杂度和空间复杂度进行了分析，该算法要求排序关键字满足一定的约束条件，其时间复杂度为O(n)，对该算法做一些简单的修改，还可以将其推广到一般关键字的排序问题。     

外排序法的研究

本算法的基本思想是将“桶”排序的思想运用到外排序上来。 “桶”排序法:先把N个被排记录按关键字的不同值分配到radix(队列数)个队列中,每个队列称为一个“桶”;接着对每个“桶”内的数据进行排序;最后再将所有“桶”内数据按次序接在一起即完成整个排序。 “桶”外排序法:把“桶”排序中分配到各个“桶”的过程改为分配到对应子文件;先按关键字的值把N个记录分配到radix个子文件中;接着再依次把各个子文件中的数据读入内存进行内排序,把排序结果写到最终结果文件中Four。例如:对N=10个数据(49,38,65,97,76,13,27,97,58,90)的外排序过程如下:     

基于本体的工程数据关键字检索和排序方法

工程数据大量存在于现代生产制造企业。传统工程数据上沿用的关键字查询方法具有难以处理各种异构文档、无法识别关键字在工程领域的语义等缺陷。针对此,提出一种新的工程数据关键字检索方法。该方法先通过建立代表工程数据的本体,对各种异构的工程文档用适合的工具提取文本信息,建立XML快照。XML快照为索引关键字标注了相对应的本体概念。检索框架首先将用户的查询关键字匹配到本体的概念上,在匹配的过程中,提出一种算法消减关键字的语义混淆。在此基础上,提出一种排序模型,该模型对符合查询的XML快照进行打分排序,打分着重考虑了快照在语义上满足关键字查询的程度。检索框架最后排序并返回快照对应的原始文档给用户,使异构的工程数据文档能被统一处理和查询。该方法在工程数据上的检索结果查全率、查准率高,检索结果排序合理,能适用于实际企业中的大量工程数据文档,解决了传统工程数据检索的不足。实验使用了实际数据集,验证说明了该方法的实际有效性和性能上的高效性。     

一个多元选择算法

本文基于数排序的思想，从高位关键字开始，对ｍ位关键字的ｎ个记录进行扫描，给出了一个多元选择算法，算法的最坏复杂度为Ｏ（ｍ（ｎ＋ｒ）），但平均复杂度为Ｏ（ｎ＋ｒ）。     

基于分治和递归策略的排序算法及实现

对关键字数量远少于记录数量的排序问题进行了研究,提出了基于分治和递归策略的有效算法。经与选择排序算法比较,该算法在各种情况下的交换次数均明显少于经典的选择排序算法。     

基于多关键字的Top-k布尔可搜索加密方案

针对在云存储服务中可搜索加密技术的研究,解决了现存3个问题：1)传统可搜索加密方法大多数只支持单关键字搜索,并且在安全索引过大时,搜索时间代价过大;2)现有方案大多使用倒排索引进行快速搜索,然而倒排索引并不支持动态关键字更新;3)现有方案大多数无法针对某些按需用户,根据关键字的重要性对搜索文件进行安全高效的top-k排序.提出了一种基于多关键字的top-k布尔可搜索加密方案(top-k boolean searchable encryption scheme based on multiple keywords, TBSE).该方案利用Goldwasser-Micalli与2DNF这2种加密算法构建了一种支持动态更新的安全索引;利用集合论与布尔搜索的相关知识构建了关键字交集索引与交集搜索令牌,以实现对多关键字的布尔搜索;利用TF-IDF加权技术与安全协处理器构造分数索引,进而能够对文件进行top-k排序.安全性分析表明：该方案保证了在已知密文模型与已知背景模型下的安全性.通过实验证明：该方案提升了对多关键字布尔搜索的效率以及索引存储的效率.     

快速排序的一种改进算法

快速排序算法是基于关键字比较的一种性能较好的排序算法,平均时间复杂度为O(nlogn)。文章针对快速排序分治的策略和基数排序的原理,提出了一种基于基数的快速排序改进算法,论述了改进算法的理论依据和基本思想,并给出了递归形式的算法描述。改进后的算法在执行效率方面和占用辅助空间方面都有所改善。改进后算法不需要作关键字比较,特别适合大数据量的排序,具有一定的应用价值。     

基于信息处理的映射排序算法

本文以事务管理信息系统为基础，提出了一种映射排序算法。该算法的特点是把记录关键字值映射于数组下标用记数方式反映关键字值情况，数组元素下标自然把关键字值一次定好了位置，这样，可以不实施反复比较与交换操作。这种映射排序算法与比较交换排序法相比，有较高的效率，适宜在计算机大规模信息处理中广泛采用。