基于多哈希算法的大规模图像快速检索方法

哈希技术被视为最有潜力的相似性搜索方法,其可以用于大规模多媒体数据搜索场合。为了解决在大规模图像情况下,数据检索效率低下的问题,提出了一种基于分段哈希码的倒排索引树结构,该索引结构将哈希码进行分段处理,对每段哈希码维护一个倒排索引树结构,并结合高效的布隆过滤器构建哈希索引结构。为了进一步提高检索准确性,设计了一种准确的排序融合算法,对多个哈希算法的排序结果分别构建加权无向图,采用PageRank的思想对基于多个哈希算法的排序列表的融合技术进行了详细的说明。实验结果表明,基于分段哈希码的倒排索引树结构能极大地提升数据的检索速度。此外,相比于传统的单个哈希算法排序技术,基于多个哈希算法的排序列表融合技术的检索准确率优势显著。     

流数据环境下基于k集合覆盖的分布式标签共现算法

摘 要: 通过分析集值属性的标签共现频率,可以挖掘频繁模式以及进行异常的检测。为了提高标签共现计算的性能,本文提出了一种流数据环境下基于k集合覆盖的分布式标签共现算法。采用多集合的容斥原理对标签共现问题进行了分析,并提出了一种分布式标签共现计算流程。通过引入信息检索中的倒排索引对标签及其出处进行索引,基于k集合覆盖的思想将整个倒排索引划分到多个分布式从节点上,并根据流数据的变化动态地更新每个从节点的局部索引,在对所有从节点的结果进行汇聚后得到最终结果。实验表明,本文提出的基于k集合覆盖的分布式标签共现算法与其它算法相比较,不仅具有较低的平均更新时间,而且使用更少的索引副本,因而更适用于大规模流数据的标签共现计算。     

分布式环境下多关键词并行密文检索方案

对于可搜索加密需要均衡数据的安全性和检索效率。针对SSE-1密文检索方案中检索性能低、单关键词检索模式不足和传统单服务器架构中的单机资源局限性等问题，设计并实现了一种多关键词并行密文检索系统。该系统采用不同的索引加密方式提高密文检索性能；通过对密文倒排索引的切分实现倒排索引的分块检索，克服了单机资源的局限性并提高了检索效率；通过结合分布式特点扩展了传统单机检索架构并实现了多关键词的并行检索。实验结果表明，与SSE-1方案相比，在保证密文数据安全性的前提下所提方案能够提高检索、更新等操作的效率，实现多关键词的检索，同时动态扩展系统分布式架构以提高系统负载能力。     

一种基于可扩展散列表的倒排索引更新策略

该文提出一种新的基于可扩展散列表的倒排索引更新策略，使倒排索引具有良好的可扩展性。它既支持文档的插入、删除操作，又具有较高的查询效率和空间利用率。并在它的基础上，实现了倒排索引的增量更新和实时更新。     

基于ProActive的分布式并行网页索引算法

针对单机网页索引器索引速度慢和串行倒排索引算法具有可并行处理的特性,提出分布式并行倒排索引算法。该算法应用分布式并行计算ProActive中间件和单机索引Lucene包,设计和实现一个在机群系统下工作的分布式并行网页索引器。实验结果表明,该索引器有较高的索引性能和较好的扩展性能。     

搜索引擎倒排索引技术的改进

倒排文件是搜索引擎检索系统普遍采用的索引技术。在实验基础上，针对中文搜索引擎中索引的时效性和传统倒排索引在更新时的缺点，提出分组索引技术和一种追加索引的更新算法，可以有效提高搜索引擎的检索效率，同时不影响系统检索效果。     

基于空间近邻查询的移动医疗呼叫算法

随着大数据时代的到来，传统的计算机因为单机资源有限、运行速度慢、分布式处理支持差，已满足不了现行的医疗体系中的大数据处理需求，基于时空数据的移动医疗呼叫系统方法可以很好地解决这些问题。在移动云计算环境下研究[k]最近邻查询算法是当前一个热点问题，支持可扩展和分布式的空间数据索引对于kNN查询的效率影响很大，目前已有的查询算法不适合并行化或者会导致内容冗余。将MapReduce分布式处理技术与空间kNN查询方法相结合，设计可以快速检索到满足用户查询需求的医生位置信息的移动医疗呼叫算法。提出并构建了一个新的分布式空间数据索引方法：倒排Voronoi图索引，它将倒排索引和Voronoi图索引进行结合；提出了一种基于MapReduce的利用Voronoi图来处理kNN查询的高效算法，其在分布式环境下可以有效提高查询效率；用真实的和仿真的数据集来进行大量实验评估，实验结果表明所提出的方法具有良好的高效性和可扩展性。     

基于CRF的分区倒排索引压缩算法

倒排索引是大型搜索引擎的核心数据结构,本质是倒排列表中整数序列的集合。倒排索引压缩可以有效减少倒排索引所占空间,提高对关键词的检索效率。本文提出的基于条件随机场（CRF）的分区倒排索引压缩算法主要关注域值分区的分区方式。该算法对序列进行预分区,并且使用条件随机场对预分区进行标注并重组,有效减少了压缩时间。根据分区类型,该算法使用相应的编码方式,进一步减少了压缩后的空间占用。与其他倒排索引压缩算法进行对比实验分析,结果表明本文算法在压缩率上超过目前一些域值分区的算法,并且在解压时间上与其他域值分区算法相当。该算法在时间和空间上取得了较好的平衡。     

分布式发电配电网故障区段定位新方法

针对分布式电源引入配电网中会造成传统的故障区段定位方法不再适用的情况,构建动态适应多个分布式电源投切的开关函数,且利用该开关函数的特点可以简化运算,提高定位效率。同时,针对蚁群算法容易出现早熟收敛的问题,引入混合优化算法,提出基于混合优化算法的分布式发电配电网故障定位方法。该算法利用粒子群算法优化蚁群算法中的相应参数,采用全局异步与精英策略相结合的信息素更新方式和降低粒子维度的方法降低出现局部最优解的概率,提高了收敛速度和定位结果的正确率。通过典型算例对含分布式电源的配电网进行仿真,实验结果表明该算法能够对单一故障和多重故障准确定位,且耗时少、容错能力强。     

一种P2P系统索引结构生成算法

论文分析了P2P系统的基本概念,研究了现有P2P系统由于缺乏分布式索引结构而产生不足的现状。从而提出了基于虚拟二叉键树的分布式索引模型及其构建算法。利用虚拟二叉键树可以把信息分散存放在各个节点上,并通过路由算法迅速有效地找到存放在其它节点上的信息。同时,建立索引的过程是节点间自发进行的,不需要中心服务器的支持。     

基于分布式范围树的结构化P2P多维范围查询

基于分布式哈希表（DHT）的结构化P2P网络具有扩展性好、健壮和自组织等优点,但只支持精确匹配的查询.本文提出一种基于分布式范围树的结构化P2P范围查询方法（DRT-RQ）,该方法将多维索引的分布式范围树分发到已有的结构化DHT覆盖网络中,利用DHT系统提供的数据查找接口,有效实现数据对象的范围查询.实验结果表明,基于分布式范围树的范围查询（DRT-RQ）比基于前缀哈希树的范围查询（PHT-RQ）需要更短的查询延时.     

基于B+树的分布式哈希表路由结构

在基于分布式哈希表构造的对等网络中,路由表的结构影响关键字的查询效率。B+树是一种有效查找的树型索引结构。考虑便于管理网络中众多的节点路由信息,提出一种基于B+树的路由结构,它通过为节点的路由信息建立索引,不仅提高了查询效率,将查找长度控制在树的高度内,而且使每个节点维护的路由信息尽可能少,减少了存储开销。     

对等式协同设计系统数据一致性研究

为解决分布式协同设计系统中的异地编辑一致性及多副本同步等问题,提出基于分布式哈希表(DHT)的分布式互斥算法,给出该算法的实现方法。通过采用DHT化的优先队列解决了异地编辑一致性操作问题。将传统的“锁”算法扩展为“对等锁”,解决了多副本同步问题。实验结果表明,该算法的复杂度远低于其他算法,从而验证了该方法的有效性。     

基于分布式编程语言的Chord协议和算法

P2P分布式哈希表(DHT)协议本身简洁并且易于理解,但是命令式语言与分布式架构的不匹配使得实现和部署一个拥有全部功能的类似Chord的组件相当困难和复杂。针对这些问题,提出一种基于Bloom系统来设计P2P分布式哈希表协议的方法。首先,阐述了Bloom系统的分布式逻辑编程语言要素;其次,设计了一个最小分布式系统;再次,通过定义永久、暂时、异步通信和周期集合,设计了指表维护算法、后继列表算法以及维持稳定算法等,实现一个Chord原型系统。实验结果证明,原型系统能完成Chord所有功能,并且与传统语言相比,代码量减少60%。分析表明最终的算法代码和分布式哈希表协议规范高度一致,不仅增强了代码的可读性和重用性,而且加深了对协议本身及其应用的理解。     

基于．NET Remoting的动态负载平衡模型

在对.NET Remoting技术和传统的分布式负载平衡算法深入研究的基础上,提出一种排序队列和哈希映射矩阵相结合的负载平衡策略,给出一个分布式环境下的动态负载平衡模型。一方面可提高系统吞吐量,另一方面可缩短任务请求的响应时间。模型采用模块化设计方法,使其具有部署灵活性和容错性,并应用滑动窗口机制提高模型的负载平衡指标可信度。     

Winnowing: Protecting P2P systems against pollution through cooperative index filtering

Pollution (i.e., sharing of corrupted files, or contaminating index information with bogus index records) is a de facto problem in many file sharing peer-to-peer (P2P) systems in use today. Pollution squanders network resources and frustrates users with unprofitable downloads (due to corrupted files) and unproductive download trials (due to bogus index records). In this paper, we propose a novel distributed hash table (DHT)-based anti-pollution scheme called winnowing. Winnowing aims to reduce or eliminate decoy index records (pointing to nonexisting or corrupted files) held by DHT (i.e., index) nodes in the system, so that download attempts based on the remaining (clean) index records are more likely to yield satisfactory results. To achieve this goal, two techniques are used: (1) publish verification is performed by index nodes to counteract index pollution and (2) privacy-preserving object reputation is integrated into the DHT to reduce the impact of content and metadata pollution. By integrating these techniques, winnowing converges quickly to a near-optimal solution. Winnowing has the added benefit that it does not reveal a peer's download history to other downloading peers.The publish verification of winnowing has been implemented on top of the latest eMule client, and extensive data has been collected from the Kad network using this modified client. The measurement results are summarized, and the findings from the measurement study are incorporated into an analytical model. The model demonstrates the robustness of the privacy-preserving object reputation of winnowing to a variety of pollution attacks, and to attacks on winnowing itself. The results of analysis are confirmed by means of event-driven simulations.     

基于密钥分发和密文抽样的云数据确定性删除方案

针对云数据过期后不及时删除容易导致非授权访问和隐私泄露等问题,结合加密算法和分布式哈希表（DHT）网络,提出一种基于密钥分发和密文抽样的云数据确定性删除方案。首先加密明文,再随机抽样密文,将抽样后的不完整密文上传到云端;然后评估DHT网络中各节点的信任值,使用秘密共享算法处理密钥,并将子密钥分发到信任值高的节点上;最后,密钥通过DHT网络的周期性自更新功能实现自动删除,通过调用Hadoop分布式文件系统（HDFS）的接口上传随机数据覆写密文,实现密文的完全删除。通过删除密钥和云端密文实现云数据的确定性删除。安全性分析和性能分析表明所提方案是安全和高效的。     

基于超边际分析的分布式资源分配模型

对以充分利用空闲资源为目的的分布式计算环境来说,可用节点具有波动性,网络环境具有不确定性,从而影响计算效率。提出一种基于超边际分析的分布式计算资源分配方法,该方法把计算任务分配到具有比较优势的节点,选择执行能力更强的节点进行计算,提高了分布式计算环境中资源分配的效率。仿真结果表明此方法合理、有效,适用于分布式计算环境。     

基于负载可迁移的分布式计费系统研究

宽带视频点播计费系统以分布式并行操作系统和分布式并行数据库系统为基础,通过量化的计费进程激活指数,结合计费进程互斥进入临界区算法,实现了多进程分布式协同计费。系统具有负载均衡能力,能够自动选择负载最轻的服务器作为计费节点。引入迁移惰性指数,使进程迁移的可控性得到进一步提高;系统具有很强的稳健性、实时性和不间断性的优点。该计费系统的设计方法不仅适用于宽带视频点播计费系统,也可供其它相近或相关计费系统借鉴。     

Internet环境下分布式曲面拟合系统的处理结构

首先介绍了曲面拟合的概念和方法。并提出了一种在Internet上以分布式处理结构为基础的动态似合工具，这种方法可以使用户在客户端通过网页浏览器使用该工具，而不需要对任何昂贵的软硬件进行维护和投资。此外，由地可用多重处理单元，相对于单个处理单元的环境，减少了每个工作的平均响应时间。