基于Hadoop的海量图像检索

随着互联网的广泛应用，图像数据越来越多，如何从海量图像中快速检索出感兴趣的图像成为难题。文中提出一种基于Hadoop的图像检索方法，首先提取图像SURF特征点，经K-Means聚类、PCA降维后得到图像的特征矩阵，再使用局部敏感哈希算法(LSH)得到固定长度的哈希码，并使用HBases存储图像和哈希值，检索时使用欧式距离进行相似度计算。在MirFlickr数据集进行了图像检索实验，结果表明，文中的方法可以大幅提高图像检索效率，可以满足海量图像检索的需要。     

云平台上基于图像特征索引的并行检索系统技术研究

为了提高建立索引、检索图像的速度,提出云架构上基于图像特征索引的并行检索系统.该检索系统主要有3个模块:海量小图片分布式存储(Store)、并行建立图像特征索引(Indexing)、并行图像检索(Retrieve).在Store模块中提出针对海量图片的合并存储,Indexing模块中提出索引缓存模式,避免重写索引的输出接口,Retrieve模块中对索引进行分片管理,以及并行检索.实验结果表明,相对于其他图像检索系统,基于图像特征索引的检索系统有效减少了图像特征索引建立时间,缩短了图像的检索时间,提高了图像检索速率.     

海量题库中的特定数据搜索系统的设计与实现

在挖掘海量数据集过程中,传统海量数据检索方法无法适应海量题库中数据的快速增加趋势,不能在有限时间内获取高质量的挖掘结果。因此,采用Elastic Search分布式架构技术,设计并实现了海量题库中的特定数据快速搜索系统。该系统由用户界面、数据库连接模块、数据抽取模块、索引塑造检索以及索引检索和数据搜索模块等构成。详细介绍了数据抽取模块、索引塑造模块以及索引检索模块的设计和实现过程,3个模块共同实现海量题库中的特定数据快速搜索任务。实验结果表明,该系统的搜索平均响应时间、系统资源消耗以及索引检索性能三方面的性能较高,能够满足用户快速检索特定数据的需求。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

海量图书检索信息的快速查询系统优化设计研究

以往依据关键词的检索方法,在对海量图书检索信息进行查询过程中,无法满足海量信息的大批量检索需求,存在查询效率低和误差高的缺陷。因此,设计基于分布式架构的海量图书检索信息的快速查询系统,系统中的各组件通过并行数据库和分布式存储实现交互。该系统的功能模块包括用户管理模块、数据抽取模块、索引创建模块、文本查询模块及索引检索模块。分析了系统各功能模块的设计和实现过程,这些功能模块共同对外提供图书信息的快速查询服务。实验结果表明,所设计系统可实现海量图书检索信息的快速、精确查询,并且具有较高的索引创建和索引检索性能。     

Hadoop平台下基于内容的医学图像检索

针对海量医学图像存储及检索效率低的问题,该文提出利用Hadoop平台分别实现大量医学图像的分布式存储以及并行处理模式下的基于内容的医学图像检索。利用HIPI图像处理接口将医学图像上传到分布式文件系统(HDFS)中;然后,分别提取图像的形状以及纹理特征,并将其特征向量存储到HDFS中;最后,利用Map Reduce模型实现并行式检索并将图像检索结果按照相似度大小进行排序及显示。实验结果表明,在Hadoop云平台下大量医学图像的存储效率以及检索效率较高,且图像数量越多效率优势越明显。     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

基于图像特征细化的海量数据挖掘系统设计与实现

传统基于图像内容的图像数据挖掘算法,对海量图像特征的分类效率低,对图像数据的挖掘准确率受样本数量影响较大。因此,提出一种基于图像特征细化的海量数据挖掘系统,其中的人机界面可赋予系统较高的交互性。图像搜索引擎能够智能地从互联网海量的图像数据中,采集有价值图像数据和特征。图像预处理模块对图像格式进行变换,完成图像噪声因素的过滤等操作,并对采集图像特征进行细化。数据挖掘模块依据采集的图像特征细化结果塑造CMQL语句,从图像数据库中挖掘出有价值的图像数据。系统实现部分给出了数据挖掘查询语言CMQL进行图像数据的挖掘过程。实验结果表明,所设计系统具有较高的查准率和查全率。     

基于自定义的LIRe和HBase的海量医学图像检索

为了解决海量医学图像检索效率低的问题,提出一种自定义的LIRe和HBase相结合的方案.首先,将医学图像上传到HDFS;然后,通过自定义LIRe框架分别提取海量医学图像的形状以及纹理特征并将特征向量及图像的绝对路径存储到HBase中.最后,利用MapReduce模型以及图像特征索引工具LIRe方便地对医学图像特征建立索引进行特征匹配实现检索.实验结果证明,自定义的LIRe提高了检索准确性,相比将医学图像以及特征向量均存储在HDFS中,也提高了检索效率.     

一种基于Hadoop的海量图片检索策略

针对电商平台海量图片的检索出现的性能瓶颈问题,本文提出一种基于Hadoop的海量图片检索策略,通过Sequence实现对小图片合并,并在合并过程中设定单个Sequence File的偏移量,解析索引快速定位存储图片Block的DataNode和Fileld,解决海量图片数据扩容和快速检索的问题。