海量数据搜索

目前，信息化建设存在的问题是：数据信息利用不充分，大量的数据仅以物理状态被简单地存储着。同时由于无法实现海量数据的高效搜索，使得这些数据无法为企业的发展提供决策支持。如何突破海量数据存储和搜索的瓶颈，让数据为企业决策提供支持已经成为信息化建设的重点。通过数据“变革”使得数据能够更合理的存储、更高效的搜索，智能地使用企业的数据财产来制定出更好的商务决策，以提高企业的竞争力。     

海量数据搜索

目前,信息化建设存在的问题是:数据信息利用不充分,大量的数据仅以物理状态被简单地存储着.同时由于无法实现海量数据的高效搜索,使得这些数据无法为企业的发展提供决策支持.如何突破海量数据存储和搜索的瓶颈,让数据为企业决策提供支持已经成为信息化建设的重点.通过数据"变革"使得数据能够更合理的存储、更高效的搜索,智能地使用企业的数据财产来制定出更好的商务决策,以提高企业的竞争力.     

用搜索管理海量数据

“上次出去玩的照片放到哪里去了,怎么找不到呢？”如今硬盘大了,文件一多就像迷宫,完全记不起来要找的文件放在哪里,即使想要重新整理,也是有心无力,因为文件分散在不同的文件夹,到底藏在哪儿？自己也不知道。     

搜索趋势数据可视分析系统

为了帮助用户理解和分析搜索引擎产生的搜索数据,提出一个搜索趋势数据可视分析系统,包括数据收集与预处理、流图计算与绘制、流线生成与文字摆放以及交互式分析.以流图与文本相结合的方式呈现搜索数据,展示数据中蕴含的搜索趋势和热点;创新性地提出了流线指导下的文本布局算法,使文字能更好地贴合流图形状;此外,还提供了一系列交互,帮助...     

一种异构海量数据搜索方案

随着海量数据时代的到来,如何在异构海量数据中进行数据搜索成为一个迫切的问题。本文分析搜索技术的基本原理,比较现有的异构数据搜索方案,在此基础上,通过引入元数据技术,提出一种基于统一索引的异构海量数据搜索解决方案,并详叙基于开源技术的实现。     

海量文件轻松搜索 桌面搜索面对面

现在硬盘容量越来越大,存储的文件也越来越多,随之而来的问题就是如何在海量文件中快速找到自己需要的文件。使用专业的硬盘文件搜索工具来替换系统自身的搜索功能无疑是最佳选择。为此我们专门挑选了四款流行的桌面搜索工具进行了评测,哪个桌面搜索工具更适合你呢,不妨来看看吧。     

一种高效目标搜索方法及其在图象分析中的应用

针对自然环境中的特定目标模式搜索,利用视觉神经生理学和认知心理学实验结果,归纳出一种仿生目标搜索策略－ＤＯＥＳ策略。该策略应用在车牌识别系统中,设计出简捷实用的高效模式搜索算法,解决了快速准确定位车辆的难题。     

P-集合与数据内搜索-应用

P-集合是把动态特性引入到有限普通集合中,改进普通集合得到的。P-集合是由内P-集合XF(internal packet sets XF)与外P-集合XF(outer packet sets XF)构成的集合对,或者(XF,XF)是P-集合。利用内P-集合,给出数据内搜索的概念,给出F-数据的度量和依赖关系,给出F-数据内搜索迭代算法和准则,给出数据内搜索的应用。P-集合是研究动态信息系统的一个新理论与新方法。     

基于CUDA的并行布谷鸟搜索算法设计与实现

布谷鸟搜索（cuckoo search,CS）算法是近几年发展起来的智能元启发式算法,已经被成功应用于多种优化问题中。针对CS算法在求解大数据、大规模复杂问题时,计算时间过长的问题,提出了一种基于统一计算设备架构（compute unified device architecture,CUDA）的并行布谷鸟搜索算法。该算法的并行实现采用任务并行与数据并行相结合的方式,利用图形处理器（graphic processing unit,GPU）线程块与线程分别映射布谷鸟个体与个体的每一维数据,并行实现CS算法中的鸟巢位置更新、个体适应度评估、鸟巢重建、寻找最优个体操作。整个CS算法的寻优迭代过程完全通过GPU实现,降低了算法计算过程中CPU与GPU的通信开销。对4个经典基准测试函数进行了仿真实验,结果表明,相比标准CS算法,基于CUDA架构的并行CS算法在求解收敛性一致的前提下,在求解速度上获得了高达110倍的计算加速比。     

海量数据挖掘过程相关技术研究进展

随着信息技术的发展,复杂、多样的海量数据给数据挖掘带来了新的挑战。为了更加深入全面地了解大数据环境下的数据挖掘技术的研究进展和应用,从海量数据挖掘过程的技术框架、算法、理论及模式方面进行了详细的阐述。概述了大数据的基本概念、处理流程及面临的问题,简述了数据挖掘的基本过程及相关算法,详细评述了海量数据挖掘过程的研究现状及面临的挑战,并从博弈论的角度、粒计算模型及大数据处理思维方面探讨了海量数据挖掘过程中的处理模式。     

基于LOD的海量地形数据并行渲染技术

随着地球空间信息技术的发展,建立具有海量空间数据的大规模虚拟地形场景越来越重要. 然而,面对海量的地形数据,如何简化地形,提升绘制与渲染效率,是地形渲染的关键. 本文对LOD地形渲染技术、大规模数据集的分析与处理、并行计算等相关技术进行了研究,提出了基于LOD的海量地形数据并行渲染技术. 该技术首先使用LOD四叉树简化地形,其次结合多核CPU并行计算的方法提升效率,最后结合大规模数据调度策略,实现了海量地形数据的并行渲染,并分析对比了非并行和并行情况下的实验结果. 本文所取得的理论与技术方面的成果可为大规模场景渲染提供新的技术思路.     

基于改进网格搜索法的支持向量机在气体定量分析中的应用

针对气体定量分析中,支持向量机建模的参数难以确定以及现有的方法历时长等问题,提出了一种改进的网格搜索法,用于建立基于红外光谱的CO2气体定量分析模型。通过对汽车尾气中CO2气体的初始数据进行优化,再将优化的核函数代入支持向量机进行浓度的回归分析。对浓度范围在0.025%~20%的20组不同浓度的CO2气体进行定量分析,并与PSO算法作对比。实验表明,采用改进的网格搜索法获得的最佳参数c=0.25,g=2.8284,PSO获得的最佳参数c=18.3021,g=0.01,所用时间比PSO算法节省约5倍。预测结果误差在5%以内,符合国家对尾气排放的相关标准。     

面向海量数据的全船振动分析管理系统研究

目前广泛采用的振动测试系统侧重于数据采集的精度、采样率等指标的提高,但数据预处理环节不足,智能化程度不高,测试人员面对分散数据,查询对比分析存在很大困难;为集中有效管理海量预处理数据,实现数据高性能查询分析,分别设计了面向查询结果和面向数据解耦关系的两套数据库;采用MySQL+Python架构实现了海量数据背景下全船振动数据的快速查询与分析等功能;经过多艘船舶的数据处理实践表明,该系统有效解决了振声数据的综合分析问题,具有一定的工程实际应用价值。     

基于大规模日志分析的搜索引擎用户行为分析

用户行为分析是网络信息检索技术得以前进的重要基石,也是能够在商用搜索引擎中发挥重要作用的各种算法的基本出发点之一。为了更好的理解中文搜索用户的检索行为,本文对搜狗搜索引擎在一个月内的近5 000万条查询日志进行了分析。我们从独立查询词分布、同一session内的用户查询习惯及用户是否使用高级检索功能等方面对用户行为进行了分析。分析结论对于改进中文搜索引擎的检索算法和更准确的评测检索效果都有较好的指导意义。     

云计算平台的海量数据知识提取框架

针对从海量数据中分析与提取知识计算时间高的问题,提出一种基于Hadoop的知识提取算法.本文结合Hadoop的并行处理能力与分布式存储特点,设计了一种知识提取框架,可兼容不同的原型约简方法.基于MapReduce编程方法将约简方法并行化处理,并且设计了分类准确率高、计算速度快的原型约简组合规则.最终基于真实UCI大数据集进行实验,本框架将最近邻分类器的分类时间提高两个数量级.     

云环境中海量数据的并行分组密码体制研究

云计算环境中,飞速增长的海量数据的安全性越来越受到关注,分组密码算法是保证海量数据安全性的一个有效手段,但面对超大规模的数据量其效率是一个备受关注的问题。提出了一种基于MapReduce架构的并行分组密码机制,能够使标准的分组密码算法应用于大规模的集群环境中,通过并行化来提高海量数据加密与解密的执行效率,并设计了常用的几种并行工作模式。实验证明,提出的算法具有良好的可扩展性和高效的执行性能,能够适用于云计算环境中海量数据的安全保密,为进一步的研究工作奠定了基础。     

大规模问题数据并行性能的分析

从应用的角度建立了评价大规模问题数据并行处理性能的模型,分析了区域的不同划分对解整个问题算法的收敛速度有影响时的并行性能,进而就操作重叠、数据规模以及算法选取等几个方面的问题对大规模数据并行性能所产生的影响进行了分析.最后,给出的例子证明了模型的有效性.