基于函数局部扫描解决海量数据库读取

文章深入分析了局部扫描海量数据库方法,实现了基于函数局部扫描解决海量数据库快速读取的问题.给出了不同类型利用函数实现局部范围扫描的SQL语句写法,总结了函数使用需要注意的问题.文章对在线大数据量快速查询SQL语句的编写有一定的参考做用.     

应对海量数据检索:分布式局部索引的架构

通过理论分析对全局和分布式索引架构进行了比较,分析了分布式全局索引架构所能够应对的数据规模的上界和分布式局部索引架构在特定数据规模下相应最优的机群规模等。可以证明,在海量数据背景条件下,由于需要求交集的查询结果数据量过大,会导致全局索引架构在查询结果求交集阶段处理时间过长,以致信息检索系统不能满足用户对系统响应时间的需求,因此局部索引架构会成为在面对海量数据时信息检索系统的必然选择。     

基于PFP-Growth算法的海量频繁项集挖掘

随着互联网技术的发展,网络数据变得越来越巨大,如何从中挖掘有效信息成为人们研究的重点。近年来频繁项集挖掘由于其在关联规则挖掘、相关挖掘等任务中的相关重要作用,越来越受到人们的重视。文中针对分布式计算环境下频繁项集挖掘算法的研究,对PFP-Growth算法进行了改进,通过MapReduce编程模型对改进的PFP-Growth算法进行了实现和应用,使用户可以从海量数据中高效地获得所有需要的频繁项集。实验结果表明算法在针对海量数据时具有较高的效率和伸缩性。     

基于海量数据的多模式匹配算法研究

传统模式匹配算法在面对海量数据和海量关键字时效率都会大幅降低,通过构造关键字状态树,使完成匹配的时间跟关键字的规模无关,在文本内容信息分析客户特征时的速度提升了十万倍.应用该算法开发的触发式营销引擎,通过在特征库获取客户的相关特征和预设的营销激励策略,在适当的时间向适当的客户自动发起营销行为.     

用分块调度置换算法快速浏览SAR带状海量影像

遥感影像处理中原始影像数据量大,常呈条带状分布,一般不直接作为各种专业图像处理软件数据源,而是快速浏览影像并从带状分布的影像中提取某一部分(段)作为再处理的数据源。对此应用该文提出了分块调度置换算法快速浏览SAR海量影像数据技术,能实现海量数据快速浏览,实时保存指定范围数据为新影像文件。     

一种基于海量电子地图的空间拓扑分块检索算法

路网拓扑信息是进行GIS空间分析的数据基础。目前由于实际的道路数据量越来越庞大,而且嵌入式系统又受到自身条件的限制,因此不适宜把全部的路网拓扑数据读入到内存中,针对内存大小受到限制的问题,通过在嵌入式电子硬盘上对路网拓扑数据进行＂分块＂存储,并给出了在进行最优路径查找时,在不同的拓扑分块之间进行数据块检索的方法。     

基于数据库抽样的海量数据分类算法研究

本文对目前比较优秀的各种分类方法进行了介绍、分析和比较.在此基础上,借鉴决策树方法的快速分类特性,提出了一种基于数据库抽样的海量数据分类算法,给出了算法的设计思想和实现原理,并对多处理环境下的优化进行了探讨.实验研究表明,该算法可以明显提高海量数据库的分类效率.     

基于扩展树状知识库的海量数据清洗算法

针对传统知识库表示的局限性,通过分解和重组领域知识,建立扩展树状结构的知识库,其中叶结点对应具体知识实例,称为原子知识,非叶结点只对应知识概念。同时提出相关的数据清洗算法,根据用户的选择,自动提取原子知识进行分析,消除重复,按照处理权重建立原子知识序列,然后逐一对数据进行清洗。实验表明,该算法能有效优化用户的请求,减少对海量数据的遍历次数,海量数据的清洗效率明显提高。     

海量数据查询优化算法的研究

当前,越来越多的业务部门都需要操作海量数据,如规划部门的规划数据,水利部门的水文、水利数据,气象部门的气象数据,这些部门处理的数据量通常都非常大。它包括各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。我们需要从大规模的、没有关系的数据中,在存储、管理、处理、优化等各个环节中注重效率,并提取出所需要的信息。海量数据存储管理在各行业的信息化过程中很重要,受到广泛的关注。本文综述了海量存储管理技术的研究及应用现状,以及结合大型收费系统同,介绍了一些关键的优化技术,包括数据库的存储,数据的管理,SQL语句,页面分割等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向。     

基于极值点分块的重复数据检测算法

重复数据检测技术能够大幅降低数据中心的存储量,节省网络带宽,减少建设和运维成本。为了克服基于内容分块（CDC）方法容易出现超长块的缺点,文章提出了基于极值点分块（EDC）的重复数据检测算法。EDC算法先计算出所有右边界在数据块上下限范围内的滑动窗口中数据的指纹,找出最后一个指纹极值,所对应的滑动窗口结束位置作为数据块的分界点,再计算该数据块的哈希值并判断是否重复块。实验结果表明,EDC算法的重复数据检测率、磁盘利用率分别是CDC算法的1.48倍和1.12倍,改进效果显著。     

MGSI-8CA标记算法

针对已有连通域标记算法不能适用于遥感数据等海量灰度图像八连通域快速标记的问题,设计并实现了一种MGSI-8CA标记算法。该算法对传统的八连通域标记算法进行八向变四向优化,采用列表机制解决连通域标记冲突问题,并引入了筛选机制和分块处理机制,实现了对海量灰度图像八连通域标记的快速处理,同时也得到了灰度图像连通域的正确划分及精确的连通域数目。实验结果证明,MGSI-8CA标记算法运行效率高,更能适应海量灰度图像处理的要求。     

OSH碰撞检测的改进算法

Tescher提出的OSH碰撞检测算法,因算法的有效性被应用在需要提供空间映射对的各种场合。但算法仅仅通过求解重心坐标的权值来判断是否侵入,而无法测试侵入深度和求解接触法线,造成算法对于形成合理碰撞响应有一定限制。针对这一问题,提出使用SDM方法求解侵入参数,加入惩罚力提供变形体碰撞响应,结合约束力保证距离面积体积的守恒,从而形成有效的OSH碰撞检测环境。     

基于GPGPU的海量山地地形数据的实时绘制算法

针对山地地形海量数据的特点,基于GPU的Geometrical Clipmap算法,应用简化的工作流程,结合GPGPU技术,采用了一种更为合理的高程数据组织交换模式,通过引入高程误差数据巧妙地解决不同分辨率之间的裂缝问题,并对高分辨率的遥感影像作为地形纹理的实现方法加以补充,进而实现可应用于虚拟现实系统的海量地形数据的实时可视化.     

基于Hash值的重复图像检测算法

重复图像检测是自动图像标注中经常遇到的问题之一。该文在讨论大规模图像数据库的基础上,提出一种基于Hash值的重复图像检测算法。该算法不依赖于具体图像特征,通过建立索引能快速寻找到重复图像,有效提高了查准率。实验结果表明,该算法是可行的,可以应用到其他各种场景。     

基于卡方检验的SAR图像道路检测算法

为有效解决SAR图像道路检测算法中阈值优化的问题,提出了一种不需要固定阈值的检测方法.该方法由不同阈值组合的Tupin边缘检测算法得到边缘检测结果图集,并逐像素统计得到边缘密度图;引入卡方检验计算边缘密度图与边缘检测结果图集之间的相似性度量参数,优化得到最佳边缘相关等级;根据最佳等级得到最终的道路边缘检测结果.实验结果表明,该方法有较强的开放性与目标适应性,自动化程度高,有很强的工程实用性.     

海量图片快速去重技术

针对海量图片中的去除重复图片效率低的问题,提出一种基于图片特征的并行化海量图片快速去重技术。首先,对图片提取图片颜色、纹理、形状等特征,用来全面描述图片;其次,使用度量标准对图片之间的特征距离进行度量计算;最后,利用如果两个点到任意一点距离相等则这两点有可能是同一个点的思想实现根据特征距离对重复图片的快速定位,达到重复图片检测与去重的目的。结合实验数据分析验证该技术不仅能够准确地去重图片,且采用i5四核处理器的单机计算方式仅10 min左右即可处理500万级图片量,与一般的两两计算相比,提高了海量图片去重的时效性,使得计算时间大幅度缩短。     

基于高斯金字塔的海量超大图像快速漫游算法*

针对敦煌壁画海量超大数字图像显示时打开速度慢、刷新困难等问题,提出了一种基于高斯金字塔分块分层数据组织算法。该算法在不损害图像的情况下,可以对图像中任意一块区域进行快速显示和浏览。实验表明,该算法能够实现海量超大数字图像的实时漫游,并且具有最佳分辨率及较高的平稳性。     

基于图像分块的多尺度Harris角点检测方法

Harris角点检测是一种经典的角点检测算法,在现实中应用广泛,但不具有尺度变化特性。为了改变其单一尺度的特性,使得角点提取更加精确和有效,将多尺度的概念和图像分块方法引入到Harris算法中,在多个尺度下对角点进行提取。将每个尺度上的角点响应值的本地最大值作为该尺度上的候选角点,并同时对图像进行分块;最后,沿小尺度到大尺度方向判断候选角点是否是真实角点,剔除伪角点,使得角点检测更加精确。通过对比实验,新算法明显地提高了图像角点的检测性能。     

基于GA-EM算法的GMM遥感影像变化检测方法*

提出了一种基于GA-EM算法的高斯混合模型(GMM)遥感影像变化检测方法。该方法采用主成分分析(PCA)与传统差值法相结合的方式构造差异影像;然后使用N个成分的GMM对差异影像分布进行建模;再利用进化的迭代方法对模型进行自适应参数估计;最后利用贝叶斯准则实现变化和未变化像元分布的变化检测结果。仿真结果表明,该方法对变化目标的检测有效而可靠,具有较大的实用价值。     

基于分块对比的多尺度图像显著区域检测

针对图像显著区域检测区域轮廓不明确,抗噪能力弱的问题,提出一种基于分块对比的多尺度图像显著区域检测。该方法以Itti模型为基础,在多尺度下提取图像特征以更全面地表现图像的总体特征;以图像块为单位计算图像的局部对比度作为图像的显著值;用自适应阈值法从显著图中提取显著区域。仿真实验结果表明,该方法能够准确地提取图像的显著性区域,使区域具有明确的边界。