基于批量提交数据的快速查询算法研究与设计

针对批量提交数据的存储特性,提出了一种对批量提交数据进行索引的快速查询算法。在测点采样周期已知的条件下,采用分组归并算法描述了测点的分类与测点编号、分组主表文件和索引表文件的建立,构建了相应的优化算法,并在此基础上设计了批量提交数据的快速查询算法。进一步对设计的算法进行了改进,使得改进后的算法具有更高的查询效率和存储效率。算例测试表明,本算法能有效解决批量提交数据的快速查询问题,并且改进后的算法在存储效率和查询效率方面比改进前有了明显提高。这一研究有助于为大数据量环境下的数据查询者提供科学的数据处理方法。     

哈希索引的扩展置信规则库推理方法

由于扩展置信规则库在推理过程中需要遍历规则库中所有的无序规则,所以当规则库很大时,扩展置信规则库系统的推理效率不高。鉴于此,提出使用局部敏感哈希算法构建置信规则索引的优化方法。首先用局部敏感哈希算法为规则库中的所有规则生成特殊的局部敏感哈希值,该哈希值能尽量保持原始规则之间的相似度,因此相似的规则有较大的概率得到相同的索引值;然后通过对输入数据的处理,在索引表中找到与输入数据邻近的规则,并有选择地激活这些规则,从而提高该系统的组合推理效率;最后通过选用非线性函数拟合实验和输油管道的泄漏检测仿真实验,对基于局部敏感哈希索引的扩展置信规则库系统进行检测和验证。实验结果表明,局部敏感哈希算法能够有效地优化扩展置信规则库系统的推理效率,并能够提高输出结果的准确率。     

面向子图同构的高效索引构建算法

针对子图同构中索引构建方法效率低、内存占用大而影响查询效率的问题,本文提出基于2次排序查找等价顶点的数据图索引构建算法。该算法采用不同邻接链表表示类别不同的语法等价顶点的邻居集合,并依此设计2次排序的方法快速查找数据图中两两互连和两两互不相连的等价顶点,然后依据语法等价和语法包含关系为数据图构建索引来提高子图同构查询的效率。最后,基于不同规模的数据集,通过实验验证了本文提出索引构建算法的高效性和可扩展性。     

基于改进Sparse Indexing的多负载消冗方法

针对现有的Sparse Indexing方法不能有效处理小文件备份负载的问题,提出了一种以Broder扩展定理为理论依据的最小特征采样算法,该算法可以对不同形式的备份负载进行有效的特征采样。在此算法的基础上,设计了一种多负载重复数据消除方法,该方法通过对备份负载进行特征采样,仅在内存中维护完整索引的一个很小的子集,并通过批量读入分块标识符,摊销了磁盘访问开销,提高了吞吐量。实验结果表明,该方法对混合备份负载的压缩比是Sparse Indexing的2.04倍,而吞吐量与Sparse Indexing相当。该方法适用于需要处理多种形式备份负载的高性能重复数据消除系统。     

一种极小化交叠空间数据索引结构

针对现有的基于R-树和四叉树的空间索引结构中存在的问题,以减少兄弟节点间的交叠为目标,通过定义空间数据的排序方法对要索引的数据空间及其子空间按照数据的分布进行分割,使得索引树上每层节点间的交叠极小化,同时使树的高度尽可能低,建立了一种新的空间数据索引结构一QRMO树.给出了QRMO树的生成、节点插入和区域杳询算法及相应算法的町行性和正确性定理及时间复杂度分析.对新结构进行了中间节点交叠试验分析和对比,实验表明,新的索引结构上的同层节点问的交叠得到明显减少.     

R-树和四叉树的空间索引结构:RQOP_树

针对现有的基于R-树和四叉树的空间索引结构中存在的问题,通过建立数据矩形间的序关系对数据空间进行分割,提出了一种新的空间数据索引结构:RQOP树.在此结构中,节点的构造是按照空间数据的分布来进行的而不是像其它基于R-树和四叉树的空间索引结构只是对数据空间进行均匀划分而得到,使树的高度尽可能低,同时使兄弟节点间的交叠相对较小.在区域查询算法中引入了查询窗口包含节点MBR的判断加快了查询的速度.给出了RQOP树的生成、节点插入和区域查询算法,并给出了相应算法的可行性和正确性定理及时间复杂度分析.实验表明:新索引结构的查询速度明显加快.     

基于Lucene的搜索引擎研究

Lucene是一个纯Java实现的高性能、可扩展的全文信息检索工具库,可以很方便地把它融入到应用程序中来增加索引和搜索功能.分析了Lucene的索引文件结构和搜索排序算法,探讨了Lucene中计算文档与查询项相关度的向量空间模型(VSM).最后,通过实验验证了索引过程的建立以及如何提高索引性能.     

基于Lucene的搜索引擎研究

Lucene是一个纯Java实现的高性能、可扩展的全文信息检索工具库,可以很方便地把它融入到应用程序中来增加索引和搜索功能．分析了Lucene的索引文件结构和搜索排序算法,探讨了Lucene中计算文档与查询项相关度的向量空间模型（VSM）．最后,通过实验验证了索引过程的建立以及如何提高索引性能．     

可扩展数据清理软件平台的研究

提出一种可扩展的数据清理软件平台,该软件平台具有开放的规则库和算法库,规则库用来存放清理规则,算法库用来存放清理算法,算法库中包含多种算法,并可对其扩展;通过在规则库中定义清理规则以及从算法库中选择合适的清理算法,可使该软件平台适用于不同的数据源,从而使其具有较强的通用性和适应性;通过多种算法的清理,提高了数据清理的综合效果。最后,通过实例验证了该平台的效果及可行性。     

CB-LSH:基于压缩位图的高性能LSH索引算法

由于传统局部敏感散列(LSH)算法的删除性能不足,阻碍了LSH算法在实际产品中的应用.提出一种基于压缩位图的改进方法,通过引入压缩位图改良传统LSH算法的桶中数据结构,以及使用标记清除策略进行算法流程优化,解决传统LSH索引实时删除性能差的问题.理论分析证明:基于压缩位图的LSH(CB-LSH)算法可以显著降低算法的空间复杂度和时间复杂度.实验结果支撑了理论分析的结论,相对于传统LSH算法,CB-LSH在降低内存消耗的同时,可显著提高索引删除、数据插入和数据查询的性能.在大型项目中的应用实践验证了在线实时更新的海量多媒体数据检索系统中,CB-LSH索引算法对于多媒体数据的高维索引是有效可行的,并显著提升了性能、降低了资源消耗.     

基于量值的频繁闭项集层次聚类算法

提出了基于量值的频繁闭项集层次聚类算法CFIHCQ,并将其应用于Web使用挖掘。该算法首先通过用户Web访问数据获取频繁闭项集;其次,以频繁闭项集对簇进行初始化,并以打分的方式将用户指入唯一簇;再次按照簇标记生成自上而下的簇树结构,并使用用户访问向量分裂子簇;最后,对簇树进行剪枝。实验表明,该算法能够很好的预测用户Web访问行为;在海量用户数据情况下,可满足实时挖掘的需求;并能以树结构展示挖掘结果。     

一种构建严格平衡二叉搜索树的非递归算法

针对传统算法所构造的平衡二叉搜索树并非真正平衡的二叉搜索树,设计了一种构建严格平衡二叉搜索树的非递归算法。改进后的算法具有计算速度快、占用内存小、计算机易于实现等优点。改进算法的核心是生成严格二叉搜索树的先序序列,提出了对升序序列的进行二分得到严格二叉搜索树的先序序列,讨论并给出了构建严格二叉搜索树的快速算法,该算法充分利用了栈在计算过程中提供的二分信息得到严格二叉搜索树的先序序列,该算法与传统算法相比可更快地构建严格二叉搜索树。     

一种改进的SVM决策树Web文本分类算法

SVM决策树能够较好地进行Web文本信息分类,在此基础上进一步结合遗传算法,将SVM决策树分类器的分类正确率作为GA适应度函数,对SVM决策树层次结构进行优化,在每一决策节点自动选择最优或近优的分类决策。实验结果表明,采用该方法进行多类分类,分类精度明显提高,体现了将遗传算法与SVM决策树结合的优越性。     

A Construction Algorithm for Tree Structure

1 Introduction Tree structure is one of the best display mode in some application system,especially,ininformation man-agement system.Using tree structure ,the user inteface is more visual and more friendly,because it can displaythe hierarchical relationship among the data[1 ,2].Usually,however ,before the construction of tree structure ,thespecial storage organization must be establishedfirstlyfor the data which will be displayedinthe tree structure .For example ,sequential storage and chain s…     

基于改进Kd-Tree构建算法的k近邻查询

k近邻查询算法是查询大规模空间数据的常用算法之一,使用Kd-Tree先构建大规模空间数据的索引,然后对搜索空间进行层次划分,再进行k近邻查询,能保证搜索的效率。但是,传统的Kd-Tree构建有两个缺点：使用测试数据点进行k近邻查询每次都需要回溯到根节点,影响了查询的效率;Kd-Tree使用split域对空间进行层次划分,空间划分为立方体（二维数据表现为矩形）,多边形空间在相交判断时会出现没必要进行数据距离比较的多余空间,这样会影响查询的效率。针对这两个缺点,本文提出了相应的改进算法---RB算法。实验结果证明,该算法比传统的KD算法拥有更高的查询效率。本文的主要贡献有两点：（1）构建一种快速创建Kd-Tree索引来支持KNN算法进行大规模数据的分类查询操作。（2）改进传统的Kd-Tree索引构建方法,提出新的改进算法RB算法,提高KNN算法查询的效率。     

一种基于Shapelet算法的指纹定位方法

信道状态信息（CSI）受时空影响较大,导致现有基于CSI的室内定位技术鲁棒性差.针对这一问题,提出了基于Shapelet算法的指纹定位方法.在训练阶段将CSI作为原始位置数据,通过3-σ异常值处理法和卡尔曼滤波对原始数据进行处理、修正;再使用Shapelet算法提取每个位置的指纹,并建立指纹库;最后使用指纹库构建Shapelet决策树,通过决策树分类实现较为精准的定位.通过与主成分分析算法以及k近邻算法的对比实验,结果表明,该方法在不同时间的定位精度较高,且能保持性能稳定,所需训练集更小.     

自适应WPM抗干扰系统中的WPT优选算法研究

为提高自适应小波包调制(WPM)系统抗窄带干扰能力,提出一种基于单音干扰的小波包树(WPT)优选算法.算法以误码率(BER)和有限信号传输能量为条件构造WPT节点处的代价函数,将树优选问题转化为搜索拉格朗日最小代价函数问题,通过剪枝方式搜索窄带干扰下的最优树.理论分析和仿真结果表明,优选算法在窄带干扰环境下能够简单准确地搜索到最优树,在不需要定时发送训练序列的条件下显著提高自适应WPM系统抗窄带干扰能力.     

批密钥更新算法设计及性能优化

针对传统单次密钥更新方法存在低效、数据和密钥不同步等问题,提出了MBBR(Marking Based Batch Rekeying)算法。在此基础上,采用单向散列函数和异或运算计算更新密钥,并建立密钥更新消息,提出了ITBR(Improved Tree-based Batch Rekeying)算法。该算法先计算密钥树中所有更新节点的新密钥,然后发送所有的更新消息,从而避免了数据和密钥不同步的问题。对服务器的更新开销进行了理论分析,建立了更新开销的精确计算模型。分析表明,ITBR算法具有很强的安全性;仿真结果表明,ITBR算法的平均更新开销约为MBBR算法平均开销的45.6%,采用该算法可以显著提高密钥更新效率和通信性能。     

基于网格索引的Top-k偏好查询算法

目的设计基于网格索引的Top-k偏好查询算法,提高Top-k偏好查询问题的解决效率.方法利用网格索引,采用概念划分的方法,实现基于范围查询和NN查询两种方式的Top-k偏好查询算法.结果通过真实数据集测试结果表明算法能够结合网格索引的优点,与基于R树索引的传统算法相比,在k值不断增加的情况下,查询效率提高了50%,能适应多种空间特征数据对象集合.结论网格索引可以有效处理Top-k偏好查询.     

基于关联性的动态分类模型—以皮肤与体质为例

关联性识别对于系统演化规律的确定意义重大,从测试数据累积、更新的视角,针对皮肤指标与中医体质之间的关联性进行探索,构建分类模型。提出基于建模数据动态修订决策树和模糊朴素贝叶斯融合算法的权重,建立具有较好分类及解释性的分类模型。其中决策树采用最佳后剪枝方式,避免过拟合弊端;朴素贝叶斯算法则通过定义指标归属区间的模糊隶属度来解决属性分类中存在的随机与模糊性。实证结果表明随着建模数据的变化,分类模型的融合权重动态调整,目前模型的准确率为86.7%,高于独立决策树、朴素贝叶斯的83.3%和80%,亦高于对照组小数据分类模型的76.7%。可见此动态分类模型可有效利用参与建模的数据信息识别出外在皮肤与内在体质之间的关联性,为皮肤-体质间的定量研究奠定了基础。目的：针对人体面部皮肤状态指标与中医体质类型之间的关联性进行科学、定量研究,从测试数据持续累积与知识发现深入推进的过程视角,尝试揭示人体内在中医体质与外观皮肤状态指标间的复杂动态演化规律。方法：本文综合小样本条件下决策树的良好归纳特性及大样本条件下贝叶斯算法分类准确率高的优势。提出基于建模数据量会不断增多的趋势,构建可自适应修订决策树和模糊朴素贝叶斯融合分类算法的权重,以适用于测试数据从小到大积累过程中分类模型均具有较好分类特性及可解释性的应用要求。其中决策树采用最佳后剪枝方式,避免了常规决策树存在的过拟合弊端;朴素贝叶斯算法则通过定义指标归属区间的模糊隶属度来解决皮肤属性测试与分类中存在的随机性与模糊性。结果：实证结果表明本文提出的分类模型的融合权重可动态调整且随着建模数据的增多分类精度会相应提高。目前对应151个建模数据的分类模型的分类准确率为86.7%,高于独立决策树、朴素贝叶斯的83.3%和80%,亦高于对照组80个建模数据对应分类准确率的76.7%。结论：可见此皮肤—体质动态分类模型通过有效利用参与建模的数据信息,能识别出人体面部外观皮肤状态指标与内在中医体质之间的复杂关联性,建立的分类模型具有较好的精度与可解释性,为基于数据驱动的中医理论的科学化、智能化发展进行了有益的探索。