基于URL索引划分的Web内容自适应算法

Web集群服务的请求分配算法大多使用Hash方法对请求URL进行散列,并按一定规则对请求内容进行负载均衡调度.提出了一种基于URL词典排序及全部URL按其词典序列分为k*n个集合的URLALLOC算法.该算法通过对URL进行词典序排序并将全部URL按其词典序列分为k*n个集合,依访问流量排序及分段互补等一系列方法将Web负载尽可能均匀地分布到多个后端服务器中.仿真实验结果表明:URLALLOC算法比现有的URL散列方法具有更好的负载均衡能力.     

Rabin指纹去重算法在搜索引擎中的应用

针对搜索引擎在海量数据中搜索速度慢,占用存储空间大,对重复的网页去重性差的现状,提出一种基于Rabin指纹算法的去重方法,不仅对搜索到的URL地址进行去重,还对非重复URL地址对应的网页内容进行相似和相同的去重,试验表明能有效地提高搜索速度、节省存储空间,增强搜索的精度。     

基于误差反馈的高速Web文本流快速近似分类

针对Web文本分类的低效率问题,利用Web文本URL的特性,提出了一种混合URL及文本语义进行高速Web文本流的快速近似分类方法.首先通过学习训练样本和专家指定等方式得到使用URL和不使用URL进行分类的两个集合:肯定集合和否定集合.在分类过程中,得到Web文本的URL,从中提取和剥离出URL的关键特性对其进行建模,而后使用根据模型所属集合选择分类算法进行分类.定时对两个集合进行回归测试,根据误差及时更新两个集合以保证分类精度.实验表明,与传统文本分类方法、混合Link-Based和Content-Based的方法及纯URL-Based方法相比,该方法在不影响精度的前提下,可大幅度提高分类的性能.     

基于Counting Bloom Filter的海量网页快速去重研究

随着网络技术和电力信息化业务的不断发展,网络信息越发膨胀,将导致互联网和电力信息网中存在海量网页冗余的现象,这类现象将会使数据挖掘、快速检索的复杂度加大,从而对网络设备和存储设备的性能带来了巨大的挑战,因此研究海量网页快速去重是非常有必要的。网页去重是从给定的大量的数据集合中检测出冗余的网页,然后将冗余的网页从该数据集合中去除的过程,其中基于同源网页的URL去重的研究已经取得了很大的发,但是针对海量网页去重问题,目前还没有很好的解决方案,本文在基于MD5指纹库网页去重算法的基础上,结合Counting Bloom filter算法的特性,提出了一种快速去重算法IMP-CMFilter。该算法通过减少I/0频繁操作,来提高海量网页去重的效率。实验表明,IMP-CMFilter算法的有效性。     

基于压缩感知和音频指纹的固定音频检索方法

针对现有音频检索中样本音频特征库数据量较大且检索速率慢问题, 本文提出一种基于压缩感知和音频指纹降维的固定音频检索方法. 在音频检索的训练阶段, 首先, 对样本音频信号进行稀疏化处理, 并通过压缩感知算法对稀疏化后的音频数据进行压缩; 其次, 提取压缩信号的音频指纹; 再次, 引入音频指纹离散基尼系数通过计算音频指纹各维度的离散基尼系数对指纹实施降维, 最终得到检索特征库. 在音频检索阶段用和训练阶段相同的算法提取待检音频的特征与音频特征库数据匹配得出检索结论. 实验结果表明, 所提音频检索方法在确保较好的检索准确率的基础上, 大幅度减小了样本音频数据库的存储量, 提高了音频的检索速率.     

基于音频指纹的两步固定音频检索

提出了一种基于过零率和音频指纹的两步固定音频检索算法.在基于过零率直方图的初步检索中,采用直方图的迭代计算和动态的观测窗滑动步长来减少计算量并加快搜索速度,快速筛选出相似度较高的候选音频片段;接着基于降维Philips音频指纹对候选音频进行精检索,进一步提高检索精度.实验结果表明,该音频检索算法在保证较好的检索准确性基础上,大幅度提高了检索速度,且具有较好的鲁棒性.     

一种基于网络的大型指纹数据库检索方法

随着指纹识别技术的广泛应用和网络技术的发展,基于网络的指纹自动识别系统面临着如何提高检索速度和准确度的问题。本文根据指纹数据库自身的特点,提出了一种新的检索和索引网络大型指纹数据库的方法。该算法利用指纹的类别和局部特征建立了三级索引,有利于缩小检索空间,提高检索速度。在算法中提出了一种新的指纹分类方法,将指纹分为八类：弧形、尖拱形、左旋形、右旋形、正涡形、左涡形、右涡形、混合形。该算法利用core点和delta点的位置、数目和方向判断指纹的类别,有效地解决了采集时对指纹的旋转、平移和形变不变性的要求,并有助于进一步缩小检索空间,提高检索速度。实验证明,效果良好。     

基于多级索引的指纹分类算法

为提高大规模网络化指纹识别系统的检索速度和准确率,提出一种基于多级索引的指纹分类算法,将质量特征分为质量高和质量差2类,对于质量高的指纹利用指纹图像的3个特征——指纹类别、宏观曲率和平均周期建立三级索引,以逐级缩小检索空间。实验结果表明,该算法准确率高、检索速度快,具有良好的实时性。     

一种面向大规模URL过滤的多模式串匹配算法

对大量有害的URL进行过滤,是目前网络安全应用系统中所亟需的关键技术.使用经典的串匹配算法检测庞大的URL规则集,需要消耗大量的计算资源和存储资源,性能十分低下.该文设计了一种适合于大规模URL过滤的多模式串匹配算法——SOGOPT.该算法在经典的SOG算法基础上,针对URL规则的特点,提出了最优窗口选择、模式串分组规约这两种优化技术,大幅度提高了SOG算法的匹配速度,在大规模URL规则集上效果尤其显著.该文设计的算法非常适合于大规模(100万级)URL实时在线匹配的应用环境.     

基于链接划分的分布式WEB信息检索

分布式信息检索是面向海量WEB信息检索的一种有效手段.本文采用一种基于链接的聚类方法(LIBCA)来对网页数据进行划分,并采用BloomFilter优化LIBCA算法的计算效率,在检索过程中采用CORI集合选择算法和OKAPI BM25检索算法.基于最近3年的TREC WEB实验数据集,对比集中式检索、基于随机划分的分布式检索,实验结果表明,本文方法在P@10的指标上可达到甚至超过集中式检索的效果.效率方面的实验表明利用BloomFilter的LIBCA算法具有较高的划分效率,适合海量数据的处理.     

二维码位流长度最小化算法

目的 快速响应矩阵码(quick response code,QR code)简称二维码,是一种由深色和浅色模块组成的正方形符号。给定输入数据,不同编码算法可能输出不同的位流。位流长度决定了二维码的版本,进而决定了二维码每条边上的模块数量。减小二维码的版本能够在不减小模块大小的前提下节省面积,或者在不改变面积的前提下增大模块大小。为了减小二维码面积、提高二维码识读率,本文提出了位流长度最小化算法。方法 首先,根据二维码位流可以分段切换编码模式的特点,归纳了6种编码状态;然后,根据二维码位流编码标准推导了状态转移关系,从而将位流长度最小化问题转换成动态规划问题;最后,通过求解动态规划问题,计算出最短位流。针对统一资源定位符(uniform resource locator,URL)类型数据,利用其部分字段对大小写不敏感、部分字段可以转义的性质,提出了统一资源定位符的最短位流计算算法,进一步缩短位流。结果 本文构建了一个测试集,包含603个编码了非URL数据的二维码,以及1 679个编码了URL数据的二维码。实验结果表明,本文算法与二维码标准相比,对于非URL测试集,位流长度减小的二维码占比9.1%,版本减小的二维码占比1.2%;对于URL测试集,位流长度减小的二维码占比98.4%,版本减小的二维码占比31.7%。结论 二维码位流长度最小化算法输出的位流长度最短,输出的二维码版本最小,能在兼容标准二维码解码器且不影响纠错能力的前提下提升二维码的数据容量。同时,本文算法运行速度快,易于使用,没有需要调节的参数。     

基于自适应稀疏变换的指纹图像压缩

随着指纹识别技术的广泛应用,大量指纹图像需要被收集和存储.在指纹识别系统中,对于大容量的指纹数据库,指纹图像必须经过压缩后存储以减少存储空间,本文提出了基于自适应稀疏变换的指纹图像压缩算法.该算法在离线状态下提取指纹图像特征训练超完备字典;在编码过程中,首先利用差分预测编码和稀疏变换将待压缩指纹图像转换到稀疏域,然后对直流系数和稀疏表达系数进行量化和熵编码,从而实现图像信息的压缩.实验表明,在中低码率段,本文算法相比于JPEG、JPEG2000和WSQ等主流压缩算法表现出更优越的率失真性能;在相同码率时,本文算法生成的压缩图像的主观视觉效果更好,指纹识别率更高.     

基于Bloom过滤和分块的组合指纹模板保护算法

针对现有的组合指纹模板保护方法存在的认证性较差,导致检索错误率较高的问题,提出了一种基于组合指纹的Bloom过滤和分块的模板保护算法。该算法通过对原有的组合指纹模板进行MCC编码,再分块应用Bloom过滤器进行过滤,形成新的指纹模板。有效地提高了指纹模板的认证性,降低了指纹检索恢复时的错误率,提高了匹配的准确率。通过实验仿真与结果对比表明,该算法在保证了指纹模板私密性的同时,可以有效地提高指纹进行组合构成模板时所下降的认证性,使其在指纹匹配过程中的匹配时错误率降低,提高了指纹匹配的准确性。     

基于指纹细节点的可撤销比特串模板生成算法

为了提高指纹模板算法的安全性能,设计了一种基于细节点的可撤销比特串指纹模板生成算法。首先对指纹图像进行预处理,提取指纹的细节点特征,然后对细节点特征进行量化和映射生成比特串模板,最后结合用户PIN码生成可撤销指纹模板。在指纹数据库FVC2002-DB1和DB2上的实验表明,该算法具有更好的安全性和认证性能,满足可撤销性、多样性和不可逆性。     

基于比特串异或和置乱变换的指纹模板保护算法

针对现有指纹模板保护算法存在的准确性较低、安全性能较差的问题, 提出一种基于比特串异或和置乱变换的指纹模板保护算法. 该算法在已有二维映射算法的基础上, 对得到的比特串进行异或和随机索引置乱变换, 有效地将线性和非线性变换相结合, 扩展了密钥空间, 增强了指纹模板的安全性. 理论分析和仿真结果表明, 对于密钥泄露场景, 该算法在数据库FVC2002 DB1和DB2中的等错误率(Equal error rate, EER)分别为0.08 %和0.75 %, 与现有算法相比, 具有较好的准确性和安全性.     

Efficient fingerprint search based on database clustering

Fingerprint identification has been a great challenge due to its complex search of database. This paper proposes an efficient fingerprint search algorithm based on database clustering, which narrows down the search space of fine matching. Fingerprint is non-uniformly partitioned by a circular tessellation to compute a multi-scale orientation field as the main search feature. The average ridge distance is employed as an auxiliary feature. A modified K-means clustering technique is proposed to partition the orientation feature space into clusters. Based on the database clustering, a hierarchical query processing is proposed to facilitate an efficient fingerprint search, which not only greatly speeds up the search process but also improves the retrieval accuracy. The experimental results show the effectiveness and superiority of the proposed fingerprint search algorithm.     

基于自适应投影的指纹模板生成算法

针对现有指纹模板生成算法存在的准确性较低、安全性较差的问题,提出一种基于自适应投影的指纹模板生成算法。该算法将有效细节点对之间的距离垂直投影到自适应圆上,并对投影后的向量进行量化得到比特串。此外,为增强数据的安全性及隐私性,采用异或和随机索引置乱变换对比特串进行处理,最终生成指纹模板。在数据库FVC2002 DB1和DB2中的实验结果表明,该算法相较于对比算法,具有较高的准确性和安全性。