基于预定义类的紧凑型正则表达式匹配算法

针对目前硬件正则表达式匹配算法在存储空间以及吞吐量等方面面临的挑战,结合扩展有限自动机（XFA）正则表达式匹配算法,提出了一种预定义类的压缩自动机匹配算法（Pre-Class CFA）。通过预定义类,算法既可以实现正则表达式中类字符匹配,又能够通过优先级的设定匹配特殊字符集,并在XFA消除确定性有限状态机（DFA）状态爆炸问题的基础上进一步压缩了迁移边数目;同时算法根据现场可编程门阵列（FPGA）和迁移边的特征,设计了一种基于并联只读存储器（ROM）结构的迁移边存取方法,可以实现同一状态多条迁移边的并行读取和匹配。在中低性能FPGA平台ALTERA DE2-70上对算法进行测试,实验中系统吞吐量为1.3 Gb/s,可实现千兆网络下的入侵检测和垃圾过滤。     

正则表达式方程组的最小解

网络安全检测中,正则表达式匹配是深度包检测的主要手段,匹配算法则是其关键技术。目前,正则表达式匹配算法可以大体分为转换压缩、状态压缩和字母表压缩三类。文章讨论正则表达式方程组最小解及其求解算法,证明了正则表达式方程组的最小解的存在性和基于Gauss消元法的求解算法的正确性,给出了最小解的构造,分析了求解算法的时间复杂度...     

高性能正则表达式匹配算法综述

深度检测在维护网络安全、保证服务质量等方面扮演着重要的角色。正则表达式匹配算法作为高性能深度检测的核心技术,具有重要的研究价值和实践意义。随着网络流量不断增长、规则数目持续增多以及网络结构日趋灵活和动态,现有的正则表达式匹配算法面临着匹配速度、内存占用和更新能力等多方面的挑战。介绍了正则表达式匹配算法的研究背景,从空间压缩、匹配加速、新型自动机设计以及规则拆分和分组四个角度入手,分类总结了学术界具有影响力的研究成果。通过基于真实网络流量的评测,比较了几种经典匹配算法在不同规则集上的匹配速度、内存占用和预处理时间等性能指标,并给出了不同需求场景下高效正则表达式匹配算法的选择建议,归纳了高性能正则表达式匹配算法的下一步发展方向。     

基于FPGA的正则表达式匹配算法综述

分析了基于硬件正则表达式匹配的优势,介绍了基于现场可编程门阵列（FPGA）的正则表达式匹配算法的基本思想和设计方法,从匹配速度和资源利用率两个技术指标的角度对现有算法进行分类,综述了当前的主流算法并分析了其优缺点,最后论述了目前基于FPGA正则表达式匹配算法设计的难点并展望了未来研究的发展趋势。     

基于深度聚类网络的电子设备故障检测方法

对基于深度聚类网络的电子设备故障检测方法进行了研究,并设计了一种基于深度聚类网络的电子设备故障检测系统。首先,对电子设备故障检测方法的总体方案进行设计;然后为了进一步提高系统对故障检测的准确率,在深度聚类网络中引入自注意力机制与残差块对其进行改进与优化;最后对优化后深度聚类网络搭建的电子设备故障检测系统进行实验测试。实验结果表明：经过引入自注意力机制和残差块后的深度聚类网络优化算法的聚类准确率达到了94.28%,比传统深度聚类网络算法的准确率提高了4.17%,CH指数与轮廓指数有明显提升,戴维森堡丁指数降低了8.06%,代表聚类效果在算法得到优化后变得更佳;采用优化后的深度聚类网络搭建的电子设备检测系统的故障诊断准确率达到了93.91%,比传统聚类算法提高了24.03%,比基于降维的传统聚类算法提高了6.26%,表明采用的优化后的深度聚类网络在电子设备故障检测方面具有明显的优势,基于深度聚类网络的电子设备故障检测系统具有可行性与有效性,且故障诊断准确率较高。     

面向存储的正则表达式匹配算法综述

正则表达式匹配是当前深度包检测领域中的关键性技术.介绍了面向存储的正则表达式匹配算法的基本思想和设计方法,给出了算法分类并比较了典型压缩算法间的差异,分析了正则表达式语法对算法设计的影响,最后论述了目前研究中面临的技术难点并对今后算法设计的发展趋势作了展望.     

基于Bloom filter的高效正则表达式匹配算法*

针对确定有限自动机(DFA)的正则表达式匹配技术存在状态膨胀和一次状态转移只能处理单个字符的问题,提出了一种基于布鲁姆过滤器的正则表达式匹配算法。该算法将正则表达式中的每个确定字符串组成DFA的一个状态,添加比特向量完成匹配过程,并且在一次状态转移中根据确定字符串的匹配结果达到处理多个字符的目的。实验分析表明该算法有效降低了DFA状态的膨胀,提高了匹配速率。     

基于Verilog 的正则表达式编译器的实现

随着网络带宽的快速增长,正则表达式匹配逐渐成为网络数据处理系统的性能瓶颈。为了获得更高的匹配效率,基于FPGA的正则表达式匹配引擎成为近年来的研究热点之一,而将正则表达式高效的转换成硬件描述语言是其中的关键技术。首先分析了正则表达式转换为硬件电路的算法,然后在此算法基础上实现了一个编译器。最后在Modelsim平台上进行了仿真,仿真结果证明了编译器的正确性。     

基于小波阈值和主成分分析的视频去噪算法

将局部像素组主成分分析算法引入到视频去噪领域,并利用三维块匹配算法保持了视频序列的相关性,对视频中的噪声进行抑制。用三维块匹配视频去噪算法中小波阈值去噪得到的图像替换二阶局部像素组主成分分析中的第一阶处理得到的图像,这样可以避免局部像素组主成分分析算法直接处理视频时产生的局部效应。最后,局部像素组主成分分析算法也抑制了三维块匹配算法中的小波阈值去噪结果中产生的画面不平滑的问题。实验结果表明,本算法较好地将主成分分析算法引入到了视频去噪领域,同时较好地解决了三维块匹配视频去噪算法中小波阈值去噪的块效应问题,主客观指标的比较也表明本算法有较为优秀的去噪效果。     

一种正则表达式的高效分组算法

正则表达式（Regular Expression,RE）因其强大的表达能力和简单性正取代精确字符串（explicitstring）成为描述模式（pattern）的首选。在网络应用中,基于DFA（确定有限自动机）的正则表达式匹配技术通常用于网络流量实时处理、病毒检测等系统中。随着正则表达式的数量不断增加,DFA的存储空间急剧膨胀导致Cache的命中率大大降低,最终影响匹配的性能。提出了一种高效的正则表达式分组算法,通过合理地将正则表达式分组来大大降低DFA所需的存储空间。还尝试提出了评价正则表达式分组算法的一些指标。     

对比内嵌字幕进行视频去重

现有的视频去重技术多样,但字幕这一与视频内容能高度匹配的重要信息并未被考虑到其中。提出一种针对含内嵌字幕视频进行去重的方法,并在三大视频网页中得到了该方法的再去重效果。首先将相应网页视频中的字幕经过OTC处理将其文档化,再规范文档,最后设定一个界值,对网页进行去重筛选。类比于网页文本的去重方法,基于文本内容的去重工作可以大大改善去重的效果,考虑到视频中人物对话内容的唯一性,我们可以根据视频字幕内容来进行去重,从而得到更为精准的视频去重结果。     

Naming multi-modal clusters to identify persons in TV broadcast

Persons’ identification in TV broadcast is one of the main tools to index this type of videos. The classical way is to use biometric face and speaker models, but, to cover a decent number of persons, costly annotations are needed. Over the recent years, several works have proposed to use other sources of names for identifying people, such as pronounced names and written names. The main idea is to form face/speaker clusters based on their similarities and to propagate these names onto clusters. In this paper, we propose a method to take advantage of written names during the diarization process, in order to both name clusters and prevent the fusion of two clusters named differently. First, we extract written names with the LOOV tool (Poignant et al. 2012); these names are associated to their co-occurring speaker turns / face tracks. Simultaneously, we build a multi-modal matrix of distances between speaker turns and face tracks. Then agglomerative clustering is performed on this matrix with the constraint to avoid merging clusters associated to different names. We also integrate the prediction of few biometric models (anchors, some journalists) to directly identify speaker turns / face tracks before the clustering process. Our approach was evaluated on the REPERE corpus and reached an F-measure of 68.2 % for speaker identification and 60.2 % for face identification. Adding few biometric models improves results and leads to 82.4 % and 65.6 % for speaker and face identity respectively. By comparison, a mono-modal, supervised person identification system with 706 speaker models trained on matching development data and additional TV and radio data provides 67.8 % F-measure, while 908 face models provide only 30.5 % F-measure.     

基于峭度图像的视频指纹算法

为解决网络视频的非法拷贝问题,提出一种基于峭度图像的视频指纹算法。对视频片段进行预处理后,利用均匀分布的随机变量提取关键帧以及关键帧的峭度图像,并对峭度图像进行离散余弦变换(DCT),采用较大的DCT系数构造视频指纹,在视频指纹的匹配过程中,通过滑动窗的方法对不同长度的指纹进行匹配,从而达到视频认证的目的。实验结果证明,该算法提取的视频指纹在常见视频攻击下误码率均小于10%。     

基于DFT基的矿井视频监控图像分块压缩感知方法

针对矿井视频监控图像受噪声干扰影响大,采用常规的图像采样和压缩方法存在图像模糊和传输时间过长等问题,提出了一种矿井视频监控图像分块压缩感知方法。该方法通过建立矿井视频监控图像分块压缩感知模型,在井下图像采集节点利用稀疏随机矩阵进行压缩采样,然后在地面监控中心利用正交匹配追踪( OMP )算法重构图像。研究结果表明,采用本文算法的重构图像误差小、重构时间短,所需信号采样点数少;与扰频Hadamard矩阵相比,采用稀疏随机矩阵和高斯随机矩阵作为观测矩阵对图像信号重构的峰值信噪比( PSNR)提高4 dB~5 dB;本文算法与基于小波基的算法相比,信号重构的PSNR提高1 dB~4 dB,重构时间缩短至少80％以上。     

基于相关系数的适用于视频拼接的帧对齐方法

为解决视频拼接中源视频在时间上不同步的问题,提出了一种视频帧对齐方法.利用图像矩阵间的相关系数特性,根据视频拼接中源视频的特点,运用运动量检测方法检测视频中不同时间点的运动量,在低运动量点运用相位相关法确定交叠区域大致范围,在高运动量点计算相关系数确定同一时间点上的对应帧图像.在对应帧的搜索过程中,使用变步长搜索算法提高搜索效率,减少搜索时间.实验中使用无标定的双摄像机采集多组视频数据,结果表明了该方法的准确性和有效性.     

一种分级检索MPEG视频的方法

视频检索是当前的一个研究热点.以前的检索方法大多在像素域中进行,需要较大的解码运算量;且不加区分地对所有视频片断采用统一的匹配算法,浪费了许多不必要的计算.提出了一种基于样本的分级检索MPEG视频的新方法:首先用I帧的dct_dc_size字段快速粗检,然后用断层摄影(tomography)法分析B帧运动矢量的时空分布特性以进一步缩小结果集,最后用DC图像的精确匹配方法验证检索结果.试验结果表明,本方法所需计算量较小,且可保证较高的检索精度.     

自适应邻域测试的图像误匹配点剔除算法

针对图像特征点暴力匹配与比率测试得到的匹配点对在数量与正确率不能兼顾的情况,提出了一种基于自适应邻域测试的误匹配点对剔除算法。对特征点进行暴力匹配与高阈值的比率测试得到初始匹配点集,对初始匹配点对中的每个匹配特征点进行自适应邻域测试,测试出初始匹配点集中明显的误匹配点对并将之剔除,达到只剔除误匹配而不会误剔除正确匹配的效果。实验结果表明,在保证正确率不降低的前提下,该算法获取的匹配点对数量比原算法多3成以上,并且该算法对图像旋转、尺度缩放具有较好通用性。     

基于比值法图像拼接的等比例改进算法

图像拼按技术是通过将一组具有部分重叠的图像或视频图像进行无缝拼接后而得到的具有高分辨率的图像或全景图,是图像处理技术的一个重要内容。主要介绍了图像拼接技术的主要步骤、比值匹配法的基本原理和优缺点,然后针对此算法容易出现误匹配的问题,提出了一种改进的算法。通过引用等比例数列的思想增加区域像素信息,与传统方法相比,这种方法可以更快更准地找到最佳匹配位置,从而提高了算法的准确性。实验结果证明了此算法可以有效的消除误匹配。     

Multiscale video sequence matching for near-duplicate detection and retrieval

As one of key technologies in content-based near-duplicate detection and video retrieval, video sequence matching can be used to judge whether two videos exist duplicate or near-duplicate segments or not. Despite a lot of research efforts devoted in recent years, how to precisely and efficiently perform sequence matching among videos (which may be subject to complex audio-visual transformations) from a large-scale database still remains a pretty challenging task. To address this problem, this paper proposes a multiscale video sequence matching (MS-VSM) method, which can gradually detect and locate the similar segments between videos from coarse to fine scales. At the coarse scale, it makes use of the Maximum Weight Matching (MWM) algorithm to rapidly select several candidate reference videos from the database for a given query. Then for each candidate video, its most similar segment with respect to the given query is obtained at the middle scale by the Constrained Longest Ascending Matching Subsequence (CLAMS) algorithm, and then can be used to judge whether that candidate exists near-duplicate or not. If so, the precise locations of the near-duplicate segments in both query and reference videos are determined at the fine scale by using bi-directional scanning to check the matching similarity at the segments’ boundaries. As such, the MS-VSM method can achieve excellent near-duplicate detection accuracy and localization precision with a very high processing efficiency. Extensive experiments show that it outperforms several state-of-the-art methods remarkably on several benchmarks.