基于运动标签的异常行为检测算法

针对视频监控中异常行为检测的问题,提出了一种基于运动标签的检测算法。通过对视频结构语义的分析,针对像素块的运动标签在时间维度和空间维度的分布关系,定义五种低维度的行为特征描述符作为视频中行为特征的表示。将这些提取的行为特征作为SVM分类器的输入,训练和建立了基于运动标签的异常行为检测模型。实验表明,该算法与同类算法相比,取得了更好的检测效果。     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络（ConvLSTM）进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。     

基于文字混合特征的视频文本定位研究

针对视频中文本信息在视频序列和视频索引中的重要性,本文提出了一种基于文字混合特征的文本定位算法.该算法首先对视频序列中每隔25帧的单帧图像进行边缘检测和投影处理来提取文本块,然后用支持向量基进行筛选,排除非文本块的干扰,最后利用视频序列中相邻帧之间的相关性来搜索剩余帧中的文本块.本文的算法在提高检测速度的同时保证了较高的检测准确度.     

营区扫描式监控中的运动目标检测

为解决部队营区监控中运动目标检测问题,提出了基于扫描式的运动目标检测法。对通过云台采集的背景帧提取边缘特性生成特征图,搜索与实时视频帧特征图相似度最大的背景帧。采用一种基于非规则形状的K值模板匹配进行运动补偿,并提出一种基于分块的前景连通法。实验结果表明,该背景搜索法降低了计算维度,算法快速;匹配算法对图像噪声、局部光照变化具有很好的鲁棒性;前景连通算法具有很好的检测效果,且可行有效。     

基于点模式匹配的视频文字跟踪和笔画提取

给出一种在复杂背景下的视频文字跟踪和文字笔画提取方法。用基于Harris角点特征的点模式匹配法跟踪视频序列中静止和运动的文字,以确定文字序列的时间属性,比较了采用图像整体像素匹配和点模式匹配的跟踪精度。用基于多帧融合思想的前景/背景识别算法提取视频文字笔画并作OCR识别。实验结果显示,点模式匹配的跟踪算法比图像整体像素匹配的算法跟踪精度更高,在图像背景复杂、变化快的情况下,基于多帧融合的文字笔画提取方法优于传统的二值化方法。     

一种基于特征跟踪的视频镜头检测算法

将视频切分为镜头是视频内容分析及基于内容的视频检索和浏览的第一步。针对视频镜头边界检测,提出了一种基于特征跟踪的新算法。该算法从镜头起始帧中提取出一组角点特征,然后在后续帧中基于Kalman滤波进行特征窗跟踪,最后根据对应特征窗内的像素特征变化规律,得到镜头边界检测所需的测度,判断镜头切换的性质和渐变镜头的起止时间。实验结果表明该算法运算复杂度低,且具有较强的鲁棒性。     

一种抗几何攻击的视频水印算法

提出了一种基于视频序列时空不变信息的视频水印算法。在嵌入水印时生成同步帧,并确定同步帧时空不变特征点位置,检测时根据同步帧时空不变特征点的位置,实现对视频序列几何失真的矫正,对水印信息进行检测和提取。实验表明,该算法能有效地抵抗帧插入和帧丢失等时间轴同步攻击和高强度几何攻击。     

基于超像素联接权模型的视频分割算法

视频图像分割是图像处理领域的一个热门问题。在传统分割算法的基础上,提出了一种新的无监督的视频分割算法。该算法采用超像素对运动前景进行表示,定义联接权概念来描述超像素属于同一物体的可能性,并利用当前帧的静态特征与前后帧的关联特征进行联接权计算。为优化超像素间匹配关系的搜索,算法引入了超像素颜色特征匹配约束与运动关联性匹配约束的机制。分别在简单场景和复杂场景进行了视频分割实验,简单场景下,算法保证了较高的召回率与稳定的准确率;复杂场景下,算法完成了人群中单个人的切分。大量实验结果表明,该算法能够实现视频图像的分割,并且能有效解决过分割问题。     

融合视觉词与自注意力机制的视频目标分割

目的 视频目标分割(video object segmentation, VOS)是在给定初始帧的目标掩码条件下,实现对整个视频序列中感兴趣对象的分割,但是视频中往往会出现目标形状不规则、背景中存在干扰信息和运动速度过快等情况,影响视频目标分割质量。对此,本文提出一种融合视觉词和自注意力机制的视频目标分割算法。方法 对于参考帧,首先将其图像输入编码器中,提取分辨率为原图像1/8的像素特征。然后将该特征输入由若干卷积核构成的嵌入空间中,并将其结果上采样至原始尺寸。最后结合参考帧的目标掩码信息,通过聚类算法对嵌入空间中的像素进行聚类分簇,形成用于表示目标对象的视觉词。对于目标帧,首先将其图像通过编码器并输入嵌入空间中,通过单词匹配操作用参考帧生成的视觉词来表示嵌入空间中的像素,并获得多个相似图。然后,对相似图应用自注意力机制捕获全局依赖关系,最后取通道方向上的最大值作为预测结果。为了解决目标对象的外观变化和视觉词失配的问题,提出在线更新机制和全局校正机制以进一步提高准确率。结果 实验结果表明,本文方法在视频目标分割数据集DAVIS(densely annotated video segme...     

基于稀疏字典的听觉显著性计算

听觉注意显著性计算模型是研究听觉注意模型的基本问题,显著性计算中选择合适的特征是关键,本文从特征选择的角度提出了一种基于稀疏字典学习的听觉显著性计算模型.该模型首先通过K-SVD字典学习算法学习各种声学信号的特征,然后对字典集进行归类整合,以选取的特征字典为基础,采用OMP算法对信号进行稀疏表示,并直接将稀疏系数按帧合并得到声学信号的听觉显著图.仿真结果表明该听觉显著性计算模型在特征选择上更符合声学信号的自然属性,基于基础特征字典的显著图可以突出噪声中具有结构特征的声信号,基于特定信号特征字典的显著图可以实现对特定声信号的选择性关注.     

基于引导Boosting算法的显著性检测

针对现有的基于引导学习的显著性检测模型存在的训练样本不纯净和特征提取方式过于简单的问题,提出一种改进的基于引导（Boosting）的算法来检测显著性,从提升训练样本集的准确度和改进特征提取的方式来达到学习效果的提升。首先,根据显著性检测的自底向上模型产生粗选样本图,并通过元胞自动机对粗选样本图进行快速有效优化来建立可靠的引导样本,完成对原图的标注建立训练样本集;然后,在训练集上对样本进行颜色纹理特征提取;最后,使用不同特征不同核的支持向量机（SVM）弱分类器生成基于Boosting学习一个强分类器,对每幅图像的超像素点进行前景背景分类,得到显著图。在ASD数据库和SED1数据库上的实验结果显示该模型能对复杂和简单的图像生成完备清晰的显著图,并在准确率召回率曲线和曲线下面积（AUC）测评值上有较大提升。由于其准确性,能应用在计算机视觉预处理阶段。     

基于前景优化和概率估计的显著性检测

为了对图像中的显著目标进行更精确的识别,提出一种基于前景优化和概率估计的区域显著性检测算法.所提出算法主要包括前景与背景线索选择、前景线索优化及基于概率估计的显著性区域检测3部分.首先,采用简单线性迭代聚类算法对图像进行初始分割;然后,分别检测图像的背景线索和前景线索,并利用背景线索对前景线索进行优化;最后,采用概率估计算法分别对基于背景线索和优化后前景线索进行显著性区域检测,并对两者结果进行融合.对比实验表明,所提出算法相比其他算法取得了较高的查准率,具有较好的检测性能.     

基于对比度优化流形排序的显著目标检测算法

现有的基于背景先验的显著性算法模型中存在先验区域选取不合理的问题,导致计算出的前景区域不准确,影响最终结果。针对该问题提出了基于对比度优化流形排序的显著目标检测算法。利用图像边界信息找出背景先验,设计出采用显著期望、局部对比度以及全局对比度三个指标来衡量先验质量的算法,并根据先验质量设计带权加法,代替简单乘法融合显著先验,从而使显著先验更加准确。从先验中提取显著区域时,更改了选取阈值的策略,更合理地选取出前景区域,再利用流形排序得到显著性图,从而使显著性检测结果更加准确。实验结果表明,与同类算法相比,所提算法突出显著区域,减少噪声,更符合人类视觉感知,并在处理时间上领先于深度学习方法。     

结合背景差分和闭合轮廓拟合的运动人体检测

假定图像序列的背景图像已经获得,提出一种结合时空背景差和闭合轮廓拟合的运动人体目标检测算法。算法以较小的阈值获得当前帧的背景差分图像,并搜寻最大连通域为初始前景目标;构造加权高斯滤波器,提取初始前景目标边缘;拟合前景目标轮廓,提出2 bit区域选择法提取不连续弧段的端点,根据类间最小距离准则构造闭合轮廓,结合帧间差分提取最终前景轮廓,标注运动目标位置。仿真实验表明,该算法能准确提取出运动目标,并标注目标位置,在背景环境发生变化时同样可以准确检测到运动目标,具有较好的鲁棒性。     

Mesh saliency detection via double absorbing Markov chain in feature space

We propose a mesh saliency detection approach using absorbing Markov chain. Unlike most of the existing methods based on some center-surround operator, our method employs feature variance to obtain insignificant regions and considers both background and foreground cues. Firstly, we partition an input mesh into a set of segments using Ncuts algorithm and then each segment is over segmented into patches based on Zernike coefficients. Afterwards, some background patches are selected by computing feature variance within the segments. Secondly, the absorbed time of each node is calculated via absorbing Markov chain with the background patches as absorbing nodes, which gives a preliminary saliency measure. Thirdly, a refined saliency result is generated in a similar way but with foreground nodes extracted from the preliminary saliency map as absorbing nodes, which inhibits the background and efficiently enhances salient foreground regions. Finally, a Laplacian-based smoothing procedure is utilized to spread the patch saliency to each vertex. Experimental results demonstrate that our scheme performs competitively against the state-of-the-art approaches.     

基于目标检索的RGB-D协同显著性研究

为了解决在RGB-D协同显著检测算法中和前景区域相似的背景部分易被分类为显著区域的问题。提出了基于目标检索挑选出前景概率更高的显著种子,减少误分类率的RGB-D协同显著检测算法。输入原始图片、深度图,及现有算法得到的最初显著图,进行超像素分割,利用DSP（深度形状先验）算法优化初始显著图得到更佳初始显著图。使用目标检索挑选出显著值更高且更有可能是显著物体的超像素,使用协同显著判断准则求得显著值。协同传播算法加以元胞优化被利用来得到更加准确的显著图。在RGBD Cosal150数据集上的实验表明了该算法的有效性和杰出性,取得了较高的准确度。     

多角度融合的RGB-D显著检测

显著检测是计算机视觉的重要组成部分,但大部分的显著检测工作着重于2D图像的分析,并不能很好地应用于RGB-D图片的显著检测。受互补的显著关系在2D图像检测中取得的优越效果的启发,并考虑RGB-D图像包含的深度特征,提出多角度融合的RGB-D显著检测方法。此方法主要包括三个部分,首先,构建颜色深度特征融合的图模型,为显著计算提供准确的相似度关系;其次,利用区域的紧密度进行全局和局部融合的显著计算,得到相对准确的初步显著图;最后,利用边界连接权重和流形排序进行背景和前景融合的显著优化,得到均匀平滑的最终显著图。在RGBD1000数据集上的实验对比显示,所提出的方法超越了当前流行的方法,表明多个角度互补关系的融合能够有效提高显著检测的准确率。     

融入时空显著性的高精度视频稳像算法

为剔除复杂运动前景对视频稳像精度的干扰,同时结合时空显著性在运动目标检测上的独特优势,提出一种融入时空显著性的高精度视频稳像算法。该算法一方面通过时空显著性检测技术识别出运动目标并对其进行剔除;另一方面,采用多网格的运动路径进行运动补偿。具体包括：SURF特征点提取和匹配、时空显著性目标检测、网格划分与运动矢量计算、运动轨迹生成、多路径平滑、运动补偿等环节。实验结果表明,相较于传统的稳像算法,所提算法在稳定度（Stability）指标方面表现突出。对于有大范围运动前景干扰的视频,所提算法比RTVSM（Robust Traffic Video Stabilization Method assisted by foreground feature trajectories）的Stability指标提高了约9.6%;对于有多运动前景干扰的视频,所提算法比Bundled-paths算法的Stability指标提高了约5.8%,充分说明了所提算法对于复杂场景的稳像优势。