基于视频序列的平面海报生成方法

视频摘要是海量视频浏览的重要手段,现有的方法一般生成短帧视频或多帧序列图像以概括原视频,但它们都受限于原有时间序列,难以高效地表达信息.为此,提出了一种视频海报的自动生成方法来制作更为精练的视频摘要.如何提取视频中的关键画面与如何实现海报自动排版是其中的2个核心问题.对现有的视频关键帧提取方法进行扩展,采用综合视觉关注度模型,提出了基于视觉重要性的关键帧排序算法;在现有排版规则基础上,增加了版面位置对视觉心理感知的影响,设计出位置重要性驱动的视频海报自动排版算法.实验结果证明了文中算法的有效性.     

结合对齐度准则的视频人脸快速配准算法

在视频人脸替换过程中,针对人脸检测和特征点定位不考虑前后帧的时域联系,导致处理后的视频人脸出现抖动、错位现象的问题,提出结合对齐度准则的视频序列人脸配准方法。通过人脸特征点定位确定待匹配人脸的候选区域和参考人脸五官图像,并根据梯度信息得到参考人脸搜索子图像。构造图像尺度金字塔,在尺度金字塔中快速搜索对齐度极值,极值坐标对应搜索子图像相似度最高的配准点,构造匹配点对。采用Procrustes analysis算法计算对应匹配点的变换关系矩阵,完成待配准图像的坐标变换。根据实验数据,提出的算法提高了优化搜索的速度,处理后的视频与其他算法相比,前后帧对齐的人脸位置和姿态稳定,经处理的视频播放过程中人脸位置自然流畅。算法消除了肤色区域的影响,采用前后帧人脸的有效信息,保持了灰度变化大的人脸区域的位置和姿态,实现视频人脸的精确配准。     

基于神经网络的视频序列车牌定位算法

在研究静态汽车牌照定位算法的基础上,利用时间序列多帧图像信息量大的优势弥补以往单幅图像牌照定位的不足,研究了视频序列下的汽车牌照定位方法.针对静态图像的牌照定位问题,提出了一种新的基于字符边缘特征和神经网络的汽车牌照定位算法.将上述定位算法应用到视频单帧图像中的牌照定位,并依此为基础,在动态视频序列中,对连续抽取的帧图像进行定位检测,各得到若干候选牌照区,比较相邻帧之间对应候选区的匹配程度,以得到真正的牌照位置.实验结果表明,该方法的定位精度高,实用性强.     

基于视觉感知和等周割的二维阈值分割算法

二维阈值分割方法没有考虑人类视觉感知的特性,将整个灰度级区域作为分割阈值的搜索空间.同时等周割图像分割方法没有直接考虑图像的灰度信息以及迭代终止条件难以确定的问题,因而对灰度图像的分割效果不甚理想.因此提出了一种融合视觉感知和等周割的二维阈值分割方法,该方法首先利用视觉感知的特性选择候选阈值向量所在的灰度区域,再将等周割作为准则,从候选阈值向量中选出最小等周率所对应的候选阈值向量作为最佳的分割阈值向量.在一系列图像上的实验结果表明,与几种经典的二维阈值分割方法相比,所提算法的分割效果更好.     

视频分析中利用可变阈值的运动估计算法研究

研究的是基于阈值的运动矢量估计技术,根据视频序列中运动矢量的特性,构建阈值函数。对于匹配搜索的不同位置自动生成对应的阈值,建立从中心向外逐渐松弛的约束条件,及时终止对不必要候选块的匹配搜索。不仅能够提高匹配速度,而且能够避免遍历搜索中容易陷入局部最小化的问题。同钻石搜索法相结合,能进一步提供运算速度。还提出了通过均值累加阈值法消除由于全局运动补偿引入的噪声,该方法可以确保捕获运动对象的真实性。通过实验验证,对大多数的视频序列,能在不损失精度的情况下,运动估计速度提高几乎一个数量级,运动矢量捕获的真实率在70%以上。     

基于进化优化与增强特征的车辆识别研究

提出了一种基于雷达和视觉传感器融合的实时车辆检测和识别系统。雷达数据用来测量前方车辆的距离和缩小图像中车辆尾部的搜索区域。利用视频传感器,可以验证雷达目标和确定车辆的宽度及横向位置。所做工作如下：第一,提出了一种新的进化优化对称测度方法;第二,阐述了一种车辆检测和识别算法,此算法包括两个步骤：（1）利用基于一组Haar滤波器和AdaBoost学习算法检测器的生成假设;（2）利用进化优化与生物机制车辆识别系统的验证假设。第三,利用经典的混淆矩阵及宽度和横向位置的准确度信息来对系统的性能做出评价。实验训练和测试了超过30 000幅图片,结果表明本系统具有良好的鲁棒性和实时性。     

一种鲁棒的夜间图像显著性对象检测模型

基于人类视觉注意机制的显著性对象检测模型作为能主动感知图像中重要信息的有效方法,对探索视觉早期认知过程的大范围知觉信息组织具有重要意义.然而由于夜间图像具有低信噪比和低对比度特性,现有的视觉显著性对象检测模型在夜间场景中容易受到噪声干扰、弱纹理模糊等多方面因素的影响.有鉴于此,本文提出了一种基于区域协方差和全局搜索的夜间图像显著性对象检测方法.首先将输入图像分割为超像素块,并分别计算它们的协方差.然后使用超像素块协方差的差异性作为适应度函数,并结合全局搜索算法来优化各个超像素块的显著值.最后通过图扩散方法来精炼显著图结果.实验测试采用了5个公开图像数据集和1个夜间图像数据集,通过与11种目前主流的视觉显著性对象检测模型进行对比,综合评价了本文所提出模型的性能.     

基于全局视觉优化的视频目标检测算法

提出一种基于全局视觉优化的视频目标检测算法,在原有流引导特征聚合算法(FGFA)基础上,更关注寻找检测精度与运行时间之间的折衷策略。首先利用全局视觉优化的思想,使用感知哈希算法在多帧特征聚合前进行帧段两端的全局视觉相似度计算,判断当前帧段的时序信息相关性;其次使用连续帧作为输入,进一步利用视频的时序信息,将相邻帧在运动路径上的特征聚合到当前帧的特征中,进而对视频特征有更好的表达。ILSVRC实验表明,经过全局视觉优化的预处理后,该算法较原本算法在视频中进行目标检测的准确率和速度均得到一定提升。     

粒子群优化的压缩跟踪算法

目的 针对基于压缩感知理论的跟踪算法跟踪效率不高和难以抗遮挡的问题,提出一种结合压缩感知和粒子群优化的跟踪算法。方法 将粒子群优化算法结合到压缩跟踪算法中,提出了采用粒子群优化的搜索方法替代在确定候选目标时,采用每隔一个像素选取一个候选目标的搜索策略;在目标发生遮挡时,采用粒子群优化的方法进行整幅图全局搜索。结果 20个视频序列数据库的目标跟踪结果表明,本文算法极大地提高了跟踪效率,并有很强的抗目标遮挡和形变的能力从而提高了跟踪的成功率。20个视频数据库进行了定量的分析,平均成功率达到了65.2%,平均中心位置偏差为33.4,平均每秒运行155.5帧。结论 提出的跟踪算法优化了搜索目标的计算次数,提高了算法的运行效率,当在目标发生遮挡时,采用粒子群优化进行全局搜索直到目标重新出现,从而提高了跟踪算法的跟踪成功率,本文算法能适用于不同场景,能够提高智能视频监控系统的智能监控性能。     

基于全搜索的煤矿井下视频序列边信息生成算法

针对煤矿井下视频分布式编码中图像照度低和清晰度低等特点,提出了基于全搜索的煤矿井下视频序列边信息生成算法。该算法对已解码的关键帧进行扩编,并对全搜索时每个参考帧对应像素块的均方误差函数值通过阈值进行分析和判断,保留低于阈值的运动矢量,提高边信息生成质量。理论分析和仿真结果表明,本文提出的算法可以实现煤矿井下视频序列的高质量边信息的生成,为将分布式编码广泛应用于煤矿井下视频监控和通信提供了基础。     

基于视觉显著性的移动机器人动态环境建模

本文采用视觉显著性提出了一种移动机器人动态环境建模方法.该方法利用提出的视觉显著性模型,对连续的2帧图像中匹配的加速稳健特征点(SURF)利用其位置关系并采用多重随机抽样一致(multi-RANSAC)算法实现了环境中动态物体显著性检测.采用投影方法和快速均值漂移算法构建了动态环境的栅格模型,利用得到的动态显著性物体的位置更新环境地图中的栅格占据值以及动态物体的影响区域.动态环境显著图构建实验和动态环境的栅格模型构建实验的结果证明了上述方法是可行的.     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

视频图像中运动目标的阴影消除法

针对在视频序列图像中运动目标的阴影造成运动目标的物理变形,影响运动目标的检测与跟踪;同时,由于目前常用的阴影检测算法,总是要先检测到阴影,再分割阴影,需两步才能达到消除阴影目的,难以达到实时检测要求。为此,提出了一种基于视频图像快速阴影消除方法。该方法通过分析阴影与背景的HSV彩色空间中的特性,利用阴影与运动目标在H,S,V三个分量中的不同特点,计算其相应的阈值,运用该阈值进行分割并消除阴影,能在视频序列图像中一次性检测到运动目标的同时就消除阴影。实验表明,在户外条件下,该算法是准确有效的。     

利用视觉显著性和粒子滤波的运动目标跟踪

针对运动目标跟踪问题,提出一种利用视觉显著性和粒子滤波的目标跟踪算法.借鉴人类视觉注意机制的研究成果,根据目标的颜色、亮度和运动等特征形成目标的视觉显著性特征,与目标的颜色分布模型一起作为目标的特征表示模型,利用粒子滤波进行目标跟踪.该算法能够克服利用单一颜色特征所带来的跟踪不稳定问题,并能有效解决由于目标形变、光照变化以及目标和背景颜色分布相似而产生的跟踪困难问题,具有较强的鲁棒性.在多个视频序列中进行实验,并给出相应的实验结果和分析.实验结果表明,该算法用于实现运动目标跟踪是正确有效的.     

基于局部和全局特征视觉单词的人物行为识别

基于视觉单词的人物行为识别由于在特征中加入了中层语义信息,因此提高了识别的准确性。然而,视觉单词提取时由于前景和背景存在相互干扰,使得视觉单词的表达能力受到影响。提出一种结合局部和全局特征的视觉单词生成方法。该方法首先用显著图检测出前景人物区域,采用提出的动态阈值矩阵对人物区域用不同的阈值来分别检测时空兴趣点,并计算周围的3D-SIFT特征来描述局部信息。在此基础上,采用光流直方图特征描述行为的全局运动信息。通过谱聚类将局部和全局特征融合成视觉单词。实验证明,相对于流行的局部特征视觉单词生成方法,所提出的方法在简单背景的KTH数据集上的识别率比平均识别率提高了6.4%,在复杂背景的UCF数据集上的识别率比平均识别率提高了6.5%。     

基于视觉显著性的均值漂移跟踪算法

为解决突变运动下的目标跟踪问题,提出了一种基于视觉显著性的均值漂移跟踪算法,将视觉注意机制运用到均值漂移跟踪框架中,利用时空显著性算法对视频序列进行检测,生成视觉显著图,从视觉显著图对应的显著性区域中建立目标的颜色特征表示模型来实现运动目标跟踪.实验结果表明:该算法在摄像机摇晃等动态场景下可以较准确检测出时空均显著的目标,有效克服了在运动目标发生丢失和遮挡等情况下跟踪不稳定的问题,具有较强的鲁棒性,从而实现复杂场景下目标较准确的跟踪.     

一种结合显著性检测与词袋模型的目标识别方法

针对词袋模型易受到无关的背景视觉噪音干扰的问题,提出了一种结合显著性检测与词袋模型的目标识别方法。首先,联合基于图论的视觉显著性算法与一种全分辨率视觉显著性算法,自适应地从原始图像中获取感兴趣区域。两种视觉显著性算法的联合可以提高获取的前景目标的完整性。然后,使用尺度不变特征变换描述子从感兴趣区域中提取特征向量,并通过密度峰值聚类算法对特征向量进行聚类,生成视觉字典直方图。最后,利用支持向量机对目标进行识别。在PASCAL VOC 2007和MSRC-21数据库上的实验结果表明,该方法相比同类方法可以有效地提高目标识别性能。     

Segmentation According to Natural Examples: Learning Static Segmentation from Motion Segmentation

The Segmentation According to Natural Examples (SANE) algorithm learns to segment objects in static images from video training data. SANE uses background subtraction to find the segmentation of moving objects in videos. This provides object segmentation information for each video frame. The collection of frames and segmentations forms a training set that SANE uses to learn the image and shape properties of the observed motion boundaries. When presented with new static images, the trained model infers segmentations similar to the observed motion segmentations. SANE is a general method for learning environment-specific segmentation models. Because it can automatically generate training data from video, it can adapt to a new environment and new objects with relative ease, an advantage over untrained segmentation methods or those that require human-labeled training data. By using the local shape information in the training data, it outperforms a trained local boundary detector. Its performance is competitive with a trained top-down segmentation algorithm that uses global shape. The shape information it learns from one class of objects can assist the segmentation of other classes.