融合时空多特征表示的无监督视频分割算法

针对视频分割的难点在于分割目标的无规则运动、快速变换的背景、目标外观的任意变化与形变等,提出了一种基于时空多特征表示的无监督视频分割算法,通过融合像素级、超像素级以及显著性三类特征设计由细粒度到粗粒度的稳健特征表示。首先,采用超像素分割对视频序列进行处理以提高运算效率,并设计图割算法进行快速求解;其次,利用光流法对相邻帧信息进行匹配,并通过K-D树算法实现最近邻搜索以引入各超像素的非局部时空颜色特征,从而增强分割的鲁棒性;然后,对采用超像素计算得到的分割结果,设计混合高斯模型进行完善;最后,引入图像的显著性特征,协同超像素分割与混合高斯模型的分割结果,设计投票获得更加准确的视频分割结果。实验结果表明,所提算法是一种稳健且有效的分割算法,其结果优于当前大部分无监督视频分割算法及部分半监督视频分割算法。     

深浅层表示融合的半监督视频目标分割

为了解决半监督视频目标分割任务中,分割精度与分割速度难以兼顾以及无法对视频中与前景相似的背景目标做出有效区分的问题,提出一种基于深浅层特征融合的半监督视频目标分割算法。首先,利用预先生成的粗糙掩膜对图像特征进行处理,以获取更鲁棒的特征;然后,通过注意力模型提取深层语义信息;最后,将深层语义信息与浅层位置信息进行融合,从而得到更加精确的分割结果。在多个流行的数据集上进行了实验,实验结果表明：在分割运行速度基本不变的情况下,所提算法在DAVIS 2016数据集上的雅卡尔（J）指标相较于学习快速鲁棒目标模型的视频目标分割（FRTM）算法提高了1.8个百分点,综合评价指标为J和F得分的均值J&F相较于FRTM提高了2.3个百分点;同时,在DAVIS 2017数据集上,所提算法的J指标比FRTM提升了1.2个百分点,综合评价指标J&F比FRTM提升了1.1个百分点。以上结果充分说明所提算法能够在保持较快分割速度的情况下实现更高的分割精度,并且能够有效区别相似的前景与背景目标,具有较强的鲁棒性。可见所提算法在平衡速度与精度以及有效区分前景背景方面的优越性能。     

改进的多特征粒子滤波目标跟踪算法研究

针对在复杂环境下多特征融合的粒子滤波算法跟踪精确度低的问题,提出一种改进的多特征融合算法;该算法采用二阶中心差分卡尔曼滤波方法来实现建议分布函数的优化,在重要性采样中融入最新的测量信息,提高了粒子的使用效率,并引入动态模板更新机制对目标模板实时更新;在多特征融合策略上利用基于粒子滤波框架下的EM算法适用于不同数量样本集的特点求解状态估计,不仅避免因计算特征权重产生误差,而且提高了算法的实时性;滤波器仿真实验结果表明,在一维非线性模型下对比其它改进粒子滤波算法,本文提出的方法性能最优;在基于视频序列的目标跟踪实验中,通过比较本文算法在不同特征、不同采样粒子数量条件下的性能对比验证本文算法的有效性;最后通过一系列不同环境下的跟踪实验证明,本文算法对复杂条件下的目标跟踪具有较高的精度和鲁棒性。     

基于运动引导的高效无监督视频目标分割网络

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation, UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先, RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.     

融合外观和运动特征的在线目标分割

目的 视频中的目标分割是计算机视觉领域的一个重要课题,有着极大的研究和应用价值。为此提出一种融合外观和运动特征的在线自动式目标分割方法。方法 首先,融合外观和运动特征进行目标点估计,结合上一帧的外观模型估计出当前帧的外观模型。其次,以超像素为节点构建马尔可夫随机场模型,结合外观模型和位置先验把分割问题转化为能量最小化问题,并通过Graph Cut进行优化求解。结果 最后,在两个数据集上与5种标准方法进行了对比分析,同时评估了本文方法的组成成分。本文算法在精度上至少比其他的目标分割算法提升了44.8%,且具有较高的分割效率。结论 本文通过融合外观与运动特征实现在线的目标分割,取得较好的分割结果,且该方法在复杂场景中也具有较好的鲁棒性。     

结合掩膜与孪生网络的目标跟踪方法研究

针对在舰船目标跟踪过程中由于视场角变化导致的跟踪精度下降的问题,基于全连接孪生神经网络的目标跟踪方法,融合了目标分割策略,提出了基于SiamMask的实时目标跟踪算法。该算法将二元掩模运算作为孪生网络的一个分支,以实现对目标的分割,在获取目标位置信息的同时,获取目标的外观信息,使得该网络的损失函数得到显著增强。由传统的轴对称目标跟踪框,改进为可根据目标形状、外观而自适应调整的可旋转矩形框。将该算法与传统基于孪生网络的跟踪算法SiameseNet,以及基于相关滤波的KCF跟踪算法进行实验仿真测评对比,通过计算各算法的中心误差,结果表明该算法的跟踪精度较两者分别提升了19.5%和24.5%,且运行速度可达30 fps,满足了舰船目标跟踪对于准确性和实时性的要求。     

一种视频运动目标精确分割新算法

针对视频图像中单个运动目标的分割问题,提出了一种基于Kirsch边缘算子的视频运动目标分割算法,该算法将Kirsch算子检测到的边缘作为主分割信息,运动矢量场作为次要分割信息;首先利用双重尺度的运动矢量场进行累加和滤波处理来获得辅助分割信息;然后将Kirsch算子的模板分解为差值模板和公共模板以提高边缘的抗噪性;最后用自适应状态标记的方法将边缘信息和运动矢量信息相融合来准确地分割运动目标;实验结果表明该方法分割比较精确。     

基于多外观模型的自适应加权目标跟踪算法*

偏最小二乘(PLS)跟踪算法忽略特征间及外观模型间的差异,容易受到光照、遮挡等因素的影响,降低目标的跟踪精度.针对上述问题,文中提出基于多外观模型的自适应加权目标跟踪算法(AWMA).首先使用PLS对目标区域逐步建立多个外观模型.然后根据各外观模型中特征的重要性及目标的显著度建立自适应权重的综合模型,融合多个外观模型完成目标与样本的误差分析.最后使用粒子滤波实现目标跟踪.实验表明,文中算法能更有效地过滤噪声数据,提高目标跟踪的鲁棒性和时间性能.     

基于运动信息与马尔可夫彩色聚类的运动目标分割

针对视频序列图像中的运动目标分割,论文提出了将运动检测和马尔可夫彩色聚类相结合的运动目标分割算法。该算法首先利用基于统计模型的运动检测算法,通过后处理,得到运动目标的初始模板。然后,利用区域生长算法进行彩色图像的初始分割,在初始分割的基础上应用马尔可夫随机场模型进行彩色聚类,得到具有精确边缘的分割区域。最后,将运动目标的初始模板和彩色精确分割结合起来提取出具有精确边缘的运动目标。实验结果表明该算法能有效地分割和提取出视频序列中的运动目标。     

判别特征回归的鲁棒目标跟踪

目的 近年来,目标跟踪领域取得了很大进步,但是由于尺度变化,运动,形状畸变或者遮挡等造成的外观变化,仍然是目标跟踪中的一大挑战,因而有效的图像表达方法是提高目标跟踪鲁棒性的一个关键因素。方法 从中层视觉角度出发,首先对训练图像进行超像素分割,将得到特征向量集以及对应的置信值作为输入值,通过特征回归的方法建立目标跟踪中的判别外观模型,将跟踪图像的特征向量输入该模型,得到候选区域的置信值,从而高效地分离前景和背景,确定目标区域。结果 在公开数据集上进行跟踪实验。本文算法能较好地处理目标尺度变化、姿态变化、光照变化、形状畸变、遮挡等外观变化;和主流跟踪算法进行对比,本文算法在跟踪误差方面表现出色,在carScale、subway、tiger1视频中能取得最好结果,平均误差为12像素,3像素和21像素;和同类型的方法相比,本文算法在算法效率上表现出色,所有视频的跟踪效率均高于同类型算法,在carScale视频中的效率,是同类算法效率的32倍。结论 实验结果表明,本文目标跟踪算法具有高效性和鲁棒性,适用于目标发生外观变化时的目标跟踪问题。目前跟踪中只用了单一特征,未来考虑融合多特征来提升算法鲁棒性和准确度。     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

基于多任务深度卷积神经网络的显著性对象检测算法

针对当前基于深度学习的显著性对象检测算法不能准确保存对象边缘的区域,从而导致检测出的显著性对象边缘区域模糊、准确率不高的问题,提出了一种基于多任务深度学习模型的显著性对象检测算法。首先,基于深度卷积神经网络（CNN）,训练一个多任务模型分别学习显著性对象的区域和边缘的特征;然后,利用检测到的边缘生成大量候选区域,再结合显著性区域检测的结果对候选区域进行排序和计算权值;最后提取出完整的显著性图。在三个常用标准数据集上的实验结果表明,所提方法获得了更高的准确率,其中F-measure比基于深度学习的算法平均提高了1.9%,而平均绝对误差（MAE）平均降低了12.6%。     

多模型协作的分块目标跟踪

为解决复杂场景下,基于整体表观模型的目标跟踪算法容易丢失目标的问题,提出一种多模型协作的分块目标跟踪算法.融合基于局部敏感直方图的产生式模型和基于超像素分割的判别式模型构建目标表观模型,提取局部敏感直方图的亮度不变特征来抵制光照变化的影响;引入目标模型的自适应分块划分策略以解决局部敏感直方图算法缺少有效遮挡处理机制的问题,提高目标的抗遮挡性;通过相对熵和均值聚类度量子块的局部差异置信度和目标背景置信度,建立双权值约束机制和子块异步更新策略,在粒子滤波框架下,选择置信度高的子块定位目标.实验结果表明,本文方法在复杂场景下具有良好的跟踪精度和稳定性.     

一种动态场景下运动对象分割新算法

视频运动对象分割是计算机视觉和视频处理的基本问题。在摄像机存在全局运动的动态场景下,准确分割运动对象依然是难点和热点问题。本文提出一种基于全局运动补偿和核密度检测的动态场景下视频运动对象分割算法。首先,提出匹配加权的全局运动估计补偿算法,消除动态场景下背景运动对运动对象分割的影响;其次,采用非参数核密度估计方法分别估计各像素属于前景与背景的概率密度,通过比较属于前景和属于背景的概率及形态学处理得到运动对象分割结果。实验结果证明,该方法实现简单,有效地提高了动态场景下运动对象分割的准确性。     

基于蚁群优化算法的弱光图像显著性目标检测

近年来,显著性目标检测受到工业界和学术界的大量关注,成为了计算机视觉领域中一项重要的基础研究,该问题的解决有助于各类视觉任务取得突破性进展。尽管针对可见光场景的显著性检测工作已经取得了有效成果,但如何在信噪比偏低、可用有效信息匮乏的弱光图像中提取边界清晰、内部结构准确的显著性目标,仍然是具有挑战性的难题。针对弱光场景下显著性目标检测存在边界模糊、结构不完整等造成准确率较低的问题,提出基于蚁群优化（ACO）算法的显著性检测模型。首先,通过多尺度超像素分割将输入图像转换为具有不同节点的无向图;其次,基于最优特征选择策略来更充分地获取低对比度弱光图像中所包含的更多显著目标的特征信息,并摒弃冗余的噪声信息;然后,引入空间对比度策略用于探索弱光图像中具有相对较高对比度的全局显著性线索。而为了在低信噪比情况下也能获取准确的显著性估计,利用ACO算法对显著图进行优化。通过在3个公共数据集（MSRA、CSSD和PASCAL-S）以及夜间弱光图像（NI）数据集上进行实验,可以看出,所提模型在3个公共数据集上的曲线下面积（AUC）值分别达到了87.47%、84.27%和81.58%,在NI数据集上的AUC值比排名第2的低秩矩阵恢复（LR）模型提高了2.17个百分点。实验结果表明,相较于11种主流的显著性检测模型,所提模型具有结构更准确且边界更清晰的检测效果,有效抑制了弱光场景对显著性目标检测性能的干扰。     

实例分割和边缘优化算法的研究与实现

摘 要：近年来,实例分割技术正受到越来越多的关注。Mask R-CNN 实例分割方法是实 例分割领域中的重要方法,但是用 Mask R-CNN 方法得到的结果中,每个分割出的实例的边缘 往往不够理想,无法与真正的边缘完全吻合。针对此问题,提出了一种用显著性目标提取方法 得到的结果与 Mask R-CNN 实例分割结果相结合的方法,从而得到更好的实例分割边缘。首先, 利用 Mask R-CNN 对图片进行识别,得到实例分割的结果。然后用 PoolNet 对待检测图片进行 处理,得到图片中的显著物体信息。最后用 PoolNet 的结果对实例分割的掩码图边缘进行优化, 从而得到边缘更好的实例分割结果。经过测试,该方法可以对绝大多数待检测目标较为显著的 图片在一些重要指标上得到比 Mask R-CNN 更好的分割结果。     

基于双重金字塔网络的视频目标分割方法

针对复杂视频场景中难以分割特定目标的问题，提出一种基于双重金字塔网络（DPN）的视频目标分割方法。首先，通过调制网络的单向传递让分割模型适应特定目标的外观。具体而言，从给定目标的视觉和空间信息中学习一种调制器，并通过调制器调节分割网络的中间层以适应特定目标的外观变化。然后，通过基于不同区域的上下文聚合的方法，在分割网络的最后一层中聚合全局上下文信息。最后，通过横向连接的自左而右结构，在所有尺度中构建高阶语义特征图。所提出的视频目标分割方法是一个可以端到端训练的分割网络。大量实验结果表明，所提方法在DAVIS2016数据集上的性能与较先进的使用在线微调的方法相比，可达到相竞争的结果，且在DAVIS2017数据集上性能较优。     

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,可以有助于提高模型准确率。     

基于块划分的HEVC运动目标分割方法

针对压缩域视频的运动对象分割在复杂背景下分割精度不高的问题,提出一种基于最新压缩编码HEVC的运动分割方法。首先从HEVC压缩码流中提取块划分和相对应的运动矢量信息,并分别在帧内和帧间对运动矢量进行空域和时域的标签分类,然后利用MRF模型对标签场进行运动一致性估计,得到更精确的运动目标,最后输出MRF分割后形成的掩模信息。通过实验证明,该运动分割方法能够达到有效并可靠的分割效果,尤其对于多目标运动的视频分割效果优于其他比较的方法。     

幂律变换和IGLC算法的显著性目标检测方法

针对显著性检测方法生成显著图存在对比度低、目标区域细节不明显、检测区域不准、背景抑制效果不足的问题，提出幂律变换和IGLC算法的显著性目标检测方法。利用幂律变换函数优化IG算法，彻底抑制显著图的背景区域。经二值化处理的显著图在原图像分割，得到感兴趣目标分割图；LC算法优化感兴趣目标分割图，得到细节佳的显著图；利用自适应烟花算法增强显著目标区域的对比度，生成最终的显著图。对标准测试数据集MSRA10K和PASCAL-S数据集中的图像进行显著性目标检测实验，且与目前较流行的6种显著性目标检测方法进行主观和客观的对比分析，分析结果均优于对比方法。该算法得到的显著图既具有对比度和细节增强的效果，又具有背景抑制效果更好的优点。