| 基于并行多方向注意力的无监督视频目标分割 |
| |
| 引用本文： | 樊佳庆,苏天康,张开华,刘青山.基于并行多方向注意力的无监督视频目标分割[J].计算机学报,2022(11):2337-2347. |
| |
| 作者姓名： | 樊佳庆 苏天康 张开华 刘青山 |
| |
| 作者单位： | 1. 南京航空航天大学计算机科学与技术学院;2. 南京信息工程大学自动化学院;3. 南京信息工程大学计算机学院 |
| |
| 基金项目： | 国家自然科学基金项目(U21B2044,61825601,61876088)；;江苏省333工程人才项目(BRA2020291)资助~~； |
| |
| 摘 要： | 时空特征传播对准确的无监督视频目标分割任务至关重要.但是,由于现实中视频的复杂性,导致时空特征学习与传播变得十分具有挑战性.在本文中,提出了两个新颖的模块分别用于增强视频中目标的空间和时间表示.具体来说,首先,针对当前帧,在空间上提出一个新颖的多方向注意力模块,旨在沿着水平、垂直与通道方向上分别提取注意力图.同时,设计了一个并行时序模块用于整合当前帧和之前帧的信息.该模块并行地计算出连续帧之间的二阶相似度,并且根据该相似度图重新对当前帧特征进行加权与增强.此外,该相似度图还直接生成一个有效的掩膜,用于进一步增广当前帧中目标的特征表示.接着,将上述空间和时间特征进行融合以获得最终增广的时空特征表示,并将其输入解码器来预测当前帧中待分割目标的掩膜.在三个主流无监督视频目标分割数据集上的大量实验结果表明,本文提出的方法与当前最新方法相比取得了领先的性能.相关代码将公布在https://github.com/su1517007879/MP-VOS.
|
| 关 键 词： | 无监督视频目标分割 多方向注意力 时空调制 并行注意力 |
|
|
