面向交通场景解析的局部和全局上下文注意力融合网络 |
| |
引用本文: | 王泽宇,布树辉,黄伟,郑远攀,吴庆岗,张旭.面向交通场景解析的局部和全局上下文注意力融合网络[J].计算机应用,2023(3):713-722. |
| |
作者姓名: | 王泽宇 布树辉 黄伟 郑远攀 吴庆岗 张旭 |
| |
作者单位: | 1. 郑州轻工业大学计算机与通信工程学院;2. 西北工业大学航空学院 |
| |
基金项目: | 河南省科技攻关项目(222102210021);;河南省高等学校重点科研项目计划支持(21A520049)~~; |
| |
摘 要: | 为解决交通场景解析中局部和全局上下文信息自适应聚合的问题,提出3模块架构的局部和全局上下文注意力融合网络(LGCAFN)。前端的特征提取模块由基于串联空洞空间金字塔池化(CASPP)单元改进的ResNet-101组成,能够更加有效地提取物体的多尺度局部特征;中端的结构化学习模块由8路长短期记忆(LSTM)网络分支组成,可以更加准确地推理物体邻近8个不同方向上场景区域的空间结构化特征;后端的特征融合模块采用基于注意力机制的3阶段融合方式,能够自适应地聚合有用的上下文信息并屏蔽噪声上下文信息,且生成的多模态融合特征能够更加全面且准确地表示物体的语义信息。在Cityscapes标准和扩展数据集上的实验结果表明,相较于逆变换网络(ITN)和对象上下文表示网络(OCRN)等方法,LGCAFN实现了最优的平均交并比(mIoU),达到了84.0%和86.3%,表明LGCAFN能够准确地解析交通场景,有助于实现车辆自动驾驶。
|
关 键 词: | 交通场景解析 自适应聚合 串联空洞空间金字塔池化 长短期记忆 注意力融合 |
|
|