面向交通场景解析的局部和全局上下文注意力融合网络

为解决交通场景解析中局部和全局上下文信息自适应聚合的问题,提出3模块架构的局部和全局上下文注意力融合网络（LGCAFN）。前端的特征提取模块由基于串联空洞空间金字塔池化（CASPP）单元改进的ResNet-101组成,能够更加有效地提取物体的多尺度局部特征;中端的结构化学习模块由8路长短期记忆（LSTM）网络分支组成,可以更加准确地推理物体邻近8个不同方向上场景区域的空间结构化特征;后端的特征融合模块采用基于注意力机制的3阶段融合方式,能够自适应地聚合有用的上下文信息并屏蔽噪声上下文信息,且生成的多模态融合特征能够更加全面且准确地表示物体的语义信息。在Cityscapes标准和扩展数据集上的实验结果表明,相较于逆变换网络（ITN）和对象上下文表示网络（OCRN）等方法,LGCAFN实现了最优的平均交并比（mIoU）,达到了84.0%和86.3%,表明LGCAFN能够准确地解析交通场景,有助于实现车辆自动驾驶。     

人脸部分遮挡条件下表情识别研究的新进展

随着人工智能技术的发展,人脸表情识别可以从图像或视频中抽取表情状态,识别对象心理情绪,从而达到更好的人机交互效果。然而多数方法只关注正面无遮挡的人脸表情识别,并不能适用于客观复杂的场景,极大地限制了算法的实用性。近几年,针对光照遮挡、噪声遮挡、姿态遮挡、实物遮挡等不同类型的遮挡,研究者们提出了各种新方法来挑战人脸部分遮挡下的表情识别,综述了这些方法的主要原理并进行了对比分析,同时对未来的研究和发展方向进行了展望。     

基于多模态特征的无监督领域自适应多级对抗语义分割网络

为了解决领域自适应中存在领域间视觉、空间以及语义特征分布差异的问题,提出了基于多模态特征的无监督领域自适应多级对抗语义分割网络。首先,设计3层结构的注意力融合语义分割网络来分别从源域和目标域学习上述三类特征。然后,在单级对抗学习中引入联合分布置信度和语义置信度的自监督学习方法,从而在领域间所学特征的分布距离最小化过程中实现更多目标域像素的分布对齐。最后,通过基于多模态特征的多级对抗学习方法对3路对抗分支与3个自适应子网进行联合优化,从而能够有效学习各子网所提取特征的域间不变表示。实验结果表明,与当前先进方法相比,所提网络在GTA5到Cityscapes、SYNTHIA到Cityscapes和SUN-RGBD到NYUD-v2的数据集上分别取得最优的平均交并比62.2%、66.9%和59.7%。