基于选择性融合及关系推理的群组行为识别

为解决如何选取更具辨别力的多模态人物特征,以及在进行人物关系推理时如何更加关注特定于个人的时空交互建模的问题,提出了基于选择性特征融合的动态关系推理算法框架(SFDRI)。通过设计选择性特征融合模块,根据不同模态特征的随机函数概率分布得分,添加重采样方法以选取最相关的特征表示实现多模态特征的选择融合,并采用动态关系推理模块实现针对个人的复杂时空推理,通过在时空图上初始化交互域,利用点积计算预测人物交互关系矩阵,并同时添加每个人物特征的动态偏移以形成特定于个人的交互图,通过迭代更新交互图上的特征进行最终的群组行为的识别。结合对比实验,算法在公开的排球数据集(volleyball dataset, VD)和集体活动数据集(collective activity dataset, CAD)上分别提升了1.2%和1.5%的平均识别精度,证明了算法框架的有效性。     

基于分流的高光谱遥感图像超分辨重建

高光谱图像（hyperspectral image,HSI）每个像素包含大量光谱带,而HSI的空间分辨率较低。高光谱图像超分辨率技术可以有效提高空间分辨率。为了解决高光谱遥感图像的空间信息分布不均匀,超分辨率重建时占据相同计算量导致重建工作不够细化的问题,提出了一种多层级分流和细节增强的高光谱遥感图像超分辨率重建框架。即通过子图分流网络对高光谱遥感图像进行预先分流,改进带细节增强的多尺度Retinex算法对图像的高低频信息进行分离,再使用不同复杂程度的分支网络分别进行重建,重建工作更加细化具体,提高重建效果和性能。实验证明该方法可以在视觉质量、指标测量和分类应用方面优于传统的基于CNN的方法,在SRE和MPSNR指标方面分别提高了4.18%和9.35%。