融合双层信息的显著性检测

目的 针对已有工作在颜色及结构显著性描述方面的缺陷,提出一种新的图像显著性检测方法。方法 本文方法在不同的图像区域表达上从颜色与空间结构角度计算图像的显著性,充分考虑图像的特征与像素聚类方式之间的适应性。首先,根据颜色复杂度、边缘与连通性等信息,将图像从像素空间映射到双层区域表示空间。然后,根据两个层次空间的特性,与每个图像区域的边界特性,计算图像的结构和颜色显著度。最后,由于不同图像表示中的显著性信息存在互补性,将所有这些信息进行融合得到最终的显著性图。结果 在公认的MSRA-1000数据集上验证本文方法并与目前国际上流行的方法进行对比。实验结果表明,本文方法在精确率、召回率以及绝对误差(分别为75.03%、89.39%、85.61%)等方面要优于当前前沿的方法。结论 提出了一种融合双层信息的显著性检测算法。根据图像本身信息控制区域数目构建图像双层表示,提高了方法的普适性;利用图像不同层次的特性从不同角度计算显著性,增强了方法鲁棒性。     

环视图表示下的无监督三维物体检索

为了解决基于多视图的三维物体检索方法过度依赖基于人工标注的有监督训练的问题,提出了一种基于环视图的无监督三维物体检索算法.首先,训练面向多圈环视图的无监督深度网络模型,通过随机数据混合增强学习不同形状之间的内在联系;其次,基于最优匹配方法计算物体间的相似性,其中,最优匹配是利用2个物体环视图间最小距离的平均值计算得到;最后,利用环视图特征过滤算法去除冗余数据,能够在保持精度稳定的情况下,有效地减少相似性匹配的计算代价.在ModelNet40数据集和SHREC15数据集上进行实验,文中方法精度指标mAP分别为41.2％和54.5％.实验结果表明,该无监督三维物体检索方法取得了优异的性能,有效地降低了人工标注的成本.     

融合知识表征的多模态Transformer场景文本视觉问答

目的 现有视觉问答方法通常只关注图像中的视觉物体,忽略了对图像中关键文本内容的理解,从而限制了图像内容理解的深度和精度。鉴于图像中隐含的文本信息对理解图像的重要性,学者提出了针对图像中场景文本理解的“场景文本视觉问答”任务以量化模型对场景文字的理解能力,并构建相应的基准评测数据集TextVQA(text visual question answering)和ST-VQA(scene text visual question answering)。本文聚焦场景文本视觉问答任务,针对现有基于自注意力模型的方法存在过拟合风险导致的性能瓶颈问题,提出一种融合知识表征的多模态Transformer的场景文本视觉问答方法,有效提升了模型的稳健性和准确性。方法 对现有基线模型M4C(multimodal multi-copy mesh)进行改进,针对视觉对象间的“空间关联”和文本单词间的“语义关联”这两种互补的先验知识进行建模,并在此基础上设计了一种通用的知识表征增强注意力模块以实现对两种关系的统一编码表达,得到知识表征增强的KR-M4C(knowledge-representation-enhanced M4C)方法。结果 在TextVQA和ST-VQA两个场景文本视觉问答基准评测集上,将本文KR-M4C方法与最新方法进行比较。本文方法在TextVQA数据集中,相比于对比方法中最好的结果,在不增加额外训练数据的情况下,测试集准确率提升2.4%,在增加ST-VQA数据集作为训练数据的情况下,测试集准确率提升1.1%;在ST-VQA数据集中,相比于对比方法中最好的结果,测试集的平均归一化Levenshtein相似度提升5%。同时,在TextVQA数据集中进行对比实验以验证两种先验知识的有效性,结果表明提出的KR-M4C模型提高了预测答案的准确率。结论 本文提出的KR-M4C方法的性能在TextVQA和ST-VQA两个场景文本视觉问答基准评测集上均有显著提升,获得了在该任务上的最好结果。     

热模态特征与非刚体模型检索EI北大核心CSCD

针对当前基于热分布的三维非刚体模型检索方法存在多方面的缺陷,并且在识别精度方面的表现不突出的问题,提出一种热模态特征.首先在已有热核相关特征的基础上提出了归一化热分布函数及相应的积分核函数,其次构造结构化热分布矩阵,最后采用最大的特征值序列作为热模态特征.该特征具有多重优良特性,如内蕴不变性、形状区分性好,并且对噪声有较好的抵抗力.在本领域内2个公认数据集上的实验结果表明,与基于热分布的方法相比,文中特征无论在检索精度还是在稳定性方面都得到了大幅度提升;与国际前沿方法相比,该特征在取得较高检索精度的同时也具有更好的稳定性.