| 一种残差置乱上下文信息的场景图生成方法 |
| |
| 引用本文： | 林欣,田鑫,季怡,徐云龙,刘纯平.一种残差置乱上下文信息的场景图生成方法[J].计算机研究与发展,2019,56(8):1721-1730. |
| |
| 作者姓名： | 林欣 田鑫 季怡 徐云龙 刘纯平 |
| |
| 作者单位： | 苏州大学计算机科学与技术学院 江苏苏州 215006;苏州大学应用技术学院 江苏苏州 215300;苏州大学计算机科学与技术学院 江苏苏州 215006;符号计算与知识工程教育部重点实验室(吉林大学) 长春 130012 |
| |
| 基金项目： | 国家自然科学基金;国家自然科学基金;国家自然科学基金;吉林大学符号计算与知识工程教育部重点实验室项目;江苏高校优势学科建设工程项目 |
| |
| 摘 要： | 场景图在视觉理解中有着很重要的作用.现有的场景图生成方法对于主语、宾语以及主宾语间的视觉关系进行研究.但是,人类通过空间关系上下文、语义上下文和目标之间的互动信息来进行关系的理解和推理.为了获得更好的全局上下文表示,同时减少数据集偏差的影响,提出了一个新的场景图生成框架RSSQ(residual shuffle sequence model).该框架由目标解码、残差置乱和位置嵌入3部分构成.残差置乱模块由随机置乱和残差连接的双向LSTM的基本结构叠加而成,利用迭代方式实现随机打乱双向LSTM的隐藏状态以减少数据集偏差影响,利用残差连接提取共享的全局上下文信息.在位置嵌入模块中,通过对目标的相对位置和面积比例的编码则可以增强目标对之间的空间关系.在数据集Visual Genome的3个不同层次子任务的实验中,证明了提出的RSSQ方法因全局上下文改善和空间关系增强,在Recall@50和Recall@100指标评价下,相对于现有方法能生成更好的场景图.
|
| 关 键 词： | 场景图 视觉关系 上下文 残差双向LSTM 目标检测 |
Scene Graph Generation Based on Shuffle Residual Context Information |
| |
| Lin Xin,Tian Xin,Ji Yi,Xu Yunlong,Liu Chunping.Scene Graph Generation Based on Shuffle Residual Context Information[J].Journal of Computer Research and Development,2019,56(8):1721-1730. |
| |
| Authors: | Lin Xin Tian Xin Ji Yi Xu Yunlong Liu Chunping |
| |
| Affiliation: | (School of Computer Science and Technology, Soochow University, Suzhou, Jiangsu 215006;Applied Technology College of Soochow University, Suzhou, Jiangsu 215300;Key Laboratory of Symbol Computation and Knowledge Engineering (Jilin University), Ministry of Education, Changchun 130012) |
| |
| Abstract: | Lin Xin;Tian Xin;Ji Yi;Xu Yunlong;Liu Chunping(School of Computer Science and Technology, Soochow University, Suzhou, Jiangsu 215006;Applied Technology College of Soochow University, Suzhou, Jiangsu 215300;Key Laboratory of Symbol Computation and Knowledge Engineering (Jilin University), Ministry of Education, Changchun 130012) |
| |
| Keywords: | scene graph visual relationship context residual bidirectional LSTM object detection |
| 本文献已被 维普 万方数据 等数据库收录！ |
|
