基于域无关循环生成对抗网络的跨模态医学影像生成

【目的】为解决跨模态医学影像生成任务中因利用未配对数据训练而导致生成图像结构不对齐、精确度低的问题。【方法】本文提出了一种基于域无关循环生成对抗网络的跨模态医学影像生成模型,通过对齐循环生成时的中间特征,约束模态转换前后图像的结构一致性。【结果】在脑部CT-MRI数据集上的实验结果表明,本文所提出的方法能够提升模型在跨模态转换前后图像结构的一致性,从而提高跨模态医学影像的生成质量。【局限】本文目前在脑部多模态数据集上进行了大量实验,还需要在其他数据集中进一步验证其通用性。【结论】本文提出的方法在各类衡量生成图像质量的指标上均优于目前性能最佳的跨模态医学影像生成模型。     

跨模态视觉问答与推理研究进展

随着社交媒体和人机交互技术的快速发展,视频、图像以及文本等多模态数据在互联网中呈爆炸式增长,因此多模态智能研究受到关注。其中,视觉问答与推理任务是跨模态智能研究的一个重要组成部分,也是人类实现人工智能的重要基础,已成功应用于人机交互、智能医疗以及无人驾驶等领域。本文对视觉问答与推理的相关算法进行了全面概括和归类分析。首先,介绍了视觉问答与推理的定义,并简述了当前该任务面临的挑战;其次,从基于注意力机制、基于图网络、基于预训练、基于外部知识库和基于可解释推理机制5个方面对现有方法进行总结和归纳;然后,全面介绍了视觉问答与推理常用公开数据集,并对相关数据集上的已有算法进行详细分析;最后,对视觉问答与推理任务的未来方向进行了展望。