记忆成像（英文）

感知和理解大规模动态场景需要高性能的成像系统。传统的成像系统通过简单地通过拼接相机提高像素分辨率来追求更高的性能,而牺牲了庞大的系统。此外,它们严格遵循前馈路径,即它们的像素级感知独立于语义理解。不同的是,人类视觉系统在前馈和反馈两种通路上都具有优势:前馈通路从视觉输入中提取物体表征(称为记忆印痕),而在反馈通路中,相关的印痕被重新激活以产生关于物体的假设。受此启发,我们提出了一种双通道成像机制,称为刻痕驱动摄像。我们从抽象场景的整体表示开始,它与本地细节双向关联,由实例级印痕驱动。从技术上讲,整个系统的工作原理是在兴奋-抑制和联想状态之间交替进行。在前一种状态下,像素级细节被动态整合或抑制,以加强实例级印记。在关联状态下,空间和时间上一致的内容在其印痕的驱动下被合成,以获得未来场景出色的录像质量。联想状态通过综合由其印痕驱动的空间和时间上一致的内容,作为未来场景的成像。大量的仿真和实验结果表明,该系统彻底改变了传统的录像模式,在多目标大场景的录像中显示出巨大的潜力。