浅谈建筑空间的视知觉表达

对建筑空间中人的视知觉进行了研究,并对比例、尺度、序列、图和底的关系,光影、色彩、材质、符号等建筑空间形态要素及其表达进行了分析介绍,指出建筑师是利用空间中视知觉的规律和特点,用空间形态的语言来表达其设计思想,从而在设计当中自然得以体现。     

图像质量评价研究综述——从失真的角度

随着多媒体技术的快速发展及广泛应用,图像质量评价因其在多媒体处理中的重要作用得到越来越多的关注,其作用包括图像数据筛选、算法参数选择与优化等。根据图像质量评价应用时是否需要参考信息,它可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价,前两类分别需要全部参考信息和部分参考信息,而第3类不需要参考信息。无论是全参考、半参考还是无参考图像质量评价,图像失真对图像质量评价的影响均较大,主要体现在图像质量评价数据库构建和图像质量评价模型设计两方面。本文从图像失真的角度,主要概述2011—2021年国内外公开发表的图像质量评价模型,涵盖全参考、半参考和无参考模型。根据图像的失真类型,将图像质量评价模型分为针对合成失真的图像质量评价模型、针对真实失真的图像质量评价模型和针对算法相关失真的图像质量评价模型。其中,合成失真是指人工添加噪声,如高斯噪声和模糊失真,通常呈现均匀分布;真实失真是指在图像的获取中,由于环境、拍摄设备或拍摄操作不当等因素所引入的失真类型。相对合成失真,真实失真更为复杂,可能包括一种或多种失真,数据收集难度更大;算法相关失真是指图像处理算法或计算机视觉算法在处理图像时,由于算法本身的缺陷或性能不足等原因而出现在结果图像中的降质,相对合成失真和真实失真,算法相关失真的显著特点是该类型失真呈现非均匀分布。本文介绍现有的图像质量评价数据库,包括图像数据来源和数据库构建细节等;然后重点介绍图像质量评价模型的设计思想。最后总结了介绍的图像质量评价模型,并指出未来可能的发展方向。     

融合视觉词与自注意力机制的视频目标分割

目的 视频目标分割(video object segmentation,VOS)是在给定初始帧的目标掩码条件下,实现对整个视频序列中感兴趣对象的分割,但是视频中往往会出现目标形状不规则、背景中存在干扰信息和运动速度过快等情况,影响视频目标分割质量。对此,本文提出一种融合视觉词和自注意力机制的视频目标分割算法。方法 对于参考帧,首先将其图像输入编码器中,提取分辨率为原图像1/8的像素特征。然后将该特征输入由若干卷积核构成的嵌入空间中,并将其结果上采样至原始尺寸。最后结合参考帧的目标掩码信息,通过聚类算法对嵌入空间中的像素进行聚类分簇,形成用于表示目标对象的视觉词。对于目标帧,首先将其图像通过编码器并输入嵌入空间中,通过单词匹配操作用参考帧生成的视觉词来表示嵌入空间中的像素,并获得多个相似图。然后,对相似图应用自注意力机制捕获全局依赖关系,最后取通道方向上的最大值作为预测结果。为了解决目标对象的外观变化和视觉词失配的问题,提出在线更新机制和全局校正机制以进一步提高准确率。结果 实验结果表明,本文方法在视频目标分割数据集DAVIS (densely annotated video segmentation)2016和DAVIS 2017上取得了有竞争力的结果,区域相似度与轮廓精度之间的平均值J&F-mean (Jaccard and F-score mean)分别为83.2%和72.3%。结论 本文提出的算法可以有效地处理由遮挡、变形和视点变化等带来的干扰问题,实现高质量的视频目标分割。     

视觉语言多模态预训练综述

在多模态机器学习领域,为特定任务而制作的人工标注数据昂贵,且不同任务难以进行迁移,从而需要大量重新训练,导致训练多个任务时效率低下、资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练,对数据集中不同模态的信息进行提取和融合,以学习其中蕴涵的通用知识表征,从而服务于广泛的相关下游视觉语言多模态任务,这一方法逐渐成为人工智能各领域的主流方法。依靠互联网所获取的大规模图文对与视频数据,以及以自监督学习为代表的预训练方法的进步,视觉语言多模态预训练模型在很大程度上打破了不同视觉语言任务之间的壁垒,提升了多个任务训练的效率并促进了具体任务的性能表现。本文总结视觉语言多模态预训练领域的进展,首先对常见的预训练数据集和预训练方法进行汇总,然后对目前最新方法以及经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行汇总。最后,总结了视觉语言预训练面临的挑战和未来发展趋势。     

脉冲视觉研究进展

视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。     

守望形胜·因借地景——浅山区乡村景观 规划空间控制的方法研究

以探讨中国传统营造中“模数化”的空间规划控 制方法在浅山区乡村景观规划中的应用为核心，尝试将传统 营造方法转译于现代实践当中，以期改变浅山区乡村景观空 间控制的无序性和规划与自然山水环境割裂等问题。在传统 “模数化”规划方法的指引下，提出理想情况下浅山区乡村 景观规划“守望形胜、因借地景”2个层面的空间控制路径和 “胜”“势”与“视”3个层级的模数控制，并将其灵活运用 于嵩山浅山区金银花溪乡村景观规划项目的空间规划控制当 中，旨在激发传统营造的现代应用价值，构建浅山区乡村景观 空间呈现内外联动、互通共融、协调统一的风景整体。     

大型综合文化·艺术区建筑创意基本要素的探讨——从香港西九龙文娱艺术区实验性设计谈城市中的场所性

城市的可识别性场所的营造,应该在其场地、设计内容、周围环境以及人的活动机制等基础上衍生出来。场所能否吸引人在此聚集,是场所营造的明确目标之一。对于这种具有真实意义的问题,需要用理性和科学性的观点及方法来探讨其中最基本同时也是最重要的内容。     

室内视觉环境的舒适性研究

从定位定时、接触自然、放松和休息、安全和引导四方面探讨了人体需要与室内视觉舒适性之间的关系，总结了舒适室内环境所必须具备的条件，为人性化室内设计提供有益方法。     

基于视觉显著模型的音视频交叉水印算法

提出一种基于Itti视觉显著模型的音视频交叉水印算法.首先利用音频码流的低通幅值特性生成水印,并嵌入到视频码流中;其次解码视频码流的关键帧Ⅰ帧,获取YUV序列上的亮度(Y)分量,并对其进行显著性分析;最后分块对非显著区域进行DCT变换,并通过量化索引调制嵌入水印.实验结果表明,该算法将嵌入水印后的关键帧平均PSRN值提高了1.678 5 dB,缓解了水印不可见性和鲁棒性的矛盾,实现了音视频码流之间的交叉保护.     

基于机器视觉识别的小型机器人分拣搬运系统的研制

提出一种小型机器人分拣搬运系统的设计和研制方法。它基于机器视觉识别技术对工件进行辨识,用四自由度机器人进行搬运和分拣。主要研究内容有分拣系统的总体设计、部件和附件的设计、视觉系统的基本原理和编程、四自由度机器人的示教以及I/O通信和编程等。该系统己应用,效果良好。