基于协同感知的视觉选择注意计算模型

鉴于在任务相关的视觉注意中,需要建立基于任务的视觉注意显著图来引导视觉注意,为此利用与人认知过程相接近的协同感知理论来研究基于任务的视觉注意计算模型,即首先利用协同识别理论研究二义及多义模式的视觉感知,得到协同视觉感知理论;然后将协同视觉感知中的模式与从视觉注意模型中提取的底层视觉特征相对应,利用偏置矩阵的性质计算底层视觉特征间受任务影响而产生的偏置,再由此偏置和底层视觉特征生成基于任务的视觉注意显著图;最后提出了基于协同感知理论的视觉选择注意计算模型。该算法用于基于任务的视觉搜索的实验结果表明,该算法是有效的,在认知上是合理的。     

心理认知计算的研究现状及发展趋势

心理认知计算是智能化人机交互技术的一个重要组成部分,近年来得到广泛的关注.文中综述国内外心理认知计算的研究进展.首先介绍心理认知计算的相关概念,详细叙述心理状态理解的研究内容和机制.其次总结心理认知的神经生物学研究成果,对心理情感状态和心理认知状态的研究现状进行了比较,从模式提取和模型建立两方面对心理认知在人机交互中的发展趋势作了分析,提出多模态信息融合的多层级心理状态视觉认知计算模型框架.最后讨论研究心理认知计算的重要意义和当前存在的主要困难.     

计算视觉及其正则化方法

以视觉信息处理的理论研究为中心课题的计算视觉,是当今世界视觉研究的主流.它不仅在生物智能中为我们全面地理解视觉创造了条件,而且在人工智能中为我们开发自动图象分析系统奠定了基础.本文扼要地论述了 Marr 的视觉理论和 Poggio 的视觉正则化方法,目的是要说明计算方法是研究人和机器的视觉信息处理的一个自然方法.     

动态图像序列的视觉心理仿真模型研究

在生物视觉心理模型的研究中,为了准确地反映图像特征,通过对动态图像序列的视觉心理仿真的深入研究,在原有模型的基础上建立了并行式的动态图像序列处理机制.对静态以及运动处理通路的数学计算,获得了与运动目标整体一致的方向感知,建立了运动方向感知的视觉心理核心计算模型,并依据模型进行了仿真.从仿真输出几何图形的结构化场景到自然图像的真实场景,比较分析了几种动态图像序列.从计算机仿真的结果来看,模型计算比较准确,适应性较强,在一定程度上也说明了模型是符合生物视觉系统的心理处理机制的.     

基于局部异常行为检测的欺骗识别研究

基于局部异常行为检测的欺骗识别研究是计算机视觉与情感计算领域巾的一个新兴课题，其核心是利用计算机视觉技术从视频中检测、跟踪人的局部动作并进行分析，得出检测对象欺骗的可能性．它在安全监控、辅助面试、情感合成等领域均有着广阔的应用前景．从视觉技术的发展水平和常用处理方法入手，对欺骗识别研究的几个典型问题的研究现状进行了综述，并归纳了欺骗识别研究所涉及的相关理论与技术方案，最后结合课题研究给出了该研究的难点、急需解决的若干重要问题及未来的发展趋势．     

视觉审美体验的类脑计算模型研究进展

目前神经科学与信息科学交叉发展的一个重要方向是面向高级认知功能的神经系统模型的构建,其标志着人类对自身特有的心智活动的研究进入到一个新阶段。简要综述了关于视觉审美体验的生理基础研究的进展,指出大脑神经回路是视觉审美体验的生理基础,其所涉及的大脑皮层和脑组织在视觉情感感知中功能的科学解析是构建类脑计算模型的基础。分别介绍了神经信息学、神经认知科学和神经美学框架下的视觉审美体验的类脑计算模型,并对模型进行了比较分析。对视觉审美体验的类脑计算模型研究的发展趋势进行了展望,阐述了该领域研究的意义。视觉审美体验类脑模型的构建有助于揭示大脑皮层和脑组织在视觉情感感知中的功能,有助于实现视觉情感体验的认知模拟。     

混合增强视觉认知架构及其关键技术进展

智能视觉系统虽然在大规模信息的特征检测、提取与匹配等处理上具备一定优势，但是在深层次认知上仍存在不确定性和脆弱性，尤其是针对视觉感知基础上的视觉认知任务，相关数理逻辑和图像处理方法并未实现质的突破，智能算法难以取代人类执行较为复杂的理解、推理、决策和学习等操作。为助力智能视觉感知和认知技术的进一步发展，本文总结了混合增强智能在视觉认知领域的应用现状，给出了混合增强视觉认知的基本架构，并对可纳入该架构下的应用领域及关键技术进行了综述。首先，在分析智能视觉感知内涵和基本范畴的基础上，融合人的视觉感知与心理认知，探讨混合增强视觉认知的定义、范畴及其深化过程，对不同的视觉信息处理阶段进行对比，进而在分析相关认知模型发展现状的基础上，构建混合增强视觉认知的基本框架。该架构不仅可依靠智能算法进行快速地检测、识别、理解等处理，最大限度地挖掘"机"的计算潜能，而且可凭借适时、适当的人工推理、预测和决策有效增强系统认知的准确性和可靠性，最大程度地发挥人的认知优势。其次，分别从混合增强的视觉监测、视觉驾驶、视觉决策以及视觉共享等4个领域探讨可纳入该架构的代表性应用及存在的问题，指出混合增强视觉认知架构是现有技术条件下能够更好地发挥计算机效能、减轻人处理信息压力的方式。最后，基于高、中、低计算机视觉处理技术体系，分析混合增强视觉认知架构中部分中高级视觉处理技术的宏观、微观关系，重点综述可视化分析、视觉增强、视觉注意、视觉理解、视觉推理、交互式学习以及认知评估等关键技术。混合增强视觉认知架构有助于突破当前视觉信息认知"弱人工智能"的瓶颈，将有力促进智能视觉系统向人机深度融合方向发展。下一步，还需在纯粹的基础创新、高效的人机交互、柔性的连接通路等方面开展更加深入的研究。     

基于记忆机制的视觉信息处理认知建模

受人类认知环境方式的启发,将人类记忆机制引入到视觉信息处理过程,提出一种基于记忆机制的视觉信息处理认知模型,用于模拟人脑的一些认知过程.该模型主要包括5个部分:信息粒、记忆空间、认知行为、信息传递规则和决策过程.根据人脑三阶段记忆模型定义3个记忆空间:瞬时记忆空间、短时记忆空间和长时记忆空间,分别用于存储当前的、临时的和永久的视觉信息.该模型可记住或遗忘曾经出现过的场景,从而使其能快速适应场景变化.将其应用于计算机视觉研究中的两个关键问题:背景建模与运动目标跟踪.实验结果表明,该模型能较好解决复杂场景下背景或目标姿态突变以及目标被严重遮挡等问题.     

脑启发的视觉目标识别模型研究与展望

视觉目标识别是计算机视觉领域中最基本、最具有挑战性的研究课题之一。由于灵长类出色的视觉目标识别能力，对其神经功能机理的研究可能为类脑视觉带来革命性的突破。旨在系统地回顾最近在计算神经科学和计算机视觉交叉领域的工作，研究当前基于脑启发的目标识别模型及其依据的视觉神经机制。从认知功能和皮层动力学方面总结了灵长类视觉目标识别机制的基本特征和主要贡献；根据技术架构和开发方式总结了基于大脑启发的目标识别模型及其实现类脑目标识别的优缺点。进一步对人工神经网络与视觉神经网络进行相似性分析，研究了当前流行的CNN视觉基准模型在生物学上的可信性。总结了当前视觉目标识别常用的实验设计条件和数据分析方法，可以作为一个研究人员进行视觉目标识别研究时权衡时机和条件的使用指南。     

基于图像一致性计算的目标识别算法

视觉计算模型集合了人类视觉系统(HVS)的复杂特征,并模拟了视觉输入的分层感知表达。自底向上机制是现代模型中最常见的特征,是指无意识的注意,所提出的一致计算方法模拟自底向上视觉注意,并通过一致区域的计算来达到目标识别的目的。所提模型主要基于对HVS行为的目前的理解,使用对比敏感度函数、感知分解、视觉掩蔽形成一个神经性视觉空间,并在此基础上使用center-surround交互、感知编组和显著图的建立来得到最终的显著图。所提模型的性能通过使用自然图像来进行评估,并将其结果与参照的经典的自底向上模型进行对比,结果表明该模型实效性高。     

On Learning Visual Concepts and DNF Formulae

We consider the problem of learning DNF formulae in the mistake-bound and the PAC models. We develop a new approach, which is called polynomial explainability, that is shown to be useful for learning some new subclasses of DNF (and CNF) formulae that were not known to be learnable before. Unlike previous learnability results for DNF (and CNF) formulae, these subclasses are not limited in the number of terms or in the number of variables per term; yet, they contain the subclasses of k-DNF and k-term-DNF (and the corresponding classes of CNF) as special cases. We apply our DNF results to the problem of learning visual concepts and obtain learning algorithms for several natural subclasses of visual concepts that appear to have no natural boolean counterpart. On the other hand, we show that learning some other natural subclasses of visual concepts is as hard as learning the class of all DNF formulae. We also consider the robustness of these results under various types of noise.An earlier version of this paper appeared in the Proceedings of the Sixth Annual ACM Workshop on Computational Learning Theory, COLT93.Current address: Department of Computer Science, Technion, Israel. e-mail:eyalk@cs.technion.ac.il     

可视化编程中识别计算思维

计算思维已成为教育研究的流行词。可视化编程可使越来越多的学生学习计算思维。先前的研究大多集中于可视化编程产生的动机水平,并未研究学生从可视化编程中实际学到了什么样的计算思维。根据程序行为相似性语义分析学生使用可视化语言创建的游戏和模拟,提出了可视化自动评价方法,即计算思维模式图,来评价学生创建游戏和科学模拟中使用的计算思维模式,同时也指出学生从游戏设计到科学模拟中计算思维的转移。     

Axiomatic approach to computational attention

Here we describe, in terms of a decision problem, any situation in which a computational system will be forced to allocate attention at any time to one spatial location to improve the reconstruction fidelity on a neighborhood of the chosen point. The result is a rational model of computational attention in which a multi-bitrate attention map will provide us with the attention score for each spatial location at high and low quality versions of the image reconstruction. At any time a rational system should choose, even though without any outside knowledge, among alternative spatial locations in such a way as to avoid certain forms of behavioral inconsistency. We compare the performance between a rational approach of computational attention and various models for predicting visual target distinctness, using scenes that represent military vehicles in complex rural backgrounds.     

基于组件技术的跟踪可视化系统

跟踪监视运行中的数值计算需要与计算程序进行交互,在遗留的Fortran计算程序上实现这种交互必须改动计算程序源代码,而源代码改动的程度是必须考虑的一个重要方面.该文简要介绍一个跟踪可视化系统的设计与实现,该系统中包括一个独立的监视程序,并基于COM技术构造监视程序与FORTRAN计算程序之间的交互机制.系统对Fortran计算代码的修改十分简便,修改后的计算程序在运行期间,可以根据需要随时启动或关闭监视程序,用户通过监视程序可以选择所关注的计算数据,从不同的方面观察计算状况.     

Virtual environments for engineering applications

Virtual reality (VR), provides the user with an ego-centred human-computer interaction environment by presenting the data as a computer-generated 3D virtual environment. This enables the user to be immersed in this world via user position tracking devices and to interact with the data objects in the world in intuitive ways. This paper describes a selection of VR simulations for engineering applications implemented in CLRC which demonstrate the potential of VR interaction techniques to offer quicker and possibly better understanding of spatial relationships and temporal patterns inherent in large data sets. Two of the case studies have been implemented to support engineers communicate and review their designs with scientists, managers and manufacturers and to plan their assembly and maintenance work in hazardous physical environments. The other two applications are visualisation case studies based on data sets generated by computational engineering simulations. The case studies are real world applications, involving end-users of large or complex data sets. Insight gained into the user interaction requirements through the implementation and user comments is guiding ongoing research and development activity and this is discussed briefly.     

带有时变计算时延的倒立摆视觉实时控制研究

针对倒立摆视觉实时控制系统中,通过每帧图像处理检测小车位移和摆杆偏角带来的时变图像处理计算时间,直接影响控制系统采样周期和系统性能的问题,不同于目前不考虑图像处理计算时间或将其视为定时滞进行倒立摆视觉实时控制的研究方法,本文首先构建了倒立摆视觉伺服控制实验平台,考虑倒立摆的小车与摆杆特征,提出了小车位移和摆杆偏角的实时计算方法;然后统计分析了图像处理计算时间的特性并设计了视觉传感事件触发采样策略,进一步刻画了时变时延与计算时间的直接关系,进而建立了带有时变计算时延的倒立摆视觉控制系统闭环模型,证明了系统稳定性并建立了反映图像处理计算时间与系统稳定性之间的关系.最后,仿真和实时控制实验验证了所提方法的可行性和有效性.     

Top-Down modulation of neural responses in visual perception: a computational exploration

Visual perception is typically performed in the context of a task or goal. Nonetheless, visual processing has traditionally been conceptualized in terms of a fixed, task-independent hierarchy of feature detectors. We explore the computational implications of allowing early visual processing to be task modulated. Using artificial neural networks, we show that significant improvements in task accuracy can be obtained by allowing the weights to be modulated by task. The primary benefits are obtained under resource-limited processing. A relatively modest task-based modulation of weights and activities can lead to a large performance boost, suggesting an efficient means of increasing effective cortical capacity.     

AgentCubes: Incremental 3D end-user development

3D game development can be an enticing way to attract K-12 students to computer science, but designing and programming 3D games is far from trivial. Students need to achieve a certain level of 3D fluency in modeling, animation, and programming to be able to create compelling 3D content. The combination of innovative end-user development tools and standards-based curriculum that promotes IT fluency by shifting the pedagogical focus from programming to design, can address motivational aspects without sacrificing principled educational goals. The AgentCubes 3D game-authoring environment raises the ceiling of end-user development without raising the threshold. Our formal user study shows that with Incremental 3D, the gradual approach to transition from 2D to 3D authoring, middle school students can build sophisticated 3D games including 3D models, animations, and programming.     

A sliding window technique for interactive high-performance computing scenarios

Interactive high-performance computing is doubtlessly beneficial for many computational science and engineering applications whenever simulation results should be visually processed in real time, i.e. during the computation process. Nevertheless, interactive HPC entails a lot of new challenges that have to be solved – one of them addressing the fast and efficient data transfer between a simulation back end and visualisation front end, as several gigabytes of data per second are nothing unusual for a simulation running on some (hundred) thousand cores. Here, a new approach based on a sliding window technique is introduced that copes with any bandwidth limitations and allows users to study both large and small scale effects of the simulation results in an interactive fashion.