基于混合增强智能的战场态势认知研究

针对战场态势感知存在的不足,将其拓展到战场态势认知范畴,提出了混合增强认知战场态势的概念。通过分析当前态势认知所遭遇的瓶颈,给出了混合增强战场态势认知的基本架构,并进一步探讨了混合增强战场态势认知存在的主要矛盾,可为战场态势认知体系构建提供参考。     

基于雷达与视觉融合的双模态煤矿井下环境感知技术

环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法,通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合,从而提高环境感知能力。为了更好地提取目标特征信息,提出了双模态融合环境感知网络架构技术路线：摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理,多模态特征融合网络模块提取融合信息中的目标特征,多任务处理网络模块采用不同的任务头处理目标特征信息,完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验,结果表明：基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%,10%,对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上,有效提升了煤矿井下环境感知能力,可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。     

恶劣场景下视觉感知与理解综述

恶劣场景下采集的图像与视频数据存在复杂的视觉降质,一方面降低视觉呈现与感知体验,另一方面也为视觉分析理解带来了很大困难。为此,系统地分析了国际国内近年恶劣场景下视觉感知与理解领域的重要研究进展,包括图像视频与降质建模、恶劣场景视觉增强、恶劣场景下视觉分析理解等技术。其中,视觉数据与降质建模部分探讨了不同降质场景下的图像视频与降质过程建模方法,涵盖噪声建模、降采样建模、光照建模和雨雾建模。传统恶劣场景视觉增强部分探讨了早期非深度学习的视觉增强算法,包括直方图均衡化、视网膜大脑皮层理论和滤波方法等。基于深度学习模型的恶劣场景视觉增强部分则以模型架构创新的角度进行梳理,探讨了卷积神经网络、Transformer 模型和扩散模型等架构。不同于传统视觉增强的目标为全面提升人眼对图像视频的视觉感知效果,新一代视觉增强及分析方法考虑降质场景下机器视觉对图像视频的理解性能。恶劣场景下视觉理解技术部分探讨了恶劣场景下视觉理解数据集和基于深度学习模型的恶劣场景视觉理解,以及恶劣场景下视觉增强与理解协同计算。论文详细综述了上述研究的挑战性,梳理了国内外技术发展脉络和前沿动态。最后,根据上述分析展望了恶劣场景下视觉感知与理解的发展方向。     

网络认知关键技术研究

针对传统网络资源利用率较低,网络重构与资源重组能力弱等特点,提出了网络认知的概念,构建了网络认知基本架构;以网络状态、用户行为及电磁环境等为感知对象,基于数据挖掘及智能信息处理等工具,重点讨论了网络态势感知、学习策略及多目标优化等关键技术,最后对网络认知在提升网络节点性能方面的基本原理进行了仿真验证。     

认知无线网络的认知能力保障方法研究综述

认知无线网络通过对无线环境的感知获得频谱空洞信息,并以动态频谱接入为关键技术,机会地使用空闲频谱,与传统的无线网络相比,具有更高的网络通信资源利用率。认知能力作为认知无线网络的本质属性,其安全保障直接关系到认知无线网络的实用化进程。由于网络结构的复杂性、节点的移动性等问题,认知能力在各个认知环节中均面临不同程度的安全威胁。首先从认知循环:认知通信、资源感知、推理决策和服务适配4个环节分析认知能力保障所面临的安全问题以及相应的解决方案,然后总结现有方法的不足和缺陷,提出认知能力保障策略基于信任机制的发展趋势;最后指出未来认知能力保障领域所面临的挑战,并对该领域的研究方向进行了展望。     

融合视觉认知的工程视图理解方法

基于人的理解过程和方法,文中提出了工程视图理解的新算法框架。它允许用户参与到理解过程中,在出现歧义时,根据人的视觉认知规律进行“猜测”和“推理”,可得到与人的理解结果更为一致的解,并允许加入剖视图的处理。该文着重介绍该方法的算法思想,以及基元的划分与生成、剖视图处理、视觉推理等关键算法步骤。     

光学视觉传感器技术研究进展

视觉传感是人类感知外界、认知世界的主要途径，研究表明人类获取的外界信息大约有80%来自于视觉。作为感知外界信息的“电子眼球”，视觉传感器是消费电子、机器视觉、安防监控、科学探测和军事侦察等领域的核心器件。近年来视觉传感器技术发展迅速，不同类型的传感器从不同维度提供丰富的视觉数据，不断增强人类感知与认知能力，视觉传感器研究工作具有重要的理论与应用需求。本报告以典型光学视觉传感器技术为主线，通过综合国内外文献和相关报道，从CCD图像传感器、CMOS图像传感器、智能视觉传感器以及红外图像传感器等研究方向，梳理论述近年来光学视觉传感器技术的发展现状、前沿动态、热点问题和趋势。     

智能视觉感知与理解研究态势分析

智能视觉感知与理解技术是人工智能、智慧城市、智慧交通、智能安防等领域的重要研究内容,具有重要的战略意义。介绍了各国智能视觉感知与理解相关政策规划,统计分析了中国国家自然科学基金相关规划项目;对大范围视频视觉感知与理解领域以及无人平台视觉感知与理解领域的Web of Science数据库收录论文进行了分析,对IBM、Google、华为、百度等领域主要公司相关产品进行了调研;从学术和产业两个角度,分别总结了智能视觉感知与理解的研究热点和发展态势。     

基于多分类器融合的多视角目标检测算法

在视觉感知获得图像视觉信息的基础上,提出了一种自底向上的视觉搜索与自顶向下的语义判定相联系的模型,该模型使图像区域和图像块与图像语义和图像类别之间建立感知联系,模拟注意焦点的移动,通过动眼扫描和搜索图像区域,对感兴趣的内容进行索引和存储,并在任务事件的驱动下进行联想,使图像理解融入了视觉感知和语义解释两个方面,符合人类的认知规律。     

车路两端纯视觉鸟瞰图感知研究综述

纯视觉鸟瞰图（bird’s-eye-view,BEV）感知是国内外自动驾驶领域的前沿方向与研究热点,旨在通过相机2D图像信息,生成3D空间中周围道路环境俯视视角下的特征表示。该领域在单车智能方向上迅速发展,并实现大量落地部署。但由于车端相机的安装高度受限,不可避免地面临着远距离感知不稳定、存在驾驶盲区等实际问题,单车智能仍存在着一定的安全性风险。路端摄像头部署在红绿灯杆等高处基础设施上,能够有效扩展智能车辆的感知范围,补充盲区视野。因此,车路协同逐渐成为当前自动驾驶的发展趋势。据此,本文从相机部署端和相机视角出发,将纯视觉BEV感知技术划分为车端单视角感知、车端环视视角感知和路端固定视角感知三大方向。在每一方向中,从通用处理流程入手梳理其技术发展脉络,针对主流数据集、BEV映射模型和任务推理输出三大模块展开综述。此外,本文还介绍了相机成像系统的基本原理,并对现有方法从骨干网络使用统计、GPU（graphics processing unit）类型使用统计和模型性能统计等角度进行了定量分析,从可视化对比角度进行了定性分析。最后,从场景多元、尺度多样分布等技术挑战和相机几何参数迁移能力差、计算资源受限等部署挑战两方面揭示了当前纯视觉BEV感知技术亟待解决的问题。并从车路协同、车车协同、虚拟现实交互和统一多任务基座大模型4个方向对本领域的发展进行了全面展望。希望通过对纯视觉BEV感知现有研究以及未来趋势的总结为相关领域研究人员提供一个全面的参考以及探索的方向。     

A computational cognition model of perception,memory, and judgment

The mechanism of human cognition and its computability provide an important theoretical foun- dation to intelligent computation of visual media. This paper focuses on the intelligent processing of massive data of visual media and its corresponding processes of perception, memory, and judgment in cognition. In particular, both the human cognitive mechanism and cognitive computability of visual media are investigated in this paper at the following three levels： neurophysiology, cognitive psychology, and computational modeling. A computational cognition model of Perception, Memory, and Judgment （PMJ model for short） is proposed, which consists of three stages and three pathways by integrating the cognitive mechanism and computability aspects in a unified framework. Finally, this paper illustrates the applications of the proposed PMJ model in five visual media research areas. As demonstrated by these applications, the PMJ model sheds some light on the intelligent processing of visual media, and it would be innovative for researchers to apply human cognitive mechanism to computer science.     

内外源注意的无人系统智能感知应用研究

针对未来无人系统智能化以及多无人系统协同感知与认知发展需求,亟需解决信息过载以及跨平台多源感知信息融合的科学问题,本文提出通过研究仿生内源性和外源性注意力的调节作用机理, 探索多源注意机制对无人系统智能感知系统调节作用机制,对其映射异构多源感知器与行为决策控制的作用机理进行研究；结合采用脑认知能够联合来自不同感官通道的线索对外部世界中的物体和事件实现快速高效信息过滤和异构多源认知,并采用不同的参照系来表征物体的特征和位置,构建一种基于仿生多源注意机制的智能感知与信息处理框架,对工程化实现无人系统智能感知与认知系统具有一定的设计参考价值。     

Hybrid-augmented intelligence: collaboration and cognition

The long-term goal of artificial intelligence (AI) is to make machines learn and think like human beings. Due to the high levels of uncertainty and vulnerability in human life and the open-ended nature of problems that humans are facing, no matter how intelligent machines are, they are unable to completely replace humans. Therefore, it is necessary to introduce human cognitive capabilities or human-like cognitive models into AI systems to develop a new form of AI, that is, hybrid-augmented intelligence. This form of AI or machine intelligence is a feasible and important developing model. Hybrid-augmented intelligence can be divided into two basic models: one is human-in-the-loop augmented intelligence with human-computer collaboration, and the other is cognitive computing based augmented intelligence, in which a cognitive model is embedded in the machine learning system. This survey describes a basic framework for human-computer collaborative hybrid-augmented intelligence, and the basic elements of hybrid-augmented intelligence based on cognitive computing. These elements include intuitive reasoning, causal models, evolution of memory and knowledge, especially the role and basic principles of intuitive reasoning for complex problem solving, and the cognitive learning framework for visual scene understanding based on memory and reasoning. Several typical applications of hybrid-augmented intelligence in related fields are given.     

一种面向临床决策推理的可视诊疗技术

海量医学信息的快速增长已远远超出人类认知能力,医疗服务环境和用户人群的复杂多样性使得海量数据难以在现有能力和工具的支持下满足广大用户对于信息服务的需求.临床诊疗服务的可视化、智能化程度不高导致现有的医学知识服务水平难以保证海量资源信息的充分利用.在分析了临床诊疗环境下人机协同认知特性的基础上给出了一种基于语义层次的信息组织方式;分析了符合该数据组织模式的可视形态及自然的可视交互技术;在上述工作的基础上构建了一个面向临床决策推理的可视诊疗分析框架,并给出了原型系统实例加以验证.结果表明,通过结合交互式可视化和自动分析技术,可以有效地帮助人们从海量数据中获取到有用的信息模式,减轻人们对数据进行分析的负担,为医疗诊断过程提供决策支持服务.     

一种新的人眼视觉运动认知特性实验分析方法

视觉感知过程源于对象自身的大范围拓扑性质,而场景对象发生运动状态变化时,其所在空间的大范围拓扑关系也将随之改变。为探索大范围拓扑性质和运动性质同时改变时人眼视觉的认知优先特性,基于虚拟现实技术及眼动跟踪技术,通过构建虚拟驾驶及眼动轨迹分析实验平台,结合拓扑复杂度和空间拓扑关系概念分别探讨二维和三维空间中人眼视知觉对物体运动的认知特性。在此基础上,采用响应面分析方法设计场景中自变量因子的随机实验数值,通过可视化方法对比多组认知场景的无感反馈眼动监测结果。实验结果表明,在Tobii眼动仪采集的545个眼动数据中,发生在运动物体上的数据有516个,相比于物体自身属性的大范围拓扑性质变化,人眼视知觉过程更优先识别物体运动的大范围空间拓扑关系变化。该运动认知优先特性为可靠人工智能驾驶中的视觉注视预测技术提供了新的研究思路,同时验证了所提实验分析方法的有效性。     

遥感影像生理认知概念模型和方法体系

目前遥感地学理解和分析研究的前沿是以遥感地学分析模型为支持,运用统计分析、神经计算、知识处理模型、地学优化等技术,对遥感信息、地学知识的相互作用进行综合运用,建立集成地学知识、地理信息和遥感信息等处理分析模型的智能化遥感影像地学理解与分析系统。地学认知问题是遥感地学理解和分析的核心问题。以神经计算和进化计算为理论基础,探讨如何从模拟生理视觉的角度实现对遥感影像的地学认知,初步提出了融合地学知识的遥感影像生理认知模型及其方法体系。     

智能数据可视分析技术综述

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.然而,可视分析仍然面临着许多挑战,例如数据准备代价高、交互响应高延迟、可视分析高门槛和交互模式效率低.为应对这些挑战,研究者从数据管理、人工智能等视角出发,提出一系列方法以优化可视分析系统的人机协作模式和提高系统的智能化程度.系统性地梳理、分析和总结这些方法,提出智能数据可视分析的基本概念和关键技术框架.然后,在该框架下,综述和分析国内外面向可视分析的数据准备、智能数据可视化、高效可视分析和智能可视分析接口的研究进展.最后,展望智能数据可视分析的未来发展趋势.     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

几何引导的主动式三维感知与交互

随着三维感知设备的发展和大规模三维数据的出现,基于三维重建与理解的视觉感知技术得到了大量关注。与此同时,智能图形逐渐改变了传统图形系统在交互中的被动角色,朝着任务引导的、感知驱动的智能体对真实或虚拟环境的主动交互发展。可以说,计算机图形学正在突破“信息表达”这一传统范畴,逐步拓展迈入“信息感知”领域;图形学的交互技术也由传统的人机交互,逐渐延伸和发展出面向智能任务的主动三维交互。其中,数据驱动三维几何分析与建模的理论和方法,特别是在线重建与分析技术,对三维感知和三维交互形成了重要支撑。本文从图形学和视觉融合的视角,结合研究案例,介绍了主动式三维感知与交互,讨论了“主动式”的特点、优势和挑战,并试图探讨这一方向的开放问题与发展趋势。     

Cognitive mechanism related to line drawings and its applications in intelligent process of visual media: a survey

Line drawings, as a concise form, can be recognized by infants and even chimpanzees. Recently, how the visual system processes line-drawings attracts more and more attention from psychology, cognitive science and computer science. The neuroscientific studies revealed that line drawings generate similar neural actions as color photographs, which give insights on how to efficiently process big media data. In this paper, we present a comprehensive survey on line drawing studies, including cognitive mechanism of visual perception, computational models in computer vision and intelligent process in diverse media applications. Major debates, challenges and solutions that have been addressed over the years are discussed. Finally some of the ensuing challenges in line drawing studies are outlined.