视觉感知的端到端自动驾驶运动规划综述

视觉感知模块能够利用摄像机等视觉传感器获取丰富的图像和视频信息,进而检测自动驾驶汽车视野中的车辆、行人与交通标识等信息,是自动驾驶最有效、成本最低的感知方式之一。运动规划为自主车辆提供从车辆初始状态到目标状态的一系列运动参数和驾驶动作,而端到端的模型能够直接从感知的数据获取车辆的运动参数,因而受到广泛的关注。为了全面反映视觉感知的端到端自动驾驶运动规划方法的研究进展,本文对国内外公开发表的具有代表性和前沿的论文进行了概述。首先分析端到端方法的应用,以及视觉感知和运动规划在端到端自动驾驶中的作用,然后以自主车辆的学习方式作为分类依据,将视觉感知的端到端自动驾驶运动规划的实现方法分为模仿学习和强化学习两大类,并对各类方法的不同算法进行了归纳和分析;考虑到现阶段端到端模型的研究面临着虚拟到现实的任务,故对基于迁移学习的方法进行了梳理。最后列举与自动驾驶相关的数据集和仿真平台,总结存在的问题和挑战,对未来的发展趋势进行思考和展望。视觉感知的端到端自动驾驶运动规划模型的普适性强且结构简单,这类方法具有广阔的应用前景和研究价值,但是存在不可解释和难以保证绝对安全的问题,未来需要更多的研究改善端到端模型存在的局限性。     

恶劣场景下视觉感知与理解综述

恶劣场景下采集的图像与视频数据存在复杂的视觉降质,一方面降低视觉呈现与感知体验,另一方面也为视觉分析理解带来了很大困难。为此,系统地分析了国际国内近年恶劣场景下视觉感知与理解领域的重要研究进展,包括图像视频与降质建模、恶劣场景视觉增强、恶劣场景下视觉分析理解等技术。其中,视觉数据与降质建模部分探讨了不同降质场景下的图像视频与降质过程建模方法,涵盖噪声建模、降采样建模、光照建模和雨雾建模。传统恶劣场景视觉增强部分探讨了早期非深度学习的视觉增强算法,包括直方图均衡化、视网膜大脑皮层理论和滤波方法等。基于深度学习模型的恶劣场景视觉增强部分则以模型架构创新的角度进行梳理,探讨了卷积神经网络、Transformer 模型和扩散模型等架构。不同于传统视觉增强的目标为全面提升人眼对图像视频的视觉感知效果,新一代视觉增强及分析方法考虑降质场景下机器视觉对图像视频的理解性能。恶劣场景下视觉理解技术部分探讨了恶劣场景下视觉理解数据集和基于深度学习模型的恶劣场景视觉理解,以及恶劣场景下视觉增强与理解协同计算。论文详细综述了上述研究的挑战性,梳理了国内外技术发展脉络和前沿动态。最后,根据上述分析展望了恶劣场景下视觉感知与理解的发展方向。     

基于深度强化学习的单目视觉自动驾驶决策系统

人工智能和自动驾驶的发展如火如荼,人工智能技术在自动驾驶技术中的应用也越来越多、越来越深入,因此本文提出一种基于深度强化学习的单目视觉自动驾驶决策系统,可以让自动驾驶车辆通过相机作为传感器输入,实现端到端的自动驾驶决策,并且通过设置奖励函数和训练使得车辆的学习效率越来越高,可以在车道内保持直线行驶。     

视觉注意与语义感知联合推理实现场景文本识别

场景中的不规则文本识别仍然是一个具有挑战性的问题。针对场景中的任意形状以及低质量文本,本文提出了融合视觉注意模块与语义感知模块的多模态网络模型。视觉注意模块采用基于并行注意的方式,与位置感知编码结合提取图像的视觉特征。基于弱监督学习的语义感知模块用于学习语言信息以弥补视觉特征的缺陷,采用基于Transformer的变体,通过随机遮罩单词中的一个字符进行训练提高模型的上下文语义推理能力。视觉语义融合模块通过选通机制将不同模态的信息进行交互以产生用于字符预测的鲁棒特征。通过大量的实验证明,所提出的方法可以有效地对任意形状和低质量的场景文本进行识别,并且在多个基准数据集上获得了具有竞争力的结果。特别地,对于包含低质量文本的数据集SVT和SVTP,识别准确率分别达到了93.6%和86.2%。与只使用视觉模块的模型相比,准确率分别提升了3.5%和3.9%,充分表明了语义信息对于文本识别的重要性。     

无人系统的视觉感知安全研究

随着现代科技的不断革新,以机器学习尤其是深度学习为代表的人工智能技术正在改变无人系统的发展,推动无人作战等作战形态快速演变,对未来战争带来颠覆性影响。然而由于深度学习的不可解释性、脆弱性等问题,人工智能技术在现实应用中产生了诸多不确定性和安全风险。本文聚焦人工智能技术在军事无人系统中的安全问题,从视觉感知的角度出发,重点分析了安全风险来源、对抗样本理论和视觉感知对抗攻击方法和防御对策,最后对无人系统领域人工智能应用的安全问题进行了总结。     

机器人视觉听觉融合的感知操作系统

智能机器人面对复杂环境的操作能力一直是机器人应用领域研究的前沿问题,指称表达是人类对指定对象定位通用的表述方式,因此这种方式常被利用到机器人的交互当中,但是单一视觉模态并不足以满足现实世界中的所有任务。因此本文构建了一种基于视觉和听觉融合的机器人感知操作系统,该系统利用深度学习算法的模型实现了机器人的视觉感知和听觉感知,捕获自然语言操作指令和场景信息用于机器人的视觉定位,并为此收集了12类的声音信号数据用于音频识别。实验结果表明:该系统集成在UR机器人上有良好的视觉定位和音频预测能力,并最终实现了基于指令的视听操作任务,且验证了视听数据优于单一模态数据的表达能力。     

AdvSce:面向自动驾驶系统的安全关键场景生成工具

AdvSce是一个面向自动驾驶系统的安全关键场景生成工具,能够在给定初始场景的基础上,以添加额外交通参与者的方式,生成挑战自动驾驶系统控制车辆(主车)安全性的扰动场景,用于自动驾驶系统的仿真测试.不同于既往研究中,首先确定场景参数空间,再使用黑盒优化算法生成安全关键场景的工具或方法, AdvSce可以基于对主车行为的分析,在场景生成过程中动态地构造能够挑战主车安全性的场景参数空间,从而实现高度自动化且高效的安全关键场景生成.我们使用AdvSce在LGSVL仿真器中生成了面向Apollo 7.0自动驾驶系统的测试场景.结果表明,相比现有的安全关键场景生成工具, AdvSce具有更高的安全问题场景生成效率.     

嵌入路网图模型的自动驾驶场景描述语言

深度学习的快速发展带动着自动驾驶技术的迅速进步.深度学习感知模型在识别准确率逐步提升的同时,也存在鲁棒性和可靠性不足等隐患,需要在大量场景下进行充分测试以确保达到可接受的安全标准.基于场景的仿真测试是自动驾驶技术的核心和关键,如何描述和生成多样化仿真测试场景是需要解决的关键问题之一.场景描述语言能够描述自动驾驶场景并在虚拟环境中实例化场景获取仿真数据,但现有的场景描述语言大都缺少对于场景道路结构的高层抽象和描述.提出路网属性图来表示路网中抽象出的实体及他们的关系,并设计能简洁描述场景路网结构的语言SceneRoad. SceneRoad可以基于描述的场景道路结构特征构建路网特征查询图.这样,在路网中搜索符合描述的场景道路特征的问题被抽象为路网图上的子图匹配问题,该问题可用VF2算法求解.进一步地,将SceneRoad作为扩展集成到Scenic场景描述语言中.使用拓展后的语言随机生成大量多样的静态场景并构建仿真数据集.仿真数据集的统计信息表明生成的场景具有丰富的场景多样性.不同感知模型在真实和仿真数据集上的训练测试结果表明,模型在两个数据集上的表现呈正相关,意味着模型在仿真数据集上的评估...     

一种用于复杂目标感知的视觉注意模型

针对自然场景图像中复杂结构目标的快速定位问题,提出一种新的视觉注意模型。对目标进行学习提取显著性图斑,将图斑的特征信息、异质图斑之间的相对位置关系引入视觉注意过程,采用基于图匹配的图斑搜索策略合并与目标特征相似的异质图斑,从而获得注意焦点。与自底向上的视觉注意模型进行实验对比,结果表明该模型能引入复杂结构目标的特征信息和结构信息,降低无效关注次数,提高视觉注意的效率。     

自动驾驶安全关键场景生成技术综述

安全关键场景生成是自动驾驶的重要方向,在自动驾驶测试、汽车安全性评估和汽车安全标准构建等领域都有着很高的应用价值,是关系自动驾驶应用落地的关键。现有研究缺乏重点围绕安全关键场景生成技术的综述,因此本文对安全关键场景生成技术进行了系统性综述。首先,分析了安全关键场景生成技术的综述相关研究;其次,对安全关键场景生成模型进行了对比分析;再次,分类总结了基于聚类、贝叶斯网络和对抗网络的安全关键场景生成方法的进展;最后,对安全关键场景生成方法研究趋势进行了展望。     

激光雷达在无人驾驶环境感知中的应用

激光雷达是实现无人驾驶环境感知的重要传感器,特别是通过与相机和毫米波雷达等实现感知信息融合之后,适用于复杂交通环境感知,可以检测交通环境中的不同目标,包括道路、可行驶区域、行驶环境中行人和车辆、交通信号灯和交通标志等交通要素。本文通过激光雷达的技术描述,介绍它在环境感知中的重要作用,分析了激光雷达标定及测试等技术基础,分析了激光雷达在环境感知中的应用,可以为相关技术应用提供参考。     

基于OpenCV精准对靶施药系统视觉模块设计

针对葡萄种植中切根虫的危害,采用基于OpenCV的图像处理方法设计葡萄树干精准对靶施药系统的视觉模块。通过图像处理实验,得出基于mean shift 的图像分割结果,边缘检测结果以及直线检测结果。实验结果证明该模块设计可有效的区别出葡萄园中弯曲的葡萄树干和笔直的树桩。     

面向网站图像数据的安全分析系统

随着网络大众媒体的出现与流行,产生了文字、图像、视频等各种类型的海量数据,这对于相关内容审查工作提出了严峻挑战,尤其是图像数据的内容审核与安全等更为困难.但目前针对图像数据的安全分析并不成熟,并且不法分子时常对正常运营的网站进行攻击,将合法图像篡改为违规图像,这严重危害网络安全.本文针对这一实际应用需求,设计并实现了一个面向网站图像数据的安全分析系统,该系统主要包括以下两个模块：（1）基于深度学习的图像内容检测引擎模块;（2）基于事件触发技术及外挂轮询技术的图像防篡改模块.该系统可快速审查图像数据内容是否合法并且自动监测图像数据是否被篡改.     

RFID系统安全与测评方法研究

随看RFID技术的发展和应用,RFID系统的安全和测评问题也逐渐显现并引起了人们的重视.根据RFID系统的构成对其面临的安全问题进行了详细分析,在此基础上研究了RFID系统的安全测评内容并构建了测评指标体系框架,然后从安全测试和安全评估角度介绍了RFID系统安全测评方法,为RFID系统安全保障提供了基础.     

基于轻量级加密技术建立物联网感知层信息安全的解决方案

本文提出了采用轻量级(密码编制简单、安全性高、运算速度快的单钥密码算法,如:RC4、RC5、SMS4算法等)加密技术,并采用一种安全单钥管理技术来解决轻量级密码的密钥更新管理的难题,在传感器或RFID读卡器设备端的智能芯片里和物联网认证中心端加密卡芯片里,建立传感设备认证、签名和加密协议、签名验证和解密协议,保证物联网感知层的设备可信,保证传感信息可信、完整和安全保密,从而,建立物联网感知层的信息安全系统。     

论现代设计中视知觉体验的突显与传达

在技术炫进视觉多元的现代语境下,设计中强调视知觉体验的互动传达正日渐突显,它遵从设计人本思想的理念,连结设计与受众并带来沟通方式的巨大转变,在开放的临境互动时代,突显视知觉体验的创意思维解读对于设计的表达以及传播有着实质的意义。     

基于EDA模块和计算机的综合保护器插件测试系统

采用EDA模块和计算机构成综合保护器插件测试系统 ,实现对煤矿中的各种高低压开关、磁力启动器等各种型号的电气综合保护插件的过载、漏电、短路、断相、绝缘监视等参数的检测