一种面向自动驾驶推理任务的工作流调度策略

目前自动驾驶推理任务调度中要解决的关键问题是如何在不同的时间窗内,让实时推理任务满足可容忍时间约束的前提下,在相应的处理设备上被调度执行完成.在不同时间窗内,依据边缘节点的数量变化以及推理任务的不同,设计了一种边缘环境下基于强化学习算法的工作流调度策略.首先,利用推理任务工作流调度算法计算任务的完成时间;其次,采用基于模拟退火的Q学习算法(Q-learning based on simulated annealing,SA-QL)来优化推理任务的完成时间;最后,从可行性、收敛性、有效性和探索性四个角度来体现基于模拟退火的强化学习算法(Reinforement learning based on simulated annealing,SA-RL)和粒子群优化算法(Particle Swarm Optimization,PSO)的性能差异.实验结果表明,模拟退火的强化学习算法和粒子群优化算法都具有可行性和有效性,单步时序差分算法(TD(0))具有更强的探索性,多步时序差分算法(TD(λ))具有更强的收敛性.     

基于改进Efficientdet的自动驾驶场景目标检测

针对自动驾驶场景中车载平台计算资源有限及小目标检测精度较低等问题,提出一种基于Efficientdet的单阶段目标检测框架Efficientdet-Gs.通过重构倒转残差瓶颈MBConv来改进主干网络Efficientnet,在不牺牲精度的同时降低了网络的参数量和计算量;设计多尺度注意力机制模块应用于特征融合网络,进一...     

A Survey on Visual Traffic Simulation: Models,Evaluations, and Applications in Autonomous Driving

Virtualized traffic via various simulation models and real-world traffic data are promising approaches to reconstruct detailed traffic flows. A variety of applications can benefit from the virtual traffic, including, but not limited to, video games, virtual reality, traffic engineering and autonomous driving. In this survey, we provide a comprehensive review on the state-of-the-art techniques for traffic simulation and animation. We start with a discussion on three classes of traffic simulation models applied at different levels of detail. Then, we introduce various data-driven animation techniques, including existing data collection methods, and the validation and evaluation of simulated traffic flows. Next, we discuss how traffic simulations can benefit the training and testing of autonomous vehicles. Finally, we discuss the current states of traffic simulation and animation and suggest future research directions.     

一种汽车驾驶模拟器视景的三屏幕实现方法

本文介绍了一种简易的驾驶模拟器视景的三屏幕实现方法,它利用一台主机配专用显卡来实现。在实际效果中三投影的沉浸感比单投影有显著提高。     

事件本体中的动作推理研究

事件是随时间变化而变化的具体事实,事件是由动作、时间及其它要素组成,动作是事件定义中的主要构成部分.在面向事件的知识库系统中,关于动作的推理研究一直是重要的研究课题之一.现有的动作推理形式化系统旨在描述和推理现实世界中状态的变化,忽略了时间要素对推理过程的影响.针对这种不足,本文在描述逻辑的基础上扩充了一个Action-TBox和一个Action-ABox,并将事件本体中的动作要素和时间要素相结合,形式化定义了动作的一个三元组表示方式以及多种时间构造算子,用以刻画组合动作的发生过程,在此基础上研究了事件本体中关于动作的几种推理服务.     

室内场景生成算法综述

室内场景生成任务是近年来热门的研究课题.它不仅能为计算机视觉任务提供天然带有标注的室内场景数据集,帮助其更好地理解场景,还能应用到诸多现实场景中,如机器人导航等.室内场景布局的多样性使得场景生成成为一项非常具有挑战性的任务.该文梳理了近年来在室内场景生成算法领域中的研究进展,从场景输入、场景上下文关系、场景表达方式、场...     

环境智能中上下文推理方法研究综述

上下文推理是环境智能研究的核心问题之一,与环境智能系统的觉察、响应及适应能力紧密相关,近年来受到国内外研究者的广泛关注。文中分析介绍上下文推理的主要研究内容、研究方法和研究进展,并探讨目前存在的问题及未来的发展方向。     

A Survey of 3D Indoor Scene Synthesis

Journal of Computer Science and Technology - Indoor scene synthesis has become a popular topic in recent years. Synthesizing functional and plausible indoor scenes is an inherently difficult task...     

自然场景图像中的文本检测综述

本文对自然场景文本检测问题及其方法的研究进展进行了综述.首先,论述了自然场景文本的特点、自然场景文本检测技术的研究背景、现状以及主要技术路线.其次,从传统文本检测以及深度学习文本检测的视角出发,梳理、分析并比较了各类自然场景文本检测方法的优缺点,并介绍了端对端文本识别技术.再次,论述了自然场景文本检测技术所面临的挑战,探讨了相应的解决方案.最后,本文列举了测试基准数据集、评估方法,将最具代表性的自然场景文本检测方法的性能进行了比较,本文还展望了本领域的发展趋势.     

基于多视角RGB-D图像帧数据融合的室内场景理解

对于智能机器人来说,正确地理解环境是一项非常重要且充满挑战性的能力,从而成为机器人学领域一个关键问题.随着服务机器人进入家庭成为趋势,让机器人能够依靠自身搭载的传感器和场景理解算法,以自主、可靠的方式感知并理解其所处的环境,识别环境中的各类物体及其相互关系,并建立环境模型,成为自主完成任务和实现人-机器人智能交互的前提.在规模较大的室内空间中,由于机器人常用的RGB-D(RGB depth)视觉传感器(同时获取彩色图像和深度信息)视野有限,使之难以直接获取包含整个区域的单帧图像,但机器人能够运动到不同位置,采集多种视角的图像数据,这些数据总体上能够覆盖整个场景.在此背景下,提出了基于多视角RGB-D图像帧信息融合的室内场景理解算法,在单帧RGB-D图像上进行物体检测和物体关系提取,在多帧RGB-D图像上进行物体实例检测,同时构建对应整个场景的物体关系拓扑图模型.通过对RGB-D图像帧进行划分,提取图像单元的颜色直方图特征,并提出基于最长公共子序列的跨帧物体实例检测方法,确定多帧图像之间的物体对应关联,解决了RGB-D摄像机视角变化影响图像帧融合的问题.最后,在NYUv2(NYU depth dataset v2)数据集上验证了本文算法的有效性.     

A Fast Panoptic Segmentation Network for Self-Driving Scene Understanding

In recent years, a gain in popularity and significance of science understanding has been observed due to the high paced progress in computer vision techniques and technologies. The primary focus of computer vision based scene understanding is to label each and every pixel in an image as the category of the object it belongs to. So it is required to combine segmentation and detection in a single framework. Recently many successful computer vision methods has been developed to aid scene understanding for a variety of real world application. Scene understanding systems typically involves detection and segmentation of different natural and manmade things. A lot of research has been performed in recent years, mostly with a focus on things (a well-defined objects that has shape, orientations and size) with a less focus on stuff classes (amorphous regions that are unclear and lack a shape, size or other characteristics Stuff region describes many aspects of scene, like type, situation, environment of scene etc. and hence can be very helpful in scene understanding. Existing methods for scene understanding still have to cover a challenging path to cope up with the challenges of computational time, accuracy and robustness for varying level of scene complexity. A robust scene understanding method has to effectively deal with imbalanced distribution of classes, overlapping objects, fuzzy object boundaries and poorly localized objects. The proposed method presents Panoptic Segmentation on Cityscapes Dataset. Mobilenet-V2 is used as a backbone for feature extraction that is pre-trained on ImageNet. MobileNet-V2 with state-of-art encoder-decoder architecture of DeepLabV3+ with some customization and optimization is employed Atrous convolution along with Spatial Pyramid Pooling are also utilized in the proposed method to make it more accurate and robust. Very promising and encouraging results have been achieved that indicates the potential of the proposed method for robust scene understanding in a fast and reliable way.     

A Survey of Techniques for Event Detection in Twitter

Twitter is among the fastest‐growing microblogging and online social networking services. Messages posted on Twitter (tweets) have been reporting everything from daily life stories to the latest local and global news and events. Monitoring and analyzing this rich and continuous user‐generated content can yield unprecedentedly valuable information, enabling users and organizations to acquire actionable knowledge. This article provides a survey of techniques for event detection from Twitter streams. These techniques aim at finding real‐world occurrences that unfold over space and time. In contrast to conventional media, event detection from Twitter streams poses new challenges. Twitter streams contain large amounts of meaningless messages and polluted content, which negatively affect the detection performance. In addition, traditional text mining techniques are not suitable, because of the short length of tweets, the large number of spelling and grammatical errors, and the frequent use of informal and mixed language. Event detection techniques presented in literature address these issues by adapting techniques from various fields to the uniqueness of Twitter. This article classifies these techniques according to the event type, detection task, and detection method and discusses commonly used features. Finally, it highlights the need for public benchmarks to evaluate the performance of different detection approaches and various features.     

鲁棒声学事件检测综述

声学事件是指一段单一完整并能够引起人们感知注意的短时连续声音信号,而声学事件检测是指对这些声学事件进行识别.随着便携式摄像机与视频网站的迅猛发展,基于内容的声学事件检测在各领域的应用日趋广泛,例如个性化多媒体搜索、数字图书馆、网络管理与信息安全等.近年来,尽管研究者们提出了很多声学事件检测方法,但是由于采集设备、采集环境与传输条件等的千差万别,新环境下的音频数据日趋繁杂,使得类内数据差异较大且类间数据易混,从而导致传统识别方法的性能急剧下降,因此迫切需要研究当前环境下的鲁棒声学事件检测方法.     

3D Semantic Scene Completion: A Survey

International Journal of Computer Vision - Semantic scene completion (SSC) aims to jointly estimate the complete geometry and semantics of a scene, assuming partial sparse input. In the last years...     

基于PC的模拟驾驶视景仿真技术研究

在模拟驾驶系统中,为了满足驾驶模拟系统对真实性、实时性和交互性的要求,增强驾驶的沉浸感和交互感,视景仿真系统的好坏是至关重要的。为此以MultiGen Creator为建模软件,Vega为视景驱动开发平台,详细讨论了其中所涉及的许多关键性技术,并结合多年开发的经验给出了解决方案。     

利用地面景象信息辅助的无人机自主定位技术

针对无人机自主定位过程中GPS定位系统失效的问题,提出了一种利用地面景象信息辅助的无人机自主定位技术,首先利用无人机所拍摄的实时航拍图像,与预先储存在无人机计算机中地面景象的数字化地形图进行匹配,从匹配结果中提取一个同名像点,结合地面景象数字化地形图所提供的数据信息获取此同名像点的地理位置坐标,根据同名像点位置与无人机位置间的几何关系,结合机载光电测量系统的坐标转换过程,实现无人机的自主定位过程。利用已知的地面同名像点的地理位置信息,反推出无人机的地理位置信息具有一定的创新性。由于整个定位过程存在实际误差,因此利用无人机飞行时记录的数据,采用蒙特卡罗法对定位误差进行仿真试验。试验结果表明该技术能够在误差允许范围内,在GPS定位系统失效的情况下完成无人机的自主定位     

无人驾驶中的场景实时语义分割方法

无人驾驶的一个重要组成部分是汽车行驶环境感知,使人们对可在低功耗移动设备上实时运行的高精度语义分割方法产生了强烈的需求.然而,在分析影响语义分割网络精度和速度的因素时可以发现,空间信息和上下文特征很难兼顾,而使用2路网络分别获取空间信息和上下文信息的方法,又会增加计算量及存储量.因此,提出从残差结构网络中划分出空间信息路径和上下文信息路径的想法,并基于此设计一个双路语义分割网络.该网络还含有用于融合2路多尺度特征的特征融合模块,以及用于优化上下文语义路径输出结果的注意力精炼模块.该网络基于PyTorch框架实现,使用NVIDIA 1080Ti显卡进行实验,在道路场景数据集Cityscapes上,mIoU达到78.8％,运行速度达到27.5帧/s.     

面向知识图谱的知识推理研究进展

近年来,随着互联网技术和应用模式的迅猛发展,引发了互联网数据规模的爆炸式增长,其中包含大量有价值的知识.如何组织和表达这些知识,并对其进行深入计算和分析,备受关注.知识图谱作为丰富直观的知识表达方式应运而生.面向知识图谱的知识推理是知识图谱的研究热点之一,已在垂直搜索、智能问答等应用领域发挥了重要作用.面向知识图谱的知识推理旨在根据已有的知识推理出新的知识或识别错误的知识.不同于传统知识推理,由于知识图谱中知识表达形式的简洁直观、灵活丰富,面向知识图谱的知识推理方法也更加多样化.本文将从知识推理的基本概念出发,介绍近年来面向知识图谱知识推理方法的最新研究进展.具体地,本文根据推理类型划分,将面向知识图谱的知识推理分为单步推理和多步推理,根据方法的不同,每类又包括基于规则的推理、基于分布式表示的推理、基于神经网络的推理以及混合推理.本文详细总结这些方法,并探讨和展望面向知识图谱知识推理的未来研究方向和前景.     

基于改进型自主发育网络的机器人场景识别方法

场景识别是移动机器人在陌生动态环境中完成任务的前提. 考虑到现有方法的不足, 本文提出了一种基于改进型自主发育网络的场景识别方法, 它通过引入基于多优胜神经元的Top-k竞争机制、基于负向学习的权值更新、基于连续性样本的加强型学习等步骤实现对场景的快速识别, 并使该方法具有更好的适应能力. 对于这种基于改进型自主发育网络的场景识别方法, 通过实验进行了对比测试. 结果表明, 这种改进型自主发育神经网络节点利用率高, 场景识别准确可靠, 可以较好地满足机器人作业的实际需求.     

事件与事件本体模型研究综述

现有领域本体缺乏对动态特征的描述,存在网球问题以及不能明确支持空间和时间关系分析的现象。为此,引出事件本体的概念。对事件的定义与事件本体的研究现状进行描述,从不同领域对事件的定义进行说明,并对不同领域的事件定义进行分析与比较,强调事件在实际应用中需要注意的内容。介绍现有的事件本体表示模型,对各表示模型从事件表示方法、适用领域等12项内容进行阐述,给出事件本体的发展趋势与应用前景。