融合可变形卷积网络的鱼眼图像目标检测

环视鱼眼图像具有目标形变大和图像失真的缺点,导致传统网络结构在对鱼眼图像进行目标检测时效果不佳。为解决环视鱼眼图像中由于目标几何畸变而导致的目标检测难度大的问题,提出一种基于可变形卷积网络的鱼眼图像目标检测方法。将Cascade_RCNN中固定的卷积层和池化层分别替换为可变形卷积层和可变形池化层,使用Resnet50网络提取候选区域以获得检测框,级联具有不同IoU阈值的检测网络进行检测框抑制。在公开鱼眼图像数据集SFU_VOC_360和本文所采集的真实道路场景鱼眼图像数据集上进行实验,结果表明,该方法在鱼眼图像目标检测中具有有效性,目标检测准确率高于Cascade_RCNN网络。     

智轨电车多源环境感知系统

智轨电车的多源环境感知系统是车载平台与运行环境的交互纽带,其包括基于激光雷达的障碍物感知子系统、基于毫米波雷达的前侧向障碍物感知子系统以及基于多摄像头的360度环视子系统。基于激光雷达的障碍物感知子系统采用地面分割算法、点云聚类算法和数据关联算法,实现了对运行前方障碍物的检测和跟踪;基于毫米波雷达的前侧向障碍物感知子系统采用目标检测算法和跟踪算法,实现侧向以及前向障碍物探测;基于分布式鱼眼摄像头的360度环视子系统运用图像拼接算法,实现智轨电车周围障碍物感知和预警。实车试验结果表明,该环境感知系统可有效地提高智轨电车的运行安全系数,为车辆智能驾驶提供了全面的环境信息。     

基于参考点配准法的全景泊车系统研究

为了提高驾驶行车的安全性,研究并改进了一种全景泊车系统,由鱼眼摄像头,图像处理单元和显示器三大部分组成.鱼眼摄像头采集汽车四周的超广角图像;在OpenCV环境下通过鱼眼摄像头标定,桶型矫正和图像的透视变换技术形成汽车前后左右的4幅平面俯视图;提出了一种参考点配准的方法,可以根据平面俯视图得到汽车的360°全景图像,并在显示器上显示.与特征点匹配法相比,参考点配准方法受环境的影响很小且对硬件性能要求较低,因此,更适用于嵌入式系统实现.     

基于几何模型的鱼眼图像校正

在虚拟现实,机器人导航及视觉监控等领域,需要使用具有较大视角的鱼眼摄像机,这样得到的图像被称为鱼眼图像。鱼眼图像存在严重的变形和失真。本研究利用平面,柱面和球面经纬网格3种几何模型分别进行鱼眼图像校正,实现了真实场景的还原,并对校正结果进行分析和比较。     

应用经纬映射的鱼眼图像校正设计方法

为了消除鱼眼镜头带来的形变,该文提出了一种应用经纬映射的鱼眼图像校正设计方法,推导了消除变形的数学依据,总结出一种不需要任何标定数据,快速的纠正等角鱼眼变形的算法。使用经纬映射图像的校正方法,可以把扭曲的半球鱼眼图像投射为普通照片的四方形状,也即通过投射降低图像的扭曲程度,在视觉上基本达到实用要求。     

鱼眼变形立体图像恢复稠密深度图的方法

使用普通镜头立体视觉无法实现近距离或大视场的立体感知,鱼眼镜头立体视觉可以解决这一问题,因为鱼眼镜头的视场角可以达到180^0。鱼眼镜头获取大视场的同时也引入了严重的图像变形。文中讨论了一种使用三个鱼眼镜头摄像机构成的多基线立体视沉系统恢重近距离大视场稠密深度图的方法。为了高精度恢复稠密深度图,作者采用图像局部规范化方法、鱼眼变形图像校正方法、基于仿射变换区域匹配的相似性极小化准则,来实现鱼眼变形立体图像对应性求解。文中最后给出了用真实物体和场景的大变形图像来恢复稠密深度图的实验结果。     

面向智能驾驶的平行视觉感知：基本概念、框架与应用

目的 视觉感知技术是智能车系统中的一项关键技术,但是在复杂挑战下如何有效提高视觉性能已经成为智能驾驶领域的重要研究内容。本文将人工社会（artificial societies）、计算实验（computational experiments）和平行执行（parallel execution）构成的ACP方法引入智能驾驶的视觉感知领域,提出了面向智能驾驶的平行视觉感知,解决了视觉模型合理训练和评估问题,有助于智能驾驶进一步走向实际应用。方法 平行视觉感知通过人工子系统组合来模拟实际驾驶场景,构建人工驾驶场景使之成为智能车视觉感知的“计算实验室”;借助计算实验两种操作模式完成视觉模型训练与评估;最后采用平行执行动态优化视觉模型,保障智能驾驶对复杂挑战的感知与理解长期有效。结果 实验表明,目标检测的训练阶段虚实混合数据最高精度可达60.9%,比单纯用KPC（包括：KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）,PASCAL VOC（pattern analysis,statistical modelling and computational learning visual object classes）和MS COCO（Microsoft common objects in context））数据和虚拟数据分别高出17.9%和5.3%;在评估阶段相较于基准数据,常规任务（-30°且垂直移动）平均精度下降11.3%,环境任务（雾天）平均精度下降21.0%,困难任务（所有挑战）平均精度下降33.7%。结论 本文为智能驾驶设计和实施了在实际驾驶场景难以甚至无法进行的视觉计算实验,对复杂视觉挑战进行分析和评估,具备加强智能车在行驶过程中感知和理解周围场景的意义。     

七彩虹推出495元超频K8主板

多彩科技新近上市了一款适用于商务人士的多彩B16随身版时尚手机摄像头，其采用新一代130万像素1/4″CMOS图像传感器，640×480下VGA视频可达30fps传输率；镜头可360°全方位自由旋转。     

汽车环视技术发展趋势浅析

当我们在电脑上玩赛车游戏时,玩家视角通常是在汽车上方或尾部,由此我们便能够看到汽车的周边环境。这样的视角能够帮助我们实时了解交通情况,从而更好的驾驶汽车。遗憾的是,我们在现实生活中驾驶汽车时并没有这样的视角。不过,随着汽车环视系统(又称为“鸟瞰视图”或“环景”)的推出,这种情况如今正在逐步改变。环视是一种高级驾驶辅助系统(ADAS)技术,能够实时地向驾驶者展示汽车及周边的鸟瞰360°全景摄像机视图,以保障在泊车或其他低速行驶情况下的驾驶安全。在现实生活中,汽车的顶部并没有安装摄像头。驾驶员所看到的鸟瞰视图实际上是由4至6部安装在车身周围的鱼眼摄像机合成的虚拟视图,如图1所示。     

改进鱼眼变换技术的图像适应

目的 为解决目前基于鱼眼变换技术的图像适应方法难以解决的焦点检测和多焦点冲突两大问题,提出一种基于改进鱼眼变换技术的图像适应方法。方法 提出的方法根据源图像的能量计算出图像中所有最优高能量线并组成高能量线集合,作为源图像的高能量部分,即图像的焦点区域;以能量线而不是传统的图像区域为单位进行鱼眼变换以得到目标图像。结果 改变鱼眼变换技术的变换模式并应用于图像适应中,实验结果表明,本文方法解决了基于鱼眼变换技术的图像适应方法存在的问题,通过本文算法所得到的目标图像具有较好的视觉效果,用户满意度接近4分。算法运行速度较快,将源图像(512×384)长度缩小一半的情况下仅需6 s的运算时间。结论 本文方法一方面保留了鱼眼变换图像适应方法的优势,在突出显示图像重要部分的同时,不会忽略图像的次要部分;另一方面解决了鱼眼变换图像适应方法存在的焦点检测和多焦点冲突问题。实现效果和用户主观评价结果表明,该方法是一种有效可行的图像适应方法。     

一种新的基于语义聚类和图算法的自动图像标注方法

针对图像检索中的语义鸿沟问题,提出了一种新颖的自动图像标注方法。该方法首先采用了一种基于软约束的半监督图像聚类算法(SHMRF-Kmeans)对已标注图像的区域进行语义聚类,这种聚类方法可以同时考虑图像的视觉信息和语义信息。并利用图算法——Manifold排序学习算法充分发掘语义概念与区域聚类中心的关系,得到两者的联合概率关系表。然后利用此概率关系表标注未知标注的图像。该方法与以前的方法相比可以更加充分地结合图像的视觉特征和高层语义。通过在通用图像集上的实验结果表明,本文提出的自动图像标注方法是有效的。     

改进YOLOv5网络的鱼眼图像目标检测算法

针对目标检测算法应用在鱼眼图像数据集上检测精准率低、算法实时性差等问题,提出了在化工场景下利用改进网络YOLOv5进行鱼眼图像中的目标检测算法。由于无公开化工场景鱼眼图像数据集,提出了利用不同类型图像间像素点的坐标关系,将数据集转换为同鱼眼图像具有相同畸变效果的图像。为消除鱼眼图像中有效区域外的冗余信息,将线扫描算法应用到YOLOv5s数据预处理阶段。为在缩减模型的同时保证算法的检测精准率,提出了采用注意力机制scSE和空洞卷积来改进轻量级网络ShuffleNetV2,并利用改进后的轻量级网络代替原YOLOv5s中主特征提取网络。实验结果表明,在实验设置相同的条件下,改进后的算法在模型从27.4 MB缩减到14.2 MB的情况下,检测精准率从97.86%提高到98.46%。     

基于视点纠正的鱼眼图像场景化漫游方法

针对鱼眼图像畸变大、表示的场景信息不直观等特点,本文提出了一种 基于视点纠正的鱼眼图像场景化漫游方法。该方法以鱼眼图像所表示的半球空间为观察对 象,通过视点的转移在半球空间进行漫游,以对不同区域内的场景信息进行直观的观察。采 用鱼眼图像校正算法为基础建立鱼眼镜头的球面映射模型,通过映射关系对以视点为中心的 观察区域进行实时校正,当视点变化时对校正后的可视区域进行实时显示从而实现漫游。实 验结果表明,通过本文算法能够实现鱼眼图像所表示半球空间的实时漫游,且漫游时显示的 校正图像满足直线约束标准。     

鱼眼图像轮廓提取及校正研究

提出鱼眼图像轮廓提取的扫描线逼近算法,算法能够准确地求取鱼眼图像的圆心坐标和半径,特别是在鱼眼图像圆形轮廓区域内存在大量黑色像素点、统计算法失效的情况下,该算法仍能准确地提取图像轮廓,计算图像定位参数,具有明显的优越性.在此基础上,采用球面坐标定位校正方法进行图像扭曲变形校正,取得了较好的图像校正效果.     

面向智慧交通的图像处理与边缘计算

随着全球人口的持续增长和城市化进程的加速,道路拥挤、交通事故和污染排放增加等问题日益严重。智慧交通系统旨在借助先进的信息与通信技术建成高效安全、环保舒适的交通与运输体系,提供全方位的交通信息服务和安全高效、经济快捷的交通运输与出行服务。经过各国多年来的竭力推进与发展,智慧交通系统在交通管理、自动驾驶与车路协同等方向均得到广泛的应用。智慧交通的发展离不开通信、计算机与控制等研究方向的突破与创新。其中,图像处理作为智慧交通系统的核心技术之一,它的研究进展直接影响着智慧交通系统的部署。图像处理技术是指计算机对图像进行增强、复原、提取特征、分类和分割等技术处理,通过对交通视觉图像的处理,为智慧交通系统的感知、识别、检测、跟踪和路径规划等功能提供了最直接与重要的信息。此外,面对智慧交通系统所产生的大量数据计算任务,边缘计算技术则将中心云服务下沉至各边缘节点附近,不但能够优化算力负载分配,还能够满足智慧交通应用与服务对低时延、高响应速度的需求。本文从智慧交通系统的发展现状入手,分别围绕面向智慧交通的图像处理与边缘计算技术,阐述其研究热点与前沿进展,汇总与比较国内外的相关学术和产业成果,并对智慧交通...     

鱼眼投影在虚拟实景中的应用研究

为了生成大视野的虚拟场景扣逼真的模拟球面，本文把鱼眼投影应用到虚拟实景中，给出由经纬映射图像生成角鱼眼投影的算法，并且在实现了三维浏览扣缩放，最后通过实例证明了鱼眼投影虚拟空间的效果．     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

基于视觉-语义中间综合属性特征的图像中文描述生成算法

图像描述是计算机视觉、自然语言处理与机器学习的交叉领域多模态信息处理任务,需要算法能够有效地处理图像和语言两种不同模态的信息。由于异构语义鸿沟的存在,该任务具有较大的挑战性。目前主流的研究仍集中在基于英文的图像描述任务,对图像中文描述的研究相对较少。图像视觉信息在图像描述算法中没有得到足够的重视,算法模型的性能更多地取决于语言模型。针对以上两个方面的研究不足,该文提出了基于多层次选择性视觉语义属性特征的图像中文描述生成算法。该算法结合目标检测和注意力机制,充分考虑了图像高层视觉语义所对应的中文属性信息,抽取不同尺度和层次的属性上下文表示。为了验证该文算法的有效性,在目前规模最大的AI Challenger 2017图像中文描述数据集以及Flick8k-CN图像中文描述数据集上进行了测试。实验结果表明,该算法能够有效地实现视觉-语义关联,生成文字表述较为准确、内容丰富的描述语句。较现阶段主流图像描述算法在中文语句上的性能表现,该文算法在各项评价指标上均有约3%～30%的较大幅度提升。为了便于后续研究复现,该文的相关源代码和模型已在开源网站Github上公开。     

针对鱼眼图像边缘校正缺失的快速校正算法

针对鱼眼图像校正中水平方向畸变以及边缘缺失的问题,通过引入可控参数控制边缘部分的校正范围,同时融合三角计算以及参数变换,获取校正关系,使映射面与鱼眼图像达到最佳匹配结果.获取校正关系后运用双线性插值算法对校正图像进行插值运算以填充图像.实验表明,算法对视图主要区域和边缘部分畸变的校正取得较好效果,边缘部分信息流失较少,主视图区域畸变角度明显减小,校正后图像与未畸变源图像相比结构相似性高,尽可能大的保留鱼眼图像信息,算法效率提高,算法运行时间缩短近50%.该鱼眼图像校正算法在校正效率以及校正效果上都有显著提高,具有可行性和有效性.