基于机器学习识别与标记分水岭分割的盲道图像定位

视觉导盲仪是一种旨在解决盲人出行困难的导盲设备,为了实现视觉导盲仪诱导盲人找到盲道并沿盲道行走,提出了一种基于机器学习识别与标记分水岭分割的盲道图像定位算法,通过离线训练与在线的识别、分割来定位盲道区域。首先对盲道图像进行视角变换的预处理,根据盲道的地面方程将变化的倾斜视角转换为固定的俯视视角,消除射影变换带来的失真;然后利用局部二进制模式描述子提取鸟瞰图的纹理特征,以自适应增强学习算法离线训练盲道识别分类器;进而利用分类器对鸟瞰图像进行在线识别,粗略确定盲道区域;最后将识别结果进行形态学处理后作为标记,利用标记分水岭算法得到精确分割的盲道区域并定位盲道中心线。在研制的视觉导盲仪上进行验证,结果表明盲道定位准确率达到了95.44%,速度平均每秒8帧,具有高准确率的同时达到实时性要求,为盲道的准确三维定位提供了必要条件。     

基于神经网络的智能盲人物体识别和避障仪设计

设计了一种智能盲人物体识别和避障仪,由STM32单片机、摄像头、语音播报模块、电子罗盘定位模块4个部分构成.单片机在摄像头采集的图像中通过算法可以对物体进行识别,准确知道物体的方位.以STM32为主芯片,在图像识别上运用神经网络的数据集来识别物体并采用特征点检测实现避障.采用电子罗盘定位模块确认物体方位的效果和对盲人的运动方向进行实时测量.要帮助盲人"看到"环境信息,分为3个流程:信息获取、信息处理及声音映射.首先辅助仪通过单个摄像头镜头获取周围环境图像,Elman神经网络算法对获取到的图像进行处理,其次STM32单片机通过语音播报模块进行语音播报,将图像信息转化为声音传递给盲人.盲人通过声音判断所处环境,并且做出避障和识别物体的行为,从而达到对日常出行的导盲作用.     

基于神经网络的智能盲人物体识别和避障仪设计

设计了一种智能盲人物体识别和避障仪,由STM32单片机、摄像头、语音播报模块、电子罗盘定位模块4个部分构成.单片机在摄像头采集的图像中通过算法可以对物体进行识别,准确知道物体的方位.以STM32为主芯片,在图像识别上运用神经网络的数据集来识别物体并采用特征点检测实现避障.采用电子罗盘定位模块确认物体方位的效果和对盲人的运动方向进行实时测量.要帮助盲人"看到"环境信息,分为3个流程:信息获取、信息处理及声音映射.首先辅助仪通过单个摄像头镜头获取周围环境图像,Elman神经网络算法对获取到的图像进行处理,其次STM32单片机通过语音播报模块进行语音播报,将图像信息转化为声音传递给盲人.盲人通过声音判断所处环境,并且做出避障和识别物体的行为,从而达到对日常出行的导盲作用.     

基于双目视觉方法的可穿戴式导盲机器人研究

针对现有导盲方式的不足,设计一种基于双目视觉方法的可穿戴式导盲机器人。该机器人借助左右两个图像传感器实现障碍物定位和场景三维重建,并将提取出的信息以振动和语音形式反馈给穿戴者。从硬件和软件角度分析了可穿戴式导盲机器人的技术路线,介绍了双目视觉的原理与算法基本步骤,分析了基于神经网络法的多传感器信息融合算法,最后建立了人机适应性的评价指标体系,为该可穿戴机器人的实际设计奠定了基础。     

多方向红外测距新型智能导盲杖

基于红外探测器的三角测距原理和光电传感技术,设计了一种新型的智能导盲系统。该导盲系统以Arduino单片机为控制核心,三个方向的红外探测器采集周围障碍物信息,通过一定的优化算法编写程序,读取周围障碍物信息,判断需要报警的方向,控制蜂鸣器和MP3模块的双语音报警系统,确定行走方向。该系统提高了报警的及时性和精确度,能够很好地引导盲人避开障碍物,安全快速地行走。     

直通道红外探测智能导盲器设计

针对盲人在直通道内的避障问题,介绍一种基于人机交互技术的红外探测智能导盲器的设计思路,即以GP2Y3A003K0F为红外测距传感器进行障碍物探测,并通过微处理器MC9S12XS128对探测的结果进行智能判断和处理,通过语音提示实现人性化的遇障语音提示以及蜂鸣器报警提示,协助盲人准确绕过直通道内设置的障碍物。该导盲器可检测的有效距离为0.5-2.2米,布局和外形设计为深层次开发和运用助盲、导盲装置奠定基础。     

爬壁机器人双目视觉障碍检测系统

针对壁面障碍物的不确定性,设计了一种爬壁机器人双目视觉障碍检测系统。具体包括搭建双目平行视觉系统,根据双目视觉理论对摄像机进行标定,获取相机标定参数;通过标定参数和极线约束对双目图像进行校正,解决图像畸变不共面问题;利用块搜索模型和相似度函数获取视差,保证视差获取的快速性与鲁棒性;最后提出一种障碍物检测算法:建立壁面检测模型约束检测范围,引入面积阈值,过滤干扰并实现障碍物提取,提出一种障碍物定位算法,通过宽度、深度与偏距三个方面对障碍物进行定位,同时,通过线性插值解决障碍物中心视差丢失问题。实验结果表明:在保证实时性的基础上,该系统能够有效检测前方障碍物且准确提取率能够达到95.9%,定位误差为4.91%,满足爬壁机器人检测要求。     

一种基于可视图法导盲机器人路径规划的研究

以自主设计的导盲机器人为实际应用背景,提出一种适用于室内导航的算法。该路径规划算法利用射频识别(radio frequency identification,RFID)系统,通过超高频射频识别系统与低频射频识别系统的联合运用实现准确定位,将可视图法与A*算法相结合,提出一种路径规划算法,在提高搜索效率的同时保证了规划路径的可行性。通过在平面障碍物环境下实验,验证了该算法的可行性。     

基于线性模板和模糊规则的虹膜坑洞纹理检测

基于虹膜表面特定形状纹理的虹膜识别方法是虹膜识别的一种有效手段。然而,由于虹膜纹理复杂多样,形态各异,因此如何快速、准确地检测出虹膜表面各种不同类型的特征纹理仍然是目前亟待解决的一个难题。针对坑洞纹理的检测,提出一种基于定长线性模板和模糊规则的虹膜坑洞纹理的检测方法,首先使用一个定长的线性模板提取出虹膜表面所有纹理的边缘。然后,根据坑洞纹理与其他类型的纹理在形状上存在的不同,定义相应的模糊规则,从各种不同类型的纹理中识别出坑洞纹理。该算法对图库中人工标定的坑洞纹理检测的正确率为86.06%;对色素斑、裂缝以及眼睑的排除率分别为84.62%,71.56%,100%。实验结果表明,该方法能够从背景复杂的可见光虹膜图像中识别出坑洞纹理,为虹膜的特征提取提供了一个新的思路。     

基于双目视觉的移动机器人障碍物检测研究

针对移动机器人立体视觉障碍检测的两个难点:匹配精度以及匹配算法的实时性问题,提出了一种基于图像分割和立体视觉相结合的障碍物检测方法.通过分割提取出了障碍物的大致形体并滤去地面上的冗余信息,这样就把立体视觉避障中匹配区域缩小到有用的障碍物区域中,提高了匹配速度和精度.同时,采用德州仪器的DSP-TMSDM642实现了该算法在移动机器人上的嵌入式实现.实验结果表明了该方法能够在室内环境下较好地分割出障碍物目标大致区域,计算出障碍物特征点的三维信息精度高,具有较强的自适应性.     

Vision-Based Obstacle Avoidance in Sidewalk Environment Using Top-View Transform and Optical-Flow

This paper presents a vision-based obstacle avoidance method for blind pedestrians in an outdoor sidewalk environment.Unlike many existing travel-aid systems using stereo-vision based methods,the proposed method is able to get obstacle position as well as user motion information by just one monocular camera fixed at the belly of the user.To achieve this goal,a top-view transformation of the road image is used for obstacle detection and user motion estimation,based on which a grid map is generated for navigation.For detection part,the bottom points of erect obstacles are detected by extracting local-maxima and minima on the top-view image while user motion is estimated by analysing the optical flow vector field in the user surrounding area.For the obstacle avoidance part,a step score is calculated on the grid map for evaluating the safety of next moving step.Experiments with several sidewalk video-clips show that the proposed obstacle avoidance method is able to provide useful guidance instructions under certain sidewalk environments.     

输电线路除冰机器人障碍视觉检测识别算法

障碍物检测识别是实现输电线路除冰机器人自主除冰作业的关键技术之一.针对220 kV输电线路的结构特点,提出了一种障碍物视觉检测识别算法.算法首先对机器人采集的原始图像进行中值滤波以减少图像噪声并减小障碍物内部的灰度差异;然后利用Otsu算法来确定Canny算子的参数,较好地提取出图像的边缘;最后利用改进的随机Hough变换(RHT)提取出几何图形基元,并施加一定的结构约束,实现了对障碍物的检测识别.在模拟线路上的实验结果表明,该方法能有效地对高压输电线路的导线以及防震锤、绝缘子等障碍物进行检测识别.     

用于弱纹理场景三维重建的机器人视觉系统

为了实现机器人在弱纹理场景中的避障和自主导航,构建了由双目相机和激光投点器构成的主动式双目视觉系统。对立体视觉密集匹配问题进行了研究:采用激光投点器投射出唯一性和抗噪性较好的光斑图案,以增加场景的纹理信息;然后,基于积分灰度方差(IGSV)和积分梯度方差(IGV)提出了自适应窗口立体匹配算法。该算法首先计算左相机的积分图像,根据积分方差的大小确定匹配窗口内的图像纹理质量,然后对超过预设方差的阈值与右相机进行相关计算,最后通过遍历整幅图像得到密集的视差图。实验结果表明:该视觉系统能够准确地恢复出机器人周围致密的3D场景,3D重建精度达到0.16mm,满足机器人避障和自主导航所需的精度。与传统的算法相比,该匹配方法的图像方差计算量不会随着窗口尺寸的增大而增加,从而将密集匹配的运算时间缩短了至少93%。     

Obstacle detection using multi-sensor fusion

This paper presents an obstacle detection approach for blind pedestrians by fusing data from camera and laser sensor.For purely vision-based blind guidance system,it is difficult to discriminate low-level obstacles with cluttered road surface,while for purely laser-based system,it usually requires to scan the forward environment,which turns out to be very inconvenient.To overcome these inherent problems when using camera and laser sensor independently,a sensor-fusion model is proposed to associate range data from laser domain with edges from image domain.Based on this fusion model,obstacle＇s position,size and shape can be estimated.The proposed method is tested in several indoor scenes,and its efficiency is confirmed.     

基于单目视觉的无人车环境感知技术研究

为提高无人车的主动安全性能,对其环境感知技术进行了研究,提出了一种在结构化道路上基于单目视觉的汽车前方可行区域内的障碍物检测方法;在确定路面感兴趣区域时,提出了基于模糊聚类的边界跟踪检测算法,实现对车道线的识别;针对序列图像帧间差分法的不足,提出了一种基于帧间差分法的二次改进算法,在突出障碍物特征信息后,采用了静态单帧图像特征处理算法,确定出障碍物位置。实验结果表明,该方法能够有效地识别出车道标志线以及感兴趣区域内的障碍物信息。     

仿复眼视觉系统的研究进展

复眼是昆虫重要的光感受器,由成千上万的小眼构成,具有大视野的动目标快速检测能力。仿复眼的多孔径系统在机器人视觉导航、大视角测量和全景成像等领域应用广泛。首先介绍了复眼的生物机理、成像特性及现有的大视场成像系统;其次介绍了微透镜阵列的仿复眼光学设计现状,分析了微透镜阵列的大视角与多景深的全景成像质量,指出目前曲面微透镜一体化制造存在的成像缺陷;最后提出结合曲面与平面微透镜阵列实现大视角、多景深分辨率的仿复眼系统的可行性。该成像系统不仅可以实现全景范围内的清晰成像,而且还具有全景范围内的目标位置估计能力。     

光电式智能盲人导航器的设计

采用STC12C5628AD单片机作为控制内核,开发出具有上、下、左、右、前多方位提示,能引导盲人行走的盲人导航器。系统核心之一是采用光电传感器检测障碍物,提供给盲人视觉功能;另一是通过控制器的分析和处理,判断障碍物的具体方位,通过耳机利用不同的提醒语音给盲人以信息反馈,具有便携、安全、方便、性价比高等优点。     

基于CNN的十字像中心检测

十字线中心检测是反射法测量透镜中心偏的重要组成部分,十字中心的检测精度决定了透镜中心偏的测量精度。针对边缘不规则、对比度差、信噪比低的图像,提出了基于深度卷积神经网络的十字线中心检测算法。算法的思想是,卷积神经网络可以在一定程度上解决传统算法局限于提取十字像边缘直线和角点特征的问题,实现对十字像整体特征的识别与定位,这可以相对减小图像噪声对十字像中心定位的影响,从而实现在图像质量比较差的情况下对十字像中心准确定位。实验结果表明,提出的算法能够在图像边缘不规则、对比度差、信噪比低等的条件下比较精确得到十字线中心点。     

应用半二次罚函数的图像盲去模糊

由于现有的模糊图像盲恢复算法计算复杂度高,计算量大,本文提出了一种基于半二次罚函数的图像盲去模糊算法,并进行了实验验证。应用图像噪声的多阶偏导数的高斯分布特性和图像梯度值服从hyper-Laplacian分布特性建立方程,使用高效交替迭代的算法对方程求解。由于迭代过程中采用快速傅里叶变换一次求解,故大大降低了运算时间,同时获得了很好的恢复效果,为实现实时视频图像去模糊奠定了基础。对一个百万像素级的图像进行了去模糊实验,结果显示,本文算法比当前流行的算法有更快的计算速度和更好的鲁棒性,计算时间缩短了60%。提出的算法为视频图像的实时盲恢复提供了新的工具。     

阶梯攀爬机器人结构及控制方案设计

针对阶梯攀爬机器人工作过程中的楼梯攀爬及避障问题,对阶梯攀爬机器人机械结构、机器人阶梯攀爬方式、差速驱动方式下机器人运动方程进行了分析,对阶梯攀爬机器人行驶过程中障碍物检测、避障控制策略进行了研究;基于模糊控制原理,建立了阶梯攀爬机器人模糊避障规则,提出了一种基于MC9S12XS128单片机以及超声波传感器的阶梯攀爬机器人障碍物检测、避障及楼梯攀爬控制系统,并利用所研制的阶梯攀爬机器人样机进行了机器人避障、楼梯攀爬测试。测试结果表明,基于变形轮与行星轮相结合的阶梯攀爬机器人机构可以实现阶梯攀爬机器人避障及攀爬楼梯的功能,控制系统可以准确、迅速判断障碍物以及楼梯所处位置,并依据所建立模糊避障规则完成避障及楼梯攀爬任务。