基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

基于激光雷达的托盘位姿识别算法及验证

托盘拾取是自动化仓储的重要环节之一,为提高叉车的托盘拾取能力,提出一种基于2-D激光雷达的托盘探测算法,实现托盘位置和姿态的识别。建立了托盘探测模型,确立了算法有效探测范围与激光点数量(分布于托盘支架正面)、托盘支架宽度和激光雷达分辨率的函数关系;通过改进的增量式直线提取算法,获取托盘姿态;根据托盘姿态,建立动态模板,以滑动窗口模式进行匹配,获取托盘位置。结果表明,有效探测范围,随激光点数量减小扩大,随托盘宽度增加而扩大,随分辨率增加而扩大;当激光扫描仪分辨率为0.33°,托盘支架宽度为90 mm时,实际探测范围符合托盘探测模型计算,x轴方向定位误差为±60 mm,y轴方向定位误差为±59 mm,托盘角度探测误差为±6°。本算法实现托盘位姿可靠识别,明确探测范围,为提高智能仓储装备拾取作业能力提供理论基础。     

基于点线特征融合的立体视觉里程计

大多数视觉里程计通过跟踪图像序列中点特征几何位置的变化实现对相机位姿的估计.线是点的集合,相对于离散的点,帧间线特征的位置变化更具有显著性,因而有利于提高特征检测跟踪的鲁棒性.另外,在一些弱纹理场景中,点特征不够丰富,作为对点特征的补充,提出了一种融合点线特征的立体视觉里程计算法.构建新颖的点线重投影误差模型作为目标函...     

基于信息融合的空中红外小目标识别

针对空中红外小目标很难识别且可信度低的特点,结合已有的识别算法,设计出一种新的小目标识别方法。将小目标的灰度、速度信息作为主要识别依据,并在此基础上加入轨迹信息作为补充依据。在利用灰度、速度信息后仍无法识别的情况下,将轨迹信息加入证据,进行非平等的D-S证据信息融合。仿真结果表明,新方法在不增加传感器数目的情况下将识别置信度平均提高了125%。     

基于偏振成像的低光照强背景噪声下的目标位姿估计

物体位姿信息在航空、航海、室内机器人定位等领域都有着十分重要的地位,越来越多的研究表明偏振是某些生物进行导航以及在低光照下拥有视觉的关键.本文提出了一种基于偏振成像的低光照强背景噪声环境下的物体位姿求解方法.该方法通过在普通光源前设置偏振片,使非偏振光转变为偏振光源.通过偏振相机对偏振光源进行偏振成像,利用计算机视觉技...     

基于机器人的对接位姿视觉测量系统标定研究

针对传统的相机内参矩阵和相机位置参数标定方法较为繁琐复杂且与相机内参标定互相割裂的痛点,本文设计了一种基于机器人的对接位姿视觉测量系统标定方法,利用采集得到的不同位姿关系下标定板图像以及对应的末端机器人末端执行器位姿数据,解算视觉位姿测量过程中涉及到的不同坐标系间位姿转换关系,一次性完成相机内参标定和相机位置参数标定....     

车辆组合导航系统中多传感器信息的自适应融合

首先介绍了车辆组合导航系统的工作原理及系统间的相互校正和切换问题,然后研究了联合卡尔曼滤波技术的应用,最后提出了一种自适应信息融合方法,实现了ＧＰＳ定位系统和航位推算系统间的最优综合校正。     

基于信息融合的身份识别技术

侧面人脸识别和人耳识别是生物特征识别技术领域中崭新的课题,目前国内外对这两种识别的研究很少,这里讨论了人耳识别和侧面人脸识别的可行性,并针对单一的生物识别技术识别率不高的现状,提出了将侧面人脸识别和人耳识别进行信息融合的新方法,这两种识别方法可以形成技术上的互补,这种融合可以实现一种"非打扰识别".     

融合机器视觉与邻近度估计的相似工业设备识别策略研究

由于工业现场设备存在外观相似和部署密集等特点,使得巡检机器人仅依靠机器视觉难以对工业现场的相似设备进行识别,进而影响了自主巡检的准确性和效率。针对上述问题,基于工业物联网的无线信号特征,提出了融合机器视觉与邻近度估计的相似工业设备识别策略。该策略首先通过机器视觉和高效透视N点投影算法估计巡检机器人的初始位姿,进而采用邻近度估计算法实现巡检机器人对邻近工业设备目标的识别。另一方面,该策略还包括了机器人角度校正与位置调整算法,以此保证邻近度估计的精度。实验结果表明,相比于基于机器视觉的传统识别方法,该策略能够在不同设备密度的场景下,提升2%～49%的相似工业设备识别精度,有效地解决巡检机器人对工业现场相似设备的识别问题。     

毫米波雷达与视觉传感器信息融合的车辆跟踪

为提高车辆前向防碰撞预警系统对前方道路环境感知的准确性,提出一种毫米波雷达与视觉传感器信息融合的车辆跟踪方法.提出的剔除雷达干扰目标算法缩短了对干扰目标的处理时间;提出的对称检测算法可对雷达目标兴趣区域进行对称检测,减小雷达目标兴趣区域的横向位置误差;提出的KCF-KF组合滤波算法可提高跟踪车辆的精度.实车试验表明,该...     

基于信息融合的前方车辆检测技术

为了避免出现交通事故,使车辆检测效率与准确率得到提高,提出基于车辆阴影、纹理、边缘等信息融合的前方车辆检测技术。基于机器视觉使用多特征结合方法对目标车辆进行确定,通过激光扫描得到车辆距离与宽度,对目标特征提取创建车辆验证函数。之后,根据车辆验证函数创建分类器,验证视觉图像跟踪车辆,之后融合视觉传感器和激光扫描信息。通过验证表示,能够对前方车辆精准检测,能够避免汽车碰撞。     

基于双目视觉的机械手识别、定位、抓取系统研究

针对多类堆叠工件分类和提取三维位姿困难的问题,对随机摆放规则物体的机器识别、三维定位和自动抓取等方面进行了研究,采用一种基于MLP分类器的视觉算法实现了工件识别。利用识别结果选取合适的透视可变形模板匹配将堆叠工件与背景分离,结合双目视觉中的立体匹配、深度计算和坐标变换完成了三维位姿估计,通过Halcon和Visual Studio联合编程的方式,进行了工件识别定位抓取实验系统的软件开发,设计了实验平台,对矩形工件和圆柱体对象进行了位姿提取和抓取实验。实验结果表明:该系统具有较好的分类效果和较高的识别定位精度,可以满足机器人对工件的在线抓取需求。     

基于扩展卡尔曼滤波的信息融合技术在车辆状态估计中的应用

车辆行驶中某些状态参量不易准确测得或测量成本较高,而这些变量的准确获取对车辆底盘控制有着重要的意义。为以较低成本获取重要的车辆运动状态,建立包括横摆、侧向和纵向3自由度的非线性车辆模型,利用扩展Kalman滤波(Extended Kalman filtering, EKF)理论建立了信息融合算法,给出车辆状态变量最小方差意义下的融合结果,利用少量的易测车辆状态信息(转向盘转角、车辆纵、侧向加速度)融合得出所需的难测车辆状态(横摆角速度、质心侧偏角)。并在Matlab/Simulink环境下利用实车场地试验数据进行了离线仿真。多种工况下的场地试验结果表明,该算法在估计汽车横摆角速度、质心侧偏角、纵向速度时具有一定的准确性,特别是对横摆角速度的估计,即使在车辆非线性区也表现出良好性能。同时该融合算法简单、稳定及所需融合输入较少的特点使该算法在实际中的应用成为可能。     

基于多源信息融合的行驶工况识别及其在整车转矩分配中的应用

传统的行驶工况判别方法多采用单参数或者双参数进行判别,为提高工况识别精度,针对混合动力汽车双动力源的特点,提出一种多源信息融合的汽车行驶工况识别方法,基于Daubechies小波对多传感器采集到的时间序列进行分解,利用单支小波重构的方法获得每个传感器不同频段下分解信号的数据特征信息,然后基于变属性权重的模糊C-均值聚类方法将不同传感器不同频段的数据特征信息进行一次聚类识别;最后对不同频段下同一工况的隶属度值加权,采用SOM自组织映射网络进行二次聚类融合实现最终的行驶工况识别。将本文所提方法应用于混合动力汽车整车转矩分配中,不同工况下调用不同的转矩分配三层前馈神经网络模型,以提高整车的经济性能。试验结果验证了本文所提方法的有效性。     

基于单目视觉的水下目标三维信息重建方法研究

基于手眼协调原理,提出了一种采用单目摄像机对具有几何形状约束特征的水下目标进行三维信息重建的方法。方法首先对水下目标进行二值化处理,并对二值图像的几何信息提取与处理,然后配合机械手的动作获取目标的空间位置信息,进而通过视觉引导机械手与目标成特定的相对姿态,最后通过摄像机的空间位置与姿态信息推断出目标的空间位置与姿态信息。这种方法避免了传统机器视觉存在的水下目标模糊、纹理特征不明显、图像匹配困难等问题,根据二值图像的几何信息能够更稳定有效的获取水下目标的三维位置姿态信息。     

测量误差不确定性加权的立体视觉位姿估计目标函数

针对视觉测量过程中配合目标特征点在成像时灰度模式的各向异性且非独立同分布对位姿估计求解的影响,建立了基于特征点测量误差不确定性加权的位姿估计目标函数。利用协方差矩阵描述特征点的方向不确定性,分析成像特征点的不确定性对目标函数的作用权重,并将特征点测量误差的不确定性融入到空间共线性误差函数中,进而构造了基于成像特征点测量误差不确定性加权的新目标函数。该方法适应于特征点测量误差具有不同程度的方向不确定性的情况,最后通过广义正交迭代算法对该目标函数进行迭代优化求解。实验表明,当测量空间为2 300 mm×1 400 mm×1 400mm,采用新目标函数得到靶标重投影后图像坐标的最大误差不超过0.11pixel,立体视觉系统对标准杆的相对测量精度优于0.01%。所得的结果验证了新目标函数的位姿估计精度高、稳定性强,适用于实际的工程应用。     

基于信息融合的小波神经网络航姿系统故障诊断方法研究

基于信息融合技术的思想,从航姿系统故障诊断的实际出发,建立了基于信息融合技术,集小波分析与神经网络于一体的紧密型小波神经网络,并给出了具体的算法。通过故障特征信息的有效组合,用各种子小波神经网络从不同侧面对设备故障进行初步诊断,然后对诊断结果进行决策融合。此诊断系统充分利用了各种特征信息,有效提高航姿系统故障检测和诊断效率,同时为非线性系统的故障诊断提供了新的理论和方法。     

基于视觉的挖掘机工作装置位姿测量

针对接触式传感器在恶劣环境中测量位姿不可靠这一问题,研究了通过非接触式的视觉摄像机来识别挖掘机工作装置位姿信息的方法。首先,采用摄像机拍摄挖掘机工作装置的2维图,将其经过图像处理得到二值化图像。然后,对图像进行轮廓提取,获得了工作装置关节点的像素坐标,并对比了不同算法的精确性。最后,通过理论计算推导出坐标系之间的转换矩阵,结合Open CV软件将像素坐标转换为世界坐标,并利用实验验证了其正确性。实验表明:该方法测量所得结果与全站仪测得结果的误差在30 mm内,两者吻合较好,可以应用于挖掘机位姿的实际测量中。     

基于三维模型的单目车辆位姿估计

车辆位姿估计是智慧交通系统的重要组成部分,然而复杂的运动场景以及单目相机存在无法获取深度信息等问题。本文提出了一种结合单目相机及车辆三维模型进行车辆位姿估计的方法。首先对多尺度的车辆目标进行尺度归一化,然后以向量场的形式回归车辆关键点的坐标提升在遮挡或者截断状态下的位姿估计精度。在此过程中提出使用基于距离加权的向量场损失函数和关键点误差最小化的投票方法,进一步提高了位姿估计算法的准确性。此外,本文制作了一个含有丰富标注信息的合成车辆位姿估计数据集,在其上的验证结果表明,本文算法的平均定位误差和角度误差分别为0.162 m和4.692°,在实际场景中有着非常大的应用价值。     

基于信息融合的两相流流型识别

本文提出了一种基于多传感器信息融合辨识两相流流型的新方法,它可以更有效的利用多传感器信息,以减小传感器不确定误差的影响,从而得出正确的辨识结论.