眼科手术机器人双目视觉标定方法研究

双目视觉系统通过相机模拟人眼,基于视差原理,从不同角度采集被测物体的两幅图像获取其二维信息,建立特征点的对应关系,计算出位置偏差,从而实现三维重建。眼科手术机器人双目视觉系统选用的标定方法是以张正友摄像机标定方法为基础,利用Harris角点检测方法实现亚像素点的精确化,对采集图像进行畸变矫正。将得出的标定结果与常用传统标定方法MATLAB相机标定工具箱Toolbox_calib的标定结果进行比较,分析像素误差。结果表明:使用新算法标定后的结果更加稳定,像素误差更小,精度更高,适用情况更加广泛,可用于眼科手术机器人的双目视觉标定系统中。     

基于结构光的定位抓取系统设计

针对多种类、形状各异、散乱放置、高度不一致的异构件在弱纹理、反光等复杂场景中难以实现精确抓取的问题,开发设计了一套双目结构光定位抓取系统。在相机标定获取相机参数后,通过双目结构光实现异构件的三维重建,再创建点云模板与三维点云进行配准,获取抓取位姿,最后控制机器人完成抓取。实验结果表明,左右相机标定的误差为0.05 pixel和0.04 pixel,手眼标定的旋转均方根误差为0.146°,实现了异构件的抓取,验证了整体方案的可行性。     

工件的视觉定位及机器人控制的应用研究

机器人通过视觉对工件定位信息和工作环境进行分析,完成相关工作任务成为机器人发展的方向.论文通过双目相机的开发平台Triclops SDK进行二次开发,在PC上实现了机器人对工件位置信息的快速获取;通过ABB机器人控制软件Robotstudio以及PC SDK的二次开发,实现对机器人的控制;研究了以公共点为基础的七参数法,采用标定件的方式实现了相机-机器人坐标系的标定.实验证明了系统的可行性和有效性.     

基于神经网络的立体视觉摄像机标定

摄像机标定是立体视觉研究的重要组成部分。根据神经网络与摄像机标定的特点,提出了基于神经网络的双目立体视觉摄像机标定方法,构建了三种不同的神经网络,并在试验中利用BP算法和实际数据对各种方法进行了分析和比较。     

基于BP神经网络的外姿态测量系统线阵CCD标定

在基于线阵CCD相机的空间物体外姿态测量系统中,线阵CCD相机的标定是空间合作目标定位的一个重要步骤。利用神经网络所具有的处理复杂非线性映射问题的能力,提出了基于反向传播(BP)神经网络的线阵CCD标定方法。该方法能够很好地描述外姿态测量系统中三维空间合作目标与像点之间的映射关系,无需建立复杂的数学模型,可直接恢复空间合作目标的三维信息,从而计算空间物体的姿态信息。实验结果表明:基于BP神经网络的线阵CCD标定方法与传统的DLT方法比较精度可提高41.7%。     

基于点云中心的激光雷达与相机联合标定方法研究

针对激光雷达与相机联合使用遇到的点云稀疏、相机受环境光照影响失真等问题,提出一种基于点云中心的激光雷达与相机自动配准方法,避免了传统联合标定需要手动选择特征点以及连续采集多帧等问题。该方法在对点云与图像预处理后,利用平面法向量的一致性实现多标定板点云自动分割,提取标定板在激光坐标系和相机坐标下的点云;然后通过点云聚集迭代求解中心点,实现两个传感器标定板对应点云中心的粗配准;最终利用迭代最近点算法进行精配准,获得标定参数,完成联合标定。实测表明,在激光雷达误差±3 cm范围内,点云正确投影比例达到97.93%,可以有效获取高精度联合标定参数,满足空间环境对激光雷达和相机数据融合的要求。     

高速列车动态包络线测量一种现场快速标定方法

列车动态包络线是评定列车安全运行的一项重要指标,基于双目立体视觉的方法是目前能够实现速度超过200 km/h列车动态包络线测量的唯一方法.因受到大视场和标定时间的严格限制,便携的标定设备、易于搭建的靶标和快速的标定算法便成为标定过程需要满足的三个条件.本文提出一种新的基于双目立体视觉的大视场现场快速标定方法,设计轻型便携靶标,靶标上40个反光标记点表示铁轨坐标系,并用于计算双相机内外参数.并且,双相机仅需同时拍摄一张靶标图像,就能实现双相机内外参数快速一体化标定.实验结果表明,该方法测量精度可达±1 mm,能够满足高速列车动态包络线测量现场标定要求.     

一种基于双目相机与单点激光测距仪的标定方法

近年来,随着工业机器人技术的不断完善,利用相机与激光测距仪结合测量的应用不断增多。为了使两者之间配合的更加便利,两者之间的标定是必不可少的。本文提出了一种基于双目相机与单点激光测距仪的标定方法,以双目相机光心为原点,建立相机坐标系。将单点激光测距仪光点打到标定板上,并在标定板上形成光斑,通过灰度重心法提取光斑中心像素点,利用双目相机的内参矩阵及深度数据获取光斑点的三维坐标值。然后利用两个三维坐标点建立公式求取外参参数的粗略解,同时通过相机坐标系下多个光斑点的三维坐标建立约束方程,并利用优化算法对约束方程进行优化,得到精确的外参参数值。该方法做法简单,且对标定器件无特殊要求,通过该方法得到的外参参数精度高,鲁棒性好。实测结果表明,通过该算法得到的外参参数进行重投影后,平均相对误差小于0.30%,能够应用于实际生产过程中。     

基于二维图像的三维重建技术研究

针对在拍摄过程中,三维图像转化为二维图像时容易丢失深度信息,使得通过该二维图像重建出所对应的三维图像比较困难的问题。依据双目视觉技术,采用两个摄相机来完成研究对象的三维重建,既减小了整个系统的成本,又简化了三维重建的操作过程。通过研究所搭建的双目平台相机拍摄图像以及进行相机标定,再根据改进的边缘提取算法结合Harris算法对图像的特征点进行检测,并利用SAD算法对图像的特征点进行立体匹配,最后利用三角测量原理提取到目标图像的深度信息,最终实现对矩形量块的图像的三维图像的重建。实验结果证明,该方法取得了满意的实验效果。     

采用自适应背景聚类的激光雷达与相机外参标定优化方法

针对在复杂外部环境下激光雷达外参标定过程中遇到的标定板三维点云提取不准确的问题,提出一种基于背景聚类的激光雷达和相机外参标定优化方法,避免了在整个三维点云中盲目检测标定板点云,而导致标定结果存在较大误差以及需要人工手动纠正错误特征点的问题。该方法利用无标定板的背景点云与有标定板的目标点云之间部分空间域内的密度差异性,通过自适应空间阈值模型获得标定板点云与背景点云之间的差异系数K,然后聚类两点云中的部分三维点,完成标定板的三维点云提取。实验证明,该方法可以在复杂环境中准确高效地提取标定板三维点云,从而提高激光雷达和相机外参标定的准确性,在此基础上点云正确投影比例可达97.43%,与对比方法相比投影误差降低25.33%左右。     

基于改进棋盘的角点自动检测与排序

考虑采用传统黑白棋盘进行相机自动标定时角点排序结果受标定模板旋转角度影响较大,本文设计了一种改进的棋盘标定模板及相应的角点自动检测与排序算法。新的标定模板通过增加4个长方形边界滤除复杂背景,增加沙漏状图形确定排序原点,从而使得排序结果适应于模板的旋转。针对新的标定模板提出了一种基于对称象限灰度交叉熵的角点检测算法,该算法通过抑制局部非极大值以及筛选矩形边界实现了角点的像素级定位,然后采用Frostner算子解算了角点的亚像素坐标。针对角点检测结果,采用曲线拟合并结合角点至原点的距离信息实现了角点自动排序。实验结果表明:得到的角点检测结果正确,亚像素解算坐标与Matlab标定工具箱的检测结果误差小于0.8pixel,排序结果对标定模板的旋转具有不变性,易于实现在线标定。     

[成形过程的数据挖掘与深度学习方法]基于机器学习的管材弯曲回弹有效预测与补偿

采用基于优化的误差反向传播(BP)神经网络的机器学习算法建模,提出了考虑材料参数、几何参数等多因素的弯管回弹精确预测和高效控制方法。该方法通过引入非线性惯性权重及遗传算法的杂交算子,改进了粒子群优化(PSO)算法,进而通过改进的PSO算法对BP神经网络进行优化,构建了基于改进的PSO-BP神经网络机器学习回弹预测和补偿模型。以多种规格的铝合金数控弯管构件为对象,将实际生产中不同规格、批次、成形参数下回弹数据作为训练样本,实现了所建机器学习预测模型的应用验证。所建模型获得的预测结果平均相对误差为6.3%,与未优化的BP神经网络等传统模型相比,预测精度最大提高了18.5%,计算时间可从1.5 h缩短至300 s,同时实现了回弹预测与补偿精度以及计算效率的显著提高。     

一种基于改进遗传算法的神经网络优化算法研究

遗传算法是目前优化搜索算法中应用比较广泛的一种,但基本遗传算法存在收敛速度慢、易于陷入局部最优等缺点。针对上述问题对遗传算法(GA)的选择算子进行改进,在最优保存策略的基础上将每代种群按照适应度由小到大排序,平均分成前中后3段,按照0.6、0.8、1的比例进行选择;从尾段中随机抽取个体来补足种群由于选择操作而损失的个体;既利用了最优保存策略的全局收敛特性同时也保持了种群的多样性;用改进的遗传算法调整神经网络的权值形成了新的改进遗传算法优化BP神经网络(IGA-BP);通过与选择算子为适应度比例选择算子的GA-BP网络进行比较,结果表明算法改进后缩短了收敛时间同时减少了运行误差;最后将该改进算法应用于水泥回转窑的故障诊断中,验证了算法的可行性。     

基于GA-BP神经网络的非线性模拟量回归

针对嵌入式系统中传感器测量模拟量与采样值之间的非线性关系难以找寻确定公式进行表达的问题,提出使用BP神经网络对非线性模拟量进行回归拟合。并针对BP神经网络易陷入局部极小值的缺陷,采用遗传算法进行优化。实验表明,与最小二乘法与三次样条插值法相比,BP神经网络对曲线拟合程度优于其余两种方法,且具有较高的准确度。遗传算法优化后的BP神经网络,能够更加快速收敛,准确度也进一步提升。同时将网络模型应用在MCU端,实现在MCU端的预测与参数更新,具有一定的实用性和适应性。     

用于三维变形测量的数字图像相关系统

针对材料力学实验中的三维变形测量,提出并实现了一种基于双目立体视觉、摄影测量术和数字图像相关法的便携式三维变形测量系统。研究了该系统涉及的双目摄像机标定,图像相关算法,三维重建,以及三维位移、应变计算等关键技术。提出了一种基于摄影测量术的摄像机标定算法,该算法采用10参数镜头畸变模型,不需要高精度标定板即可实现摄像机的高精度标定。利用最小二乘非线性优化算法实现了数字图像的高精度匹配,针对非线性优化初值难求的问题,提出了一种基于种子点的初值计算方法,为非线性优化提供了可靠的初值。最后,介绍了三维重建以及计算三维位移、三维应变的方法。实验结果表明,标定结果的重投影误差为0.03 pixel,图像匹配的误差约为0.02 pixel,静态外形及位移的测量精度为0.05%,应变的测量精度优于0.5%。与传统的测量方法相比,本文提出的系统可以更准确、全面、直观地实现对位移场、应变场的测量。     

可调对比度目标源装置中对比度的标定

搭建了可调对比度目标源装置,研究了图像对比度和光学对比度的关系,提出了用改进的BP神经网络标定对比度的方法.首先,设计了用于对比度标定的BP神经网络模型.然后,利用LM( Levenberg-Marquardt)算法结合缩放法改进神经网络以提高其收敛速度及泛化能力.最后,通过可调对比度目标源装置实验平台,由测量的辐照度得出了对应的图像对比度数据,使该装置可以通过调节辐照度实时获得规定的对比度.与传统BP神经网络方法相比,改进后的BP神经网络收敛速度快,泛化能力强.标定精度比经典BP算法提高了100倍,比最速下降法提高了10倍.训练次数仅需2 876次时,对比度的标定值与目标值的误差最大值是0.01％,训练均方误差收敛为0.000 459 441,测试误差收敛为0.000 467 003,满足了对检验装置中对比度标定的需要.     

用于摄像机标定的棋盘图像角点检测新算法

摄像机标定是从二维图像获取准确的三维信息的必要步骤,摄像机标定的精度在很大程度上取决于标定板控制点的图像定位精度,鉴于此,对棋盘格标定板图像的角点定位问题进行了研究.笔者通过对图像像素类型及其性质进行分析,提出了以小邻域环形模板上像素灰度的跳变次数为判据的棋盘角点检测新算法,该算法不但能快速检测出角点,而且还能确定角点的类型.利用此性质,剔除了容易受外界环境影响的棋盘外圈角点,即非X型角点,从而从另一个角度保证了所提取角点的精度.为了达到更高的精度,笔者以棋盘图像的高度对称性为依托,在每个初定位角点的局部邻域内,用灰度重心法对角点进行了亚像素定位.实验结果表明,提出的算法具有较高的精度,能够为高精度摄像机标定提供可靠数据.     

野外空间坐标测量中的任意姿态多目相机快速标定

针对野外复杂地形环境下,对于多个监测区域进行野外坐标测量的情况,提出一种利用双目立体视觉原理对相机3个姿态角及焦距同时进行现场校准的快速标定方法。该方法对传统的标定方法进行改进,可用于相机焦距、姿态未知的情况,对现场环境条件要求低,避免了传统标定方法中相机架设姿态受限的问题。首先通过选择合适的统一世界坐标系和坐标系旋转顺序,使标定得到的相机外参与相机姿态角对应。然后通过GPS测量得到两个标定点的世界坐标,将两个标定点的世界坐标和图像坐标代入成像模型,用最小二乘法解出相机的焦距和姿态角。在现场对其中一个监测区域进行实际测量验证,结果显示直径200 m的圆形监测区域内,相对误差优于0.38%。该方法工程应用性强,灵活度高,适用性广。