基于RGB彩色和深度信息的人体关节点定位

在人体实时定位问题中,关节点定位成为了构建人体平面骨架模型、识别人体动作中一个重要研究课题。所以,提出了一种利用RGB彩色和深度信息来定位人体关节点的方法,首先利用Kinect来获取运动人体的RGB彩色和深度图像,接着根据人体所处背景的复杂程度来采用不同的人体分割方法将人体分割出来,再对得到的人体轮廓图像进行平滑处理,从而得到平滑且连通的人体轮廓二值图像,再采用细化算法提取出人体轮廓骨架,然后对关节点周围8个邻域的像素值进行分析,并结合人体各刚体部件的比例关系,对人体的16个关节点进行定位,进而构建出人体平面关节点模型。实验结果表明,与现有方法相比,该方法简单有效,能够从多种运动状态人体中提取出准确的关节点坐标,并具有较好的准确性和鲁棒性。     

基于轮廓分析与三阶不变矩的旋转目标定位算法

为了解决当前图像定位算法在识别旋转与缩放工件目标时,存在定位成功率不高的问题,提出了基于轮廓分析与不变矩特征的旋转目标定位算法.首先,采用自适应二值化对图像进行预处理,并遍历图像轮廓,完成轮廓序列提取与面积计算,实现对杂质干扰的排除.然后构建三阶不变矩,计算逐一计算图像轮廓序列的三阶不变矩特征,从而建立定位度函数,与模板目标的不变矩特征比较,完成对旋转缩放工件目标定位.实验测试结果表明,与当前图像定位算法相比,在面对缩放十旋转干扰时,本算法拥有更高的定位成功率与鲁棒性.     

基于openCV的玉米出苗期和三叶期自动检测系统的设计

为了远程实时动态监测玉米长势,为农事活动提供准确的玉米生长状态信息,提出了基于轮廓和骨架提取的玉米出苗期和三叶期的自动识别算法。该算法实现了对玉米图像的分割,并对图像中轮廓和骨架等图像特征进行提取,根据所提取的图像特征判断玉米是否进入出苗期或三叶期。利用该算法与计算机视觉库openCV进行玉米出苗期和三叶期的检测系统的设计,实现了玉米出苗期和三叶期的自动识别。此外,在VS2013环境下实现了对一个简单的玉米出苗期和三叶期的自动检测系统软件的界面开发。该系统对玉米出苗期和三叶期的识别速度较快,识别结果准确,可以作为玉米全部生长期检测系统的开发基础。     

基于深度学习的采摘机器人目标识别定位算法

为了提升采摘机器人对果实的识别准确率以及定位定精度,提出一种基于深度学习Faster-RCNN框架的采摘机器人目标识别和定位算法。首先采用卷积神经网络VGG16模型提取输入图像的特性信息,并利用区域提议网络RPN生成含有目标的候选框,通过引入自适应候选框数的方法有效提升了算法性能,然后利用多任务损失函数对目标进行分类识别和预测框校正定位,从而得到目标在图像坐标系统的高精准度坐标,最后通过标定求解出采摘机器人手眼两个坐标系之间的映射关系,从而实现了对果实的精确识别和定位。通过对苹果的识别和定位实验结果表明：所提算法具有较高的识别度,平均精度达97.5%,且定位误差更低,最大误差仅为1.33cm,可为智慧农业发展提供有力的技术支持。     

基于图像特征提取与BP神经网络的绝缘子憎水性识别方法

为了方便、快捷、准确地识别运行中绝缘子表面的憎水性等级,提出了基于图像特征提取与BP神经网络的绝缘子憎水性识别方法。首先,利用同态滤波和直方图均衡对憎水性图像进行增强预处理,然后利用改进的Canny算子提取了图像中水珠(或水迹)的边缘,并利用数学形态学对其进行修正得到最终的分割图像;提取图像中与憎水性相关的4个特征量,最后建立了基于BP神经网络的憎水性识别模型,并对测试样本的憎水性等级进行了识别。实验结果表明,该方法克服了人为因素的影响,能够有效识别绝缘子7种典型憎水性等级,总识别率达90%,为在线检测绝缘子憎水性提供一种新的有效方法。     

基于Hough变换管内切割机器人智能定位管口方法

管内切割机器人的管口精确定位是实现其快速切割功能的重要前提,传统CCTV人工视频内窥检测定位的局限性,会导致管内切割机器人定位管口产生误差,最终影响管内切割机器人的切割工作。为确保机器人定位管口位置的准确性,提出一种基于图像处理Hough变换技术的智能定位管口方法。对管内切割机器人采集的图像进行预处理减少图像的噪声,对预处理过的图像采用二值化法突出管口信息的边缘,并使用Canny方法提取管口的边缘,最后通过Hough变换法提取圆的特征,从而实现准确识别管口圆,达到辅助切割机器人进行智能定位管口的目的。实验结果表明,所提方法可明显突出显示管口的特征,并能精确定位管口,为管内切割机器人智能控制奠定基础。     

一种变电站智能巡检机器人的仪表图像空间变换算法

针对变电站智能巡检机器人的仪表识别问题,提出了一种基于SURF的图像空间变换算法。首先,对建模图像仪表区域和待识别图像进行SURF特征提取;其次,采用KNN算法和双向匹配对所提取的特征进行筛选,提取优质匹配点对;最后,利用随机采样一致性算法(RANSAC)计算得到投影矩阵,从而能将待识别图像转换到建模图像空间,为后续识别提供便利。变电站实际测试结果表明了该算法的有效性。     

输电线路螺栓紧固带电作业机器人的视觉搜索、识别与定位方法

在输电线路采用机器人进行螺栓的全自动带电紧固作业是一项非常有挑战性的工作,螺栓的自动紧固首先必须解决螺栓的自动搜索、识别与定位,由于线路环境复杂,这些工作变得十分困难,为此,提出一种新的螺栓视觉搜索识别定位方法,该方法分为两部分,基于参考物的螺栓追踪,通过设定引流线为参考物,先对引流线进行定位,然后沿着引流线方向来搜索螺栓,从而简化螺栓搜索过程,降低螺栓识别难度;基于改进Hough变换的螺栓识别算法,通过对经典Hough变换的峰值选择策略进行改进来实现螺栓的精确识别,然后利用螺栓头部圆形特征来完成螺栓中心的验证,并通过HOG和SVM技术来实现目标物体的识别分类,消除外界不相关物体对目标图像的影响,进一步提高识别精度。根据该方法,设计了机器人原理样机并进行了模拟测试和现场测试,测试结果表明,该方法能够高效地实现输电线路上螺栓的搜索、识别与定位,极大程度地提高了机器人的带电作业效率。     

一种新颖的数字识别算法

介绍了一种简易的标准数字识别的算法.与传统的数字识别方法相比较,其效率很高.该算法利用字符二值化后的图像的水平和垂直穿线等组合特征完成级联分类,用最小近邻法实现数字的识别.利用该方法时,无须对待识别字符进行规整、细化和轮廓提取处理,降低了算法复杂度,减少了因细化变形、轮廓断裂引起的误识和拒识.在以此算法为基础实现的监控信息 (电厂远程数字仪表监控) 自动采集与记录系统中,对5 222个数字字符进行识别测试,平均每秒处理125个数字,正确识别率达到98.70%,误识率仅为1.30%.实验表明,该算法在处理速度、识别精度、抗干扰性方面表现良好.     

基于各向异性高斯核的角点检测

提出一种基于各向异性高斯方向导数滤波器提取图像粗轮廓检测角点的方法。首先利用多方向的各向异性高斯方向导数滤波器提取图像多方向的灰度变化信息,然后利用像素间梯度相关性提取图像粗轮廓。最后在提取的图像粗轮廓的基础上构造自相关矩阵并求解其特征值,利用特征值归一化的乘积做为角点的测度。实验证明本算法具有噪声鲁棒性及角点定位准确性。     

融合深度图和三维模型的人体运动捕获

对于当前热点的运动捕获方法存在的一些缺点,提出了一种融合深度图和三维模型的人体运动捕获方法。利用Ki‐nect采集深度图像,经过对深度图去除背景,提取轮廓信息,建立轮廓数据库。从深度图中提取三维人体骨架,建立骨架三维模型数据库。输入1组深度图动作序列,经过去背景、提取轮廓特征后与轮廓数据库中的轮廓进行匹配,计算出最小距离所在的匹配序列,输出相应的骨架作为动作捕获的结果。实验证明了这种方法的有效性和可行性,该方法能较精确的得到运动捕获数据。     

基于深度学习的钢筋绑扎机器人目标识别定位

为了解决钢筋绑扎机器人对绑扎点识别准确率低,定位精度差的问题,提出一种基于深度学习的钢筋绑扎机器人目标识别与定位方法。首先采用YOLOv4算法对绑扎点目标框识别和裁剪,完成绑扎点初始定位;其次设计轮廓角点选取方法,利用角点计算绑扎点的图像坐标;之后通过融入CBAM注意力机制改进Monodepth算法的特征提取部分,解码部分引入路径增强PAN结构,以提高模型的特征提取能力,进一步提高立体匹配精度;最后通过双目立体视觉定位技术获得绑扎点深度信息,并由坐标变换求解钢筋绑扎机器人手眼坐标系映射关系,从而实现对绑扎点的精确识别和定位。实验结果表明：该方法针对绑扎点目标框的识别准确率达到了99.75%,每秒传输帧数达到54.65;在空间中的定位精度最大误差为11.6mm。可较好地识别定位绑扎点位置,为自动绑扎工作提供有力支持。     

基于双目视觉的支柱绝缘子目标识别与定位研究

变电站绝缘子因其表面极易受潮湿天气的影响出现污秽导致变电设施发生闪络事故,这直接关系到变电站供电的稳定性。因此,有必要研发带电作业机器人实现对支柱绝缘子的清洗,保障电力系统稳定运行。设计了基于双目视觉的绝缘子清洗机器人,完成了双目视觉系统对目标绝缘子的识别与定位。使用YOLOv4-tiny深度学习网络算法对支柱绝缘子与法兰目标进行识别检测,检测准确率达92.29%。基于立体匹配对摄像机采集图像中的目标物体上的点对进行搜索,获取目标绝缘子深度信息并对绝缘子目标点进行三维重建。实验结果显示,目标点的平均深度误差为0.73 cm,精度满足机械臂抓取需要。针对后续机械臂的夹持清洗任务,建立绝缘子视觉观测模型,获取相机观测角,通过ROI区域对绝缘子盘轮廓进行提取,利用最小二乘法对绝缘子伞裙边进行椭圆拟合,对绝缘子伞裙边缘信息检测,可实现对机械臂末端干冰喷头倾角调整,进而完成对绝缘子盘凹壑进行精准清洗。     

多模型融合动作识别研究

提出了一种多模型结融合的动作识别方法,目的是利用大数据时代下数据形态的多样性并结合已有模型,以提高识别准确率。该方法使用视频或图像序列与骨架序列对整个模型进行训练。对于骨架序列提取其关键帧,然后使用长短时记忆（LSTM）编码器对骨架序列进行特征提取得到骨架特征。接着使用卷积神经网络得到RGB视频或者图像序列的特征,进一步经过循环神经网络提取特征,得到RGB特征。网络的损失函数方程组由分类误差与上述两种特征的L2范数组成。使用混合最速下降进行网络优化。该方法使用关键帧训练LSTM编码器,大大缩短了训练时间。结合手工提取的关键帧与非监督方式获取的卷积特征,提高识别准确率。在Florence和MSR3D数据集上的实验结果表明,该方法对动作识别具有良好的分类效果。     

基于HOG特征的步态能量图身份识别算法

由于步态能量图像(GEI)是对二值轮廓图像序列相加求平均,然而,二值轮廓图像只能捕获人体轮廓的边界信息,人体的内部边界信息会被完全的丢弃掉,基于GEI算法的缺陷,提出了一种基于人体目标图像的方向梯度直方图(HOG)特征的GEI识别算法,此算法不仅能捕获人体轮廓的边界信息,而且还能提取人体重合的边界信息.获取人体目标图像的HOG特征的步态能量图,首先使用视频前景分割算法提取人体目标图像,然后提取图像序列中每帧人体目标图像的HOG特征;最后对图像序列中的每帧HOG特征图像相加求平均.在此基础上,依据GEI和HOG的思想,又实现了对传统步态能量图、二值轮廓图像序列、人体目标图像步态能量图进行HOG特征提取及直接构建人体目标图像步态能量图特征的表示,从而提出了 4种拓展的能量图构建方法,并针对这5种算法与经典的GEI算法利用CASIA步态数据库进行了实验分析对比,实验结果表明算法效果良好.     

基于机器视觉的爬管机器人 路径信息识别算法

目前管道尤其是高空架设管道的检测主要是通过人工手持设备进行,而且测试条件十分受限,易造成检测效率低和安全风险问题。为了提高管道检测效率,保护检测人员的生命安全,本文提出一种基于机器视觉的管道外爬行机器人路径信息识别算法。首先,对获取的图像进行感兴趣区域(region of interest , ROI)设置和透视变换,并对RGB和HLS色彩空间的二值图像进行融合处理;然后,通过轮廓提取的方法不仅实现对障碍物及破损的提取,并且将管道上的非管道像素进行填充补偿,提高了多项式拟合的稳定性和准确性。最后,对融合后的二值图像使用滑动窗格法提取管道像素,采用多项式拟合出管道中心线。实验表明,该算法能在复杂的环境光下准确识别中心线、障碍物以及破损,抗干扰能力强,满足爬管机器人自主沿管线行进的需要。     

配电网接地环视觉识别与定位方法研究

为保障带电作业机器人挂设接地保护线的准确性，对配电网接地环的精准识别与定位方法展开研究。为提高识别精度和易于部署在上位机上，以YOLOX-S为基础，用简化的BiFPN代替颈部PAFPN特征利用层，将GIoU-Loss作为定位损失函数，以Focal Loss作为置信度预测损失函数。采用双目视觉方法对检测到的接地环进行定位，根据双目相机标定获得相机的内外参数和畸变系数，对左右图像进行立体校正，采用半全局立体匹配算法获得图像视差，最终利用重投影矩阵得到接地环的深度和坐标，从而实现接地环的精准识别与定位。将所提方法运用于带电作业机器人挂设接地保护线试验，结果表明该方法能实现机器人精准挂线，并能推广到电力机器人的其他作业。     

基于kalman滤波的机器人三维视觉定位

针对三维视觉定位问题,提出了一种基于kalman滤波的机器人眼在手上视觉定位方法。利用图像的全局特征描述子—图像矩来提取目标的三维图像特征,在不标定摄像机和机器人坐标变换关系的情况下,采用kalman滤波估计算法对图像雅可比矩阵进行在线辨识,并建立图像特征反馈控制,使定位目标物体的图像坐标始终保持在图像平面的中心位置。利用MATLAB仿真软件建立了基于kalman滤波的机器人眼在手上视觉定位仿真模型,实现了机器人的三维视觉定位。实验研究表明,该方法可以使机器人到达目标位置,且定位精度较高。     

基于改进拓扑法的三维血管骨架提取

传统拓扑细化法提取血管骨架在轴向长度和分支上会有误差,使临床诊断的精确度有所欠缺。该研究采用新型血管端点约束的骨架提取方法,尽可能的保留血管的长度和分支信息。使用模拟图像和显微CT图像分别进行测试,并与传统拓扑细化方法结果进行比较分析。新型骨架化算法中,提取中心骨架的平均距离比传统方法要小(P<0.05),准确率要较传统骨架化方法也有所提高(P<0.05),能够有效规避传统方法在长度和分支信息上的损失,为临床诊断提供更加准确的信息。     

基于深度学习的并联机器人定位检测技术研究

针对机器视觉领域中并联机器人存在目标识别模糊,分类效率差以及反应速度过慢的问题,提出了一种基于深度学习的并联机器人定位检测技术。首先对目标识别物进行图像采集,改进图像数据集,将处理前后图像放入训练集提高网络效率,搭建YOLOX目标检测分类识别算法提高并联机器人检测精度;其次改进训练方式,通过预训练与实际训练提高可靠性,改进损失策略;然后建立并联机器人主体基坐标系与相机坐标系,结合手眼标定与相机标定方法,求得目标实际坐标与机器人基坐标系的转换关系;最后在并联机器人实验平台验证目标标定结果,对比主流深度学习算法YOLOv3、YOLOv4、Faster-RCNN得出的并联机构网络定位与实际定位的相对误差,结果表明YOLOX的定位精度误差为3.992-5.061mm之间,平均精确度达到了91%左右。该方法可为并联机器人结合深度学习实现检测定位提供一定参考价值。