基于改进SIFT的无人机双目目标识别与定位北大核心

对无人机自主着陆系统中双目视觉采集到的地标图像进行了研究,在分析地标图像中存在模糊噪声以及大量背景干扰问题,提出一种基于改进SIFT算法的无人机双目视觉目标识别与定位方法。首先,采用基于OTSU与HSV的ROI算法对无人机双目图像进行目标识别与分割预处理操作,将目标准确识别;其次,针对双目视觉获取三维信息效率慢的问题,采用基于改进的SIFT算法对已识别的地标进行特征提取,生成二进制描述符,并采用局部敏感哈希算法对特征点进行稀疏匹配,提高目标特征匹配准确度及效率;最后,采用相似三角形原理计算每个特征匹配点的三维距离,获得无人机与目标之间的平均三维距离。实验结果表明所设计的算法相较于传统的SIFT算法更具有可行性和有效性。     

基于机器视觉的接头组件表面缺陷检测系统研究

为了解决金属软管接头组件表面检测精准度不高和检测效率不高的实际问题,设计一套基于机器视觉的接头组件表面缺陷检测系统。针对接头组件图像背景复杂、噪声干扰多,通过使用图像滤波去噪、Otsu算法二值化以及图像形态学分析,提高图像的对比度,有效提取目标检测区域。而后采用Canny边缘检测算法,对图像进行边缘轮廓精准识别,并采用快速傅里叶变换方法和R-FCN算法,对缺陷特征信息快速进行匹配提取和分类处理。试验结果表明:此缺陷检测系统能有效提高检测效率,保证较高的检测准确率和精度,满足实际工业检测的需求,具有较好的实用价值。     

一种基于CNN深度学习的焊接机器人视觉模型

为了准确地识别复杂环境下的焊缝目标,建立了一种基于深度学习的焊接机器人视觉模型,该模型采用局部联接和全联接相结合的CNN卷积神经网络结构,局部联接由3个卷积层和子采样层交替组成,用于焊接目标的特征提取,全连接层由输入层、隐层和输出层组成,作为分类器用于焊缝目标识别. 采样了一千多幅焊接目标图像样本用于CNN的网络训练,分析了不同CNN网络结构参数对模型的影响. 结果表明,该视觉模型对焊接目标的平移、旋转和比例缩放表现出良好的鲁棒性,可以应用到焊接机器人的视觉导航.     

基于深度卷积神经网络的焊缝图像滤波

针对视觉焊缝跟踪中焊缝图像滤波处理的实际需求,提出基于深度卷积神经网络的焊缝图像滤波(WIF-CNN)模型,实现了对焊缝图像中不同类型噪声的有效滤除。所提出的WIF-CNN网络基于VGG网络实现,通过去除VGG网络中的全连接层和池化层,实现了图像端到端的训练;通过引入残差网络结构和BN层,使WIF-CNN网络在保持较高层数的同时,具有较高的准确率和较快的收敛性;按照随机洗牌策略生成训练数据集,提高了WIF-CNN网络的鲁棒性。结果表明：当分别过滤含有高斯、泊松和椒盐噪声的焊缝图像时,与均值、高斯、中值、NLM和BM3D等滤波算法相比,所提出WIF-CNN网络的滤波效果最好,经过WIF-CNN网络滤波处理后的焊缝图像噪声强度大幅降低,且失真度较小;所构建的WIF-CNN网络可以满足焊缝视觉跟踪中图像滤波处理的要求,有利于后续焊缝图像处理的进行。     

基于深度学习的大规模图像高效识别算法研究

面对规模较大的图像识别任务时,基于卷积神经网络的深度学习方法存在训练时间过长的问题,导致识别效率不高。因此,提出一种基于局部特征深度信念网络的大规模图像高效识别算法。首先,该方法从原始图像中提取多个局部特征,并根据分配给图像的标签将每个局部特征分类。然后利用分类后的图像局部特征训练深度信念网络,获得网络的相关参数。最后利用深度信念网络进行图像识别。在CAS PEAL R1 大规模图像数据集上进行了图像识别实验,结果显示:提出的算法优于其他深度学习方法,具有较好的准确性和高效性。     

基于深度学习的大规模图像高效识别算法研究（英文）

面对规模较大的图像识别任务时,基于卷积神经网络的深度学习方法存在训练时间过长的问题,导致识别效率不高。因此,提出一种基于局部特征深度信念网络的大规模图像高效识别算法。首先,该方法从原始图像中提取多个局部特征,并根据分配给图像的标签将每个局部特征分类。然后利用分类后的图像局部特征训练深度信念网络,获得网络的相关参数。最后利用深度信念网络进行图像识别。在CAS-PEAL-R1大规模图像数据集上进行了图像识别实验,结果显示:提出的算法优于其他深度学习方法,具有较好的准确性和高效性。     

基于卷积神经网络与虚拟训练集的零件识别

针对工业环境中零件识别效率低,准确率不高以及难以获取大量训练集的问题,对基于深度学习的零件识别进行了研究,提出一种基于卷积神经网络与虚拟训练集的零件识别方法。首先,通过OpenSceneGraph(OSG)在虚拟场景内渲染大量深度图像训练集;然后,构建了两种不同深度与结构的卷积神经网络模型并使用虚拟深度图像进行训练;最后,使用深度相机采集零件真实深度图像对网络模型进行测试并选择适合的零件分类模型。结果表明,该方法使用虚拟训练集训练,实现了对真实零件的精准识别,使用深度图像对于零件反光和少纹理情况具有一定的鲁棒性,为工业自动化分拣装配提供稳定的信息基础。     

基于视觉显著模型和图像分割的文化图像目标检测

针对图像目标识别中的高效率视觉注意机制问题,提出了一种基于视觉显著模型和图像分割的文化图像目标检测算法。首先采用基于颜色分量对比度视觉显著模型对现有的视觉显著计算方法进行了改进,提高了显著区域检测的效率。然后在传统Grab Cut图像分割算法的原理上,结合改进的视觉显著模型来实现显著区域初始化,无需人工交互步骤,从而实现全自动的图像目标检测。测试数据结果表明:相比于现有的几种典型方法,提出算法具有较好的目标检测性能和较快的检测速度。     

基于机器视觉的两自由度机械臂智能控制器

为了实现对不同结构的两自由度机械臂的控制,基于机器视觉技术和强化学习技术设计了智能控制器。该智能控制器的强化学习模型是深度确定性策略梯度算法,使用卷积神经网络设计了的传统深度确定性策略梯度算法的演员-评论家网络结构,以此使得深度确定性策略梯度算法能够处理图像矩阵信息。以两自由度机械臂的控制理论为前提,利用不同结构的两自由度机械臂控制输入值数量相同的特点,并结合设计了的深度确定性策略梯度算法设计出适用于不同结构的两自由度机械臂智能控制器。仿真结果表明了该智能控制器在不配置任何两自由度机械臂结构模型先验知识的情况下,分别就三种不同结构两自由度机械臂进行训练,训练完成后该智能控制器确实能够控制三种不同结构的两自由度机械臂并使其迅速到达目标位置,验证了使用同一个智能控制器经过不同的训练后能够实现对不同结构的两自由度机械臂的控制。     

注射制品表面缺陷在线检测与自动识别

基于机器视觉技术的注射制品表面缺陷检测与识别可有效解决人工抽样检测问题,为克服现有缺陷识别算法对于不同的制品需分别进行样本训练、图像质量要求高、可操作性差等难题,在采用图像处理技术对制品表面缺陷进行检测的同时,提出一种基于缺陷区域轮廓、制品轮廓、区域灰度等特征的缺陷自动识别算法,避免了大量制品图像样本的训练过程,提高了可操作性。基于该方法,开发了一套注射制品表面缺陷在线检测与识别系统,试验表明,对短射、飞边、裂纹3种常见表面缺陷的识别率为91.8%。     

基于CS优化深度学习卷积神经网络的目标检测算法

目前对于形状比较复杂且密集摆放的工件,传统的工业机器人视觉分拣技术已经无法有效检测和识别。因此,为了提高生产线上分拣工件检测的准确率,提出了一种基于布谷鸟搜索算法(Cuckoo Search,CS)优化深度学习卷积神经网络(Convolutional Neural Network,CNN)的目标检测算法。首先对视觉分拣系统的组成进行了分析。然后采用经典的Faster R-CNN的模型结构来实现目标检测,并将CS优化算法应用到CNN模型的参数训练中,解决了反向传播的局部最优问题,同时提高了迭代速度。工件检测实验结果表明:相比于传统的CNN模型,提出CS-CNN模型具有更好的目标检测的准确率,提高了网络的收敛速度。     

基于机器视觉的飞机故障检查系统

针对当前飞机维修检查工作以人工目视检查为主、效率低且存在人为因素影响的情况,设计一套基于图像识别与机器深度学习的飞机部件表面无损检测系统。收集并整理了某航空公司一线飞机维修员拍摄的飞机机身及发动机部件图片,对图片集进行预处理,包括通道提取、Sobel滤波处理及二值化;最后用Blob分析对处理后的图像进行特征提取与系统分析。系统运行速度快、准确率高且可连续自动识别图像。利用机器视觉技术对飞机部件表面进行无损检测不仅可以提高生产效率,同时可以去除人为因素对航空器飞行安全的影响,使得飞机的飞行安全得到进一步提升。实践证明,该系统性能稳定可靠,具有极高的推广应用价值。     

卷积神经网络算法在工件抓取中的应用

为提高机械手臂夹取物件的准确率,提出基于深度学习法的3D视觉辨识与抓取系统。该视觉系统结合GPU和深度影像Open CV等函数库,分别进行影像拾取、深度数据运算、坐标转换、影像轮廓搜寻和卷积类神经网络模型训练等。采用YOLOv2算法判别目标物体的种类和中心点,并利用轮廓搜寻方法找出物体的角度信息,作为机械手臂操作目标点;通过坐标转换将相机坐标转为机械手臂坐标,由TCP/IP通信传至运动控制系统进行物件夹取。实验结果表明:不同位置的所有零件辨识准确率均在82%以上,抓取误差在1～4 mm内,符合工业生产的要求。     

机器视觉主导的机械臂动态抓取策略研究

针对传统工业机器人在移动目标的抓取中存在灵活性和位姿适应能力差的问题,以开源机器人操作系统（ROS）为平台进行基于视觉反馈的动态抓取策略研究。在ROS中搭建UR5机械臂动态抓取系统,并对机械臂进行正逆运动学分析;提出基于RGB颜色空间和SITF算法结合的新型特征识别方法以提高识别效率;设计注视逼近的视觉反馈控制策略,实现机械臂对传送带上移动目标的抓取操作。结果表明：所提策略识别成功率达到99.6%,逼近抓取成功率达到98.33%,验证了机器视觉主导的反馈抓取算法基本满足工程实际应用,有较高的可行性和准确性。     

仿人脑多巴胺调控机制的机器人视觉自发育学习算法研究

针对传统机器人学习离线、任务特定、无法在学习过程中扩展智能,且实时性、适应性差等问题,借鉴认知机器人、神经生物学、认知科学等思想,提出一种仿人脑多巴胺调控机制的机器人视觉自发育学习算法,模拟人脑海马与前额叶神经回路,用多巴胺调控学习进程,实现仿人类的视觉学习能力。实验结果表明：该算法能有效地实现视觉图像的自发育学习,能完成非特定任务,且识别率高,实时性好,适应性强。     

基于群体智能算法的排球高鲁棒性目标识别研究

基于小波变换和人工神经网络的目标识别是图像处理的一个重要研究方向。但是,此类方法采用的梯度下降规则容易产生局部极小值。为了解决该问题,提出了一种基于群体智能算法的高鲁棒性目标识别算法,可有效应用于各种图像识别任务,如排球目标识别等。首先对图像进行预处理并变换成HSV空间进行背景分割,并通过小波不变矩对图像进行特征提取。然后采用新兴的群智能算法-狼群算法,对基于小波神经网络的目标图像识别进行优化,以便提升全局收敛性和鲁棒性。仿真实验结果显示:相比原有的方法,提出优化方法具有更高的识别精度和稳定性。     

深度学习在故障诊断中的应用综述

阐述了深度学习在故障诊断和图像分析、语音识别和文本理解等领域的应用;介绍卷积神经网络、深度置信网络、堆叠自动编码网络、递归神经网络4种典型的深度学习模型;综述近几年深度学习在故障诊断中的模型选择、学习算法和实际应用等方面的研究新进;探讨深度学习在故障诊断中的理论分析、特征提取、优化训练和研究拓展等。