基于级联多任务深度学习的卡口识别引擎研究

针对在将卡口非结构化视频图像数据转化为智能结构化信息的过程中存在环境的复杂性、需求的多样性、任务的关联性和识别的实时性等问题,提出了一种级联多任务深度学习网络的卡口识别引擎方法,其通过充分利用分割、检测、识别等任务之间的相互联系实现了高精度的、高效的、同步实时的卡口车辆多种基本信息的识别(车型、品牌、车系、车身颜色以及车牌等识别任务)。首先,利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从卡口道路复杂背景中提取出感兴趣区域(包括多车辆对象);然后,利用多任务深度学习网络对提取出来的车辆对象实现多层次的多任务识别。实验结果表明,提出的方法在识别精度和效率上都明显优于传统计算机视觉方法和现有的基于深度学习的识别引擎技术,该方法对车型、品牌、车系及车牌的识别与检测精度均达到98%以上,检测效率提升了1.6倍。     

基于CNN的火炮身管全景图像疵病识别方法

针对火炮身管内膛疵病种类多、定性定量分析难和检测自动化程度低等问题,本文提出一种以卷积神经网络为基础的疵病识别方法。首先,对全景图像进行预处理,主要包括全景展开、光照强度调整、膛线去除等;其次,通过最优阈值法对图像进行二值化处理,并利用四连通域法提取疵病区域;最后,采用卷积神经网络对疵病进行自动的分类识别。实验结果表明,该方法能有效避免人工疵病特征提取和人工特征描述计算等复杂步骤,实现了"采集-识别-判定"全过程的自动运行,真正实现了窥膛检测的自动化,身管疵病的识别率超过92%,识别准确率远高于基于统计学原理及支持向量机的分类方式,具有较高的准确性,为火炮身管修复及寿命预估等奠定了坚实的基础。     

基于深度卷积神经网络的车型识别方法

针对现有车辆车型视觉识别技术中的检测精度不高、难以适应天气环境变化、难以从视频图像中准确提取出用于识别的车辆图像、难以对车辆车型子类进行识别分类、难以兼顾识别精度和检测效率等不足,将深度卷积神经网络引入车辆目标定位、识别和分类(子类)问题中.利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从道路复杂背景中提取出感兴趣区域;利用softmax分类器训练特征实现车型识别;为了优化softmax在深度卷积神经网络分类过程中出现的类内间距大的问题,引入中心损失函数对softmax损失函数进行优化,提高类间分散性与类内紧密性.在BIT-Vehicle车型数据集中的实验结果显示,提出方法的平均精度为89.67%,检测和识别时间为159ms;与传统的分类方法相比,识别精度提高约20%,效率提高10倍以上,检测鲁棒性有明显提升;与未改进前的深度卷积神经网络相比,检测精度提高0.6%,速度提高0.29倍.     

基于ASODVS的全景相机运动估计及管网3D重构技术

针对地下管网的空间三维测量、三维形貌重构难等问题,提出了一种基于主动式全方位视觉传感器(ASODVS)的相机运动估计及管网3D重构解决方案。通过携带有ASODVS的管道机器人进入管道内部,实时获取管道内壁纹理全景图像和全景激光扫描图像;首先对全景激光扫描图像处理解析出投射在管道内壁上的激光中心点,通过计算得到管道横截面的点云数据;另一方面,对全景纹理图像进行处理,首先利用快速鲁棒性特征(SURF)算法快速提取特征点并进行匹配,然后采用随机抽样一致性(RANSAC)算法去除误匹配点,接着利用全景相机的极几何原理估计相机运动位姿,并利用光束法平差(BA)进行优化,最后利用相机运动位姿将相机坐标系下的点云坐标实时转换到世界坐标系下,完成对地下管网的三维重构。实验结果表明,所提出的方案能够精确估计相机运动位姿,实时对管道内部进行三维重构,实现了管道检测机器人边行走、边采集数据、边检测分析处理、边三维建模的设计目标。     

适用于管道内形貌检测的3D全景视觉传感器

管道内部缺陷种类繁多、检测困难且自动化程度低,针对这些问题,提出了一种适用于管道形貌检测的3D全景视觉检测方法。首先设计了一种获取管道内部全景颜色纹理信息的全景视觉传感器(ODVS),然后设计了一种能快速并高精度获得管道内壁深度信息的主动式全景视觉传感器(ASODVS),接着将这两种ODVS进行紧凑小型化设计,通过软件将全景3D测量数据与全景颜色纹理数据的快速融合,在对管道内功能性缺陷和结构性缺陷进行全方位自动分析和评估的同时实现管道内部三维建模。实验结果表明,所设计的ASODVS+ODVS能实时获取地下管道内部颜色纹理和几何信息的全景图像,配置在管道机器人上能在狭长管道内边行走、边检测、边识别和边重构。     

多任务分段紧凑特征的车辆检索方法

目的 随着公共安全领域中大规模图像监控及视频数据的增长以及智能交通的发展,车辆检索有着极其重要的应用价值。针对已有车辆检索中自动化和智能化水平低、难以获取精确的检索结果等问题,提出一种多任务分段紧凑特征的车辆检索方法,有效利用车辆基本信息的多样性和关联性实现实时检索。方法 首先,利用相关任务之间的联系提高检索精度和细化图像特征,因此构造了一种多任务深度卷积网络分段学习车辆不同属性的哈希码,将图像语义和图像表示相结合,并采用最小化图像编码使学习到的车辆的不同属性特征更具有鲁棒性;然后,选用特征金字塔网络提取车辆图像的实例特征并利用局部敏感哈希再排序方法对提取到的特征进行检索;最后,针对无法获取查询车辆目标图像的特殊情况,采用跨模态辅助检索方法进行检索。结果 提出的检索方法在3个公开数据集上均优于目前主流的检索方法,其中在CompCars数据集上检索精度达到0.966,在VehicleID数据集上检索精度提升至0.862。结论 本文提出的多任务分段紧凑特征的车辆检索方法既能得到最小化图像编码及图像实例特征,还可在无法获取目标检索图像信息时进行跨模态检索,通过实验对比验证了方法的有效性。     

基于全景图像CNN的隧道病害自动识别方法

针对目前隧道衬砌病害检测过程中难以快速、方便地获取隧道内壁全景图像以及难以自动检测识别各种病害等问题,提出一种基于全景图像CNN的隧道病害自动识别方法。首先通过一种全景视觉传感器快速获取隧道内壁的全景图像;然后对全景图像进行处理,主要通过全景图像展开、图像预处理、二值化处理等操作来提取疑似病害区域;最后,采用卷积神经网络对病害进行自动检测分类识别。实验结果表明,所提方法极大程度地简化了检测装置在获取隧道内壁全景图像的结构,通过端对端的卷积神经网络实现了各种隧道病害特征的自动提取、检测和识别,并具有88%的检测识别精度,为隧道的维护、竣工验收提供了有效的技术支撑。     

基于多任务卷积神经网络的舌象分类研究

针对现有技术难以并行实现舌象多标签的高效分类和识别,难以利用标签间的相关性进行综合分析等问题,提出了一种基于多任务卷积神经网络的舌象分类方法,构建了一种多任务联合学习模型,尝试实现传统中医舌诊中对舌色、苔色、裂纹和齿痕等多个标签的同时辨识。首先,在共享网络层对所有标签进行联合学习,从特征提取的角度自动挖掘和利用标签间的相关性;然后,在不同子网络层分别完成特定类别的学习任务,从而消除多标签分类中的歧义性;最后,训练多个Softmax分类器以实现对所有标签的并行预测。研究表明,所提方法能以端到端的方式同时提取舌象的多个特征并直接进行分类识别,在各分类评价指标上的最低值约为0.96,多任务的总体识别时间为34ms,因此该方法在精度和速度上均具有明显优势。     

面向舌体分割的两阶段卷积神经网络设计

目的 由于舌体与周围组织颜色相似,轮廓模糊,传统的分割方法难以精准分割舌体,为此提出一种基于两阶段卷积神经网络的舌体分割方法。方法 首先,在粗分割阶段,将卷积层和全连接层相结合构建网络Rsnet,采用区域建议策略得到舌体候选框,从候选框中进一步确定舌体,从而实现对舌体的定位,去除大量的干扰信息;然后,在精分割阶段,将卷积层与反卷积层相结合构建网络Fsnet,对粗分割舌象中的每一个像素点进行分类进而实现精分割;最后,采用形态学相关算法对精分割后的舌体图像进行后续处理,进一步消除噪点和边缘粗糙点。结果 本文构建了包含2 764张舌象的数据集,在该数据集上进行五折交叉实验。实验结果表明,本文算法能够取得较为理想的分割结果且具有较快的处理速度。选取了精确度、召回率及F值作为评价标准,与3种常用的传统分割方法相比,在综合指标F值上分别提高了0.58、0.34、0.12,效率上至少提高6倍,与同样基于深度学习思想的MNC（multi-task network cascades）算法相比,在F值上提高0.17,效率上提高1.9倍。结论 将基于深度学习的方法应用到舌体分割中,有利于实现舌象的准确、鲁棒、快速分割。在分割之前,先对舌体进行定位,有助于进一步减少分割中的错分与漏分。实验结果表明,本文算法有效提升了舌体分割的准确性,能够为后续的舌象自动识别和分析奠定坚实的基础。