联合实例深度的多尺度单目3D目标检测算法

针对单目3D目标检测算法中存在图像缺乏深度信息以及检测精度不佳的问题，提出一种联合实例深度的多尺度单目3D目标检测算法。首先，为了增强模型对不同尺度目标的处理能力，设计基于空洞卷积的多尺度感知模块，同时考虑到不同尺度特征图之间的不一致性，从空间和通道两个方向对包含多尺度信息的深度特征进行重新精炼。其次，为了使模型获得更好的3D感知，将实例深度信息作为辅助学习任务来增强3D目标的空间深度特征，并使用稀疏实例深度来监督该辅助任务。最后，在KITTI测试集以及评估集上对所提算法进行验证。实验结果表明，所提算法相较于基线算法在汽车类别的平均精度提升了5.27%，有效提升了单目3D目标检测算法的检测性能。     

基于双目视觉的自动跟踪系统设计

设计了一种基于双目视觉的目标自动跟踪系统。该系统通过双目相机获取图像信息后,先利用Yolov5s实时检测算法快速识别目标,再利用核相关滤波法对目标进行跟踪,最后采用半全局立体匹配算法结合加权最小二乘法进行目标深度的测量,获取距离信息和位置。根据目标位置控制系统的速度和方向,使系统与目标保持相对方位和设定的距离,实现自动跟踪。从结果上看,采用了该系统的拍摄机器人可以执行危险任务,解决安全问题。     

基于双目视觉的三维车辆检测算法

在自动驾驶中,车辆的三维目标检测是一项重要的场景理解任务。相比于昂贵的雷达设备,借助双目设备的三维目标检测方法有成本低定位准确的特点。基于立体区域卷积神经网络（Stereo RCNN）提出了一种用于双目视觉的三维目标检测OC-3DNet算法,有效地提高了检测精度。针对特征提取高分辨率与感受野的矛盾,结合特征提取网络与注意力引导特征金字塔（AC-FPN）,有效地提高了算法对小目标的检测精度。针对三维中心投影检测误差大的问题,建立了一种新的三维中心投影与二维中心的约束关系,进一步提升了三维目标检测的精度。实验结果表明,改进后的OC-3DNet算法在以0.7为阈值的三维目标检测上平均精度为43%,较Stereo R-CNN三维目标检测的平均精度提升了约3%。     

基于Harris-SIFT算法的双目立体视觉定位

针对基于尺度空间对图象保持不变性的SIFT算法在双目立体视觉应用时实时性差、误匹配等问题,提出一种运用Harris-SIFT算法进行双目立体视觉定位方法.通过介绍双目立体视觉的模型原理,利用Harris-SIFT算法从左右摄像机分别获取的图像中检测目标,并获取匹配目标的特征点,对两幅图像中目标物体的坐标标定,通过计算可得到目标物体的深度距离,还原其三维信息.实验证明,运用Harris-SIFT算法使该系统的实时性能和距离精度得到提高.     

基于双目视觉的三维车辆检测算法

立体区域卷积神经网络(Stereo R-CNN)算法具有准确、高效的特点,在一定场景下的检测性能较好,但对于远景目标的检测仍有一定的提升空间。为了提升双目视觉算法的车辆检测精度,提出一种改进的Stereo R-CNN算法。该算法将确定性网络(DetNet)作为骨干网络,以增强网络对远景目标的检测;针对左右目视图的潜在关键点,建立了左右视图关键点一致性损失函数,以提高选取潜在关键点的位置精度,进而提高车辆的检测准确性。在KITTI数据集上的实验结果表明,本算法的性能优于Stereo R-CNN,在二维、三维检测任务上的平均精度提升了1%~3%。     

改进的双目视觉三维尺寸测量系统

根据双目视觉原理,开发了基于双目视觉的三维尺寸测量系统.利用图像帧差法实现目标物体自动检测;并在此基础上利用立体匹配算法计算出目标物体区域的视差,对生成的初步视差采用基于最小二乘法的视差优化算法,获取目标物体区域的完整视差图;再将三维点云重投影到二维平面,利用最小外接矩形完成目标物体尺寸的自动测量.实验表明,在合适的测量距离下,系统测量精度达到了较好的效果,验证了该系统的可行性.     

基于视觉显著模型的遥感图像舰船快速检测

为了降低传统高分辨率海面遥感图像舰船目标检测方法的计算复杂度,提高检测速度,在舰船目标检测中引入了基于直方图对比度的视觉显著模型和空间降维算法,提出一种新的高分辨率海面遥感图像舰船目标快速检测算法。首先对高分辨率遥感图像进行空间降维,然后计算降维图的视觉显著图,突出感兴趣目标区域,最后利用最大类间方差法分割视觉显著图以获取舰船目标候选区域。结果表明,目标检测所消耗的时间减小为原来的10%~12%,弱化了复杂海面纹理背景对目标检测的影响。该研究提高了高分辨率遥感图像舰船目标的检测效率。     

基于非线性扩散与高维M-SURF描述符的双目视觉测量方法

针对传统图像匹配算法存在误匹配率高和双目视觉测量精度低的问题,本文提出一种基于非线性扩散与高维改进加速鲁棒特征(modified-speeded up robust features, M-SURF)描述符的双目视觉测量方法。首先改进非线性扩散模型中的PM(Perona-Malik)模型,使图像中边缘区域得以平滑而维持内部平坦区域不变,再将扩散后图像与原始图像进行差分运算,利用KAZE算法检测特征点;然后采用环形邻域构建描述符,在对Harr小波响应值进行叠加时,根据与其垂直方向响应值的正负号进行多区间划分,生成高维M-SURF描述符;最后采用Hamming距离匹配,利用随机采样一致性(random sample consensus, RANSAC)算法剔除误匹配并筛选出测量所需的匹配点对,根据平行双目视觉测量原理获取匹配点对的三维坐标即可完成测量。实验结果表明,本文提出算法的匹配正确率较传统KAZE算法提高24.09%,测量最小相对误差达到0.375 6%,满足测量精度的要求。     

基于双视角深度相机的羊只三维重构及体尺测量

对家畜的体长、体高、胸围等体尺参数进行定期测量是实现精准养殖的基础。家畜体尺参数的非接触测量是当前技术发展的趋势，但其测量方法尚不成熟。针对这一问题，提出利用2个Kinect V2深度相机构建一套基于三维测量的非接触式羊只体尺参数测量系统，并对10只大足黑山羊进行了现场测量，实现了羊只外形轮廓的三维重构和体尺参数自动测量。实验表明：被测羊体长、体高、胸宽和腹宽的平均相对偏差分别为4.38%、3.28%、2.27%和2.75%,胸围和管围的平均相对偏差分别为6.87%和4.55%,该方法为羊只体尺测量提供了切实可行的新途径。     

双目测距和YOLOv5s的无人机快速识别定位追踪系统

无人机的识别与监控是目前安防领域研究的热点,现有的无人机检测方案成本过高、实现困难,存在一定的缺陷。针对此问题,文中提出一种使用最新型深度学习算法YOLOv5s的无人机光学快速识别定位追踪系统。首先通过深度学习算法实时检测是否存在无人机,并准确定位无人机的位置信息;再进一步使用KCF快速追踪算法锁定并持续追踪入侵目标;最后采取双目深度摄像头实时测算跟踪目标距离,定位位置信息后再转换输出无人机三维位置数据。所设计系统使用最新一代YOLOv5s深度学习模型,并通过改进训练模型使得其对无人机的识别达到了较高的准确率,特别是在运算速度方面,大大超过现有算法,满足高速追踪的要求。实验结果表明,相较于YOLOV3,YOLOv5s模型的准确率提高5.84%,召回率提高6.41%,推理速度提高300%。采用YOLOv5s和KCF算法相结合可稳定连续定位目标,且由于双目摄像头定位精确,全局识别速度高达80 f/s,完全具备高速追踪定位无人机的能力。     

形心匹配优化下的狭长空间近距离轨迹测量系统

在基于双目视觉的三维轨迹测量中,双目同名点的高精度匹配是提高测量精度的关键。在狭长空间的近距离测量场景下,针对双目拍摄角度不同导致仅用形心法定位匹配的轨迹测量精度不高的问题,研制了一种形心匹配优化下的狭长空间近距离轨迹测量系统。首先,在仅用形心法对目标物体定位匹配的基础上利用极线约束投影进行双目形心的二次定位;其次,提出了一种基于距离和方法权重的灰度互相关方法进行双目形心的亚像素匹配;最后,通过卡尔曼滤波对于目标物体的三维重建运动轨迹进行滤波修正。实验结果表明：该轨迹测量系统通过对多方法组合优化,显著提高了狭长空间近距离条件下的轨迹测量精度,在128 mm的全量程测量范围内对纹理较好目标物体的平均轨迹长度测量误差为13.14μm,测量精度约为0.01%,相比于仅用形心法定位匹配,轨迹长度测量精度提高了94.3%。     

基于红外立体视觉的行人感知方法研究

基于热红外特性,红外立体视觉路况行人感知方法可以在夜间、雾霾环境下有效检测道路场景中的行人等目标,提高驾驶安全性.针对红外图像中纹理细节少,传统稠密双目立体匹配算法效果差的问题,本文首先根据目标在红外图像下的亮度、边缘特征提取感兴趣区域(Region of interest,ROI);然后在ROI中提取图像特征点并匹配...     

基于双目视觉模型的运动参数测量

通过建立双目测量的数学模型,由标志点在双摄像机成像平面上的坐标求得运动物体的运动参数。在不考虑摄像机内外参数标定误差的情况下,研究了标志点像元的测量精度对运动参数测量的影响。通过分析图像分割求取标志点形心引起的误差,利用窗口中心迭代算法提高标志点形心测量的精度,从而提高了运动参数的测量精度。由空间飞行器自动交会的仿真试验验证了算法的有效性。     

采用双目立体相机的实时集成成像拍摄系统

提出了一种基于双目立体相机的实时集成成像拍摄系统。不同于采用传统的摄像机阵列,该系统采用双目相机对三维场景进行拍摄,有效地简化了集成成像拍摄系统的结构。该系统首先利用双目相机获取三维场景的左右视差图,然后上传到图形处理器生成三维场景的高分辨率深度图,之后利用深度图和彩色纹理图在图形处理器中并行生成新视点视差图像,并利用像素映射算法生成高分辨率微图像阵列,实现实时的集成成像显示。实验中系统获取的深度图像素数目是微软Kinect2获取深度图像素数目的4.25倍,当系统运行在1 920 pixel1 080 pixel、99视点数的环境下,可实现三维场景的实时拍摄与显示,实验结果证明了所提系统的可行性。     

Single-image depth estimation using relative depths

Depth estimation from a single RGB image is a challenging task. It is ill-posed since a single 2D image may correspond to various 3D scenes at different scales. On the other hand, estimating the relative depth relationship between two objects in a scene is easier and may yield more reliable results. Thus, in this paper, we propose a novel algorithm for monocular depth estimation using relative depths. First, using a convolutional neural network, we estimate two types of depths at multiple spatial resolutions: ordinary depth maps and relative depth tensors. Second, we restore a relative depth map from each relative depth tensor. A relative depth map is equivalent to an ordinary depth map with global scale information removed. For the restoration, sparse pairwise comparison matrices are constructed from available relative depths, and missing entries are filled in using the alternative least square (ALS) algorithm. Third, we decompose the ordinary and relative depth maps into components and recombine them to yield a final depth map. To reduce the computational complexity, relative depths at fine spatial resolutions are directly used to refine the final depth map. Extensive experimental results on the NYUv2 dataset demonstrate that the proposed algorithm provides state-of-the-art performance.     

多芯光纤光栅形状传感性能与重构误差研究

多芯光纤光栅形状传感技术利用空分复用以及应变监测的优势,结合不同的栅点布设方案,实现待测对象的连续曲率和形状传感。首先介绍了多芯光纤光栅曲率和挠率传感原理,提出采用齐次矩阵变换的三维重构算法实现光纤的三维形状重构。为了探究不同光栅密度对实验精度的影响,利用算法编程模拟了不同光栅间距下的三维形状重构精度,依据模拟仿真的结果,建立了不同光栅间距与三维重构误差之间的关系。三维形状传感实验使用光栅间距为10 cm和5 cm的七芯光纤光栅串。实验结果表明,最大误差出现在尾点处,分别为2.56 cm和1.15 cm,占全长的3.2%和1.4%,平均误差为1.32 cm和0.62 cm,占全长的1.7%和0.8%。实验结果与仿真值比较接近,说明可以依据仿真结果对不同光栅间距下的三维形状误差进行预测。结合具体的应用场景合理配置测点资源,在较低的成本范围内实现高性能的检测。     

立体拼接中全局控制点的定向

提出了一种基于光线交汇约束的全局控制点定向方法.精确标定过的单摄像机模拟双目交汇测量系统,在空间2个不同的角度对至少5个自由摆放的全局控制点成像,根据双目视觉测量模型可解算出传感器的转换矩阵R和带有比例因子的平移向量T.通过引入精确长度已知的基准尺提供空间标度,以求得转换因子,进而求得各点在传感器坐标系下的三维坐标.实验表明,该方法简单、精度高,适于现场测量.     

气液两相流三维测量中虚拟立体视觉传感器的优化设计与实验

针对高速动态的气液两相流动对象,基于双目体视原理,采用单台高速摄像机和反射镜组,对虚拟立体视觉传感器进行了优化设计;对气泡发生装置中竖直向上的气泡特征参数进行三维测量。建立虚拟立体视觉传感器三维测量模型,综合考虑实际视场、传感器结构和测量误差等因素,通过结构参数对3方面性能影响的仿真分析,最终确定传感器的结构参数。实验结果表明,传感器测量空间距离误差优于0.14 mm,相对误差优于0.49%,适于气液两相流动态测量,可以实现气泡运动的三维重建。