虚拟装配中基于双目视觉的用户化身研究

推导了双目成像的视差与场景点深度信息的关系及相应的计算公式,在双目视觉理论的基础上提出了用 户化身视觉模型用于虚拟场景的成像变换,并探讨了真实感头部化身技术.将Agent技术应用到虚拟化身中,提出虚拟装配中完全自主模式的化身模型.     

面向视景仿真的虚拟校园实时交互和漫游系统

本文研究了双目立体视觉成像原理并实现了基于WTK的虚拟校园动态对象的双目立体视觉成像,探讨了视点的设置、虚拟场景的交互和漫游、实时碰撞检测处理等虚拟场景交互和漫游问题,开发了面向视景仿真的桌面式虚拟现实系统,分析了系统层次结构,简介了系统的软件硬件配置,初步实现了虚拟校园实时交互和漫游基本功能。     

光栅式双目立体视觉传感器的立体匹配方法

光栅式双目立体视觉传感器的难点之一在于立体匹配问题,为此,提出了一种基于极线约束和空间点最小距离搜索的立体匹配方法.该方法将光栅式双目立体视觉传感器看作两个光栅结构光传感器,分别标定后可测定光条中心点关于某个结构光模型的三维坐标,若两点匹配,则其三维坐标间的距离理论上为零.引入极线约束,在左摄像机成像光条上找一个特征点,在右摄像机所成像中便可计算出一条极线与之对应,在极线与各光条中心的交点中寻找匹配点.该方法在三维空间进行匹配,计算量小,能够实现点与点的唯一匹配.仿真实验表明了该方法的有效性.     

面向小型机器人的超大视场红外立体视觉可行性分析

小型机器人传统视觉方法对环境适应性差。提出了一种基于双目超大视场红外相机的环境感知方法。利用大视场镜头高阶奇次多项式模型,建立了超大视场红外双目立体成像的水平和垂直视差数字模型。以视差模型为基础建立超大视场红外双目视觉模型,研究了超大视场红外双目系统立体视觉范围和阈值。搭建了视场为170°×128°的超大视场红外立体视觉系统,分析了立体视觉范围及阈值应用于小型机器人视觉的可行性。同时,针对照度不均、雾霾等条件下的场景开展超大视场红外双目立体视觉实验研究,构建了双目图像标准视差图,结果表明,超大视场红外双目立体视觉系统对复杂场景具有良好的适应性,基本能够满足小型机器人视觉系统需求。     

远距离目标的多基线立体视觉点云成像技术

双目立体视觉是机器视觉的重要分支之一,其通过直接模拟人眼观察和图像处理的方式来获取探测目标的深度信息。这种非接触式的测量方法具有速度快、精度高、操作简单等特点,但是对于不同距离的目标,特别是远距离目标难以获取深度信息。提出了一种基于多基线双目立体视觉的远距离目标三维点云成像技术,该方法通过可变基线实现对不同距离目标的点云成像。实验结果表明,该方法能有效探测500 m～4 000 m范围内目标的深度信息,实现三维点云成像,突破了双目立体视觉远距离三维成像的技术难点,同时形成的三维点云与激光三维成像雷达的数据格式一致,为未来激光三维成像雷达技术与立体视觉技术的点云融合,优势互补提供了借鉴。     

基于双曲面折反射相机的柱面全景立体成像

为满足机器人导航、视频监视和场景建模等领域实时获取全景深度信息的需要,提出了一种利用2个双曲面折反射相机同轴放置实现全景立体成像的方法,并推导了这种全景立体视觉系统的深度计算公式。为了简化全景立体图像对的匹配和深度计算,建立了满足针孔成像模型的虚拟柱面相机,使通常的双目视觉算法适用于柱面全景图像对的深度信息提取。建立了全景立体成像实验装置,提取出了反映场景深度信息的360°柱面全景浓密视差图。     

一种单镜头立体成像方法的研究

分析了当今主流商用立体摄像方法的原理和优缺点,特别针对双目立体摄像机标定难的缺点,提出了一种单镜头双孔立体成像方法。该方法只需一个镜头,通过在镜头前加装2个小孔,控制2个小孔分时开合,即可摄取场景的不同侧面,由此便得到了一幅双目立体图像对。实验结果表明,该立体成像方法可以在避免复杂的多摄像机标定的情况下取得较好的双目立体成像效果。该方法的创新点在于只需一台摄像机、一个镜头在固定位置就可以拍摄双目立体图像,避免了对多个摄像机进行标定,减轻了立体成像中摄像机标定的难度。     

基于单镜头基色立体图像摄取技术的研究

通过分析"双目视差立体成像"中的双机立体成像和双镜立体成像技术的不足,提出了一种用于单反相机的单镜立体照相方案,该方案通过对镜头中的光圈进行设计,可以实现双基色、三基色和七基色立体成像.该镜头与单反相机配合使用,可一次性拍摄多组互补色立体图像和左、右眼视差图像.实验结果表明,利用该技术实现的立体照相设备具有结构简单、操作方便、成像立体感强、无重影等特点,有利于立体照相技术的推广,并可扩展用于立体电视信号的采集、传输与接收系统中.     

基于双目会聚型立体摄像机的目标深度测量

目标物体的三维测量是双目立体视觉的一项重要任务。基于视差的平行摄像机模型是最常见的用于三维重建的双目摄像机模型。一般双目立体摄像机不是严格平行的,所以采用上述方式进行三维重建时需要进行极线校正。提出了一种新的用于三维测量的双目摄像机模型,该模型针对一般常见的非平行的会聚立体摄像机模型。采用该模型进行目标物体的三维测距时,根据摄像机标定得到的相对外参,即可快速得到目标物体的深度信息。同时,本文从分辨率的角度对提出的深度测量方法进行了精度分析。实验结果验证了提出方法的有效性和可靠性。     

基于双目能量模型的立体图像质量客观评价方法

立体图像的深度感知取决于双目差距,基础视觉皮层的差距调谐细胞在感知立体深度的过程中起着关键作用.单只眼睛感知的图像信息被单目简单细胞接收之后传入双目简单细胞进行处理,继而被送入复杂细胞进行综合,得到基础视觉皮层对于一幅立体图像的能量响应.用数学模型来仿真简单的以及复杂的细胞对于双目差距的响应,并通过双目能量模型的计算达到评价彩色立体图像的目的.实验结果表明,双目能量模型的评价结果与立体图像的主观评价值具有较高的一致性.     

立体拼接中全局控制点的定向

提出了一种基于光线交汇约束的全局控制点定向方法.精确标定过的单摄像机模拟双目交汇测量系统,在空间2个不同的角度对至少5个自由摆放的全局控制点成像,根据双目视觉测量模型可解算出传感器的转换矩阵R和带有比例因子的平移向量T.通过引入精确长度已知的基准尺提供空间标度,以求得转换因子,进而求得各点在传感器坐标系下的三维坐标.实验表明,该方法简单、精度高,适于现场测量.     

基于图像的犯罪现场测量

对于一个犯罪现场,警方需要纪录下现场所有物体的位置和各物件之间的距离,而现有的纪录手段还基本停留在手工绘图测距上。通过对摄像机成像模型的建立与摄像机定标方法的讨论,建立了空间物体表面某点的三维坐标与图片上相应像点的二维坐标之间的联系。在重建犯罪现场时,用数码相机或摄像机从不同角度拍下现场照片后,只需用鼠标点击图片上任意两点,即可得知这两点间的实际距离。     

采用双目立体相机的实时集成成像拍摄系统

提出了一种基于双目立体相机的实时集成成像拍摄系统。不同于采用传统的摄像机阵列,该系统采用双目相机对三维场景进行拍摄,有效地简化了集成成像拍摄系统的结构。该系统首先利用双目相机获取三维场景的左右视差图,然后上传到图形处理器生成三维场景的高分辨率深度图,之后利用深度图和彩色纹理图在图形处理器中并行生成新视点视差图像,并利用像素映射算法生成高分辨率微图像阵列,实现实时的集成成像显示。实验中系统获取的深度图像素数目是微软Kinect2获取深度图像素数目的4.25倍,当系统运行在1 920 pixel1 080 pixel、99视点数的环境下,可实现三维场景的实时拍摄与显示,实验结果证明了所提系统的可行性。     

两组双目立体深度图像信息融合与三维重建方法

获取工件目标的三维表面与深度信息是实现工业立体视觉应用的关键。提出一种将两组双目视觉系统结合的方法,对随机摆放的工件多方位采集图像并获得目标工件的三维表面点云。其中,两组双目视觉系统会根据NCC(Normalized Cross Correlation)匹配算法产生工作场景的两组视差图像,去噪分割之后对其立体深度信息进行提取,其过程中采用一种新颖的转换方法,视差图像中每个坐标位置的像素点的x、y、z方向的立体深度信息分别被转化为X、Y、Z图像中对应位置上像素的灰度值。采样两组立体深度数据,共同储存到标定完成的参考相机坐标系中达到信息融合的目的。最后,对随机摆放的工业工件进行了的三维重构实验,对于相互重叠、高度、姿势都不同的零件能较好的恢复出清晰的轮廓点云,在重叠区域也能产生较为明显的层次性。     

形心匹配优化下的狭长空间近距离轨迹测量系统

在基于双目视觉的三维轨迹测量中,双目同名点的高精度匹配是提高测量精度的关键。在狭长空间的近距离测量场景下,针对双目拍摄角度不同导致仅用形心法定位匹配的轨迹测量精度不高的问题,研制了一种形心匹配优化下的狭长空间近距离轨迹测量系统。首先,在仅用形心法对目标物体定位匹配的基础上利用极线约束投影进行双目形心的二次定位;其次,提出了一种基于距离和方法权重的灰度互相关方法进行双目形心的亚像素匹配;最后,通过卡尔曼滤波对于目标物体的三维重建运动轨迹进行滤波修正。实验结果表明：该轨迹测量系统通过对多方法组合优化,显著提高了狭长空间近距离条件下的轨迹测量精度,在128 mm的全量程测量范围内对纹理较好目标物体的平均轨迹长度测量误差为13.14μm,测量精度约为0.01%,相比于仅用形心法定位匹配,轨迹长度测量精度提高了94.3%。     

基于AprilTag二维码的无人机着陆引导方法

计算机视觉导航技术具有精度高、不受电子干扰,成本低等特点,被誉为未来无人机自主定位的必备手段之一.作为新的定位手段,我们需要在实验室搭建仿真平台来进行大量的模拟训练.将虚拟现实、可视化技术与计算视觉导航算法紧密结合起来,开发了一种基于虚拟仿真环境的无人机视觉自主定位仿真验证系统.在场景中构建虚拟摄像机、棋盘格以及合作二维码标签,在虚拟场景中进行相机标定,并用标定得到的内参解算得到基于标签定位的位置参数,实时计算和输出位置参数.实验结果表明:该仿真系统可以对场景中虚拟相机进行准确标定得到虚拟摄像机的内参,解算定位参数误差在0.2m以内,满足无人机自主飞行以及降落的精度要求,并具备良好的用户显控界面,验证了基于视觉无人机自主定位算法的可行性.     

大视场双目主动视觉传感器的协同跟踪方法

针对大视场视觉监控的应用,提出了一种基于球面坐标的双目主动视觉传感器协同跟踪方法。首先采用图像特征匹配的方法估计摄像机的内部参数,然后引入球面经纬坐标系作为双目视觉传感器的公共坐标系,最后结合场景深度范围实现目标的协同跟踪。对于任意安装的双目视觉传感器,提出了一种建立球面公共坐标系的新方法,统一了不同参数下的情形,可以实现任意参数下的协同跟踪。实际监控场景下的视频实验,验证了方法的有效性和可行性。     

基于虚拟双目的条纹结构光三维重建

为解决传统双目条纹结构光三维重建存在的同步性和成本高等问题,提出了基于虚拟双目的条纹结构光三维重建方法。采用单相机和两块双棱镜及投影仪设计了具有双目视觉功能的虚拟双目条纹结构光三维重建系统。通过双棱镜折射和分光改变被测对象表面反射光的路径,使用一个相机同时完成多视角的图像采集。通过多频外差法和立体匹配、双目标定得到被测对象的深度信息并重建点云。实验表明,文中提出的方法和真实双目结构光方法测量标准球的均方根误差分别为0.037 9 mm和0.030 5 mm。文中提出的方法可促进双目条纹结构光技术在快速、低成本、小型化等方面发展,同时该方法可推广到彩色相机条纹结构光三维重建及投影散斑结构光三维重建。     

基于双目立体视觉的场景分割方法

提出一种基于双目立体视觉的场景分割方法:首先根据双目立体视觉系统提供的左右视图进行三维场景重构,得到场景的几何深度图,同时利用左视图进行RGB颜色空间到CIELab均匀颜色空间的转换以得到颜色信息;然后将颜色与几何信息构造生成六维向量;最后再将六维向量给到聚类算法中进行分割并对分割的伪影进行消除,得到最终的分割结果.对Middlebury数据集样本场景baby 2实验了6种立体视觉算法和3种聚类技术的不同组合进行的场景分割,从实验结果来看,不同的组合应用所提方法都比传统方法具有更好的分割效果.