基于图像融合技术的经络实时三维可视化研究

本研究目的是将三维可视化应用于人体经络.通过磁场跟踪仪Wintracker和多通道经络测试仪共同获得经络的三维坐标.利用OpenCV相关函数实现摄像机标定,计算出坐标变换矩阵M,将世界坐标系下的经络三维坐标变换成图像二维坐标系下的经络坐标,最后利用图像融合技术实时地将经络线绘制于现场人体体表图相应位置上,实现经络穴位的...     

PTZ摄像机视频与三维模型的配准技术研究

针对基于投影纹理映射的虚实融合系统,提出了一种PTZ摄像机视频与三维模型实时配准的技术.选取PTZ摄像机若干特定姿态的子图像组成一张全景图像,进行最优匹配图像的搜索,用SURF图像配准的方法对实时视频图像进行透视变换,利用最优匹配图像的三维投影信息将实时视频图像精确投影到三维模型中.实验结果表明,该算法具有较高的准确性,适用于虚实融合系统中PTZ摄像机视频的三维配准.     

基于GPU的实时三维点云数据配准研究

在三维重建中,不同摄像机坐标系下点云配准耗时过多。为此,提出一种基于图形处理单元(GPU)的实时三维点云数据配准算法。利用投影映射法获取匹配点对,使用点到切平面距离最小化方法计算变换矩阵,通过GPU多线程并行处理大规模图像数据。实验结果表明,对于分别包含307 200个数据的2帧点云,在保持原有配准效果的基础上,该算法的最优耗时仅为基于CPU的最近邻迭代算法的11.9%。     

基于RGB-D相机的室内环境3D地图创建

RGB-D相机（如微软的Kinect）能够在获取彩色图像的同时得到每个像素的深度信息,在移动机器人三维地图创建方向具有广泛应用。本文设计了一种利用RGB-D相机进行机器人自定位及创建室内场景三维模型的方法,该方法首先由RGB-D相机获取周围环境的连续帧信息;其次提取并匹配连续帧间的SURF特征点,通过特征点的位置变化计算机器人的位姿并结合非线性最小二乘优化算法最小化对应点的双向投影误差;最后结合关键帧技术及观察中心法将相机观测到的三维点云依据当前位姿投影到全局地图。本文选择三个不同的场景试验了该方法,并对比了不同特征点下该方法的效果,试验中本文方法在轨迹长度为5.88m情况下误差仅为0.023,能够准确地创建周围环境的三维模型。     

基于虚拟高度投影线的三维重建及误差补偿

针对传统三维重建方法计算复杂度高的问题,提出一种基于虚拟高度投影线的三维重建方法。该方法将场景栅格化,在栅格中引入虚拟高度线,把虚拟高度线投影到二维图像上形成投影线,并在投影线上找到对应点得到三维场景信息,以反映场景的真实信息。分析引起误差的主要来源,针对误差来源结合摄像机内外参数提出补偿方法。通过实验验证了该方法的有效性。     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

基于单幅图像的三维信息提取

针对单幅图像提取三维信息困难,设计了一种基于单幅图像的三维信息提取算法。该算法首先需要标定摄像机,得到摄像机从三维到二维的成像矩阵M3×4,并计算M3×4的伪逆矩阵M+4×3,其本质是通过最小二乘法求解矛盾方程组;利用M+4×3提取二维单幅图像中的三维信息,再把这些三维信息投影到一个平面上显示出来。实验表明,单幅图像目标物体必须满足共面等约束条件,从而可以对目标物体的三维信息做定性分析(定性视觉)。此外,还对三维空间投影到二维图像的过程进行了理论推导,得出了如果没有足够的先验知识,成像过程不可逆的结论。     

基于SLAM和虚拟现实的综采工作面巡检系统

针对综采工作面巡检机器人由于缺乏尺度信息导致可靠性较低的问题,将虚拟现实（VR）技术引入综采工作面巡检中,设计了基于即时定位与地图构建（SLAM）和VR的综采工作面巡检系统。该系统包括位于井下的巡检机器人子系统和位于地面的VR实时渲染子系统2个部分。巡检机器人子系统利用激光SLAM技术实现实时三维扫描,并建立三维地图,同时利用全景相机实时捕获综采工作面的场景,将实时获取的激光点云及全景视频传输到VR实时渲染子系统。VR实时渲染子系统采用GPU加速技术对激光点云进行着色,通过对Unreal三维引擎渲染部分进行定制化开发,实现对激光点云的实时渲染,并将激光点云投屏到VR眼镜上。远程操作人员通过VR眼镜实时获取现场三维场景,通过操作手柄远程控制巡检机器人动作,从而实现基于第一视角的综采工作面巡检。井下工业性试验结果表明,该系统可实现视角自由切换,并对场景进行放大,从而能够更好地观察到细节部分,精确性和可靠性更高;采用GPU加速技术进行点云着色,处理时间明显比CPU处理时间短,GPU实时性更高,整个系统的延时能满足巡检任务需求。     

融合2D/3D摄像机的方法与获取高精度三维视觉信息的装置

三维飞行时间摄像机可实时同步获取场景三维信息和灰度图像信息.虽然它存在图像分辨率和质量较差等问题,但它可作为二维摄像机的互补.本文借鉴立体视觉技术,提出了一种2D/3D摄像机融合的三维视觉信息获取方案.论文首先基于固定空间关系和相近视野原则,设计2D/3D立体摄像机系统对空间场景同步成像.结合三维TOF摄像机成像特性,论文借鉴立体视觉技术完成二维摄像机的高质量二维彩色图像与插补后的三维摄像机深度图像的匹配关联.因此,本方法可实现场景的高精度彩色图像和对应三维空间信息的实时同步获取,同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速稠密三维信息获取的优势.2D/3D摄像机图像融合匹配算法复杂度低,匹配精度和准确度取决于二维摄像机和三维摄像机自身性能、摄像机标定参数精度和深度图像插补算法,不会引入新的运算误差.试验结果验证了本文算法的有效性和精确度.     

面向大规模场景的三维线段检测算法

为了实现大规模重建场景的三维轮廓高效提取,提出了一种基于重投影的三维线段检测算法.在基于二维线段检测器的线段检测与基于运动恢复结构的重建基础上,根据摄像机矩阵对空间点云进行重投影;通过弱匹配关系寻找最佳重投影线段,并利用重投影索引推断出三维线段;最后通过对空间短线段进行延伸获得三维轮廓线,并采用空间点云的平面聚类消除重...     

基于二维点云图的三维人体建模方法

近年来基于二维图像的三维建模方法取得了快速发展,但就人体建模而言,由于摄像头采集到的二维人体图像包含衣物、发丝等大量的纹理信息,而像虚拟试衣等相关应用需要将人体表面的衣物褶皱等纹理信息去除,同时考虑到裸体数据采集侵犯了用户的隐私,因此提出一种基于二维点云图像到三维人体模型的新型建模方法。与摄像机等辅助设备进行二维图片数据集的采集不同,该算法的输入是由三维人体点云模型以顶点模式绘制的二维点云渲染图。主要工作是建立一个由二维点云图和相应的人体黑白二值图构成的数据集,并训练一个由前者生成后者的生成对抗网络模型。该模型将二维点云图转化为相应的黑白二值图。将该二值图输入一个训练好的卷积神经网络,用于评估二维图像到三维人体模型构建的效果。考虑到由不完整三维点云数据重建完整的三维人体网格模型是一个具有挑战性的问题,因此通过模拟二维点云的破损和残缺状态,使得算法能够处理不完整的二维点云图。大量的实验结果表明,该方法重建出的三维人体模型能够有效实现视觉上的真实感,为了对重建后的精度进行定量的分析,选取了人体特征中具有代表性的腰围特征作为误差评估;为了增加三维人体模型库中人体形态的多样性,还引入一种便捷的三维人体模型数据增强技术。实验结果表明,该算法只需要输入一张二维点云图像,就能快速创建出相应的数字化人体模型。     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

与视点对应的视图插补

ＩｍａｇｅＭｏｒｐｈｉｎｇ是产生图象之间插补变换一类被广泛使用的技术,所有的Ｍｏｒｐｈｉｎｇ方法奢阳基于两幅图象之间的象素位置和颜色的内插。现行的Ｍｏｒｐｈｉｎｇ技术不能保证所生成图象的真实性。本文提出的视图插 补技术,使得所生成的插 补图象对应于某个视点,且不需要知识源图象所对应的摄像朵矩阵,因此计算简单。     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

基于快速人脸检测的实时呼吸测量系统的设计

提出一种基于快速人脸检测的呼吸测量方法,通过普通摄像头捕捉人体呼吸所带来的胸口轮廓的变化规律,提取人体呼吸波信号,计算实时呼吸率。系统采用基于肤色的人脸检测方法,可以快速检测出摄像头获取的图像中人脸位置,根据人脸和胸口的一般化距离,实现胸口定位,获得此后所获取的每一帧图像中胸口区域的灰度值,对数据进行小波去噪等一系列处理,通过算法获得实时呼吸率。通过实际测量实验和对比实验表明,该系统具有很好的准确性和实用价值。     

基于流形学习的人体动作识别

目的 提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。方法 从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,利用LE（Lalpacian eigenmaps）流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。结果 用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文方法识别效果优于以往方法。结论 实验结果表明本文方法适用于基于深度图像序列的人体动作识别。     

3D depth information extraction with omni-directional camera

This paper presents a novel 3D depth information extraction method without calibration. Firstly, this paper develops an omni-directional 3D camera system, which consists of a CCD camera, hyperbolic mirror, infrared laser diodes and diffractive of element (DOE). Secondly, a depth measurement model is proposed to obtain the 3D depth information. Finally, in order to calculate the speckle shift accurately between the reference image and the object image, a dot matrix pattern and sequence coding algorithm are designed to find the corresponding speckles in the two images. Experimental results show that the reconstructed depth data have a good correlation with the actual distance. The accuracy of the data is also found to be influenced by the distance between the object and the camera.     

基于2个灭点和局部尺度的三维空间尺度估计

三维空间尺度估计是三维重建中的一个重要工作,现实世界中也存在一些基于单幅图像进行三维空间尺度估计的需求。通常情况下,尺度估计需先对相机进行标定。根据单目图像符合透视原理的特性,提出了一种基于2个灭点和局部尺度信息的方法对相机进行标定,从而得到单目图像物体中三维空间尺度信息的估计。首先,从单目图像中选择2组互相正交的平行线组,得到对应2个灭点的坐标;然后,利用灭点坐标和焦距信息得到世界坐标系和相机坐标系之间的旋转矩阵,再利用灭点的性质和已知局部尺度信息得到平移向量,完成单目相机的标定;最后,还原二维图像中像素点对应的三维世界坐标值,计算出图像中2个像素点在三维空间的尺度信息。实验结果表明,该方法能有效地对单幅图像中的建筑物体进行尺度估计。