基于全局与局部感知特征的三维彩色点云质量评价

作为物理对象在三维空间的有效表示方法,三维彩色点云可以提供丰富的沉浸式视觉体验,但在其获取、处理、编码传输等各环节会引入失真,从而导致其视觉质量下降.因此,如何监测彩色点云的视觉质量是一个亟待解决的重要问题.本文将三维彩色点云投影到二维平面,提出了一种基于全局与局部感知特征的彩色点云视觉质量评价方法.首先,将三维彩色点云转化为彩色纹理投影图与几何投影图.然后,根据三维彩色点云的纹理与几何失真在其投影图中的不同表象,分别描述并提取其失真特征;其中,在彩色纹理投影图中提取全局颜色与局部纹理特征,在几何投影图中提取全局与局部几何特征.最后,将所有全局和局部感知特征构成最终的特征向量预测彩色点云的视觉质量.在两个主观评价数据库(SJTU-PCQA、CPCD2.0)进行测试的实验结果表明,所提出方法在性能上优于13个现有代表性视觉质量评价方法,与主观感知质量有更好的一致性.     

基于码流的G-PCC压缩点云无参考感知质量评估

为了实现对采用G-PCC编码的点云质量的实时监控,提出一种基于码流的无参考点云感知质量评估模型。首先根据主观实验的结果分析确定几何无损时点云的感知质量与纹理量化参数之间的关系,然后使用纹理量化参数和纹理比特率来预测纹理复杂度,结合空域掩盖效应建立几何无损时的点云质量评估模型。然后研究位置量化尺度对点云下采样质量的影响,发现纹理量化参数与位置量化尺度对点云质量的影响相互独立,并最终得到完整的点云质量评估模型。对该模型在WPC4点云数据库中进行测试,其SRCC为0.9447,PLCC为0.9465,RMSE为6.8252,表明该模型有良好的性能,与现有性能最好的GraphSIM客观指标相比,该模型指标的PLCC和SRCC分布分别提高了0.0223和0.0238,RMSE降低了1.1898。      

基于引导调制的彩色点云无参考质量评价方法

彩色点云(color point cloud, CPC)作为三维场景和对象的有效描述形式,在虚拟现实、增强现实等许多领域得到重要应用。CPC在其采集、压缩、传输、重建等过程中会引入相应的失真,需要设计有效的评价方法对失真CPC质量进行评测。本文提出一种基于引导调制的CPC无参考质量评价方法。考虑到几何信息与彩色纹理信息的联合失真,利用引导调制的方法联立两者,以综合考虑几何失真、彩色纹理失真、联合失真。结合人眼的多通道性,利用剪切波变换提取特征。最后,将所有特征构成的特征向量输入到支持向量回归模型(support vector regression, SVR)学习预测点云质量。实验结果表明,所提出的方法与人类主观感知具有很好的一致性。     

面向HEVC的恰可察觉编码失真模型

为进一步提高现有视频编码技术的压缩效率及解 码重建图像的主观视觉感知质量,在现有人眼恰可 察觉失真(JND,just noticeable distortion)模型的基础上, 提出了恰可察觉编码失真(JNCD,just noticeable coding dist ortion)模型。首先,通过主观实验,对恰可察觉梯 度幅值差异(JNGD,just noticeable gradient difference)进 行了研究,分析其变化规律并建立JNGD模型。使用全变 分(TV,total variation)方法将图像分解为结构图和纹理图后,分别求 取其梯度信息得到结构梯度图和纹理梯度图, 利用JNGD模型分别滤除结构梯度图和纹理梯度图中的人眼不可察觉的梯度幅值 ;其后,分析了人眼感知对于不同 梯度幅值的编码失真敏感性,设计了梯度幅值与JNCD值的主观实验,得到两者的关系模型; 最后,考虑人眼对图 像中的边缘、平坦和纹理3类区域失真感知程度的差异性,利用滤波后的结构梯度和纹理梯 度信息将图像划分为上 述3类区域,最终建立整幅图像的JNCD模型。为验证本文提出的JNCD模型的可靠性,在高效 视频编码(HEVC)标准测试平台上进行的模型验证结果表明,在本模 型指导下的编码其解码重建 图像获得了较好的主观视觉效果,可为人眼视觉感知冗余的分析及感知编码的改 进提供依据。     

基于海量点云数据的输电线路三维建模研究

为保障电网输电线路管理的规范化与精益化，设计了基于海量点云数据的输电线路三维建模方法。首先采集输电线路原始点云数据，对其进行预处理，根据点云数据提取输电线路轮廓线，然后采用3D MAX软件构建输电线路的完整三维几何模型，最后通过纹理映射此模型获取到最终输电线路三维模型。结果表明，该方法可精准拼接原始点云数据，有效去除点云数据的噪声点及障碍物等，提升点云数据的整体质量，可为电网输电线路规范化管理提供有效帮助。     

基于中心凹的双目恰可察觉编码失真模型

针对立体视频中存在着大量的感知冗余,首先通过主观实验研究梯度和纹理因素对立体掩蔽 效应的影响,建立双目恰可察觉编码失真(BJNCD)模型;同时考虑到人 类视觉特性(HVS)的视觉敏感度并非恒定不变,当视网膜离心率变大 时,像素的视觉阈值也随 之变大,因此结合HVS的视网膜中心凹感知特性建立了基于中心凹的双目恰可察觉编码失真(FBJNCD)模型。为验证所提出模型的有效性,将其 应用于多视点高效视频编码(MV-HEVC)测试平台中对立体视频进行非 对称编码。实验结果表明,所提出模型在保持立体视频感知质量的同时能够有效节省编码码 率,提高了立体视频压缩效率。     

点云编码综述

点云编码是支撑点云广泛应用的关键技术之一,是近期技术研究和标准化领域的热点。对点云几何信息和属性信息编码技术演进进行了回顾,并针对稠密点云和稀疏点云的几种典型编码方法的编码效率进行了比较。未来点云编码研究将集中于利用帧间预测去除动态点云的不同帧之间的相关性,以及端到端点云编码、任务驱动的点云编码等方面。     

一种基于动态点云的三维监控与压缩系统

动态点云能准确表达三维空间位置关系,相较于二维影像,在目标检测、人脸识别以及可视化等方面具有更好的表现,因此动态点云在视频监控领域具有较大应用前景。基于所提出的改进的动态点云编解码框架,实现一种基于动态点云的三维实时监控与压缩系统。首先,通过ZED 2i双目相机进行点云视频获取,以Jetson Nano作为数据处理器,应用基于统计学的滤波算法实现离群点与噪声的去除。其次,依据监控场景的静动特性进行前后景分割,分别应用提出的改进算法和PCL库的压缩算法进行编码。实验表明,在监控场景下,获取的动态点云序列取得了较好的主观效果的同时,实现了点云数据的高效压缩。     

复杂场景点云数据的6D位姿估计深度学习网络

针对工业上常见的弱纹理、散乱摆放复杂场景下点云目标机器人抓取问题,该文提出一种6D位姿估计深度学习网络。首先,模拟复杂场景下点云目标多姿态随机摆放的物理环境,生成带真实标签的数据集;进而,设计了6D位姿估计深度学习网络模型,提出多尺度点云分割网络(MPCS-Net),直接在完整几何点云上进行点云实例分割,解决了对RGB信息和点云分割预处理的依赖问题。然后,提出多层特征姿态估计网(MFPE-Net),有效地解决了对称物体的位姿估计问题。最后,实验结果和分析证实了,相比于传统的点云配准方法和现有的切分点云的深度学习位姿估计方法,所提方法取得了更高的准确率和更稳定性能,并且在估计对称物体位姿时有较强的鲁棒性。     

一种动态特征匹配的部分重叠点云配准方法

点云配准方法能够有效地完成对不同重叠率、不同规模点云间的配准,可确保三维重建模型的精度。针对该问题,提出一种动态特征匹配的部分重叠点云配准方法,首先基于欧氏距离分割法将点云分割为子点云;然后提取子点云特征,考虑到不同点云的规模不同,提取的特征规模也是不同的,提出利用动态时间规整算法(DTW)完成子点云间的映射;最后利用迭代配准算法求取拼接点云间的平移、旋转矩阵,利用该矩阵完成点云间的配准和拼接。实验结果表明,提出的方法能够有效地解决部分重叠点云和不同规模点云的配准问题。     

基于多编码器和Residual-Transformer的点云补全网络

点云数据具有无序和稀疏的特点。通过不完整点云数据恢复丢失的三维几何形状的3D点云补全任务是3D视觉技术中一个具有挑战性的问题。现有的3D点云补全网络一般都通过编码器-解码器（Encoder-Decoder）模型直接从部分点云预测完整的点云形状，这会干扰原始部分点云，引入噪声，导致几何位移损失。因此提出一个端到端的网络模型，集中生成平滑和分布均匀的点云对象。所提网络模型主要包含三部分：缺失点云预测、点云融合和点云平滑。第一个模块主要通过多编码器从残缺的点云对象提取局部和全局信息，预测缺失几何部分。第二个模块通过采样算法融合点云。第三个模块基于Residual-Transformer (RT)预测点位移，在避免破坏原始输入点云的空间结构下，可以使点分布得更加均匀。在基准数据集Shapenet-Part上，大量的实验结果表明，所提网络在3D形状补全方面取得了更好的量化结果和更好的视觉效果。     

合并分割块的点云语义分割方法

随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。     

基于K最近邻局部点关系图卷积的点云分类

为进一步提高大规模多种类三维点云分类的准确率,提出一种局部区域建立K近邻点关系的卷积神经网络,其关键是从点与点的关系中进行学习。在采样组采样后,对点云模型进行建图,从点与点之间的关系以及中心点的特征进行更深一步的关系学习,从而进行点云的分类工作。由于是从局部的特征整合到整体,使得该方法对形状感知敏感并具有鲁棒性。最终的试验结果表明,该算法在公开数据集ModelNet40上的准确率达到92.5%。与现有的三维点云分类算法相比,其能够更有效地整合局部特征和全局特征,从而能进一步提高三维点云模型分类的准确性。     

基于先验信息采样一致性的点云柱面分割方法北大核心CSCD

针对点云数据在进行模型分割中存在高比例外点数据的问题,文章提出一种先验信息采样一致性的三维点云柱面分割方法。该方法首先根据三维点云数据的先验信息计算每个数据点的初始内点概率,选择概率最高的两个样本点作为初始样本子集拟合出初始模型;然后利用几何约束对模型进行预检验,并利用界限损失函数对预检验通过的模型进行模型质量判断,更新最优模型;最后通过贝叶斯定理来更新样本点的内点概率,进行下一次迭代,不断地优化内点集,得出最优模型。实验结果表明本方法相比于传统方法在时间效率上有很大提升。     

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。     

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为859,比其他模型平均高出35,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。     

面向城市场景异源多时相点云的自动配准

异源多时相点云数据是建设数字城市和智慧社会的关键空间数据支撑，其准确配准是开展各类后续应用的前提。针对异源多时相点云配准任务中数据规模大、结构差异大、场景变化大的难点，本文提出了一种自动的无控配准方法。首先将城市场景的整体点云数据过分割为平面区块，交汇相邻的平面生成稳定而特异的对象级虚拟关键点；然后将关键点间的刚体几何空间关系编码为图结构间的距离约束，匹配获取待配点云与目标点云间的同名点对；最后利用同名点对求取刚体转换参数，并应用转换参数将待配点云转换至目标点云的坐标系中。选择荷兰鹿特丹市某一典型城市场景地块的异源多时相点云数据验证了所提方法的有效性。实验结果表明，本文方法能够自动、准确、高效地实现城市场景异源多时相点云的无控配准，具有较高的工程应用价值。     

基于改进欧式聚类算法的双目主动视觉点云目标检测研究

双目视觉立体匹配时,在同色调表面因为缺乏纹理信息,不仅计算量大且匹配度低, 而且生成的 场景中的点云又具有非结构化、近密远疏的性质, 因此,提高双目视觉匹配的精度与速度, 以及准确分割点 云目标, 一直是点云获取及目标检测中的难点问题。 针对以上问题, 本文首先提出了一种融合主动激光 的 3D 点云目标采集方法, 快速准确地获得原始点云数据; 其次提出了一种基于欧式聚类的改进算法, 使用距离阈值和角度阈值作为阈值分割判断条件进行分段聚类, 得到边界明确的 3D 点云目标检测框。 实验结果表明:所设计的 3D 点云成像系统能够有效获取前方物体的 3D 点云信息,且具有比激光雷达成 本低、易实现、信息丰富等优势;改进后的欧式聚类算法能有效改善传统算法对阈值较为敏感导致的物 体易出现欠分割或过分割的问题, 提高了目标检测的准确率, 在室内场景下具有良好的检测效果。     

基于激光三维点云技术的3D景观建模设计

为提升城市园林等类型景观的建模精度,以激光三维点云为技术基础,设计一种三维景观建模方法。采用激光三维点云立体式非接触测量技术,获取景观表面数据点三维坐标,在一个坐标系内统一化各角度点云数据,将顺序点间的最远距离作为滤波标准,设定超过标准点为固定端点,平滑处理图像点云,采用三角形网格参数化策略,映射三维网格模型至二维平面中,取得特征点纹理坐标,利用调和映射算法求解非约束点的纹理坐标,通过自适应部分调整策略,优化点云数据纹理,得到最终的景观模型。试验采集研究区域中一处景观的三维数据,结合景观模型效果与评估指标值得出,所提方法能够有效建立模型,且精准度较高,模型细节信息保存得相对完整。     

采用改进图形变换的3D点云压缩

本文提出一种采用改进图形变换的3D点云压缩算法。所提算法首先通过改进图形变换将每个块中的所有子图连接为一个图，从源头减少直流系数个数，同时用每个块所有点的均值作为直流系数以降低直流量幅值，并对去平均的颜色值进行图形变换。考虑到量化后的交流系数的零系数占比比较大，本文采用了Run-Level的编码方法对非零的交流系数进行编码。对于直流系数，本文设计了一种预测编码方法对其进行有效编码。最后,编码完的交流系数和预测残差均采用霍夫曼编码器进行熵编码。实验结果表明所提算法相比多个现有3D点云压缩算法具有更高的压缩效率。