运动捕捉数据中足迹的谱聚类检测方法

目的 从运动捕捉数据中直接检测足迹非常困难。目前,已有的方法不能在无人工交互条件下实现对任意平地运动数据的足迹自动检测,为此提出一种基于谱聚类的足迹自动检测方法,可应用于任意角色的平地运动。方法 首先,提取角色的脚部运动特征并表示为样本。然后,分析样本模长的变化规律并自适应计算谱聚类参数。最后,使用谱聚类方法检测出足迹帧。结果 实验应用于混合运动数据集后,足迹检测的准确性良好,检测的整体准确率可达98.72%。结论 对实验结果的分析以及与基准线法的比较,证明了本文方法的普适性和有效性。     

融合图卷积和差异性池化函数的点云数据分类分割模型

目的 深度网络用于3维点云数据的分类分割任务时,精度与模型在全局和局部特征上的描述能力密切相关。现有的特征提取网络,往往将全局特征和不同尺度下的局部特征相结合,忽略了点与点之间的结构信息和位置关系。为此,通过在分类分割模型中引入图卷积神经网络（graph convolution neural network,GCN）和改进池化层函数,增强局部特征表征能力和获取更丰富的全局特征,改善模型对点云数据的分类分割性能。方法 GCN模块通过K近邻算法构造图结构,利用相邻点对的边缘卷积获取局部特征,在深度网络模型中动态扩展GCN使模型获得完备的局部特征。在池化层,通过选择差异性的池化函数,联合提取多个全局特征并进行综合,保证模型在数据抖动时的鲁棒性。结果 在ModelNet40、ShapeNet和S3DIS（stanford large-scale 3D indoor semantics）数据集上进行分类、部分分割以及语义场景分割实验,验证模型的分类分割性能。与PointNet相比,在ModelNet40分类实验中,整体精度和平均分类精度分别提升4%和3.7%;在ShapeNet部分分割数据集和S3DIS室内场景数据集中,平均交并比（mean intersection-over-union, mIoU）分别高1.4%和9.8%。采用不同的池化函数测试结果表明,本文提出的差异性池化函数与PointNet提出的池化函数相比,平均分类精度提升了0.9%,有效改善了模型性能。结论 本文改进的网络模型可以有效获取点云数据中的全局和局部特征,实现更优的分类和分割效果。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

非凸加权核范数及其在运动目标检测中的应用

目的 近年来,低秩矩阵分解被越来越多的应用到运动目标检测中。但该类方法一般将矩阵秩函数松弛为矩阵核函数优化,导致背景恢复精度不高;并且没有考虑到前景目标的先验知识,即区域连续性。为此提出一种结合非凸加权核范数和前景目标区域连续性的目标检测算法。方法 本文提出的运动目标检测模型以鲁棒主成分分析(RPCA)作为基础,在该基础上采用矩阵非凸核范数取代传统的核范数逼近矩阵低秩约束,并结合了前景目标区域连续性的先验知识。该方法恢复出的低秩矩阵即为背景图像矩阵,而稀疏大噪声矩阵则是前景目标位置矩阵。结果 无论是在仿真数据集还是在真实数据集上,本文方法都能够取得比其他低秩类方法更好的效果。在不同数据集上,该方法相对于RPCA方法,前景目标检测性能提升25%左右,背景恢复误差降低0.5左右;而相对于DECOLOR方法,前景目标检测性能提升约2%左右,背景恢复误差降低0.2左右。结论 矩阵秩函数的非凸松弛能够比凸松弛更准确的表征出低秩特征,从而在运动目标检测应用中更准确的恢复出背景。前景目标的区域连续性先验知识能够有效地过滤掉非目标大噪声产生的影响,使得较运动目标检测的精度得到大幅提高。因此,本文方法在动态纹理背景、光照渐变等较复杂场景中均能够较精确地检测出运动目标区域。但由于区域连续性的要求,本文方法对于小区域多目标的检测效果不甚理想。     

结合结构相似度的自适应多尺度SAR图像变化检测

目的 结合高斯核函数特有的性质,提出一种基于结构相似度的自适应多尺度SAR图像变化检测算法。方法 本文提出的算法包括差异图像获取、高斯多尺度分解、基于结构相似性的最优尺度选择、特征矢量构造以及模糊C均值分类。首先,通过对多时相SAR图像进行对数比运算获取差异图像,然后,利用基于图像的结构相似度估计高斯多尺度变换的最优尺度,继而在该最优尺度参数下逐像素构建变化检测特征矢量,最后通过模糊C均值聚类方法实现变化像素与未变化像素的分离,生成最终的变化检测结果图。结果 在两组真实的SAR图像数据上测试本文算法,正确检测率分别达到0.9952和0.9623,Kappa系数分别为0.8200和0.8540,相比传统算法有了较大的提高。结论 本文算法充分利用了尺度信息,对噪声的鲁棒性有所提高。实测SAR数据的实验结果表明,本文算法可以智能获取最优分解尺度,显著提高了SAR图像变化检测性能。     

基于自我训练的长效垃圾分类方法

目的 目前垃圾主要采用名称检索的方式开展分类,这类方法通常基于事先设定的数据分类,很难有效包含现有所有的垃圾,更难应对未来持续增多的垃圾,针对上述问题,面向生活垃圾,提出一种基于自我训练的长效垃圾分类方法。方法 首先,采用Bagging将两类分类能力和训练机制不同的基分类器：K近邻分类器和支持向量机,根据它们各自独立的投票和权重进行有机组合,提出了一种新颖的集成分类器对生活垃圾进行分类;其次,基于直观的图像交互反馈,动态地更新分类器相应分类结果的置信度和基于云的训练样本集,提升后续分类的准确性和方法本身的自学习能力。结果 使用包含233条生活垃圾的训练样本集对原型系统进行训练,并使用151条垃圾样例进行测试,实验表明本文提出的集成分类器对生活垃圾的分类准确性可以达到95%左右。通过逐步提高训练样本集中错误样本的比例（≤ 30%）并重新训练集成分类器,再采用上述151条样例共开展了150次分类测试。相应的平均准确率分析表明,本文的集成分类器具有较高且较为稳定的分类准确率（≥ 93%）。此外,在上述实验中加入反馈机制后,平均准确率分析表明,该机制能有效地减轻错误样本对本文集成分类器准确率衰减带来的影响。结论 本文方法对生活垃圾分类具有较高的分类准确率、鲁棒性且具有良好的长效性。     

基于分数阶微积分的噪声检测和图像去噪

目的 提出一种利用分数阶微分梯度检测图像中的噪声点,并用于改进基于分数阶积分的图像去噪算法性能的算法。方法 该算法首先使用不同方向的分数阶微分梯度模板与含噪声图像进行卷积,计算出图像在不同方向上的分数阶微分梯度,依据预先设定的阈值获得不同方向的分数阶微分梯度检测图,将在所有选定方向上梯度都发生跳变的像素点判定为噪声点;然后只对被检测出的噪声点,在8个方向上进行分数阶积分运算完成去噪处理。结果 通过在人工图像中分别添加高斯噪声和椒盐噪声以及在自然图像中分别添加高斯噪声和椒盐噪声的去噪对比实验得出相同结论,即只对图像中检测出的噪声点使用分数阶积分运算进行去噪有更好的去噪性能,获得了更好的视觉效果和更高的峰值信噪比。结论 实验结果表明,基于分数阶微分梯度的噪声检测算法对解决图像去噪和保留图像纹理细节之间的矛盾有所帮助。随着对基于分数阶微分梯度噪声检测方法研究的深入,对图像中噪声检测的准确度会进一步提高,这将提供一种用于改进目前去噪算法性能的研究方向。     

基于Gaussian-Hermite矩的旋转运动模糊不变量

目的 模糊图像的分析与识别是图像分析与识别领域的重要方向。有些图像形成过程中成像系统与物体之间存在相对旋转运动,如因导弹高速自旋转造成的制导图像的旋转运动模糊。大多数对于这类图像的识别都需要先对模糊图像进行“去模糊”的预处理,且该类方法存在计算时间复杂度较高及不适定的问题。对此,提出一种直接提取旋转运动模糊图像中的不变特征,用于旋转运动模糊图像目标检索和识别。方法 本文以旋转运动模糊的退化模型为出发点,提出了旋转运动模糊Gaussian-Hermite (GH)矩,构造了一组由5个对旋转变换和旋转运动模糊保持不变性的GH矩不变量组成的特征向量(rotational motion blur Gaussian-Hermite moment invariants,RMB_GHMI-5),可从旋转变换和旋转运动模糊的图像中直接进行目标检索和识别,无需前置复杂的“去模糊”预处理过程。结果 在USC-SIPI (University of Southern California — Signal and Image Processing Institute)数据集上进行不变性实验,对原图进行不同程度的旋转变换叠加旋转运动模糊处理,证明RMB_GHMI-5对于旋转变换和旋转运动模糊具有良好的稳定性和不变性。在两个数据集上与同类4种方法进行图像检索实验比较,在80%召回率下,本文方法维数更少,相比性能第2的特征向量,在Flavia数据集中,高斯噪声、椒盐噪声、泊松噪声和乘性噪声干扰下的准确率分别提高25.89%、39.95%、22.79%和35.80%;在Butterfly Image数据集中,高斯噪声、椒盐噪声、泊松噪声和乘性噪声干扰下的准确率分别提高4.79、7.63%、5.65%和18.31%。同时,在上述8个测试数据集中进行对比实验以验证融合算法的有效性,结果表明本文提出的GH矩和几何矩相融合算法显著改善了图像检索效果。结论 本文提出的RMB_GHMI-5特征向量在旋转变换和旋转运动模糊下具有良好的不变性与稳定性,在图像检索抗噪性能方面表现优异。相比同类方法,本文方法更具实际应用价值。     

动态背景下自适应LOBSTER算法的前景检测

目的 前景检测是视频监控领域的研究重点之一。LOBSTER(local binary similarity segmenter)算法把ViBe(visual background extractor)算法和LBSP(local binary similarity patterns)特征结合起来,在一般场景下取的了优良的检测性能,但是LOBSTER算法在动态背景下适应性差、检测噪声多。针对上述问题,提出一种改进的LOBSTER算法。方法 在模型初始化阶段,计算各像素的LBSP特征值,并分别把像素的灰度值和LBSP特征值添加到各像素的颜色背景模型与LBSP背景模型中,增强了背景模型的描述能力;在像素分类阶段,根据背景复杂度自适应调整每个像素在颜色背景模型和LBSP背景模型中的分类阈值,降低了前景中的噪声;在模型更新阶段,根据背景复杂度自适应调整每个像素背景模型的更新策略,提高背景模型对动态背景的适应能力。结果 本文算法与ViBe算法和LOBSTER算法进行了对比实验,本文算法的前景图像比ViBe算法和LOBSTER算法的噪声点大幅较低,本文算法的PCC指标在不同视频库中比ViBe算法提高0.736%7.56%,比LOBSTER算法提高0.77% 12.47%,FPR指标不到ViBe算法和LOBSTER算法的1%。结论 实验仿真结果表明,在动态背景的场景下,本文算法比ViBe算法和LOBSTER算法检测到的噪声少,具有较高的准确率和鲁棒性。     

运动显著性概率图提取及目标检测

目的 动态场景图像中所存在的静态目标、背景纹理等静态噪声,以及背景运动、相机抖动等动态噪声,极易导致运动目标检测误检或漏检。针对这一问题,本文提出了一种基于运动显著性概率图的目标检测方法。方法 该方法首先在时间尺度上构建包含短期运动信息和长期运动信息的构建时间序列组;然后利用TFT（temporal Fourier transform）方法计算显著性值。基于此,得到条件运动显著性概率图。接着在全概率公式指导下得到运动显著性概率图,确定前景候选像素,突出运动目标的显著性,而对背景的显著性进行抑制;最后以此为基础,对像素的空间信息进行建模,进而检测运动目标。结果 对提出的方法在3种典型的动态场景中与9种运动目标检测方法进行了性能评价。3种典型的动态场景包括静态噪声场景、动态噪声场景及动静态噪声场景。实验结果表明,在静态噪声场景中,F_score提高到92.91%,准确率提高到96.47%,假正率低至0.02%。在动态噪声场景中,F_score提高至95.52%,准确率提高到95.15%,假正率低至0.002%。而在这两种场景中,召回率指标没有取得最好的性能的原因是,本文所提方法在较好的包络目标区域的同时,在部分情况下易将部分目标区域误判为背景区域的,尤其当目标区域较小时,这种误判的比率更为明显。但是,误判的比率一直维持在较低的水平,且召回率的指标也保持在较高的值,完全能够满足于实际应用的需要,不能抵消整体性能的显著提高。另外,在动静态噪声场景中,4种指标均取得了最优的性能。因此,本文方法能有效地消除静态目标干扰,抑制背景运动和相机抖动等动态噪声,准确地检测出视频序列中的运动目标。结论 本文方法可以更好地抑制静态背景噪声和由背景变化（水波荡漾、相机抖动等）引起的动态噪声,在复杂的噪声背景下准确地检测出运动目标,提高了运动目标检测的鲁棒性和普适性。     

3D point cloud registration denoising method for human motion image using deep learning algorithm

Aiming at the problem of 3D point cloud noise affecting the efficiency and precision of human body 3D reconstruction in complex scenes, a 3D point cloud registration denoising method for human motion image using depth learning algorithm is proposed. First, two Kinect sensors are used to collect the three-dimensional data of the human body in the scene, and the spatial alignment under the Bursa linear model is used to pre-process the background point cloud data. The depth image of the point cloud is calculated, and the depth image pair is extracted by the convolutional neural network. Furthermore, the feature difference of the depth image pair is taken as the input of the fully connected network and the point cloud registration parameter is calculated, and the above operation is performed iteratively until the registration error is less than the acceptable threshold. Then, the improved C-means algorithm is used to remove the outlier, the noise is clustered, and the large-scale outlier noise is removed. Finally, the high-frequency information is processed by the depth data bilateral filtering method. The experimental results show that compared with the traditional bilateral filtering algorithm and fuzzy C-means algorithm, the proposed method can effectively remove noise of different scales and maintain good performance on the basis of maintaining human body features. In the point cloud model of A, B, and C, the average error of the proposed method is lower than that of the traditional bilateral filtering algorithm with 15.7%, 15.9%, and 19.8%, respectively, and it is lower than that of the fuzzy C-means algorithm with 25.8%, 26.9%, and 30.2%, respectively.     

列车自适应交互多模型H∞滤波定位算法

针对在列车运行的复杂工况下噪声特性难以准确获知和状态模型与实际运行不匹配的问题,提出了列车自适应交互多模型H∞滤波算法。首先,依据列车运动状态自适应调整系统状态噪声特性和模型。其次,通过自适应补偿误差协方差增强H∞滤波的鲁棒性。最后,以哈尔滨到大庆的部分实测数据对算法的有效性进行了仿真验证。结果表明:所提算法具有自适应调整噪声特性及模型的能力,在复杂运动适应性和鲁棒性方面具有优势,曲线轨道段优势明显,对于列车定位具有一定的理论指导意义。     

基于改进简化PCNN模型的椒盐噪声滤波方法

针对PCNN简化模型在图像滤波中存在的问题,首先运用反证法证明PCNN简化模型在图像椒盐噪声检测时对低亮度的椒噪声检测失效;然后采用分而治之的方法对PCNN简化模型进行了改进,得到一种改进的PCNN简化模型;最后利用改进的PCNN简化模型检测图像的污染程度,确定噪声的具体位置,自适应地确定中值滤波窗口的大小,实现图像的自适应中值滤波。实验结果表明,此方法提高了噪声检测的准确性、图像滤波的保真性,对不同密度的椒盐噪声都有较好的滤波性能。     

基于联合双边滤波器的Kinect深度图像滤波算法

针对Kinect镜头采集的深度图像一般有噪声和黑洞现象,直接应用于人体动作跟踪和识别等系统中效果差的问题,提出一种基于联合双边滤波器的深度图像滤波算法。算法利用联合双边滤波原理,将Kinect镜头同一时刻采集的深度图像和彩色图像作为输入,首先,用高斯核函数计算出深度图像的空间距离权值和RGB彩色图像的灰度权值;然后,将这两个权值相乘得到联合滤波权值,并利用快速高斯变换替换高斯核函数,设计出联合双边滤波器;最后,用此滤波器的滤波结果与噪声图像进行卷积运算实现Kinect深度图像滤波。实验结果表明,所提算法应用在人体动作识别和跟踪系统后,可显著提高在背景复杂场景中的抗噪能力,识别正确率提高17.3%,同时所提算法的平均耗时为371ms,远低于同类算法。所提算法保持了联合双边滤波平滑保边的优点,由于引入彩色图像作为引导图像,去噪的同时也能对黑洞进行修补,因此该算法在Kinect深度图像上的去噪和修复效果优于经典的双边滤波算法和联合双边滤波算法,且实时性强。     

递进的迭代脉冲噪声检测

目的 脉冲噪声是引起图像质量下降的主要原因,其滤除工作一直是图像处理领域的研究热点。对现行开关滤波算法在脉冲噪声检测时间、检测精准度和恢复策略上存在的问题进行理论分析,提出一种递进的迭代脉冲噪声检测算法(PIND),使噪声图像能够获得更好的恢复效果。方法 首先,采用具有全局统计意义的灰度直方图确定脉冲噪声与真实像素之间的灰度值的上边界和下边界,根据这个界线区分出疑似点和真实点;然后,利用具有局部结构意义的方法将噪声点从疑似点中寻找出来并判断噪声类型,存储在决策表G中;最后,根据决策表G中存储的噪声类型信息采用3种不同的的恢复策略滤除噪声。结果 对Lena、Peppers和Monkey 3幅具有代表性的图像增加不同密度和尺度的噪声进行对比实验,得出的数据表明,本文算法的脉冲噪声检测时间比现行两种经典算法提高520倍和15倍;检测精准度比现行经典开关滤波算法更加精准,准确率可以达到99%以上;恢复图像也具有更好的视觉效果和12 dB的峰值信噪比(PSNR)提升。结论 提出递进的迭代脉冲噪声检测算法能够在有效滤除脉冲噪声的同时,充分保护图像细节和恢复图像原有特征,并能够在噪声检测时间和精度以及峰值信噪比上弥补现行开关滤波算法的不足。     

基于Kinect的人体姿态估计优化和动画生成

为了生成更准确流畅的虚拟人动画,采用Kinect设备捕获三维人体姿态数据的同时,使用单目人体三维姿态估计算法对Kinect的彩色信息进行骨骼点数据推理,从而实时优化人体姿态估计效果,并驱动虚拟人物模型生成动画。首先,提出了一种时空优化的骨骼点数据处理方法,以提高单目估计人体三维姿态的稳定性;其次,提出了一种Kinect和遮挡鲁棒姿势图（ORPM）算法融合的人体姿态估计方法来解决Kinect的遮挡问题;最后,研制了基于四元数向量插值和逆向运动学约束的虚拟人动画系统,其能够进行运动仿真和实时动画生成。与仅利用Kinect捕获人体运动来生成动画的方法相比,所提方法的人体姿态估计数据鲁棒性更强,具备一定的防遮挡能力,而与基于ORPM算法的动画生成方法相比,所提方法生成的动画在帧率上提高了两倍,效果更真实流畅。     

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。     

切换滤波方法在深度图像噪声处理中的应用

基于Kinect深度图像的互动投影系统受到多种混合噪声干扰.单一的滤波方法只针对特定噪声,往往难以取得很好的效果,通常要将几种滤波方法联合使用.一般的联合滤波虽然可以保证图像的精确度,但算法复杂度高、耗时较长,影响了互动投影系统的实时性.针对上述矛盾,本文首次将切换系统方法引入到数字图像滤波领域,提出了一种任意切换滤波算法,并将其应用到实际的互动感投影系统中.实验结果表明,切换滤波算法既能很好地去除噪声,又能保证跟踪的实时性,达到了良好的目标跟踪效果,可以广泛应用于各种图像滤波处理系统中.     

亮度—梯度联合约束的车牌图像超分辨率重建

目的 受成像距离、光照条件、动态模糊等因素影响,监控系统拍摄的车牌图像往往并不具备较高的可辨识度。为改善成像质量,提升对车牌的识别能力,提出一种基于亮度与梯度联合约束的车牌图像超分辨率重建方法。方法 首先充分结合亮度约束和梯度约束的优势,实现对运动位移和模糊函数的精确估计;为抑制重建图像中的噪声与伪影,基于车牌图像的文字化特征,进一步确定了亮度与梯度联合约束的图像先验模型。结果 为验证该方法的有效性,利用监控系统获得4组车牌图像,分别进行模拟和真实的超分辨率重建实验。在模拟实验中将联合约束图像先验重建结果与拉普拉斯、Huber-Markov（HMRF）以及总变分（TV）先验的处理结果进行对比,联合约束先验对车牌纹理信息的恢复效果优于其他3种常见图像先验;同时,在模拟和真实实验中,将本文算法与双三次插值、传统最大后验概率、非线性扩散正则化和自适应范数正则化方法的超分辨率重建结果进行比较,模拟实验的结果表明,在不添加噪声情况下,该算法峰值信噪比（PSNR）和结构相似性（SSIM）指标分别为35.326 dB和0.958,优于其他4种算法;该算法在真实实验中,能够有效增强车牌图像纹理信息,获得较优的视觉效果,通过对重建车牌图像的字符识别精度比较,本文算法重建结果的识别精度远高于其他3种算法,平均字符差距为1.3。结论 模拟和真实图像序列的实验结果证明,基于亮度—梯度联合约束的超分辨率重建方法,能够降低运动和模糊等参数的估计误差,有效减少图像中存在的模糊和噪声,提高车牌的识别精度。该算法广泛适用于因光照变化、相对运动等因素影响下的低质量车牌图像超分辨率重建。     

极化SAR相干斑抑制的非局部加权最小均方误差滤波算法

目的 相干斑的存在严重影响了极化合成孔径雷达(PolSAR)的影像质量.对相干斑的抑制是使用SAR数据的必不可少的预处理程序.提出一种基于非局部加权的线性最小均方误差(LMMSE)滤波器的极化SAR滤波的方法.方法 该方法的主要过程是利用非局部均值的理论来获取LMMSE估计器中像素样本的权重.同时,在样本像素的选取过程中,利用待处理像素的极化散射特性和邻域块的异质性来排除不相似像素以加速算法,同时达到保持点目标和自适应调节块窗口大小的目的.结果 模拟影像和真实影像上进行的实验结果表明,采用这种方法滤波后影像的质量得到明显改善.和传统的LMMSE算法相比,无论是单视的影像还是多视的影像,本文方法去噪结果的等效视数都高出8视以上;峰值信噪比也提升了5.8 dB.同时,去噪后影像分类的总体精度也达到了83％以上,该方法的运行效率也比非局部均值算法有了较大提升.结论 本文方法不仅能够有效抑制相干斑噪声,还能较好地保持边缘和细节信息以及极化散射特性.这将会为后续高效利用SAR数据提供保障.