SIFT算法的并行实现及应用

SIFT算法广泛应用于计算机视觉等领域,而该算法具有较高复杂度,为此提出了一种基于改进SIFT特征提取的视频全景合成方法。该方法采用了多核系统平台并行优化来实现SIFT算法,首先对相邻视点的特征进行配准,然后对重合区域进行双线性融合,减少了视差的影响,同时克服了SIFT算法高复杂度问题。实验结果证明,SIFT算法的并行实现能够实时处理视频拼接,并在大角度旋转情况下仍能较好地合成视图。     

基于互信息熵的全景视频关键帧数据实时提取系统设计

摘要：关键帧数据提取可以降低全景视频检索中产生的数据量,为了提高全景视频镜头边缘的检测与关键帧的提取的处理能力,提出基于互信息熵的全景视频关键帧数据实时提取系统设计。根据全景视频关键帧数据提取系统的硬件结构,分析视频播放器和镜头边缘检测器的工作原理;在系统的软件设计中,将待检测的两帧图像随机划分为子图像块,通过计算子图像块之间的互信息熵,获取全景视频图像的突变帧,将关键图像帧的特征差值曲线作为全景视频关键帧的时序特征,完成全景视频中关键帧数据的特征匹配,选择一个能够体现全景视频图像属性的特征,描述视频中的主要信息,利用数值化分析的方式,将全景视频帧的特征转换成数组形式的特征向量,通过计算互信息熵值,提取全景视频关键帧数。系统测试结果表明,文中系统将关键帧数据提取的查全率和查准率分别提高到95%和98%以上。能够准确提取出全景监控视频的关键帧数据,具有更好的全景视频处理能力。     

一种大视差场景下的实时视频拼接系统

随着虚拟现实技术和视频直播技术的发展,全景视频直播受到广泛的关注。传统的全景产品在处理大视差场景时易发生图像畸变,且难以兼顾实时性要求。为了解决这些问题,设计一种两路视频拼接系统。首先建立拼接背景模型。然后结合ORB(Oriented FAST and Rotated BRIEF)和基于移动DLT(Direct Linear Transformation)的APAP（As-Projective-As-Possible）算法完成图像配准,并改进一种基于最小能量检测的方法寻找最优接缝以避免移动前景引起的鬼影和错位。最后通过拼接模型计算阶段所得的参数索引表,对重叠区域进行融合完成视频帧的实时拼接。实验结果表明该系统可以处理大视差场景,具有良好的实时拼接效果。     

立体视频对象分割及其三维重建算法研究*

为更加有效分析立体视频对象,本文提出了一种基于离散冗余小波变换的立体视频对象分割算法,首先采用离散冗余小波变换提取特征点结合DT网格技术的视差估计方法,获得了可靠的视差场,再利用视差信息对立体视频中静止对象进行分割。对于立体视频序列中的运动对象,采用离散冗余小波提取运动区域的方法进行分割。实验结果表明,本算法对有重叠的多视频对象具有较好的分割效果,可同时分割静止物体和运动物体,具有较好的精确性和鲁棒性。对于分割出的立体视频对象,结合深度信息对其进行三维重建,得到较好的三维效果。     

H．264兼容的全景视频编码方法

在拍摄全景视频时,摄像头往往仅在水平方向上移动。由于在水平移动中偶尔有轻微的上下抖动,以及传感器采集引入的噪声,直接对其进行H.264编码,编码效率不高。针对全景视频拍摄和H.264编码的特点,提出了一种对全景视频高效的H.264编码方法,首先将原始全景视频合成一张全景图;然后再把全景图直接转换为标准H.264码流。实验结果表明,采用该方法对其编码,与直接编码原始视频相比,编码效率大大提高。     

一种视差伪影最小化的视频拼接方法

针对视频拼接中由于移动前景引起的重影和伪影问题,提出了一种视差伪影最小化的视频拼接方法。该方法根据重叠区域图像的前景区域、灰度差异、纹理和颜色差异对能量函数进行改进,同时采用能量最小化的动态规划技术找到非移动前景区域的最佳缝合线;利用视觉背景提取（VIBE）检测移动物体并在随后的视频图像中更新最佳缝合线;根据色彩饱和度差异自适应地调整融合区域,采用自适应融合方法实现视频图像的融合。实验结果表明,该方法可以有效地抑制由移动前景引起的视差伪影且其拼接图像无明显接缝。     

基于内容的视频检索的关键帧提取

关键帧提取是基于内容的视频检索中的一个重要技术。本文在总结前人的工作基础上,提出了一种利用视频帧之间互信息量算法来提取关键帧的方法。该方法结合两个连续图像帧的特征互信息量的变化关系来提取关键帧,并与视频聚类的关键帧提取方法进行了比较。实验结果表明,利用该方法提取的关键帧能较好地代表镜头内容且提取关键帧的速度比视频聚类的关键帧提取方法快。     

基于时序上下文的视频场景分类

以传统的词袋模型为基础,根据相邻镜头关键帧之间具有相关性的特点提出了一种用于视频场景分类的模型。将视频片段进行分割,提取关键帧,对关键帧图像归一化。将关键帧图像作为图像块以时序关系合成新图像,提取新图像的SIFT特征及HSV颜色特征,将图像的SIFT特征及HSV颜色特征数据映射到希尔伯特空间。通过多核学习,选取合适的核函数组对每个图像进行训练,得到分类模型。通过对多种视频进行实验,实验结果表明,该方法在视频场景分类中能取得很好的效果。     

基于运动特征融合的快速视频超分辨率重构方法

基于深度学习的视频超分辨率重构方法常面临重构精度不高或重构时间过长的问题,难以实时获得高精度的重构结果.针对此问题,文中提出基于深度残差网络的视频超分辨率重构方法,可以快速地对视频进行高精度重构,并在较小分辨率视频的重构过程中达到实时重构的要求.自适应关键帧判别子网自适应地从视频帧中判别关键帧,关键帧经过高精度关键帧重构子网进行重构.对于非关键帧,将其特征与邻近关键帧间的运动估计特征和邻近关键帧的特征逐层融合,直接获得非关键帧的特征,从而快速获得非关键帧的重构结果.在公开数据集上的实验表明,文中方法能实现对视频的快速、高精度重构,鲁棒性较好.     

一种基于核聚类的关键帧提取方法

为了在视频数据库中提供有效的视频检索和浏览功能,必须用简明的方式表示视频的内容.关键帧是对视频镜头的简洁表示,关键帧提取已成为视频检索的一个重要研究方向.文中提出了一种基于核聚类的视频关键帧提取方法,它通过对视频提取颜色特征,并将这些特征作为样本映射到高维特征空间之后,在特征空间中进行聚类,使原来没有显现的特征突现出来,自动将内容相似的样本归为同类,每一类可取一个样本代表其内容,这样的样本即为关键帧.实验结果表明这种方法可以较好地概括视频内容.     

Shot retrieval based on fuzzy evolutionary aiNet and hybrid features

As the multimedia data increasing exponentially, how to get the video data we need efficiently become so important and urgent. In this paper, a novel method for shot retrieval is proposed, which is based on fuzzy evolutionary aiNet and hybrid features. To begin with, the fuzzy evolutionary aiNet algorithm proposed in this paper is utilized to extract key-frames in a video sequence. Meanwhile, to represent a key-frame, hybrid features of color feature, texture feature and spatial structure feature are extracted. Then, the features of key-frames in the same shot are taken as an ensemble and mapped to high dimension space by non-linear mapping, and the result obeys Gaussian distribution. Finally, shot similarity is measured by the probabilistic distance between distributions of the key-frame feature ensembles for two shots, and similar shots are retrieved effectively by using this method. Experimental results show the validity of this proposed method.     

基于特征聚类的大视差图像拼接算法

针对大视差图像拼接过程中出现的错位、重影等问题,提出一种基于特征聚类的图像拼接算法。首先,以已匹配的特征点分布为依据在目标图像重叠区域构造泰森多边形。然后使用改进的AGNES层次聚类算法对特征点聚类,合并对应组内特征点所代表的泰森多边形,得到目标图像重叠区域的各个子平面。最后,求解对应子平面的单应性矩阵,并采取就近原则分配非重叠区域的单应性矩阵,对目标图像进行投影变换,得到拼接图像。实验结果表明,所提算法具有较高的配准精度,可有效改善大视差图像拼接过程中出现的误配准和局部失真问题。     

Real-time panorama video system using networked multiple cameras

Although panorama creation has been studied extensively, previous works still have limitations because they depend on customized hardware or post processing, resulting in high production cost and complexity. We propose and implement real-time panorama video system by using off-the-shelf embedded boards and camera modules. For real-time, we developed the performance improving methods such as reducing the homography computation load and employing multi thread structure. We conducted a series of experiments to investigate how different blending combinations and the number of threads affect the performance and image quality. We also analyzed the time consumption of threads and stitching steps.     

利用对称多处理器提高NIDS的性能

网络入侵检测系统(NIDS)通过捕获和分析网络数据包判断是否存在攻击行为。由于网络带宽越来越高,NIDS的处理能力越来越难以跟上网络的速度。该文提出了一种利用对称多处理器(SMP)提高NIDS处理能力的方法,通过多个CPU并行的处理网络数据包改善系统的性能。经过对NIDS处理过程的分析,设计了一种有效的并行处理结构,保证在不同CPU上运行的线程能够高度并行的执行。此外,该文提出的线程同步方式既保证了程序功能的正确,又避免了对共享资源的互斥访问,进一步提高了线程的并行度。实验证明,在具有双CPU的SMP结构上实现的NIDS的性能比单CPU系统提高了80%。     

结合互信息量与模糊聚类的关键帧提取方法

关键帧是描述一个镜头的关键图像帧,它通常反映一个镜头的主要内容,因此,关键帧提取技术是视频分析和基于内容的视频检索的基础。提出了一种结合互信息量与模糊聚类的关键帧提取方法,一方面通过互信息量算法对视频片段进行镜头检测可以保持视频的时间序列和动态信息,另一方面通过模糊聚类使镜头中的关键帧能很好的反映视频镜头的主要内容。最后构建了一套针对MPEG-4视频的关键帧提取系统,通过实验证明该系统提取的关键帧,可以较好地代表视频内容,并且有利于实现视频分析和检索。     

多核CPU下的K-means遥感影像分类并行方法

针对海量遥感影像快速分类的应用需求,提出一种基于K-means算法的遥感影像并行分类方法.该方法结合CPU下进程级与线程级模式的并行特征,设计融合进程级与线程级并行的两阶段数据粒度划分方法和任务调度方法,在保证精度的基础上实现并行加速.利用大数据量的多尺度遥感影像进行实验,结果表明:所提并行方法可大大减少遥感影像的分类时间,取得了良好的加速比(13.83),并可达到负载均衡,从而解决了大区域遥感影像快速分类的问题.     

基于关键帧的三维人体运动检索

提出一种基于关键帧的三维人体运动检索技术.首先采用骨骼夹角作为对原始运动数据的特征表示并提取运动片断关键帧集合,以此作为原始运动片断的特征表示;然后基于所提取关键帧数据在相似运动片断之间具有一致性的特点,在两两关键帧集合之间建立距离矩阵进行相似度匹配.实验结果表明,与现有大多数基于内容的三维人体运动数据检索方法相比,该方法能够取得更好的时间效率且不依赖于任何预先设定的参数,相对于现有基于关键帧的运动检索技术而言,其能够获得更好的检索效果.     

Panoramic Video from Unstructured Camera Arrays

We describe an algorithm for generating panoramic video from unstructured camera arrays. Artifact‐free panorama stitching is impeded by parallax between input views. Common strategies such as multi‐level blending or minimum energy seams produce seamless results on quasi‐static input. However, on video input these approaches introduce noticeable visual artifacts due to lack of global temporal and spatial coherence. In this paper we extend the basic concept of local warping for parallax removal. Firstly, we introduce an error measure with increased sensitivity to stitching artifacts in regions with pronounced structure. Using this measure, our method efficiently finds an optimal ordering of pair‐wise warps for robust stitching with minimal parallax artifacts. Weighted extrapolation of warps in non‐overlap regions ensures temporal stability, while at the same time avoiding visual discontinuities around transitions between views. Remaining global deformation introduced by the warps is spread over the entire panorama domain using constrained relaxation, while staying as close as possible to the original input views. In combination, these contributions form the first system for spatiotemporally stable panoramic video stitching from unstructured camera array input.     

并行处理技术在雷达数据处理中的应用研究

为了解决雷达数据处理系统数据量日益增大,计算能力逐渐不足的问题,提出两种并行处理方法。第一种方法是对数据处理各步骤中的循环采用多个线程并行处理,属于细粒度并行;第二种方法是根据雷达数据的局部性特征,把雷达探测空域按照径向距离划分成多个部分,由多个子任务并行处理,属于粗粒度并行。实验结果显示,4线程细粒度并行雷达数据处理架构性能是原来的3倍,4任务粗粒度并行架构性能是原来的5倍,证明并行处理技术在雷达数据处理中的有效性,并且任务级的粗粒度并行架构更适合雷达数据处理。