多视点视频编码中图像分组技术的研究

在多视点视频编码中,引入了视点间运动补偿预测技术,而在视点间预测过程中,由于视差矢量的使用,使得GoP长度对编码效率的影响与一般H.264/AVC编码有所不同。在分析了可分级B帧的预测结构对多视点视频编码性能的影响基础上,通过对不同视频序列设置不同GoP的大小,经过多次反复实验,而后对实验结果进行分析,找到了在一定数值范围内的GoP。通过该GoP得到了较好的PSNR和模值较小的MV或者DV,节约了一定的编码时间。     

一种低编码复杂度可分级的视频编码系统

在可分级视频编码（SVC,scalable video coding）的框架下,利用分布式视频编码（DVC,distributed video coding）技术,设计了一种低编码复杂度的SVC方案。该系统具有空间可分级的特性,各分层中仅用到了传统的帧内编码技术和DVC技术,最大限度的减小了SVC系统的编码复杂度。在该...     

基于时域相关性的HEVC快速帧内预测算法

根据视频序列时域相关性强的特性,提出了一种基于时域的HEVC快速帧内预测算法。在帧间预测中,通过在参考帧中运动搜索找到当前预测单元(PU)的帧间最佳匹配块,当搜索当前PU的帧内预测模式时,把帧间最匹配参考块遍历帧内模式时的最佳帧内模式,当作当前PU进行帧内预测时的最佳帧内模式,以达到减少帧内预测模式数量,降低计算复杂度的目的。实验结果表明,在码率和图像质量基本不变的情况下,提出的算法将HEVC帧内预测时间平均减少了33.79%。     

分布式视频编码中虚拟信道模型的动态估计

基于Slepian-Wolf理论和Wyner-Ziv理论的分布式视频编码,是一种全新的视频编码框架。分布式视频编码系统中,解码端对虚拟信道模型估计的准确性是影响压缩性能的关键因素之一。针对虚拟信道的时域动态特性,提出了新的解码端帧级虚拟信道模型的动态估计算法。利用边信息内插阶段所获得的双向运动矢量,对当前帧前后的关键帧进行运动补偿,通过前后关键帧的运动补偿误差来估计当前帧的虚拟信道模型。针对虚拟信道的空域动态特性,提出了子块级虚拟信道模型的动态估计算法。通过对视频帧进行分块,对每个分块都进行参数估计,即可动态地完成各子块对应的虚拟信道模型的估计。实验证明所提出的两种虚拟信道模型的估计算法都有效降低了视频编码系统的传输码率,提高了系统的率失真性能。     

基于非均匀量化的小波域分布式深度图视频编码

针对分布式多视点加深度格式(DMVD)的视频编码中深度图视频解码质量问题,提出一种结合子带层及子带系数的小波域分布式深度视频非均匀量化方案,通过给边缘分配更多比特来提升深度图的边缘质量。结合深度图经小波变换后系数分布特性,对第N层的低频小波系数采用均匀量化方案,对其他层高频小波系数采用非均匀量化方案。针对高频系数的非均匀量化,对处于"0"左右的高频系数采用较大的量化步长,随着高频系数幅度值的增大,量化步长逐渐减小,量化逐渐精细,从而提升深度图中的边缘细节质量。实验结果表明,对于边缘较多且变化较明显的"Dancer"和"PoznanHall2"深度序列,该算法能够有效地提高二者的边缘信息质量从而提高其率失真(R-D)性能,最高可达1.2 dB;而对于边缘区域较小且较为模糊的"Newspaper"和"Balloons"深度序列,系统的R-D性能也能被提升0.3 dB左右。     

基于图像能量相关性的H.264/AVC 2阶预测算

针对现有2阶预测算法对残差像素间的相关性考察不够,使得2阶预测不够准确,导致编码效率降低等缺点,提出一种基于图像能量相关性的H.264/AVC 2阶预测算法。该算法基于对帧内、帧间残差像素相关性的详细统计分析,定义了像素能量相关性,通过统计出能量相关性和1阶帧间残差的关系曲线,动态地、较为准确地筛选出2阶帧内预测参考像素,既提高了2阶帧内预测的准确性,在码率降低的同时,提高了编码图像质量。实验结果表明,本文算法在图像质量和码率两方面均优于现有2阶预测算法。尤其对于高分辨率且包含复杂运动的视频,图像质量和码率提升较大,与其它2阶预测算法相比,率失真优化效果明显。     

基于亮度校正的航拍图像拼接融合算法

针对无人飞行器航拍图像拼接可能产生拼接缝及拼接过程中占用内存过大的问题,提出一种基于亮度校正的航拍图像拼接融合算法。首先,对配准的航拍图像进行亮度校正预处理;然后,搜索图像获得最佳缝合线,并从图像重叠区域划分出过渡区域,减小拉普拉斯金字塔面积;最后,在不同区域分别采用加权融合算法和拉普拉斯金字塔融合算法对图像进行拼接。实验结果表明,提出的算法能够有效改善曝光差异,同时减小拼接时所占用的内存。     

基于公共空间视频的人脸情绪识别

针对公共空间中人脸情绪识别准确率不高的问题,提出一种结合不同感受野和双流卷积神经网络的人脸情绪识别方法。首先建立基于公共空间视频的人脸表情数据集;然后设计一个双流卷积网络,以尺寸为224×224的单帧人脸图像输入卷积神经网络(convolution neural network,CNN),分析图像纹理静态特征;以尺寸为336×336视频序列输入CNN网络,再将提取的特征送入长短期记忆网络(long short term memory network,LSTM)分析局部、全局运动特征;最后通过Softmax分类器将两通道网络的描述子进行加权融合,得到分类结果。结果表明,本文方法能有效利用不同感受野的信息特征清晰识别公共空间的4种典型人脸情绪,识别准确率达88.89%。     

基于拉普拉斯金字塔融合的岩心图像拼接算法

针对岩心图像拼接效率低以及易出现鬼影现象的问题,提出了一种基于最佳缝合线的拉普拉斯金字塔融合的岩心图像拼接方法.首先将待拼接的两幅岩心图像进行灰度变换,根据ORB算法计算并描述特征点;其次使用改进的random sample consensus (RANSAC)算法对特征点进行提纯,完成特征点匹配;根据匹配的特征点计算图像间的配准关系,最后根据最佳缝合线实现岩心图像的拉普拉斯金字塔融合,完成拼接.实验结果表明,改进的RANSAC算法能在保证正确率的同时提升速度,而且本文提出的图像融合方法避免了鬼影的产生,在融合区域的PSNR、SSIM和DoEM客观评价指标上与另外两种图像融合算法相比都有所提升.     

基于Transformer交叉注意力的文本生成图像技术

近年来,以生成对抗网络为基础的从文本生成图像方法的研究取得了一定的进展。文本生成图像技术的关键在于构建文本信息和视觉信息间的桥梁,促进网络模型生成与对应文本描述一致的逼真图像。目前,主流的方法是通过预训练文本编码器来完成对输入文本描述的编码,但这些方法在文本编码器中未考虑与对应图像的语义对齐问题,独立对输入文本进行编码,忽略了语言空间与图像空间之间的语义鸿沟问题。为解决这一问题,文中设计了一种基于交叉注意力编码器的对抗生成网络(CAE-GAN),该网络通过交叉注意力编码器,将文本信息与视觉信息进行翻译和对齐,以捕捉文本与图像信息之间的跨模态映射关系,从而提升生成图像的逼真度和与输入文本描述的匹配度。实验结果表明,在CUB和coco数据集上,与当前主流的方法DM-GAN模型相比,CAE-GAN模型的IS(Inception Score)分数分别提升了2.53%和1.54%,FID (Fréchet Inception Distance)分数分别降低了15.10%和5.54%,由此可知,CAE-GAN模型生成图像的细节更加完整、质量更高。