低码率下基于ROI与JND的分级量化方法北大核心

传统基于人眼感兴趣区域(ROI)的分级量化模型,将视频帧划分为ROI区域和非ROI区域,对相应区域用不同的量化参数(QP)进行量化,以提升视频的主观质量。而该模型没有考虑ROI区域的内部特性,不能很好地符合人眼视觉特性(HVS)。针对低码率条件下以人脸为主体的桌面视频、手持终端等场景,提出一种基于ROI和恰可观测失真(JND)的分级量化方法。JND模型表明边界区域相对平滑区域能够隐藏更多的失真,利用该属性检测出ROI区域(即人脸)中人眼更感兴趣的边界部分(例如眼睛、鼻子、嘴巴等),据此建立基于ROI与JND的分级量化模型,指导各区域的量化。实验结果表明,针对低码率视频的应用,与传统分级量化方法相比,本文所提方法在相同码率条件下能明显提升视频的主观质量。     

低码率下基于ROI与JND的分级量化方法

传统基于人眼感兴趣区域(ROI)的分级量化模型,将视频帧划分为ROI区域和非ROI区域,对相应区域用不同的量化参数(QP)进行量化,以提升视频的主观质量.而该模型没有考虑ROI区域的内部特性,不能很好地符合人眼视觉特性(HVS).针对低码率条件下以人脸为主体的桌面视频、手持终端等场景,提出一种基于ROI和恰可观测失真(JND)的分级量化方法.JND模型表明边界区域相对平滑区域能够隐藏更多的失真,利用该属性检测出ROI区域(即人脸)中人眼更感兴趣的边界部分(例如眼睛、鼻子、嘴巴等),据此建立基于ROI与JND的分级量化模型,指导各区域的量化.实验结果表明,针对低码率视频的应用,与传统分级量化方法相比,本文所提方法在相同码率条件下能明显提升视频的主观质量.     

基于低码率传输的红外视频编码方法研究

为了满足低速数据链下目标识别的需求,把感兴趣区域(Region of Interest,ROI)编码策略引入红外视频编码。在H.264视频编/解码框架的基础上,通过增加ROI编码的处理,构建基于ROI的视频编/解码框架,并在码率控制过程中调整ROI宏块与非ROI宏块的量化参数,优化了ROI量化模型。实验结果表明,该方法能够节省有限码率,增加ROI目标的细节,提高ROI对象的清晰度,可从整体上提高主观视觉的质量。     

基于多特征融合的红外图像分类研究

针对传统红外图像目标分类方法准确率低的问题,提出了一种用结合多特征融合的粒子群优化(Particle Swarm Optimization, PSO)算法来优化支持向量机(Support Vector Machine, SVM)的方法。该方法采用方向梯度直方图(Histogram of Oriented Gradient, HOG)和局部二值模式(Local Binary Pattern, LBP)两类特征描述红外图像中目标的轮廓特征和局部纹理,从不同的方面展现红外图像的特点,在图像的特征表达上具有一定的互补性。在特征提取后对样本数据进行凸包算法计算,得到一些具有代表性的样本数据,从而提高分类计算效率;在分类模型训练时,采用PSO算法优化SVM,寻找SVM的最优惩罚因子和核参数,从而提高分类模型的准确率。实验结果表明,多特征融合的分类模型的准确率比单一特征的分类模型提高近10%,且经PSO优化的SVM最终模型的分类准确率高达99%。     

降雨大气中激光束漂移和到达角起伏研究

本文利用降雨大气中,雨滴与湍流所引起折射率起伏的相互独立性,在雨滴对光束的前向散射近轴条件下,以马尔科夫过程和delta相关条件,讨论了激光束穿过雨屏和湍流大气时,所引起的漂移和光波波阵面到达角起伏的统计特性.给出了它们的理论计算曲线.得出结论为:在降雨大气中,雨滴所引起对激光束的漂移和到达角起伏量均比同时存在的弱湍流影响要大.     

基于摄像视频分析的降雨量测量方法

提出一种新颖的基于视频的降雨量测量方法。首先 根据雨图亮度变化特征检测雨滴;其次,为解决雨滴离摄像机距离信息未知情况下的雨滴尺 寸估计问题,在雨滴成像光度模型中融入散聚焦因素, 构建了基于亮度差和色彩张量响应特征的散聚焦雨滴判别方法;然后,根据透视成像关系计 算聚焦雨滴的尺寸并根据气象学 雨滴谱的定义来构建观测雨滴谱;最后,为抑制观测雨滴谱中的噪声,采用气象学Gamma模 型拟合观测雨滴谱,并由模型参 数计算降雨量。在不同程度的降雨环境下实验检验算法,并与雨量计记 录数据对比,测量结果较为一致。     

基于FCM的雨天视频图像复原

恶劣天气条件下图像退化的复原方法,对提高户外视觉系统的稳定性和实用性极为重要。雨作为其中一种场景,影响了户外图像或视频进行可靠目标检测、物体识别和跟踪、特征提取等基本操作,极易造成处理偏差,因此有必要对去雨方法进行研究,复原该类图像,消除降雨对图像质量的影响,以保证图像的清晰度。基于视频中雨滴的时域特性和像素直方图的全局特性,借助FCM(模糊C均值)聚类算法,提出了检测与去除视频中雨滴的方法。通过视频中4种不同场景的实验,验证了该方法的有效性。同时,该算法也可应用于其它类似雨的场景检测中。     

激光引信在降雨中的光束扩展特性

激光引信在降雨中工作时会受到雨滴的散射和衰减效应,使光束质量变差,回波能量减小,从而影响探测系统的性能。以蒙特-卡罗方法为基础,给出了激光在降雨中的传输模型,分析不同模拟条件下光束的扩展特性,并进行实验测试。由仿真分析可知,雨滴对光束的散射作用导致光斑扩散,从而光束能量密度减小,并且随着降雨强度、传输距离和光束发散角的增大,光子散射次数增多,光斑直径扩大,到达接收面的光子减少,光束能量衰减。实验测试结果与仿真计算基本一致,最大误差不超过4%,很好地验证了模型的准确性。     

一种基于立体视觉显著性的多视点视频比特分配方法

针对多视点立体视频压缩编码,提出了一种基于立 体视觉显著性的比 特分配方法。研究综合利用多视点立体视频数据中场景的运动、深度以及深度边缘信息提取 人眼感兴趣区 域(ROI)的方法;然后根据ROI的划分结果优化区域比特分配。实验结果表 明,本文提出的算法能有效提 高ROI区域的编码性能,同时整体视频的率失真性能有一定程度的提高。     

基于非球形雨滴的降雨对激光传输衰减的影响

为了进一步确定降雨对激光在大气中传输衰减的影响,将雨滴的非球形效应考虑在内,在雨滴的近似椭球模型、归一化谱分布的基础上,利用射线追踪法计算群雨滴在可见光和近红外波段的散射和衰减特性,讨论分析雨滴谱分布和降雨强度对可见光和近红外波段激光传输衰减的影响。数值模拟结果表明,不同谱分布的群雨滴散射能力从大到小依次为JD、MP、Gamma和JT分布;激光衰减不仅受降雨强度的影响,也与雨滴的数密度有关,数密度越大,激光衰减越大;而形状对群雨滴的影响较小。所得出的结论有助于准确评估降雨对激光传输的影响以及改善激光传输、通信和激光测风等应用。     

一种基于MPEG-4的感兴趣区域视频编码新方法

本文提出了一种基于MPEG-4的感兴趣区域视频编码新方法.通过对感兴趣区边沿宏块采用强制帧内编码及宏块内预测编码时参考位置的自适应选择,该方法有效地抑制了数据噪声的扩散和传播.通过采用自适应宏块大小的运动估计/补偿算法,提高了感兴趣区特别是图像运动复杂的感兴趣区的编码效率及质量.在码率分配部分,本文方法通过计算不同区域的图像复杂性和能量,依据用户可设定的感兴趣权重因子不等重地分配可用码率资源.实验证明,本文方法较大程度改善了感兴趣区视频编码的压缩效率,提高了码率分配地灵活性和有效性.     

基于迁移集成学习的无人机图像识别算法

针对当前小型无人机目标图像识别方法准确率较低的问题,提出了一种基于迁移集成学习的无人机图像识别算法。首先,基于AlexNet、VGGNet-19、Inception-V3以及ResNet-50四种结构具有差异的卷积神经网络对源数据集进行预训练,获取图像的深层次特征;然后,对目标数据集进行迁移学习,得到目标的分类特征,构建分类模型;之后,采用相对多数投票法和加权平均法的集成学习方法,对分类模型进行集成得到迁移集成模型。构建了一个包含小型无人机图像、飞鸟图像以及直升机图像的图像数据集UavNet,在对数据集进行数据增强的基础上开展了图像识别算法性能实验,结果表明,算法对多类目标的识别准确率为99.42%,无人机类目标识别的F1-score指标为99.12%,优于主流的卷积神经网络方法和传统的支持向量机方法,具有一定的理论意义和应用价值。     

基于3D ResNet-LSTM的多视角人体动作识别方法

在基于视频图像的动作识别中,由于固定视角相机所获取的不同动作视频存在视角差异,会造成识别准确率降低等问题。使用多视角视频图像是提高识别准确率的方法之一,提出基于三维残差网络（3D Residual Network,3D ResNet）和长短时记忆（Long Short-term Memory,LSTM）网络的多视角人体动作识别算法,通过3D ResNet学习各视角动作序列的融合时空特征,利用多层LSTM网络继续学习视频流中的长期活动序列表示并深度挖掘视频帧序列之间的时序信息。在NTU RGB+D 120数据集上的实验结果表明,该模型对多视角视频序列动作识别的准确率可达83.2%。     

基于MSER和SVM的快速交通标志检测

为解决传统的基于机器学习的交通标志检测(TSD) 方法需要对每一个待检测子窗口进行处理而导致算法实时性不高的问 题,提出了一种基于感兴趣区域(ROI)提取和机器学习的快速TSD 算法。针对传统基于颜色阈值的ROI提取方法具 有对光照变化较敏感等缺点,设计了一种颜色增强下的最大稳定极值区域(MSER)方法 ,根据标志的颜色进行 颜色增强,对颜色增强图像提取MSER得到交通标志ROI;然后在图像的多尺度滑动遍历检测 过程中,仅对包含ROI的滑 动窗口进行方向梯度直方图(HOG)特征的提取,并通过支持向量机(SVM)进 行分类判别。实验结果表明,本文改进的TSD方法在运算速度上有较大提升,具有很好的鲁 棒性,且获得了96.42%的检测率以及较低的误检数。     

Automatic modulation classification based on AlexNet with data augmentation

Deep learning (DL) requires massive volume of data to train the network. Insufficient training data will cause serious overfitting problem and degrade the classification accuracy. In order to solve this problem, a method for automatic modulation classification ( AMC) using AlexNet with data augmentation was proposed. Three data augmentation methods is considered, i. e. , random erasing, CutMix, and rotation. Firstly, modulated signals are converted into constellation representations. And all constellation representations are divided into training dataset and test dataset. Then, training dataset are augmented by three methods. Secondly, the optimal value of execution probability for random erasing and CutMix are determined. Simulation results show that both of them perform optimally when execution probability is 0.5. Thirdly, the performance of three data augmentation methods are evaluated. Simulation results demonstrate that all augmentation methods can improve the classification accuracy. Rotation improves the classification accuracy by 13.04% when signal noise ratio (SNR) is 2 dB. Among three methods, rotation outperforms random erasing and CutMix when SNR is greater than - 6 dB. Finally, compared with other classification algorithms, random erasing, CutMix, and rotation used in this paper achieved the performance significantly improved. It is worth mentioning that the classification accuracy can reach 90.5% with SNR at 10 dB.     

Optimized superpixel and AdaBoost classifier for human thermal face recognition

Infrared spectrum-based human recognition systems offer straightforward and robust solutions for achieving an excellent performance in uncontrolled illumination. In this paper, a human thermal face recognition model is proposed. The model consists of four main steps. Firstly, the grey wolf optimization algorithm is used to find optimal superpixel parameters of the quick-shift segmentation method. Then, segmentation-based fractal texture analysis algorithm is used for extracting features and the rough set-based methods are used to select the most discriminative features. Finally, the AdaBoost classifier is employed for the classification process. For evaluating our proposed approach, thermal images from the Terravic Facial infrared dataset were used. The experimental results showed that the proposed approach achieved (1) reasonable segmentation results for the indoor and outdoor thermal images, (2) accuracy of the segmented images better than the non-segmented ones, and (3) the entropy-based feature selection method obtained the best classification accuracy. Generally, the classification accuracy of the proposed model reached to 99% which is better than some of the related work with around 5%.     

基于纹理分解的变换域JND模型及图像编码方法

为了提高变换域JND模型的精度,在计算对比度掩盖因子时只对纹理分量滤波并判断区域类型的方法避免了JND低估的问题。将改进的JND模型用于图像编码,考虑到辅助信息对编码效率的影响,把经过调整后的JND模型结合到量化过程中,能去除更多的视觉冗余并保持兼容性。仿真结果表明,纹理分解的方法提高了JND阈值,改进的编码方法在相似的视觉质量下能节省更多的码率并且不需要增加额外的比特开销,该编码思路也适用于视频编码。     

一种视角无关的时空关联深度视频行为识别方法

当前行为识别方法在不同视角下的识别准确率较低,该文提出一种视角无关的时空关联深度视频行为识别方法。首先,运用深度卷积神经网络的全连接层将不同视角下的人体姿态映射到与视角无关的高维空间,以构建空间域下深度行为视频的人体姿态模型(HPM);其次,考虑视频序列帧之间的时空相关性,在每个神经元激活的时间序列中分段应用时间等级池化(RP)函数,实现对视频时间子序列的编码;然后,将傅里叶时间金字塔(FTP)算法作用于每一个池化后的时间序列,并加以连接产生最终的时空特征表示;最后,在不同数据集上,基于不同方法进行了行为识别分类测试。实验结果表明,该文方法(HPM+RP+FTP)提高了不同视角下深度视频识别准确率,在UWA3DII数据集中,比现有最好方法高出18%。此外,该文方法具有较好的泛化性能,在MSR Daily Activity3D数据集上得到82.5%的准确率。     

Extracting salient region for pornographic image detection

Content-based pornographic image detection, in which region-of-interest (ROI) plays an important role, is effective to filter pornography. Traditionally, skin-color regions are extracted as ROI. However, skin-color regions are always larger than the subareas containing pornographic parts, and the approach is difficult to differentiate between human skins and other objects with the skin-colors. In this paper, a novel approach of extracting salient region is presented for pornographic image detection. At first, a novel saliency map model is constructed. Then it is integrated with a skin-color model and a face detection model to capture ROI in pornographic images. Next, a ROI-based codebook algorithm is proposed to enhance the representative power of visual-words. Taking into account both the speed and the accuracy, we fuse speed up robust features (SURF) with color moments (CM). Experimental results show that the precision of our ROI extraction method averagely achieves 91.33%, more precisely than that of using the skin-color model alone. Besides, the comparison with the state-of-the-art methods of pornographic image detection shows that our approach is able to remarkably improve the performance.