一种改进的卷积神经网络的无参考JPEG2000图像质量评价方法

现有的图像质量评价模型对JPEG2000压缩图像的失真情况评价都不是很理想。针对这一问题,提出一种基于卷积神经网络的JPEG2000压缩图像质量评价方法。该模型由一层包含20个卷积核的卷积层,一层包含最大池、中值池和最小池的次采样层、一层采用1200个ReLU激活单元的全链接层和一个输出节点构成。采用最大、中值、最小三池联合的方法,可以有效提取图像的质量感知特征。在LIVE图像质量评价库JPEG2000压缩图像上的实验结果表明,该方法得到了比相关文献方法更好的主观感知一致性。     

基于深度的3D视频质量评价

针对3D视频质量评价,基于人眼视觉系统HVS提出了一种新的加权SSIM评测方法.利用MVD深度视图空间和时间上的特性,提取主观权值映射,基于SSIM利用权值映射使得到了基于深度的SSIM加权算法DSSIM.实验结果表明,DSSIM比PSNR更趋近于HVS,比SSIM更充分地考虑了3D结构信息,得到更准确的3D视频质量评价.     

基于深度学习的视频质量评价研究综述

视频质量评价(VQA)是以人眼的主观质量评估结果为依据,使用算法模型对失真视频进行评估.传统的评估方法难以做到主观评价结果与客观评价结果相一致.基于深度学习的视频质量评价方法无需加入手工特征,通过模型自主学习即可进行评估,对视频质量的监控和评价有重要意义,已成为计算机视觉领域的研究热点之一.首先对视频质量评价的研究背景...     

基于多层BP神经网络的无参考视频质量客观评价

机器学习在视频质量评价(Video quality assessment, VQA)模型回归方面具有较大的优势, 能够较大地提高构建模型的精度. 基于此, 设计了合理的多层BP神经网络, 并以提取的失真视频的内容特征、编解码失真特征、传输失真特征及其视觉感知效应特征参数为输入, 通过构建的数据库中的样本对其进行训练学习, 构建了一个无参考VQA模型. 在模型构建中, 首先采用图像的亮度和色度及其视觉感知、图像的灰度梯度期望值、图像的模糊程度、局部对比度、运动矢量及其视觉感知、场景切换特征、比特率、初始时延、单次中断时延、中断频率和中断平均时长共11个特征, 来描述影响视频质量的4个主要方面, 并对建立的两个视频数据库中的大量视频样本, 提取其特征参数; 再以该特征参数作为输入, 对设计的多层BP神经网络进行训练, 从而构建VQA模型; 最后, 对所提模型进行测试, 同时与14种现有的VQA模型进行对比分析, 研究其精度、复杂性和泛化性能. 实验结果表明: 所提模型的精度明显高于其14种现有模型的精度, 其最低高出幅度为4.34 %; 且优于该14种模型的泛化性能, 同时复杂性处于该15种模型中的中间水平. 综合分析所提模型的精度、泛化性能和复杂性表明, 所提模型是一种较好的基于机器学习的VQA模型.     

基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

基于多尺度时域3D卷积的视频超分辨率重建

视频超分辨率是一项很有实用价值的工作.针对超高清产业中高分辨率资源较为匮乏的问题,为了有效利用视频序列帧间丰富的时间相关性信息及空间信息,提出一种基于多尺度时域3D卷积的视频超分辨率重建算法.该算法将输入的低分辨率视频序列帧分别通过不同时间尺度的3D卷积进行时空特征提取,3D卷积能够同时对空间与时间建模,相较于2D卷积...     

多维度自适应3D卷积神经网络原子行为识别

针对现有的3D卷积神经网络（3D Convolutional Neural Networks,3DCNN）行为识别算法将输入视频分块划分为固定长度,其包含的行为信息可能冗余或不全的问题,提出了解决方案。利用人体运动质点轨迹的特性定义了人体原子行为;以原子行为的长度作为视频分块的长度进行视频划分,得到包含完整信息的人体行为。3DCNN要求输入数据必须是相同维度,而原子行为视频块长度不同。为此改进了空间金字塔池化（3D Spatial Pyramid Pooling,3D SPP）技术,以适用于不同长度视频处理。把SPP层放置在全连接层前,处理3DCNN卷积层输出的不同长度特征图,以输出相同长度特征向量。与相关算法相比,实验数据说明该算法对输入数据要求更低,由于视频分块信息的完整性,识别率有显著提高。     

结合时空特征和视觉感知的全参考视频质量评价

视频失真主要来源于空间和时间失真导致的视频质量退化。针对这两种视频质量退化,提出了一种结合时空特征和视觉感知的全参考视频质量评价方法STPFVQA。首先,使用ResNet50卷积网络从参考视频和失真视频中提取空间感知特征;其次将提取的空间感知特征送入transformer编解码器中,用来构建视频的序列化关系,同时对比参考视频和失真视频,探索失真对视频序列关系造成的影响;然后将transformer的输出送入预测头,形成帧级分数;最后为了模拟人类视觉系统感知的滞后性,从短期、长期和全局记忆效应来综合考虑获得最终的视频质量分数。为了验证方法的可行性,在LIVE、IVC-IC、CSIQ和IVPL四个公开数据集上进行了实验。实验结果表明提出模型更符合人类视觉系统感知情况。在IVC-IC和CSIQ数据集上相比最先进的序列依赖模型（serial dependence modeling,SDM）,SROCC评价指标分别高出2.6%和3.1%,KROCC评价指标高出6.1%和7.9%,PLCC评价指标高出2.3%和5.5%。     

基于连续卷积神经网络的3D脑电图情绪识别

作为人类大脑神经活动的重要指标,脑电（EEG）信号能更深层次地反映人的情绪状况,但当前大多数深度学习模型通过EEG识别情绪不够精确。本文提出基于连续卷积神经网络的3D脑电图情绪识别模型,采用提取DE和PSD特征时得到的等价矩阵所构造的三维脑电图立方体作为输入,舍弃卷积神经网络中的池化层。在DEAP数据集上进行实验,Arousal准确率为95.77%,Valence准确率为93.52%,表明该方法非常适用于情绪识别,能给后续相关研究提供参考。     

基于运动筛选和3D卷积的视频早期烟雾检测

To solve the problem of high false alarm and high missed detection in the complex environment of early smoke detection based on video, a method based on motion extraction of suspected areas is proposed and a multi-scale 3D convolutional neural network with input of 6 frames（6M3DC） is designed for video smoke detection. Firstly, the motion regions are obtained through the background difference model after average filtering and the positions of the block in which the motion regions are located are calculated, and then the motion blocks are extracted by color judgment and mean HASH algorithm and the nonconforming blocks are updated to the background image. Finally, by combining the suspected blocks of the same region of 6 consecutive frames as the input for the 3D convolutional neural network for detection, blocks detected as smoke are marked and non-smoke blocks are updated to the background image. The experimental results show that the algorithm is adaptive to slow moving smoke and can detect smoke in complex environment.     

基于改进3D卷积神经网络的疼痛检测

在临床实践中, 精确评估疼痛对于疼痛管理和诊断至关重要. 但传统的评估方法主观性高且依赖医生经验, 迫切需要更可靠客观的替代方法. 利用深度学习的方法实现基于面部表情的疼痛检测研究近年已取得显著进展, 但复杂的结构和高计算成本制约了其实际应用. 因此, 本文提出了一个改进的3D卷积神经网络, 采用轻量级的3D卷积神经网络L3D作为骨干网络, 并结合改进的SE注意力机制, 把多个不同尺度的特征进行融合, 捕捉疼痛序列中具有较强辨别能力的时空特征. 在UNBC-McMaster和BioVid数据集上进行评估, 与最新方法相比, 该方法在疼痛检测性能以及计算复杂度上取得了优势.     

视频质量客观评估方法分析

文章简单介绍了视频监控系统的应用,指出了视频质量主观评估的缺点,并按不同的分类分析了常用的视频质量客观评估方法,在此基础上探索了一种视频质量无参评客观估方法的思路。     

基于卷积神经网络的视频图像失真检测及分类*

为了检测不同失真类型的视频图像,实现对失真视频图像的分类处理,本文提出一种基于卷积神经网络的视频图像失真检测及分类方法。首先,将视频图像分割成较小的图像块作为输入,然后利用卷积神经网络主动学习特征,引入正负例均衡化和自适应学习速率减缓过拟合和局部最小值问题,由softmax分类器预测图像块的失真类型,最后采用多数表决规则,得到视频图像的预测类别。采用仿真标准图像库(LIVE)和实际监控视频库对本文方法进行性能测试,前者的总体分类准确率达到92.22%,后者的总体分类准确率达到92.86%。整体的分类准确率均高于已有的其他三种算法。引入正负例均衡化和自适应学习速率后,CNN的分类准确率得到明显提升。实验结果表明本文方法能主动学习图像质量特征,提高失真视频图像分类检测的准确率,通用于任意失真类型的视频图像分类检测,具有较强的鲁棒性和实用性。     

基于三维全卷积网络的肝脏和肝癌分割算法研究

为了解决计算机断层扫描(computed tomography,CT)影像中肝脏和肝癌的准确分割问题,提出了基于三维全卷积网络的肝脏分割算法和肝癌分割算法。肝脏分割算法和肝癌分割算法都采用Vnet网络进行分割。在肝脏分割算法中,采用了形态学方法进行后处理,提高了肝脏分割准确率。在肝癌分割算法中,采用了组合损失函数训练Vnet网络,使得Vnet网络更好地收敛,并加入后处理提高了肝癌分割准确率。为了验证算法的性能,采用MICCAI 2017 Liver Tumor Segmentation Challenge(LiTS)数据集进行了肝脏分割和肝癌分割的5折交叉验证实验。肝脏分割算法在测试集的平均分割准确率为0.9510,高于Unet网络和3D Unet网络;肝癌分割算法的平均分割准确率为0.712。实验结果表明,肝脏分割算法可以准确地对肝脏进行分割,肝癌分割算法也达到了较高的准确率。     

融合信息熵和CNN 的基于手绘的三维模型检索

基于手绘草图的三维模型检索(SBSR)已成为三维模型检索、模式识别与计算机视 觉领域的一个研究热点。与传统方法相比,基于卷积神经网络(CNN)的三维深度表示方法在三 维模型检索任务中性能优势非常明显。本文提出了一种基于手绘图像融合信息熵和CNN 的三 维模型检索方法。首先,通过计算模型投影图的信息熵得到模型的代表性视图,并将代表性视 图经过边缘检测等处理得到三维模型投影图的轮廓图像;然后,将轮廓图像和手绘草图输入到 CNN 中提取特征描述子,并进行特征匹配。本文方法在Shape Retrieval Contest (SHREC) 2012 数据库和SHREC 2013 数据库上进行实验。实验证明,该方法的效果较其他传统方法检索准确 度更高。     

一种融合二维和三维卷积网络的两阶段冠状动脉分割方法

心血管疾病是一种严重危害公众健康的重大疾病。与其他心血管疾病相比,冠心病是导致死亡的最主要原因,精确的冠状动脉分割对冠心病的治疗有重要意义。目前,深度学习已经广泛应用于医学影像领域,然而,像冠状动脉这样的小物体的分割仍然是一大挑战。针对冠状动脉精确分割的需求,该研究提出了一种融合二维和三维卷积网络的方案,利用骨架作为桥梁,结合二维和三维卷积网络,扩大了卷积网络的信息接受域。与其他深度学习方法相比,该方法在敏感度、Dice系数、ROC曲线下方的面积、豪斯多夫距离上均有一定程度的提升,且可以检测其他方法无法识别的冠状动脉,一定程度上解决了血管断连和血管缺失等问题。     

无参考屏幕内容图像质量评价

随着多客户端交互多媒体应用的快速发展,屏幕内容图像（Screen content image,SCI）的分发和处理与日俱增.图像质量评价课题的研究是其它许多应用的基础,至今图像质量评价课题研究的重点是传统自然图像,因此针对屏幕图像质量评价的研究就变的非常迫切和必要.客观图像质量评价算法的提出的基础建立在标准图像质量评价数据库上.本文首先构建了一个大规模的屏幕内容图像质量评价数据库（Immersive Media Laboratory screen content image quality database,IML-SCIQD）.IML-SCIQD数据库包含参考图像25张以及经过10种失真处理的1250张失真图像.以建立的IML-SCIQD数据库为基础,考虑到屏幕内容图像图像区域和文本区域的视觉感知差异,在基于自然场景统计的无参考方法的启发下,本文提出了针对屏幕内容图像的无参考评价算法（Natural Scene Statistics based No Reference Screen Content Image Quality Assessment metric,NSNRS）.NSNRS算法首先分别计算图像区域和文本区域的质量分数,再将这两个区域的质量分数结合起来得到整幅失真图像的质量分数.该算法与其它12种经典的客观评价算法,包括全参考算法,部分参考算法与无参考算法,在IML-SCIQD数据库和SIQAD数据库上进行了性能测试和对比,结果表明本文提出的算法优于经典的的无参考评价算法;就整个数据库而言,本文提出的算法可以达到与全参考方法相当的性能.     

基于异卷积神经网络的入侵检测

网络已经深入人们生产生活的各领域。然而,由于存在大量的非法入侵行为,网络所面临的安全问题也越来越严峻。因此,检测入侵以保障网络安全是一个亟待解决的问题。针对此,本文提出一种基于异卷积神经网络的入侵检测方法,采用深度学习的卷积神经网络模型完成对入侵数据的特征提取,然后根据2种不同结构的卷积神经网络训练数据,从而得到最优模型,用以判断网络入侵。最后,使用KDD 99数据进行对比实验,验证本文方法的准确性和精确性。