基于深度特征提取和图神经网络匹配的图像复制粘贴篡改检测

针对图像中特征提取不均匀、单尺度超像素划分对伪造定位结果影响较大的问题,提出一种基于深度特征提取和图神经网络(graph neural network,GNN) 匹配的图像复制粘贴篡改检测(cope-move forgery detection,CMFD) 算法。首先将图像进行多尺度超像素分割并提取深度特征,为保证特征点数目充足,以超像素为单位计算特征点分布的均匀度,自适应降低特征提取阈值;随后引入新的基于注意力机制的GNN特征匹配器,进行超像素间的迭代匹配,且用随机采样一致性(random sample consensus,RANSAC) 算法消除误匹配;最后将多尺度匹配结果进行融合,精确定位篡改区域。实验表明,所提算法具有良好的性能,也证明了GNN在图像篡改检测领域的可用性。     

基于一种视觉注意力机制的图像描述方法

为了提高由图像生成文字描述的准确率,文中提出了一种基于传统的编码解码框架,分别在编码端和解码端融入视觉注意力机制的方法,即在编码端加入空间注意力机制和图像通道级注意力机制相结合的方法。在解码端运用自适应视觉注意力机制的方法,即在传统的解码端上加入一个额外的“视觉哨兵”模块。文中提出的方法在生成文字描述的过程中自动决定是依赖图像特征还是依赖语义特征,并传递给相应的注意力机制。实验证明,相比较单一的视觉注意力机制,文中方法取得了较高的图像描述语句的正确率,具有更好的图像描述性能。     

基于改进的Mask R-CNN图像篡改取证方法

随着现代科学技术的进步,图像编辑工具的发展极大地降低了篡改所需成本。图像篡改手段有多种,现有的方法往往存在通用性差的问题。同时,这些方法只关注篡改定位而忽略对篡改手段的分类。本文提出一种基于改进的Mask R-CNN两阶段网络模型用于图像篡改取证。在特征提取部分,结合空域富模型(spatial rich model, SRM)和受约束卷积对输入图像进行预处理,再输入到ResNet101前4层中,以建立能够有效体现各种篡改痕迹的统一特征表示。一阶段网络通过注意力区域提议网络(attention region proposal network, A-RPN)检测篡改区域,预测模块实现篡改操作分类和粗略篡改区域定位。继而,一阶段网络得到的定位信息引导二阶段网络学习局部特征以定位出最终的篡改区域。本文所提出的模型能检测3种不同类型的图像篡改操作,包括复制-粘贴、拼接和移除。实验结果表明,本文所提出的方法在NIST16、COVERAGE、Columbia和CASIA数据集的F1值分别达到了0.924、0.761、0.791和0.473,优于传统方法和一些主流深度学习方法。     

基于多残差学习与注意力融合的中值滤波检测

针对小尺寸JPEG压缩图像携带有效信息较少、中值滤波痕迹不明显的问题,提出一种基于多残差学习与注意力融合的图像中值滤波检测算法。该算法将多个高通滤波器与注意力模块相结合,获取带权值的多残差特征图作为特征提取层的输入,特征提取层采用分组卷积形式,对输入的多残差特征图进行多尺度特征提取,融合不同尺度的特征信息,同时采用密集连接方式,每一层卷积的输入来自前面所有卷积层的输出和。实验结果表明,针对小尺寸JPEG压缩图像的中值滤波检测,本文算法比现有算法具有更高的检测精度,且能更有效地检测与定位局部篡改区域。     

多尺度特征融合双U型视网膜分割算法

视网膜血管形态结构是反映人体健康的重要指标 ,针对现有视网膜血管分割存在主 血管模糊、微细血管断裂和视盘误分割等问题,提出多尺度特征融合双U型视网膜分割算 法。首先,利用低层U-Net高效循环残差模块对眼底图像进行粗粒度分割,得到视网膜血 管 初步轮廓。其次,将粗分割图与原始特征图像素相乘送入高层U-Net,利用其缩放宽残差 模 块进行细粒度图像解码,丰富视网膜血管细节信息。同时利用3路径注意力机制复合性连接 双网络的编码层与解码层,实现特征映射跨网络传播,减小上下文语义差异。最后,融合双 层网络输出提取血管区域,双U 型网络能够更深层次提取血管像素,精准分割出视网膜细 节。在DRIVE与STARE数据集上进行实验,其准确率分别为96.45%和97.02%,敏感度分 别为83.35%和81.40%,特异性分别为98.38%和 98.83%,总体性能优于现有算法。     

基于多尺度优化和动态特征融合的图像去模糊研究

目前采用U-Net结构的去模糊算法存在细节损失、图像质量欠佳等问题,因此对U-Net进行改进,提出一种基于多尺度优化和动态特征融合的图像去模糊方法。首先针对细节损失,提出一种精简且有效的多尺度残差注意力模块(Multi-Scale Residual Module, MSRM),通过增加特征尺度多样性来提取更精细的图像特征。此外,为了将更有利的特征传递到解码部分,在跳跃连接处设计动态特征融合模块(Dynamic Feature Fusion Module, DFFM),采用注意力加权的方式选择性融合不同阶段的编码特征。该算法采用多尺度内容损失和多尺度高频信息损失进行约束训练。在GoPro和RealBlur数据集上的实验结果表明,这种方法能有效改善图像质量,复原更丰富的细节信息。与现有去模糊算法相比,本文算法在主观视觉和客观评价等方面均具有一定优势。     

融合注意力机制与密集多尺度特征的异质噪声虹膜分割方法

针对当前分割方法不能兼顾可见光与近红外光谱的异质噪声虹膜图像的分割精度与效率问题,提出一种基于注意力机制与密集多尺度特征融合的编-解码网络.首先,引入基于深度可分离卷积的改进残差瓶颈单元,降低参数量与计算量的同时防止信息丢失与梯度混淆;其次,改进密集空洞空间金字塔模块的空洞率组合并放置于编码器后,以增强多尺度特征融合;...     

利用颜色滤波矩阵估计原图的拼接定位盲取证方法

图像拼接是伪造数字图像最基本的操作,对其的被动盲检测和定位也是数字图像取证亟待解决的关键问题之一。该文通过对图像进行颜色滤波矩阵插值,对图像进行了原图估计,重建其像素邻域一致性。利用待取证图像的边缘点在像素邻域一致性上偏离估计的原始图像的程度,对图像的拼接进行准确定位。实验表明,该方法能够有效地检测图像拼接伪造区域的位置、大小和形状。     

基于JPEG双量化特性的彩色伪造图像盲检测

现有的盲检测方法主要针对灰度图像和未压缩图像,很多算法都不能有效地检测彩色压缩伪造图像。本文提出了一种利用JPEG双量化失真特性实现彩色压缩伪造图像盲检测的方法。通过分析伪造图像的制作过程,可知由多幅JPEG图像拼接成的高质量彩色伪造图像中篡改区域和背景区域经历的双量化过程不同。根据这一特性,本文首先使用背景区域的初始量化表估计值对待检测图像进行再压缩处理,定义再压缩后图像各颜色分量的失真函数;然后根据各失真函数在图像不同区域的取值,由各颜色分量分别确定篡改区域;最后综合彩色图像各颜色分量的检测结果,最终识别出彩色图像篡改区域的位置和大小。仿真结果表明该方法不但可以有效地识别彩色伪造图像的篡改区域,而且比基于单一颜色分量的检测方法更加准确。      

基于统计噪声水平分析的图像拼接检测

图像拼接是最常用的图像篡改操作之一,针对篡改图像噪声水平不一致性的现象,本文提出了一种基于统计噪声水平分析的图像拼接检测方法。首先,将检测图像分割成大小相同的非重叠图像块,然后,利用一种非参数估计算法来估计每个图像块的噪声值,并且采取聚类法对图像块的噪声值进行聚类,聚类结果分为可疑部分和非可疑部分两大类。最后,通过一个由粗到细的两阶段策略对篡改区域进行定位。哥伦比亚未压缩图像拼接检测评估图像库的实验结果表明,本文方法能够准确地估计图像块的噪声和定位出拼接区域,性能优于现有方法。     

基于多尺度注意力网络的行人属性识别算法

为了提高行人属性识别的准确率,提出了一种基于多尺度注意力网络的行人属性识别算法。为了提高算法的特征表达能力和属性判别能力,首先,在残差网络ResNet50的基础上,增加了自顶向下的特征金字塔和注意力模块,自顶向下的特征金字塔由自底向上提取的视觉特征构建;然后,融合特征金字塔中不同尺度的特征,为每层特征的通道注意力赋予不同的权重。最后,改进了模型损失函数以减弱数据不平衡对属性识别率的影响。在RAP和PA-100K数据集上的实验结果表明,与现有算法相比,本算法对行人属性识别的平均精度、准确度、F1性能更好。     

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

基于新型多尺度注意力机制的密集人群计数算法

密集人群计数是计算机视觉领域的一个经典问题,仍然受制于尺度不均匀、噪声和遮挡等因素的影响.该文提出一种基于新型多尺度注意力机制的密集人群计数方法.深度网络包括主干网络、特征提取网络和特征融合网络.其中,特征提取网络包括特征支路和注意力支路,采用由并行卷积核函数组成的新型多尺度模块,能够更好地获取不同尺度下的人群特征,以...     

基于多融合多尺度特征的高光谱图像分类研究

针对高光谱图像(HSI)波段之间的冗余性给高光谱图像分类结果产生的不利影响,研究基于多融合多尺度特征的高光谱图像分类方法。将采用于主成分分析降维处理的HSI数据作为多尺度特征多融合残差网络输入,利用多尺度特征多融合残差块提取HSI中的光谱特征和空间特征,并组成若干组光谱-空间特征;采用支持向量机展开分类处理,获取各光谱-空间特征的概率输出结果和权重,建立多特征加权概率融合模型,利用最大后验概率获取高光谱图像分类结果。实验结果表明:光谱-空间多尺度特征融合残差块数量为2+2模式、空间输入尺寸大小为9×9,可获取最佳多尺度特征融合残差网络;所提方法抗噪能力较好,可较好体现地物细节信息;且具备较高的高光谱图像分类精度。     

Image forgery detection algorithm based on U-shaped detection network

Aiming at the defects of traditional image tampering detection algorithm relying on single image attribute,low applicability and current high time-complexity detection algorithm based on deep learning,an U-shaped detection network image forgery detection algorithm was proposed.Firstly,the multi-stage feature information in the image by using the continuous convolution layers and the max-pooling layers was extracted by U-shaped detection network,and then the obtained feature information to the resolution of the input image through the upsampling operation was restored.At the same time,in order to ensure higher detection accuracy while extracting high-level semantic information of the image,the output features of each stage in U-shaped detection network would be merged with the corresponding output features through the upsampling layer.Further the hidden feature information between tampered and un-tampered regions in the image upon the characteristics of the general network was explored by U-shaped detection network,which could be realized quickly by using its end-to-end network structure and extracting the attributes of strong correlation information among image contexts that could ensure high-precision detection results.Finally,the conditional random field was used to optimize the output of the U-shaped detection network to obtain a more exact detection results.The experimental results show that the proposed algorithm outperforms those traditional forgery detection algorithms based on single image attribute and the current deep learning-based detection algorithm,and has good robustness.     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

基于空谱注意力机制及预激活残差网络的高光谱图像分类算法

面向高光谱图像分类的许多深度学习算法中,由于提取的空谱特征表示鉴别性不足,其模型的分类性能有待提高。针对该问题,本文提出了一种基于空谱注意力机制及预激活残差网络的高光谱图像分类算法。首先,设计了基于空谱注意力机制的空谱特征提取模块,对空谱特征进行重校准,为空谱特征在后续联合学习时能专注于更具辨别力的通道和空间位置提供保证;其次,设计了基于预激活残差网络的空谱特征联合学习模块,其中预激活残差网络改进了原始残差构建块的网络结构,从而能在利用注意力机制重校准的空谱特征的联合学习时捕获更具鉴别性的深层空谱特征,以提高分类器的分类性能。实验结果表明,和已有的一些高光谱图像分类算法相比,所提出的算法的分类准确率更高,表明该算法能有效地获得判别能力更强的空谱特征表示。