面向特征融合的图像多窜改检测与定位算法

现有的图像窜改检测方法大多只针对某一种窜改方式,且存在窜改区域边界检测精度不高的问题,对此,提出了一种基于U型网络的双流编码器—解码器架构的图像窜改检测方法。首先利用编码器与解码器之间跳跃连接的方式来融合窜改图像中的低级和高级特征,并使用空洞卷积和CBAM注意力机制对编码器输出的特征进行融合,使得网络对不同尺度大小的窜改区域都有较好的定位性能;其次为了提高网络对窜改区域的边界检测精度,使用图像形态学方法制作了窜改边界数据集;最后使用多损失函数来同时优化网络的性能,即采用交叉熵和均方根损失函数来分别度量预测图的窜改区域损失和窜改边界损失。在CASIA、Columbia、NIST16、Coverage四个公开数据集上的实验结果表明,所提方法可以有效地检测出拼接和复制—粘贴两种窜改方式所伪造图像的窜改区域,输出像素级别的窜改区域定位图,且与其他主流窜改检测方法相比,所提方法在CASIA和Columbia数据集上的AUC值达到最高,在Columbia数据集上的F1值达到最高。     

基于ERNIE和融合双通道特征的文本情感分类模型

针对传统词向量模型无法获取完整的语义表达,以及基础神经网络模型未能兼顾提取多种关联特征等问题,提出了一种融合预训练语言模型(ERNIE)和深层金字塔神经网络结构(DPCNN)/双向门控循环单元-注意力机制(BiGRU-Attention)的双通道文本情感分类模型。基于DPCNN的左通道负责提取文本长距离依赖表示,基于BiGRUAttention的右通道负责提取文本时间序列特征和关键信息。此外,均使用ERNIE模型提供动态字向量。最后,拼接融合双通道中的信息特征以获取最终的文本表示。实验结果表明,ERNIE-DBGA模型的准确率最高达到97.05%,优于其他对比方法,验证该模型可以有效提升情感分类的性能。     

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题，提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法，实现对图像低级边缘、边界、目标轮廓的检测。首先构建了双通道主干网络，包含语义分支通道和空间细节分支通道；其次基于多尺度原则，构建了多尺度及注意力机制模块，对特征图像的高、宽、通道的维度变换，分配特征权重，在捕捉跨通道信息的同时，还能够捕捉方向感知和位置感知的信息；最后将空洞融合模块融合到语义分支通道中，提升网络提取特征信息的能力。实验结果表明，所提出的算法对光伏板图像边缘检测性能有提升，相较HED、RCF与FCN算法，F1值提升了2.83%、0.37%与1.54%，获得了较为清晰的裂缝图像。     

结合金字塔Transformer与浅层CNN的变电站图像篡改检测

目的 变电站图像拼接篡改是电力系统的一大安全隐患,针对篡改图像背景复杂、篡改内容尺度不一造成的误检漏检问题以及相关研究较少,本文提出一种面向变电站的拼接篡改图像的双通道检测模型。方法 两通道均采用深度学习方法自适应提取篡改图像和残差图像的特征,其中篡改图像包含丰富的色彩特征和内容信息,残差图像重点凸显了篡改区域的边缘,有效应对了篡改图像多样性导致的篡改特征提取困难问题;将特征金字塔结构Transformer通道作为网络主分支,通过全局交互机制获取图像全局信息,建立关键点之间的联系,使模型具备良好的泛化性和多尺度特征处理能力;引入浅层卷积神经网络(convolutional neural network, CNN)通道作为辅助分支,着重提取篡改区域的边缘特征,使模型在整体轮廓上更容易定位篡改区域。结果 实验在自制变电站拼接篡改数据集(self-made substation splicing tampered dataset, SSSTD)、CASIA(Chinese Academy of Sciences Institute of Automation dataset)和NIST16(National Institute of Standards and Technology 16)上与4种同类型方法进行比较。定量上看,在SSSTD数据集中,本文模型相对性能第2的模型在精确率、召回率、F1和平均精度上分别提高了0.12%、2.17%、1.24%和7.71%;在CASIA和NIST16数据集中,本文模型也取得了最好成绩。定性上看,所提模型减少了误检和漏检,同时定位精度更高。结论 本文提出的双通道拼接篡改检测模型结合了Transformer和CNN在图像篡改检测方面的优势,提高了模型的检测精度,适用于复杂变电站场景下的篡改目标检测。     

基于DeepLab v3+的多任务图像拼接篡改检测算法

在图像拼接篡改检测任务中,受篡改区域尺度多样性及模糊操作的影响,传统分类算法难以提取图像篡改特征。提出一种基于DeepLab v3+的图像拼接篡改检测算法,使用浅层图像特征预测图像的篡改区域边界,提高模型对篡改边界的敏感性。在此基础上,通过多尺度融合特征对图像篡改区域进行分割,并在原空洞空间金字塔模块中融合空间和通道注意力机制,从而提高模型对多尺度篡改区域的适应性。实验结果表明,所提算法能有效检测图像的篡改区域,在CASIA v1.0和Columbia数据集中的分割精度分别为0.754 6和0.727 8,优于DCT、BAPPY、MFCN等算法。     

基于Canny角点检测的变电站遥视图像拼接方法

本文介绍了一种基于Canny角点检测的变电站遥视图像拼接方法。该方法对初始化处理后的待拼接图像分别进行Canny图像边缘检测,并在此基础上进行基于角点几何特征的角点检测获得角点特征点,进而在图像重叠区域中进行图像特征点匹配,实现图像拼接,最后进行图像融合消除拼接接缝,实验结果表明了该方法的有效性。     

基于SIFT的区域复制窜改检测算法*

提出了一种区域复制窜改检测算法,用于检测同幅图像中经几何变换的区域复制窜改问题.先利用SIFT算法提取出图像中SIFT关键点后,再用欧式距离找出所有匹配的关键点,最后根据同一幅自然图像不存在互相匹配的特征点这一特性,判定图像是否被窜改以及定位出被窜改的区域.实验结果表明,算法不仅可以检测出伪造图像中经平移变换的窜改区域,还可以检测出经旋转、缩放以及两者组合的几何变换.与其他的区域复制窜改算法相比,算法对伪造图像的检测有了较大的改进.     

物体坐标系曲面投影立体环视图像生成算法

针对立体环视图像拼接准确度的难点,提出了一种基于物体坐标系的曲面投影图像拼接算法.根据实际应用场合建立合适的三维模型,对图像进行基于物体坐标系的纹理映射,将三维模型划分为融合、非融合区域,将原始图像映射到非融合区域,对于拼接融合区域,结合模型特点,设计了一种基于角度信息的加权平均融合算法,对拼接后的图像进行颜色校正,消...     

基于自适应纹理特征融合的纹理图像分类方法

现有基于深度学习的图像分类方法普遍缺少纹理特征的针对性,分类精度较低,难以同时适用于简单纹理和复杂纹理分类。提出一种基于自适应纹理特征融合的深度学习模型,能够结合类间差异性纹理特征做出分类决策。首先,根据纹理特征的最大类间差异性,构建图像的纹理特征图像;然后,采用原始图像与特征鲜明的纹理特征图像并行训练改进的双线性模型,获取双通道特征;最后,基于决策融合构建自适应分类模块,连接原图与纹理集的平均池化特征图进行通道权重提取,根据通道权重融合2个并行神经网络模型的分类向量,得到最优融合分类结果。在KTH-TIPS,KTH-TIPS-2b, UIUC和DTD 4个公共纹理数据集上对模型的分类性能进行评估,分别得到了99.98%、99.95%、99.99%和67.09%的准确率,表明所提模型具有普遍高效的识别性能。     

一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。     

基于双通道R-FCN的图像篡改检测模型

随着大数据时代的到来和图像编辑软件的发展,恶意篡改图片的数量出现井喷式增长,为了确保图像的真实性,众多学者基于深度学习和图像处理技术提出了多种图像篡改检测算法.然而,当前提出的绝大多数方法在面对大量图片的情况下,篡改检测速率较低且小面积篡改区域检测效果较差.为了有效解决这些问题,本文首次将基于区域的全卷积网络(Regi...     

检测小篡改区域的U型网络

目的 图像篡改区域检测是图像取证领域的一个挑战性任务,其目的是找出图像的篡改区域。传统方法仅针对某种特定的篡改方式进行设计,难以检测其他篡改方式的图像。基于卷积神经网络的方法能够自适应地提取特征,同时检测包含多种篡改方式的图像。但是其中多数方法都选择增强图像的噪声特征,这种机制无法较好处理篡改区域与原图像来源相同、噪声相似的情况。多数方法还忽略了篡改区域过小而产生的样本不平衡问题,导致检测效果不佳。方法 提出了一个基于区域损失的用于检测小篡改区域的U型网络,该网络构建了一个异常区域特征增强机制,放大与图像背景差异较大的异常区域的特征。此外,还利用区域损失增强对篡改区域框内像素的判别能力,可以解决因篡改区域过小而产生的样本不平衡问题。结果 消融实验说明了异常区域特征增强机制和区域损失机制的有效性;对JPEG压缩和高斯模糊的对抗性测试证明了模型的鲁棒性;在CASIA2.0（CASI-A image tampering detection evaluation database）、NIST2016（NIST nimble 2016 datasets）、COLUMBIA （Columbia uncompressed image splicing detection evaluation dataset）和COVERAGE （a novel database forcopy-move forgery detection）数据集上与最新方法进行比较时,本文方法取得了最优性能,其F1 score分别为0.979 5、0.982 2、0.995 3和0.987 0。结论 本文的异常区域特征增强机制和区域损失机制能有效提高模型性能,同时缓解篡改区域过小导致的样本不平衡问题,大量实验也表明了本文提出的小篡改区域检测方法的优越性。     

基于区域划分和四元数的彩色图像复制粘贴篡改检测

现有的篡改检测方法中特征点提取不充分会导致篡改检测精度不高,特征点描述符识别率差,针对该问题提出一种基于颜色矩的区域划分和四元数Hu矩的彩色图像复制粘贴篡改检测算法。首先,使用自适应形态重建算法对图像进行超像素分割,通过密度聚类算法对图像自适应划分区域;其次,提出一种关键点提取方法得到均匀的SIFT特征点;然后,在一种新颖的彩色图像四元数表示方法中构建局部高斯金字塔提取Hu矩特征;最后,利用2NN进行特征匹配后,结合Delaunay三角形算法定位出复制粘贴篡改区域。在公共数据集上的实验结果表明,该算法可以更有效地定位篡改区域。     

Image copy-move forgery passive detection based on improved PCNN and self-selected sub-images

Image forgery detection remains a challenging problem. For the most common copy-move forgery detection, the robustness and accuracy of existing methods can still be further improved. To the best of our knowledge, we are the first to propose an image copy-move forgery passive detection method by combining the improved pulse coupled neural network (PCNN) and the self-selected sub-images. Our method has the following steps: First, contour detection is performed on the input color image, and bounding boxes are drawn to frame the contours to form suspected forgery sub-images. Second, by improving PCNN to perform feature extraction of sub-images, the feature invariance of rotation, scaling, noise adding, and so on can be achieved. Finally, the dual feature matching is used to match the features and locate the forgery regions. What's more, the self-selected sub-images can quickly obtain suspected forgery sub-images and lessen the workload of feature extraction, and the improved PCNN can extract image features with high robustness. Through experiments on the standard image forgery datasets CoMoFoD and CASIA, it is effectively verified that the robustness score and accuracy of proposed method are much higher than the current best method, which is a more efficient image copy-move forgery passive detection method.     

基于半色调技术的印前图像篡改检测方法

本文印前图像特指图像数字排版经编辑确认后的数字印刷样张,其以栅格处理器分色后的加网二进制形式存储.数字样张一经确认,其来源的合法性便不受怀疑.但是,从印刷的整体流程来看,数字样张的存储、传输过程中仍有较大的篡改风险.现有的复制移动篡改检测算法存在特征维度高、计算开销大或检测率较低等问题,而且不适用于分色后的二进制样张.本文提出了一种基于半色调图像网点密度特征的Copy-Move篡改检测方法,该方法针对分色处理后的CMYK目标图像的二值量化处理,采用滑动分块的方法对目标图像进行分块,通过提取图像块CMYK四个通道的局部网点密度特征对图像块进行篡改检测.实验结果表明,该方法在图像篡改检测上较以往方法相比具有较低的时间复杂度和较高的检测率,并且对图像篡改区域的旋转攻击、小尺度缩放攻击等具有较好的鲁棒性.     

A new keypoint-based copy-move forgery detection for small smooth regions

Copy-move forgery is one of the most common types of image forgeries, where a region from one part of an image is copied and pasted onto another part, thereby concealing the image content in the latter region. Keypoint based copy-move forgery detection approaches extract image feature points and use local visual features, rather than image blocks, to identify duplicated regions. Keypoint based approaches exhibit remarkable performance with respect to computational cost, memory requirement, and robustness. But unfortunately, they usually do not work well if smooth background areas are used to hide small objects, as image keypoints cannot be extracted effectively from those areas. It is a challenging work to design a keypoint-based method for detecting forgeries involving small smooth regions. In this paper, we propose a new keypoint-based copy-move forgery detection for small smooth regions. Firstly, the original tampered image is segmented into nonoverlapping and irregular superpixels, and the superpixels are classified into smooth, texture and strong texture based on local information entropy. Secondly, the stable image keypoints are extracted from each superpixel, including smooth, texture and strong texture ones, by utilizing the superpixel content based adaptive feature points detector. Thirdly, the local visual features, namely exponent moments magnitudes, are constructed for each image keypoint, and the best bin first and reversed generalized 2 nearest-neighbor algorithm are utilized to find rapidly the matching image keypoints. Finally, the falsely matched image keypoints are removed by customizing the random sample consensus, and the duplicated regions are localized by using zero mean normalized cross-correlation measure. Extensive experimental results show that the newly proposed scheme can achieve much better detection results for copy-move forgery images under various challenging conditions, such as geometric transforms, JPEG compression, and additive white Gaussian noise, compared with the existing state-of-the-art copy-move forgery detection methods.     

基于可形变自相关网络的图像篡改检测方法

基于深度学习的图像复制-粘贴篡改检测方法在特征提取过程中未考虑特征的空间排列,在小区域篡改样本下检测性能不佳。基于可形变自相关网络提出一种图像篡改检测方法。通过引入可形变卷积和多尺度空间金字塔,自适应地学习篡改目标的空间形变,同时通过构造自相关金字塔式特征层次结构,融合全局特征和局部特征以提升图像篡改检测性能。实验结果表明,该方法在公开的图像篡改检测基准上各项评测指标均优于对比方法,其精确率、召回率、F₁值较BusterNet 2019分别提高14.85、15.04、12.81个百分点,在小区域篡改样本下性能优势更为明显。     

Copy-Move Geometric Tampering Estimation Through Enhanced SIFT Detector Method

Digital picture forgery detection has recently become a popular and significant topic in image processing. Due to advancements in image processing and the availability of sophisticated software, picture fabrication may hide evidence and hinder the detection of such criminal cases. The practice of modifying original photographic images to generate a forged image is known as digital image forging. A section of an image is copied and pasted into another part of the same image to hide an item or duplicate particular image elements in copy-move forgery. In order to make the forgeries real and inconspicuous, geometric or post-processing techniques are frequently performed on tampered regions during the tampering process. In Copy-Move forgery detection, the high similarity between the tampered regions and the source regions has become crucial evidence. The most frequent way for detecting copy-move forgeries is to partition the images into overlapping square blocks and utilize Discrete cosine transform (DCT) components as block representations. Due to the high dimensionality of the feature space, Gaussian Radial basis function (RBF) kernel based Principal component analysis (PCA) is used to minimize the dimensionality of the feature vector representation, which improves feature matching efficiency. In this paper, we propose to use a novel enhanced Scale-invariant feature transform (SIFT) detector method called as RootSIFT, combined with the similarity measures to mark the tampered areas in the image. The proposed method outperforms existing state-of-the-art methods in terms of matching time complexity, detection reliability, and forgery location accuracy, according to the experimental results. The F1 score of the proposed method is 92.3% while the literature methods are around 90% on an average.