深度神经网络模型版权保护方案综述

深度神经网络(deep neural network, DNN)等新兴技术以前所未有的性能在工业互联网安全中得到广泛发展和应用.然而,训练DNN模型需要在目标应用程序中捕获大量不同场景的专有数据、广泛的计算资源,以及在专家的协助下调整网络拓扑结构并正确训练参数.因此,DNN模型应当作为有价值的知识产权,从技术上保护其不被非法复制、重新分发或滥用.受经典水印技术被用于保护与多媒体内容相关的知识产权的启发,神经网络水印是目前最受研究者关注的DNN模型版权保护方法.迄今为止,学术界对神经网络水印在DNN模型知识产权保护中的应用尚缺乏完整描述.调研了近5年CCF推荐期刊和会议等关于该领域的相关工作,从水印的嵌入和提取的视角,将神经网络水印在原有的白盒水印和黑盒水印分类的基础上,扩充了灰盒水印和无盒水印2种分类,对白盒水印和黑盒水印方法根据其水印嵌入的不同思路和不同任务模型进行了更详细的分类总结,并对4类水印方法的性能进行了对比.最后,探讨了神经网络水印未来面临的挑战和可研究的方向,旨在为学者进一步推动基于神经网络水印的DNN模型版权保护的发展提供指导.     

人工智能模型水印研究综述

近年来人工智能迅速发展,被用于语音、图像等多种领域,并取得了显著效果.然而,这些训练好的人工智能模型非常容易被复制并扩散,因此,为了保护模型的知识产权,关于模型版权保护的一系列算法或技术应运而生,其中一种就是模型水印技术.通过模型水印技术,向人工智能模型植入水印,一旦模型被窃取,可以通过验证水印来证明自己的版权所有权,维护自己的知识产权,从而达到保护模型的作用.该类技术在近年来成为了一大热点,但目前尚未形成较为统一的框架.为了更好地理解,总结了现阶段模型水印的研究成果,论述了当前主流的模型水印算法,分析了模型水印研究方向的研究进展,还复现了其中几种典型算法并进行了比较,最后提出了未来可能的研究方向.     

神经网络水印技术研究进展

随着深度神经网络的推广应用,训练后的神经网络模型已经成为一种重要的资产并为用户提供服务.服务商在提供服务的同时,也更多地关注其模型的版权保护,神经网络水印技术应运而生.首先,分析水印及其基本需求,并对神经网络水印涉及的相关技术进行介绍;对深度神经网络水印技术进行对比,并重点对白盒和黑盒水印进行详细分析;对神经网络水印攻...     

数字图像多功能水印综述

数字图像多功能水印技术通过将多种类型的水印嵌入到同一图像,以实现2种及以上的图像保护功能(版权保护、内容认证、篡改恢复等).当前,数字图像多功能水印算法仍面临着性能和应用场景等方面的挑战.为促进图像多功能水印的进一步发展,首先系统地梳理了数字图像水印技术,包括其系统特性、常见分类、关键技术与成果,以及其可实现的功能与应用场景;在此基础上,对近10年来不同类别的多功能水印嵌入模型(融合水印嵌入、零水印嵌入、水印串行嵌入、水印并行嵌入)的相关工作进行归纳与分析;最后,总结了当前数字图像多功能水印技术的不足,展望了后续研究与发展趋势.综合分析发现,多水印的嵌入难免对水印综合性能造成损失,且多功能水印在真实应用场景中的效果仍待改善.人工智能等新技术在数字图像多功能水印中的应用有望提升算法性能.     

基于图像特征的小波域自适应水印算法

提出了一种基于图像特征的小波域自适应水印算法。该算法选用有意义二值图像为水印,把宿主图像分成互不重叠的图像块,用分数盒维数分析各块的特征,提取特征块和次特征块,对它们分别进行一级小波分解,先将水印以不同强度自适应地嵌入到特征块的小波域低频子图中,在保证隐蔽性的前提下,再次将水印以不同强度自适应地嵌入到次特征块的小波域低频子图中,该算法较好地实现了水印的隐蔽性和稳健性。为增强水印的安全性和稳健性,在嵌入前利用Arnold迭代变换将水印置乱。实验结果表明,该算法对JPEG压缩、加噪、剪切、滤波等具有较强的稳健性。     

基于标志网络的深度学习多模型水印方案

针对经典水印技术在进行深度学习模型知识产权保护过程中, 存在水印多模型时可复用性不高和开销较大、易被检测和攻击等问题; 在黑盒场景下, 本文从构造触发集、设计嵌入方式等方面切入, 设计一种基于标志网络(Logo Network, LogoNet)的深度学习多模型水印方案(Logo Network based Deep Learning Multi-model Watermarking Scheme, LNMMWS)。首先, 利用二进制编码生成触发集, 并随机裁剪原训练样本以生成噪声集, 精简 LogoNet 层结构, 并在触发集和噪声集的混合数据集上训练LogoNet, LogoNet 拟合触发集并泛化噪声集以获取较高的水印触发模式识别精度和噪声处理能力。其次, 根据不同目标模型的分类类别, 从 LogoNet 中选择水印触发模式, 并调整 LogoNet 输出层的维度, 使 LogoNet 输出层和不同目标模型的输出层相嵌合, 以实现多模型水印的目的。最后, 当所有者发现可疑的远程应用程序接口服务时, 可以输入多组特定的触发样本, 经过输入层变换后, 触发特定的输出以核验水印并实现所有权验证。实验及分析表明, 使用 LNMMWS 进行深度学习模型所有权验证时,具有较高的水印触发模式识别精度、较小的嵌入影响、较多的水印触发模式数量, 并相比已有方案具有更低的时间开销;LNMMWS 在模型压缩攻击、模型微调攻击下具有较好的稳定性, 并具备较强的隐秘性, 能够规避恶意检测风险。     

基于投影矩阵模型水印及OH算法的水印防篡改攻击

近年来,人工智能快速发展,已广泛应用在声音、图像、大数据等领域。然而,人工智能模型安全发展还未完善,模型容易被复制、扩散和窃取,因此,模型水印技术应运而生。其中,投影矩阵模型水印是模型水印中的一个重要分支,具有简单有效的优点,但具有无法抵御水印覆写攻击的缺陷。为了解决这一问题,提出投影矩阵模型水印结合隐藏哈希（Oblivious Hashing,OH）算法。该算法分为3个部分,一是水印嵌入部分,二是水印提取部分,三是水印篡改检测部分。实验结果表明,该算法能在保证神经网络性能的情况下,抵御水印篡改攻击。     

图像分类中的白盒对抗攻击技术综述

在深度学习中图像分类任务研究里发现,对抗攻击现象给深度学习模型的安全应用带来了严峻挑战,引发了研究人员的广泛关注。首先,围绕深度学习中用于生成对抗扰动的对抗攻击技术,对图像分类任务中重要的白盒对抗攻击算法进行了详细介绍,同时分析了各个攻击算法的优缺点;然后,分别从移动终端、人脸识别和自动驾驶三个现实中的应用场景出发,介绍了白盒对抗攻击技术的应用现状;此外,选择了一些典型的白盒对抗攻击算法针对不同的目标模型进行了对比实验并分析了实验结果;最后,对白盒对抗攻击技术进行了总结,并展望了其有价值的研究方向。     

基于YOLOv5s剪枝模型的输电线路全景监测研究

随着人工智能技术的快速发展,基于深度学习的目标检测算法在诸多行业得到了应用。针对当前输电线路影像中典型障碍物目标识别对人工要求较高的问题,提出了基于YOLOv5模型剪枝的算法来对输电线路附近典型目标进行检测。首先,算法进行基础训练后得到一个检测精度和推理速度两种性能比较均衡的网络模型,再进行稀疏训练以获得参数较为稀疏的神经网络模型,最后,采取不同剪枝策略对网络进行修剪,达到压缩模型大小提高推理速度的目的。在自制数据集上使用多种算法进行对比试验,实验结果表明：相较于YOLOv4、CenterNet和SSD算法,所提算法在保持相对较高检测精度条件下提高了检测速度,能够满足实际需要。     

自然语言文本水印

本文主要介绍了基于自然语言处理的文本水印技术,也即自然语言文本水印技术。该技术是在不改变文本原意的前提下,将需要隐藏的文本信息(水印信息) 插入到原始文本中的一种信息隐藏技术。这种技术对于确认信息来源和信息的秘密传送,以及版权维护等方面都有着很大的应用价值。本文首先给出了基于自然语言处理技术的文本水印的概念、特点及攻击模型,并对文本水印的研究现状进行了分析。通过分析可以看出,自然语言文本水印技术有着更好的灵活性,并且在适度的攻击下,不会破坏水印信息。本文详细介绍了文本水印系统的设计过程,包括该技术的基础数学理论- 二次余数理论。最后详细介绍了两种自然语言文本水印嵌入方法,分别是基于句法分析和基于语义的水印嵌入方法。     

深度学习模型的版权保护研究综述

随着深度学习技术的迅猛发展,深度学习模型在图像分类、语音识别等领域得到了广泛应用.训练深度学习模型依赖大量的数据和算力,成本高昂,因此,出售已训练好的模型或者提供特定的服务(如DLaaS)成为一种商业模式.然而,如果模型遭到恶意用户窃取,则可能会对模型训练者的商业利益造成损害.此外,网络拓扑结构设计和参数训练的过程包含...     

基于黑盒水印的NLP神经网络版权保护

随着自然语言处理（NLP，natural language processing）技术的快速发展，语言模型在文本分类和情感分析中的应用不断增加。然而，语言模型容易遭到盗版再分发，对模型所有者的知识产权造成严重威胁。因此，研究者着手设计保护机制来识别语言模型的版权信息。现有的适用于文本分类任务的语言模型水印无法与所有者身份相关联，且鲁棒性不足以及无法再生成触发集。为了解决这些问题，提出一种新的适用于文本分类任务模型的黑盒水印方案，可以远程快速验证模型所有权。将模型所有者的版权消息和密钥通过密钥相关的哈希运算消息认证码（HMAC，hash-based message authentication code）得到版权消息摘要，由HMAC得到的消息摘要可以防止被伪造，具有很强的安全性。从原始训练集各个类别中随机挑选一定的文本数据，将摘要与文本数据结合构建触发集，并在训练过程中对语言模型嵌入水印。为了评估水印的性能，在IMDB电影评论、CNEWS中文新闻文本分类数据集上对3种常见的语言模型嵌入水印。实验结果表明，在不影响原始模型测试精度的情况下，所提出的水印验证方案的准确率可以达到 100%。即使在模型微调和剪枝等常见攻击下，也能表现出较强的鲁棒性，并且具有抗伪造攻击的能力。同时，水印的嵌入不会影响模型的收敛时间，具有较高的嵌入效率。     

Intellectual property protection for deep semantic segmentation models

Deep neural networks have achieved great success in varieties of artificial intelligent fields. Since training a good deep model is often challenging and costly, such deep models are of great value and even the key commercial intellectual properties. Recently, deep model intellectual property protection has drawn great attention from both academia and industry, and numerous works have been proposed. However, most of them focus on the classification task. In this paper, we present the first attempt at protecting deep semantic segmentation models from potential infringements. In details, we design a new hybrid intellectual property protection framework by combining the trigger-set based and passport based watermarking simultaneously. Within it, the trigger-set based watermarking mechanism aims to force the network output copyright watermarks for a pre-defined trigger image set, which enables black-box remote ownership verification. And the passport based watermarking mechanism is to eliminate the ambiguity attack risk of trigger-set based watermarking by adding an extra passport layer into the target model. Through extensive experiments, the proposed framework not only demonstrates its effectiveness upon existing segmentation models, but also shows strong robustness to different attack techniques.     

基于遗传算法的多小波数字图像水印算法

提出了一种基于遗传算法的多小波数字图像水印算法,在离散多小波变换(DMT)域中嵌入水印信息,利用遗传算法进行参数优化,提高水印图像的质量和水印的鲁棒性.实验结果表明,在利用遗传算法在GHM多小波变换域中嵌入水印比离散小波变换(DWT)域中嵌入水印更具有鲁棒性.     

基于残差学习的新型不可感知水印攻击方法

传统的水印攻击方法虽然能够干扰水印信息的正确提取, 但同时会对含水印图像的视觉质量造成较大损失, 为此提出了一种基于残差学习的新型不可感知水印攻击方法. 首先, 通过构建基于卷积神经网络的水印攻击模型, 在含水印图像和无水印图像之间进行端到端非线性学习, 完成含水印图像映射到无水印图像的任务, 达到水印攻击的目的; 其次, 根据水印信息的嵌入区域选择合适数目的特征提取块以提取含水印信息的特征图. 鉴于含水印图像和无水印图像之间的差异过小, 水印攻击模型在训练过程中的可学习性受到限制, 导致模型很难收敛. 引入残差学习机制来提升水印攻击模型的收敛速度和学习能力, 通过减少残差图像(含水印图像和提取的特征图像做差)与无水印图像之间的差异来提升被攻击图像的不可感知性. 此外, 还根据DIV2K2017超分辨率数据集以及所攻击的基于四元数指数矩的鲁棒彩色图像水印算法构建了训练水印攻击模型的数据集. 实验结果表明该水印攻击模型能够在不破坏含水印图像视觉质量的前提下以高误码率实现对鲁棒水印算法的攻击.     

一种基于多小波的盲的数字图象水印技术

以一个图案作水印且提取时不需要原图象的数字水印技术 (blind waterm arking)面临许多挑战 ,因而 ,这种技术的研究文献很少 .本文首次提出了一种基于多小波 (multiwavelet)变换的盲的数字图象水印技术 .与标量小波不同 ,在图象的多小波变换系数中 ,同一尺度且同一方向上存在两个 (或以上 )对应不同小波的细节子图 ,本文中的方法正是利用多小波变换这一独特性质嵌入一幅二值图案 .为了增加水印的稳健性 ,我们采用 (7,4 )汉明编码 (Hamming code)将水印的校验图也嵌入到多小波变换域中 .特别是 ,水印图案的提取不需要原始图象 .实验结果表明 ,这种方法对JPEG压缩、平滑滤波、锐化、噪声、对比度增强、重量化、重采样等多种图象处理具有很好的稳健性     

A low-cost method for reliable ownership identification of medical images using SVM and Lagrange duality

Prevention of false positive and false negative errors is a major challenge for ownership identification and proof of ownership applications using digital image watermarking. Such errors are more critical with sensitive data, such as electronic patient records (EPRs) in medical image watermarking. A false positive error is a watermark detection error, which means that a watermark is detected in a media where there is no watermark. In contrast, a false negative error is an inability of the watermark detector to detect an embedded watermark in a watermarked image. These errors make ownership assessments unreliable, and the incorrect ownership identification of a patient’s record could result in failure of the correct diagnostics and treatments. To address this type of problem, a low-cost technique based on a support vector machine (SVM) and Lagrange duality was proposed to achieve reliable approximations for ownership identification in medical image watermarking without requiring the correction of attacked watermarked images. In this technique, the results of the ownership evaluation are categorized into two independent classes, namely watermark-detected and watermark-not-detected, and higher geometric margins between these classes are associated with higher reliability. To address additional situations with false positive and false negative errors, four different situations, including watermarked, unwatermarked, attacked watermarked and attacked unwatermarked images, were investigated. Experiments were conducted on duo-ISB-bit-plane (BiISB) watermarking using the histogram intersection (HI) technique as a testing platform under JPEG2000 and JPEG image compression attacks and using two groups of images: standard image processing images and X-ray medical images. The experimental investigations revealed that the HI technique guarantees that the rightful owner can be reliably identified even after severe attacks and in the face of context similarities between the watermark and the embedding pixels of the host image.     

基于图像块等级模型的多重认证水印算法

提出了一种新的用于灵活图像认证的多重水印嵌入算法.不同于传统的块独立水印算法中每个图像块只嵌入一个水印信息,算法对每个图像块嵌入多重水印信息.提出了两个通用的图像块等级模型,形成图像块内部的等级结构,对每个图像块以及图像块内部的各等级子块进行独立的水印生成和嵌入.将图像特征值映射为混沌系统的初值,并将图像块的编号映射为混沌系统的迭代次数,经过混沌迭代生成图像块水印,再将水印信号替代图像块中选定像素点的最低有效位,完成水印的嵌入.实验结果表明,该算法可对图像进行多重认证,对篡改区域进行精确的检测与定位,并能选择不同的定位精度.