基于采样和加权损失函数的模型窃取攻击方法

模型窃取攻击旨在获得一个和目标受害模型功能相似的替代模型.现有的方法主要采用数据生成或数据选择方法和交叉熵损失函数去获得一个较好的攻击效果.据此,本文着重研究了攻击过程中这两个极为重要的模块:数据采样和损失函数.同时,本文提出了一个新颖的模型窃取攻击方法S&W,其包含了一种新的采样策略和一个精心设计的加权损失函数.首先,新的采样策略更加关注于从受害者模型中获得更多信息的重要样本.与此同时,本文通过引入k-Center算法达到选择样本的多样性的目的.其次,受到经典Focal损失函数的启发,本文设计了一种新的加权损失函数.该损失函数主要关注于受害者模型和替代模型对于相同输入所给出的输出之间的差异,从而促使替代模型模拟受害者模型.在4个常用的数据集上,我们通过实验证明了本文提出的方法的有效性.相比于之前最好的方法,本文方法最高有5.03%的性能提升.     

《中国图象图形学报》多媒体智能专刊简介

近年来,人工智能和高性能计算快速发展,大规模多媒体数据的智能应用需求日趋广泛,多媒体数据的融合、转换、理解、搜索、推理与推荐等方向的新问题也不断涌现,推动了多媒体智能处理与分析技术的迅速发展,在学术界和产业界均引起极大关注。 为更好地推动多媒体智能处理与分析理论、技术、应用的发展,及时记录我国多媒体智能领域的最新技术、前沿进展、学者观点、算法研究、数据集构建及应用落地等方面的优秀成果,《中国图象图形学报》邀请国内多位一线专家共同策划推出“多媒体智能”专刊,以期为图像视频处理与分析、多媒体信息检索和推荐、多媒体内容分发、数据挖掘与机器学习等相关领域的研究人员提供参考。 经过严格评审,“多媒体智能”专刊共收录学术论文15篇,包括“学者观点”3篇、“综述”4篇、“多媒体智能安全”3篇、“目标智能检测”2篇、以及“多媒体分析与理解”3篇。 “学者观点”栏目中,《多媒体智能：当多媒体遇到人工智能》围绕“大数据”时代多媒体与人工智能融合的背景,提出了多媒体智能的新概念,探讨了多媒体和人工智能之间的相互影响,具体包括以下两个方向：1)多媒体推动人工智能向着更具可解释性的方向发展;2)人工智能促进多媒体推理能力的发展。这两个方向形成了一个多媒体智能循环,其中多媒体和AI以交互和迭代的方式相互促进增强。该文讨论了每一循环中的研究进展,特别是研究多媒体如何推动机器学习发展以及机器学习如何反过来推动多媒体发展。总结了循环中已经完成的工作,并指出了完成循环所需要做的未来工作,然后对值得进一步深入探索的多媒体智能相关研究方向进行了思考。 《视觉知识：跨媒体智能进化的新支点》介绍了一种新的智能表达方式——视觉知识的3个基本要素,即视觉概念、视觉关系、视觉推理,并对每个要素展开详细讨论与分析。视觉知识有助于实现数据与知识驱动的统一框架,学习可归因可溯源的结构化表达,推动跨媒体知识关联与智能推理。视觉知识具有强大的知识抽象表达能力和多重知识互补能力,为跨媒体智能进化提供了新的有力支点。 《面向海洋的多模态智能计算：挑战、进展和展望》首次从多模态数据技术的视角,系统地介绍面向海洋现象/过程的智能感知、认知和预知的交叉研究进展。通过梳理海洋科学大数据全生命周期的阶段演进过程,明确海洋多模态智能计算的研究对象、科学问题和典型应用场景。在海洋多模态大数据内容分析、推理预测和高性能计算3个典型应用场景中展开现有工作的系统性梳理和介绍。针对海洋数据分布和计算模式的差异性,提出海洋多模态大数据表征建模、跨模态关联、推理预测、高性能计算4个关键科学问题中的挑战,并提出未来展望。 “综述”栏目中,《基于深度学习的人—物交互关系检测综述》一方面分析空域人—物交互关系检测任务,从数据内容场景、标注粒度两方面总结和分析当下数据库和基准。然后从两阶段分段式方法和单阶段端到端式方法两个流派出发系统性地阐述当前检测方法的发展现状,分析两个流派方法的特性和优劣,厘清该领域方法的发展路线。另一方面,对时空域人—物交互关系检测任务进行总结,分析现有时空域交互关系数据集构造与特性和现有基线算法的优劣。最后对未来的研究方向进行展望。 《人类面部重演方法综述》对现阶段面部重演领域的发展进行梳理和总结。从面部重演模型入手,对面部重演存在的问题、模型的分类以及驱动人脸特征表达进行阐述,列举并介绍了训练面部重演模型常用的数据集及评估模型的评价指标,对面部重演近年研究工作进行归纳、分析与比较,最后对面部重演的演化趋势、当前挑战、未来发展方向、危害及应对策略进行了总结和展望。 《视觉语言多模态预训练综述》总结了视觉语言多模态预训练领域的进展,对常见的预训练数据集和预训练方法进行了汇总,然后对目前最新方法和经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行了汇总。最后总结了视觉语言预训练面临的挑战和未来发展趋势。 《Bayer阵列图像去马赛克算法综述》对Bayer采样阵列原理和图像去马赛克技术进行概述;将现有方法按照传统方法和基于深度学习方法两类进行总结,根据去马赛克任务是否具有独立性,将深度学习方法进一步细分为独立去马赛克任务和联合去马赛克任务两类,进一步分析了不同方法的原理和优缺点,并重点阐述了基于深度学习的去马赛克方法网络结构和重建机理,介绍去马赛克领域中常用的公共数据集和性能评价指标,并对相关实验进行分析对比。最后,围绕网络深度、运算效率、实用性等方面分析了现阶段图像去马赛克技术面临的挑战及未来的发展方向。 我们期待广大读者和科技人员通过“多媒体智能”专刊,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。     

深度神经网络结构搜索综述

深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错。为此,自动化的神经网络结构搜索成为研究热点。神经网络结构搜索（neural architecture search,NAS）主要由搜索空间、搜索策略与性能评估方法3部分组成。在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构。根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构。在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能。在ImageNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30%的计算量,并且top-1分类精度提升了3.2%;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比（mean intersection over union,mIOU）,同时减小一半以上的计算量。神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势。     

基于LHBP多尺度向性滤波的文字检测算法

复杂光照条件和文字—背景的交融是自然场景图像中文字检测的主要难点。为解决该问题,提出了基于LHBP(local Haar binary pattern)多尺度向性滤波的文字检测算法。该算法首先采用对光强变化不敏感并具文字特征显式描述特点的LHBP模式的纹理描述算子;并在LHBP模式上采用多尺度向性滤波器MDF(multi-scale directional filtering)来确定候选文字区域;最后使用基于LHBP直方图的支持向量机法精确定位文字区域。实验结果表明,与其他主流算法相比,该算法能够去除复杂光照条件和文字—背景交融的影响,具有更好的性能。     

双标签监督的几何约束对抗训练

近年来的研究表明,对抗训练是一种有效的防御对抗样本攻击的方法.然而,现有的对抗训练策略在提升模型鲁棒性的同时会造成模型的泛化能力下降.现阶段主流的对抗训练方法通常都是独立地处理每个训练样本,而忽略了样本之间的关系,这使得模型无法充分挖掘样本间的几何关系来学习更鲁棒的模型,以便更好地防御对抗攻击.因此,重点研究如何在对抗训练过程中保持样本间的几何结构稳定性,达到提升模型鲁棒性的目的.具体而言,在对抗训练中,设计了一种新的几何结构约束方法,其目的是保持自然样本与对抗样本的特征空间分布一致性.此外,提出了一种基于双标签的监督学习方法,该方法同时采用自然样本和对抗样本的标签对模型进行联合监督训练.最后,分析了双标签监督学习方法的特性,试图从理论上解释对抗样本的工作机理.多个基准数据集上的实验结果表明:相比于已有方法,该方法有效地提升了模型的鲁棒性且保持了较好的泛化精度.相关代码已经开源:https://github.com/SkyKuang/DGCAT.     

深度学习:开启大数据时代的钥匙

随着大数据时代的到来,基于深度学习技术的机器学习方法被用于有效地分析和处理这些数据。本文首先概述了深度学习技术的由来,对比了浅层结构与深度结构模型的差异,分析了深度结构模型在大数据应用中的优势;认为深度学习取得成功的条件是,大规模训练数据集的支撑、先进的硬件平台支持、新的优化技术的提出;基于计算机视觉应用,从有监督特征学习和无监督特征学习两个方面分别介绍了当前深度学习研究的现状和典型的深度结构模型的基本原理和主要应用;针对当前深度学习的发展现状,总结了深度学习研究存在的挑战和未来的研究方向。