基于门控联合池化自编码器的通用性文本表征

为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks, RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。     

基于深度学习的视频跟踪研究进展综述

近年来深度学习迅猛发展，颠覆了语音识别、图像分类、文本理解等领域的算法设计思路。深度学习因其具备强大的特征提取能力，在图像识别领域的成绩尤为突出。然而深度学习与视频监控领域的结合并不多，由于深度模型具有多层网络结构，算法复杂度大，训练和更新模型时比较耗时，很难满足实时性要求。回顾了深度学习的发展史，介绍了最近10年来国内外深度学习主要模型，论述了基于深度学习的目标跟踪算法，指出了各算法的优缺点，最后对当前该领域存在的问题和发展前景进行了总结和展望。     

基于改进降噪自动编码器的点击率预测

点击率(CTR)预测是个性化广告和推荐系统中的一项基本任务. 针对提升点击率预测效果和处理冷启动问题, 本文中提出了一种基于改进降噪自动编码器的点击率预测模型ADVAE (ADditional Variational AutoEncoder),该模型在输入数据加入高斯随机噪声, 利用改进的降噪自动编码器生成新的嵌入特征, 然后分别进行低阶和高阶的特征交互来预测用户点击行为. 该方法可以在数据稀疏以及系统冷启动情况下, 更深层地学习特征嵌入与交叉之间的关系. 该模型关注特征域之间的交互, 动态修复低频数据的特征嵌入, 具有更强的鲁棒性. 此外, 该方法可以动态应用到其他深度学习模型, 具有更高的灵活性. 实验结果表明, 该方法在点击率预测和系统冷启动问题上的性能表现均优于现有方法.     

一种基于对抗学习的实时跟踪模型设计

目标跟踪指在视频帧中找到感兴趣目标的运动位置,广泛应用于环境感知、安防监控和无人驾驶等领域。为进行高效的目标跟踪,建立一种基于对抗学习和特征压缩的相关滤波器目标跟踪模型。为了同时兼顾精度与速度,在模型中引入特征提取优化、特征压缩和特征聚合等步骤。在提取图像特征前,采用对抗学习方法解决特征提取模型中训练数据与任务数据分布不匹配的问题。在特征压缩阶段,应用双通道自编码器结构和特征聚合来增强模型对图像风格的泛化能力。实验结果表明,与非实时跟踪算法相比,该模型在精度损失不超过3%的情况下能取得明显的速度提升,其跟踪速度高达103FPS。     

基于EKM-AE模型的无监督主机入侵检测方法

针对深度学习方法运用于入侵检测时需要大量标注数据集和难以实时检测的缺陷,利用网络流量中正常数据多于异常数据的一般规律,提出一种结合集成K-means聚类和自编码器的EKM-AE(ensemble K-means and autoencoder)入侵检测方法.首先通过集成K-means聚类从实时抓取的网络流量中得出正常样例,用于训练自编码器,然后由完成训练的自编码器执行入侵检测.在虚拟局域网主机环境下进行了入侵检测实验,结果表明,在绝大多数实际应用场景(正常流量多于异常流量)下该方法具有良好的检测性能,且具有全过程无监督、可实时在线检测的优点,对主机网络安全有良好的提升作用.     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

基于主题和关键词特征的比较文本分类方法

比较文本对于企业竞争产品分析至关重要,但目前面向问答领域的比较文本分类研究较少。针对问答文本中比较信息丰富、主题集中的特点,提出了基于主题特征和关键词特征扩展的比较文本分类方法。通过预训练主题模型,推断问答文本的主题概率分布作为其主题特征;针对向量拼接、求和导致关键词信息流失的问题,设计GRU自编码器实现关键词向量特征提取。综合文本主题信息和关键词语义,从语言、产品、情感、社交、主题、关键词角度构建比较文本分类特征,最后使用多种分类器对问答文本进行分类。实验结果表明,构建的特征行之有效,比较文本分类效果较好。     

基于栈式降噪自编码器的发酵过程回归建模

精确有效的发酵过程模型不仅能够定量揭示过程信息间的关联,实现对难以实时监测变量的预测,而且是进一步控制和优化的前提;基于数据驱动的发酵过程建模方法得到了广泛研究与应用,然而其仅考虑发酵过程的非线性特征和数据具有多采样率的特点,忽略了过程数据中测量噪声对模型的影响;为此,提出基于栈式降噪自编码器的发酵过程回归建模方法,该方法不仅具有较强的非线性拟合能力,半监督的学习策略也能够充分挖掘发酵过程中的所有数据信息,同时可以从含噪声的过程数据中提取出鲁棒性的特征,使模型具有噪声适应性;通过青霉素仿真对比实验结果表明,该模型的预测性能更好.     

基于重建误差的任务型对话未知意图检测

现有未知意图检测模型通常将语句映射到向量空间,并使用局部异常因子算法定义密度较小的特征点为未知意图,但经交叉熵损失训练的已知意图特征簇更加狭长,簇内的整体间距、密度和分散情况不均匀,进而增加了检测难度。针对上述问题,提出一种基于自动编码器重建误差的未知意图检测模型。在训练阶段,使用融入标签知识的联合损失函数训练已知意图分类器,使已知意图特征类间距离大且类内距离小,并利用这些特征训练一个仅能获取已知意图信息的自动编码器。在测试阶段,利用自动编码器将重建误差较大的样本视为未知意图,其余样本视为已知意图正常分类。在SNIPS数据集上的实验结果表明,在已知意图占比为25%、50%、75%时,该模型的Macro F1得分相比于表现最优的增强语义的高斯混合损失基线模型分别提升了16.93%、1.14%和2.37%,能够检测到更多的未知意图样本,同时在类别分布极不平衡的ATIS数据集上也有较好的性能表现。