基于人脸表情识别的在线课堂学生专注度分析

针对人脸表情识别在特征提取时容易丢失大量有用的特征信息, 无法提取更加全面的人脸表情特征的问题, 提出了一种多尺度特征融合网络模型(DS-EfficientNet). 该模型包括深层网络和浅层网络两部分, 浅层网络用来提取面部表情的细节纹理信息, 深层网络提取表情的全局信息. 并在浅层网络中加入注意力机制, 增强对浅层细节信息的提取能力. 最终在通道上进行特征融合, 融合之后网络可以提取更加丰富的人脸表情信息. 为了减少模型参数, 提高模型的泛化性能, 将全连接层替换为全局平均池化层, 加入批归一化. 本文提出的方法在Fer2013和CK+上进行实验, 识别准确率达到了73.47%和98.84%. 实验证明该方法可以提取人脸更加丰富的表情信息, 模型具有更强的泛化能力.     

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。     

多尺度残差注意力网络及其表情识别算法

面部表情识别已经广泛运用于人机交互、教育、自动驾驶等各种领域,针对现有表情识别方法网络结构复杂、参数多、泛化能力不足、识别率低等问题,且人脸表情在自然环境下易受到光照、姿态和局部遮挡等环境因素的影响,提出了一种多尺度残差注意力网络.以ResNet-18网络为基础,提出了一种新的多尺度残差注意力模块,通过提取不同尺度特征,增加特征多样性.引入CBAM注意力机制获取表情图像重点特征信息,有利于提升遮挡表情的识别.构建特征残差融合块,将浅层特征与深层特征进行残差融合,有利于获取丰富的人脸表情图像整体特征.实验结果表明,本文方法在CK+、JAFFE和Oulu-CASIA 3个公开表情数据集上分别达到了99.49%、98.53%和97.08%的准确率,与一些现有方法相比,本文方法表情识别率更高,证明了该方法可用于人脸表情识别.     

多尺度坐标注意力金字塔卷积的面部表情识别

针对传统卷积神经网络对人脸面部表情特征提取能力不足、计算速度较慢等问题，提出了一种多尺度融合注意力的金字塔卷积模型。为了减少网络的参数量，提高网络的计算速度，增大模型的感受野，改进了金字塔卷积结构；为了从多尺度表示面部表情特征，提高模型对面部特征的表示能力，提出了SECA坐标注意力模块；为了节省网络的计算量，解决模型冗余的问题，促进通道间的信息融合，提出了深度可分离混洗方法。实验结果表明，该模型在公开数据集FER2013、CK+和JAFFE上的准确率分别为72.89%、98.55%和94.37%，参数量为1.958×107，与其他网络对比，该网络识别效果更好，准确率更高，同时保持较快的计算速度。     

区域增强型注意力网络下的人脸表情识别

为了识别人脸表情中包含复杂背景、面部遮挡等因素的真实环境下的图像,提出基于区域增强型注意力网络的人脸表情识别方法.首先提出基于注意力的区域增强网络,减弱外部因素的影响以及增强表情识别在真实环境下的鲁棒性;然后提出通道-空间注意力融合网络,作用于全局的特征提取;最后通过分区损失和交叉熵损失相结合的方式提升表情图像的辨识度,从而提升识别准确率.在公开数据集RAF-DB, FERPlus和AffectNet上的实验结果表明,表情识别准确率分别达到88.81%, 89.32%和60.45%;所提方法具有更高的准确率和鲁棒性.     

结合关键点与权重分配残差网络的表情识别

现有人脸表情识别算法易受图像背景、非表情内容等无关因素的影响。此外,部分人脸表情（例如害怕、生气、伤心等表情）的类间差异较小也制约着算法的性能。针对上述两个问题,提出了一种融合面部关键点和权重分配残差网络的表情识别算法。通过面部关键点获取最大的表情范围以消除图像背景和非表情内容的干扰,将预处理后的表情图像作为深度残差网络的输入,引入权重分配机制从通道和空间维度上进行注意权重推断,实现不同区域的权重分配,进而引导深度残差网络学习对表情具有鉴别力的局部特征。该算法分别在FER2013和CK+表情数据集上达到了74.14%和98.99%的识别准确率,有效改善了生气、伤心、害怕等类间差异较小的表情识别准确率。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

一种基于词频‐逆文档频率和混合损失的表情识别算法

面部表情能自然高效地表达人类的心理活动和思想状态,影响着人们的沟通交流过程。在诸多智能化应用中,人脸表情识别是人类与机器间建立情感交互的重要基础。在细粒度人脸表情识别任务中,由于特征提取网络对表情产生区域的关键特征处理不足,从而引发细节特征信息丢失问题。提出一种词频-逆文档频率注意力机制TF-IDF SPA,通过该机制调整表情产生关键区域的注意力分布,强化网络对该区域关键细节特征的提取能力。同时,为了应对表情识别任务中普遍存在的类间差异小、类内差异大的问题,设计一种改进型混合加权损失函数,以增强表情类内聚拢性同时增大类间距离。依据数据集中样本的数量分布情况,动态调整损失函数的分类权重值,从而强化模型对小数据量样本的学习能力。在此基础上,将结构简单的TF-IDF SPA模块与卷积层共同堆叠以构建人脸表情识别网络。实验结果表明,该网络具有较好的人脸表情识别性能,在FER2013和CK+数据集上的分类准确率分别达到73.52%和98.27%。     

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。     

基于IPT硬件的内核模块ROP透明保护机制

Return-Oriented Programming（ROP）是一种流行的利用缓冲区溢出漏洞进行软件攻击的方法,它通过覆写程序栈上的返回地址,使程序在之后执行返回指令时,跳转到攻击者指定位置的代码,因而违反了程序原本期望的控制流.控制流完整性（Control-flow Integrity,简称CFI）检查是目前最流行的ROP防御机制,它将每条控制流跳转指令的合法目标限制在一个合法目标地址集合内,从而阻止攻击者恶意改变程序的控制流.现有的CFI机制大多用于保护用户态程序,然而当前已经有诸多针对内核态的攻击被曝出,其中Return-oriented rootkits^[1] （ROR）就是在有漏洞的内核模块中进行ROP攻击,达到执行内核任意代码的目的.相较于传统的基于用户空间的ROP攻击,ROR攻击更加危险.根据Linux CVE的数据统计,在2014-2016年中,操作系统内核内部的漏洞有76%出现在内核模块中,其中基本上所有被公布出来的攻击都发生在内核模块.由此可见,内核模块作为针对内核攻击的高发区,非常危险.另一方面,当前鲜有针对操作系统内核的CFI保护方案,而已有的相关系统都依赖于对内核的重新编译,这在很大程度上影响了它们的应用场景.针对这些问题,本文首次提出利用Intel Processor Trace （IPT）硬件机制,并结合虚拟化技术,对内核模块进行透明且有效的保护,从而防御针对其的ROP攻击.实验表明该系统具有极强的保护精确性、兼容性和高效性.     

半监督单样本深度行人重识别方法

本文提出一种采用单样本训练的行人重识别方法,在迭代的过程中采用一种渐进学习框架,充分利用有标签数据和无标签数据的特性来优化模型.本文方法主要分为以下3个步骤:(1)训练卷积神经网络来不断优化模型;(2)样本评估:通过本文提出的抽样策略,使用多个模型共同训练,共同挑选出较优的伪标签数据;(3)进行下一轮的训练更新数据.在训练的过程中,我们训练数据由有标签数据、伪标签数据,映射标签数据三部分组成,使用三组数据进行联合学习,每组数据对应使用相应的损失函数对模型进行优化,并且随着迭代的进行,伪标签数据和映射标签数据总是不断更新.在使用单样本训练条件下, rank-1=65.3, mAP=45.6.当训练数据的标注率提升至40%时,rank-1=83.8, mAP=64.9.实验结果表明:本文提出的半监督行人重识别方法可以在使用更少标签数据的情况下,提供与完全监督学习方法相媲美的结果,充分体现了本方法的有效性.     

基于分片复用的多版本容器镜像加载方法

容器将应用和支持软件、库文件等封装为镜像，通过发布新版本镜像实现应用升级，导致不同版本之间存在大量相同数据.镜像加载消耗大量时间，使容器启动时间从毫秒级延迟为秒级甚至是分钟级.复用不同版本之间的相同数据，有利于减少容器加载时间.当前，容器镜像采用继承和分层加载机制，有效实现了支持软件、库文件等数据的复用，但对于应用内部数据还没有一种可靠的复用机制.提出一种基于分片复用的多版本容器镜像加载方法，通过复用不同版本镜像之间的相同数据，提升镜像加载效率.方法的核心思想是：利用边界匹配数据块切分方法将容器镜像切分为细粒度数据块，将数据块哈希值作为唯一标识指纹，借助B-树搜索重复指纹判断重复数据块，减少数据传输.实验结果表明，该方法可以提高5.8X以上容器镜像加载速度.     

一种基于混沌过程神经元水下机器人运动控制方法

由于系统的强非线性以及不确定性，同时考虑到港湾环境下水声信号的噪声大，水下机器人进行精确作业时的运动控制一直是其实用化过程中困挠人们的问题。过程神经网络是传统神经网络的拓展，它增加了一个对于时间的聚合算子，使网络同时具有时空二维信息处理能力，从而更好地模拟了生物神经元的信息处理机制。水下机器人运动控制系统的输入、输出均是随时间连续变化的过程量。在基本神经元模型上，结合S函数和预先规划思想，建立水下机器人过程神经元运动控制模型，参数学习过程中，将遍历性的渐变混沌噪声引入其中，增强控制器全局优化能力。仿真试验表明，该新型控制模型，对于水下机器人的运动非线性控制器具有设计简单、响应速度快、超调小、鲁棒性好等各种优点。     

基于元伪标签和光照不变特征的人脸反欺诈算法

人脸反欺诈(Face anti-spoofing,FAS)在防止人脸识别系统遭受欺诈攻击方面起着至关重要的作用,得益于深度学习网络强大的特征提取能力,基于深度学习的FAS算法取得比基于传统手工特征算法更好的性能,成为近期的研究热点。尽管大多数基于深度学习的FAS算法能在库内达到很好的检测效果,但是跨库检测性能欠佳,主要原因是库内和库外数据往往在不同条件下采集,例如拍摄设备、环境光照和攻击呈现设备不同,导致库内和库外数据的分布不同,两者之间存在域位移。当训练数据的多样性不足时,容易在库内学习过程中过拟合,跨库泛化性能不好。尽管我们可以判断起因,然而在真实世界的应用过程中解决上述问题并不容易。一方面,人脸反欺诈模型难以收集所有场景下的有标签训练样本;另一方面,不同应用场景使得同一因素产生不同的影响,例如,不同场景的光照导致域位移,影响了分类模型对本质性欺诈纹理的提取。为此,本文将元伪标签引入人脸反欺诈任务,提出一种基于元伪标签的人脸反欺诈方法。主要贡献包括:第一,提出一种基于图像块的“教师生成伪标签,学生反馈”半监督学习框架,挖掘局部图像的高区分度特征,解决有标签样本不足的问题;第二,基于局部重力模式(Pattern of localgravitational force,PLGF),设计一种带有注意力模块的光照不变特征分支,抑制应用场景中最容易影响特征提取的光照因素;第三,将元学习与半监督学习框架相结合,优化教师生成伪标签的过程,提高算法的跨库检测能力。与现有流行算法相比,在三个公开的测试数据集(包括CASIA、Replay-Attack和MSU)上,所提出方法在库内测试和跨库测试下均有突出的表现,尤其是泛化性能得到显著提高。在样本数量中等时,在不同库中的半总错误率保持最低。     

医学影像计算机辅助检测与诊断系统综述

计算机辅助检测/诊断（Computer-aided Detection/Diagnosis, CAD）能提高诊断准确性,减少假阳性的产生,为医生提供有效的诊断决策支持.本文的主要目的是分析计算机辅助诊断工具的最新发展.文章以CAD研究较多的四大致命性癌症的发病医学部位为主线,按不同的成像技术和病类,对目前CAD在不同医学图像领域的应用进行了较为详尽的综述,从图像数据集、算法和评估方法等方面作多维度梳理.最后分析了医学图像CAD系统研究领域目前存在的问题并对此领域的研究趋势和发展方向进行展望.     

面向分布式机器学习的大消息广播设计

MPI (Message Passing Interface)专为节点密集型大规模计算集群设计,然而,随着MPI+CUDA (Compute Unified Device Architecture)应用程序以及计算节点拥有GPU的计算机集群的出现,类似于MPI的传统通信库已无法满足.而在机器学习领域,也面临着同样的挑战,如Caff以及CNTK (Microsoft CognitiveToolkit)的深度学习框架,由于训练过程中, GPU会缓存庞大的数据量,而大部分机器学习训练的优化算法具有迭代性特点,导致GPU间的通信数据量大,通信频率高,这些已成为限制深度学习训练性能提升的主要因素之一,虽然推出了像NCCL(Nvidia Collective multi-GPU Communication Library)这种解决深度学习通信问题的集合通信库,但也存在不兼容MPI等问题.因此,设计一种更加高效、符合当前新趋势的通信加速机制便显得尤为重要,为解决上述新形势下的挑战,本文提出了两种新型通信广播机制:(1)一种基于MPI_Bcast的管道链PC (Pipelined Chain)通信机制:为GPU缓存提供高效的节点内外通信.(2)一种适用于多GPU集群系统的基于拓扑感知的管道链TA-PC (TopologyAware Pipelined Chain)通信机制:充分利用多GPU节点间的可用PCIe链路.为了验证提出的新型广播设计,分别在三种配置多样化的GPU集群上进行了实验:GPU密集型集群RX1、节点密集型集群RX2、均衡型集群RX3.实验中,将新的设计与MPI+NCCL1 MPI_Bcast进行对比实验,对于节点内通信和节点间的通信,分别取得了14倍和16.6倍左右的性能提升;与NCCL2的对比试验中,小中型消息取得10倍左右的性能提升,大型消息取得与其相当的性能水平,同时TA-PC设计相比于PC设计,在64GPU集群上实现50%左右的性能提升.实验结果充分说明,提出的解决方案在可移植性以及性能方面有较大的优势.     

基于端到端的多任务商标分卡模型

目前商标分卡处理方法是先进行文本检测再进行区域分类, 最后对不同的区域进行拆分组合形成商标分卡. 这种分步式的处理耗时长, 并且因为误差的叠加会导致最终结果准确率下降. 针对这一问题, 本文提出了多任务的网络模型TextCls, 通过设计多任务学习模型来提升商标分卡的检测和分类模块的推理速度和精确率. 该模型包含一个特征提取网络, 以及文本检测和区域分类两个任务分支. 其中, 文本检测分支采用分割网络学习像素分类图, 然后使用像素聚合获得文本框, 像素分类图主要是学习文本像素和背景像素的信息; 区域分类分支对区域特征细分为中文、英文和图形, 着重学习不同类型区域的特征. 两个分支通过共享特征提取网络, 像素信息和区域特征相互促进学习, 最终两个任务的精确率得以提升. 为了弥补商标图像的文本检测数据集的缺失以及验证TextCls的有效性, 本文还收集并标注了一个由2000张商标图像构成的文本检测数据集trademark_text (https://github.com/kongbailongtian/trademark_text), 结果表明: 与最佳的文本检测算法相比, 本文的文本检测分支将精确率由94.44%提升至95.16%, 调和平均值F1 score达92.12%; 区域分类分支的F1 score也由97.09%提升至98.18%.     

欠驱动刚性航天器时间最优轨迹规划设计

应用伪谱法解决欠驱动刚性航天器的时间最优轨迹规划问题.首先建立欠驱动刚性航天器的动力学和运动学模型,对于给定的初末姿态,选取机动时间最短为待优化的性能指标,并考虑到实际控制输入受限,将其转化为优化过程中的不等式约束条件;然后应用Legendre伪谱法,将优化问题离散化为非线性规划问题进行求解.仿真结果表明,应用伪谱法规划得到的欠驱动航天器最优轨迹,能够较好地满足各种约束条件,而且计算精度高、速度快,具有良好的实时性.     

区块链的安全检测模型

区块链^[1]是去中心化交易平台比特币的底层技术.该系统由分布式数据存储、点对点传输、共识机制、加密算法等计算机技术组成,它的安全性受到广泛关注.目前的研究大多使用数学证明的方法分析每个攻击的作用,本文提出了一种新颖的根据区块链的结构来评估和检测安全性的方法.在真实环境下当一个区块连接超过6个区块后,该区块的内容基本无法改变,被认为是稳定状态,分支产生的概率逐渐降低,因此整个系统的状态是无限循环的.该方法通过分析每个结构到达稳定状态的概率来评估系统的安全性,并通过实验分析了攻击力度,攻击状态和实验循环次数之间的关系,验证了该方法的可行性和有效性.