基于局部多片段的轻量级行为识别网络MLNet

针对传统3D卷积神经网络(CNN)对医学和自然场景视频中的动作识别存在输入片段帧数少、正向推理速度慢、网络层数浅、参数量和计算量大的问题,基于2D深度卷积和1D卷积设计了局部时空深度分离卷积模块(LSDW)和时序卷积模块(TCM),进而提出了轻量级局部多片段网络MLNet.首先,MLNet的输入是视频中的多个局部片段,这些片段通过间隔采样得到;其次,将输入中的多个局部片段通过LSDW提取相应的时空特征;最后,通过TCM对LSDW输出特征在时序维度进行融合,得到视频动作的全局表示.实验结果表明,利用该方法在公开数据集UCF101和HX上测试,其识别精度分别达到了76％和94.23％,与时序3D卷积网络方法(T3D)相比,识别率分别至少提升了4.89和4.6个百分点,在拥有低的参数量和计算量的同时提高了识别精度和网络的正向推理速度.     

基于深度学习的开放域引导对话生成模型

针对在开放域对话生成中的回复往往具有高重复性的特点或缺乏实际意义,以及与上下文内容相关性低和弱同理心等问题,利用基于DialoGPT的改进预训练模型分别构建生成排序模型,将DialoGPT模型作为基干网络并引入情绪分类和句子分类模块,便于进行多任务训练.首先将抽取的特定情绪对话之间用特殊间隔符进行拼接,然后输入到在大量数据训练过的生成模型;通过训练特定数据集和编码上下文内容,模型可以在多轮对话过程生成通顺流畅且情感引导的候选文本;同时在生成时采用核采样算法以提高回复多样性;最后通过排序模型挑选与上下文信息相关性最高的回复作为输出.另外为了进一步提高模型生成的泛化能力和算法收敛速度,采用AdamW替换Adam进行梯度更新.实验结果表明,所设计的生成排序模型在Context、Fluency等指标相比基线模型都有一定提升,对话示例显示可以有来有回的对话交流,生成的回复文本内容通顺流畅且多样性高.     

基于DeepLabv3+的遥感建筑物语义分割算法

针对遥感图像语义分割中的小目标分割不全、边界精度不高,以及模型参数量大、实时性达不到需求等问题,通过改进DeepLabv3+网络来满足遥感语义分割任务中对精度和实时性的要求.该算法首先将高分辨率的遥感图像裁剪为统一尺寸的低分辨率图像,便于针对小目标物的分割和批量训练.其次,使用轻量级网络MobileNet作为特征提取基干网络并在编码阶段后引入通道间注意力模块,在保证不损失分割性能的前提下,极大地减少了模型的参数量,使模型搭载在移动端和嵌入式设备上成为可能.最后,为了解决正负样本不均衡对模型性能产生的影响,将Focal loss和Dice loss合并起来充当损失函数进行网络训练.最终在马萨诸塞州建筑数据集上,相较于引入双注意力机制的DeepLabv3+网络,其分割像素精度(PA)和交并比(IoU)分别仅损失0.6和1.1个百分点,但模型大小仅为20.1 MB,为双注意力DeepLabv3+模型的1/7左右,在中央处理器(CPU)单张分割耗时上仅为399 ms,分割效率为其两倍多.该算法在充分保证分割精度的同时,能尽可能地提升模型的便携性和实时性.