Squeezing More Past Knowledge for Online Class-Incremental Continual Learning

Continual learning (CL) studies the problem of learning to accumulate knowledge over time from a stream of data. A crucial challenge is that neural networks suffer from performance degradation on previously seen data, known as catastrophic forgetting, due to allowing parameter sharing. In this work, we consider a more practical online class-incremental CL setting, where the model learns new samples in an online manner and may continuously experience new classes. Moreover, prior knowledge is unavailable during training and evaluation. Existing works usually explore sample usages from a single dimension, which ignores a lot of valuable supervisory information. To better tackle the setting, we propose a novel replay-based CL method, which leverages multi-level representations produced by the intermediate process of training samples for replay and strengthens supervision to consolidate previous knowledge. Specifically, besides the previous raw samples, we store the corresponding logits and features in the memory. Furthermore, to imitate the prediction of the past model, we construct extra constraints by leveraging multi-level information stored in the memory. With the same number of samples for replay, our method can use more past knowledge to prevent interference. We conduct extensive evaluations on several popular CL datasets, and experiments show that our method consistently outperforms state-of-the-art methods with various sizes of episodic memory. We further provide a detailed analysis of these results and demonstrate that our method is more viable in practical scenarios.      

Optimal Control of Nonlinear Systems Using Experience Inference Human-Behavior Learning

Safety critical control is often trained in a simulated environment to mitigate risk. Subsequent migration of the biased controller requires further adjustments. In this paper, an experience inference human-behavior learning is proposed to solve the migration problem of optimal controllers applied to real-world nonlinear systems. The approach is inspired in the complementary properties that exhibits the hippocampus, the neocortex, and the striatum learning systems located in the brain. The hippocampus defines a physics informed reference model of the real-world nonlinear system for experience inference and the neocortex is the adaptive dynamic programming (ADP) or reinforcement learning (RL) algorithm that ensures optimal performance of the reference model. This optimal performance is inferred to the real-world nonlinear system by means of an adaptive neocortex/striatum control policy that forces the nonlinear system to behave as the reference model. Stability and convergence of the proposed approach is analyzed using Lyapunov stability theory. Simulation studies are carried out to verify the approach.      

融合双注意力机制的人群计数算法

针对背景复杂、遮挡、人群分布不均等人群计数常见问题,提出了一种结合联合损失的空间-通道双注意力机制卷积神经网络模型(joint loss-based space-channel dual attention network, JL-SCDANet).该网络前端进行图像粗粒度特征提取,中间加入空间注意力机制以及通道注意力机制突出图像重点区域,后端使用可加大感受野且不丢失图像分辨率的空洞卷积提取深层二维特征.此外,该模型结合联合损失函数进行训练,以增强模型的鲁棒性.为了验证模型的改进效果,在3个公共数据集(ShanghaiTech Part B、mall和UCF＿CC＿50)上分别进行了对比实验,在ShanghaiTech Part B数据集中平均绝对误差(MAE)和均方误差(MSE)分别达到了8.13和13.13;在mall数据集中MAE、MSE达到了1.78和2.28;在UCF＿CC＿50数据集中MAE、MSE分别达到了182.12和210.24,实验结果证明了该网络在提高人数统计准确率上的有效性.     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

基于Conv1d-LSTM模型的能源分配预测

能源分配问题往往与其所在区域环境有关,能源分配的预测可以通过当地环境因素数据来推测之后对该区域的能源分配数值,最大程度上分配好能源. LSTM网络预测短期效果良好,但预测较长时期的数据会导致误差积累,速度慢且准确性差; Informer是近期新提出的能源预测算法模型,速度快但在该任务上预测能力不够.本文提出Conv1d-LSTM模型,预测结果优于上述两个模型,具有更低的平均绝对误差和均方根误差.     

基于云模型和余弦跳跃权重的改进蛙跳算法

标准蛙跳优化算法(SFLA)有寻优精度低和易陷入局部收敛区域的缺点, 为提高其性能, 提出一种基于云模型局部搜索和余弦跳跃权重更新位置的改进蛙跳算法(CSFLA). 首先通过Tent混沌映射和反向学习生成种群, 使种群的分布更均匀, 利用云模型的正态特性对子群中的优秀个体的所在区域进行探索. 同时, 对种群中其他个体引入基于余弦函数的跳跃步长权重, 使该权重在整个迭代过程中由高以不同的速率下降, 提高种群的全局搜索能力. 最后, 将CSFLA与多个优化算法在不同类型的测试函数上进行了比较. 结果表明, CSFLA具有更好的收敛速度和精度, 能有效找出全局最优解. 并且将改进算法应用至旅行商问题, 该算法可以找到总路程更短的路线.     

基于改进YOLOv3的智慧足球场行人检测

由于足球比赛场景中密集人群、移动小目标居多, YOLOv3算法存在检测精确度较低且模型参数量较大等问题, 使其无法部署在资源算力有限的移动设备上, 本文提出了一种基于改进YOLOv3的行人检测方法, 将Darknet-53主干特征提取网络替换为更加高效且轻量化的GhostNet网络; 同时选取了4个尺度的检测分支层并采用K-means++算法改善anchor box的聚类效果; 添加空间金字塔池化对输入图像实现相同大小的输出; 提出CIoU损失函数来计算目标定位损失值; 添加heatmap热力图可视化并在训练中使用Mosaic数据增强. 实验结果表明, YOLOv3-GhostNet在VOC融合数据集上mAP达到90.97%的同时相比YOLOv3算法提高了1.75%, 参数量减少了约81.4%且实时检测速率提高了约1.5倍, 在小型移动设备上表现出不错的检测效果.     

基于改进对比学习的道路裂缝图像分类

道路裂缝是路面破损的重要组成部分,而道路裂缝分类可以对道路养护策略的制定进行针对性的安排.针对人工标注分类耗时长,效率低等问题,本文提出了一个基于对比学习的道路裂缝图像分类方法,在传统的对比学习框架中,对特征提取部分进行改进,使得模型对细小裂缝的特征更敏感.首先对进行数据增强,其次在特征提取部分对ResNet50的部分进行改进,使用多尺度的方法提取特征;再使用多层感知机(MLP)对提取到的特征进行降维处理,并投影到向量空间;最后使用余弦相似度与用归一化温度标度的交叉熵损失对模型进行优化.实验结果表明,改进后的模型比原模型在裂缝图像上的分类效果提高了0.22%,达到了92.1%,对裂缝图像分类有较好的效果.     

融合语音、脑电和人脸表情的多模态情绪识别

本文提出了一种多模态情绪识别方法, 该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪, 有效地解决了过去研究中准确率低、模型鲁棒性差的问题. 对于语音信号, 本文设计了一个轻量级全卷积神经网络, 该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势. 对于脑电信号, 本文提出了一个树状LSTM模型, 可以全面学习每个阶段的情绪特征. 对于人脸信号, 本文使用GhostNet进行特征学习, 并改进了GhostNet的结构使其性能大幅提升. 此外, 我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合, 从而得到更全面、更准确的结果. 上述方法在EMO-DB与CK+数据集上分别达到了94.36%与98.27%的准确率, 且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25%与89.33%的准确率. 我们的实验结果表明, 与使用单一模态以及传统的融合方式进行情绪识别相比, 本文提出的多模态情绪识别方法有效地提高了识别准确率.     

基于生成对抗网络的文本生成图像算法

文本生成图像算法对生成图像的质量和文本匹配度有很高的要求. 为了提高生成图像的清晰度, 在现有算法的基础上改进生成对抗网络模型. 加入动态记忆网络、细节校正模块(DCM)、文本图像仿射组合模块(ACM)来提高生成图片的质量. 其中动态记忆网络可以细化模糊图像并选择重要的文本信息存储, 以提高下一阶段生成图像的质量. DCM纠正细节, 完成合成图像中缺失部分. ACM编码原始图像特征, 重建与文本描述无关的部分. 改进后的模型实现了两个目标, 一是根据给定文本生成高质量的图片, 同时保留与文本无关的内容. 二是使生成图像不再较大程度依赖于初始图像的生成质量. 通过在CUB-200-2011鸟类数据集进行研究实验, 结果表明相较之前的算法模型, FID (Frechet inception)有了显著的改善, 结果由16.09变为10.40. 证明了算法的可行性和先进性.