基于卷积神经网络的自适应样本加权脑机接口建模

针对脑机接口系统手动提取特征而产生的信息丢失与过拟合问题,建立了一个纯数据驱动的端到端的卷积神经网络模型.同时,为了解决卷积神经网络（convolutional neural network,CNN）需要大量数据而单人脑电数据量小的问题,建立了一套使用多人数据来建立目标用户模型的方法.通过分析其他人数据对目标个体模型的适应程度,清除那些对于目标模型贡献为负的样本.然后,在CNN网络的训练过程中,使用了一种元学习技术,赋予每一个训练数据一个权值.在训练CNN网络时,每一步网络参数更新之后,元学习器会根据训练集中数据样本对于最终模型的影响,自适应的调整每个样本数据的权值.实验结果表明,所提方法得到了比传统方法更好的分类精度,验证了所提方法的有效性.     

自适应混合卷积神经网络的雾图能见度识别

为充分利用高速公路沿线视频监控,实现高速公路大雾天气能见度全程监测,提出一种自适应混合卷积神经网络（Convolutional Neural Network,CNN）算法。在CNN算法输入层使用ResNet、VGG19预训练模型进行迁移学习,防止训练结果出现过拟合现象;在算法前向与反向传播过程之间构建参数自适应调整模块,根据卷积神经网络训练周期数和训练误差增强参数系数,实现权值自适应更新,有效地提高模型训练的收敛速度和能见度识别正确率。基于高速公路视频图像样本库进行实验,对算法的收敛性、时间复杂性以及识别正确率进行评价。实验结果显示,自适应混合卷积神经网络算法能够加快模型训练,模型综合识别准确率达到0.80以上。     

一种改进的预补偿反向训练0/1式跳空技术方法

预补偿反向训练的0/1式多天线跳空技术,能从物理层上使无线通信更安全。为了进一步改善目标用户的系统复杂度和训练效率,提出了一种改进的预补偿反向训练方法。发射方通过反向训练获得信道特性参数,利用该参数设计补偿系数,并使用该系数对发送信号进行预补偿。目标用户不需要发射方反馈信道信息,也无需调整接收权值。仿真结果表明,在不降低安全性和误比特率的情况下,该方法能够降低目标用户的系统复杂度,提高了训练效率。     

基于粒子群算法优化Spiking神经网络

Spiking神经网络采用神经元的发放时间点进行信息编码,更接近于生物神经元.学习算法的选取对发挥Spiking神经网络的性能有很大的影响.基于BP算法的SpikeProp采用多突触连接的网络结构,利用梯度信息进行网络参数的调整,易于陷入局部最优解;且连接权值的选取只能为正值,否则将不收敛.采用粒子群算法(Particle Swarm Optimization,PSO)进行Spiking网络连接参数的调整,全局收敛性好,减少了对连接权值的约束,简化了网络结构.实验表明,该方法是一种有效的Spiking网络学习方法.     

低资源语音识别中融合多流特征的卷积神经网络声学建模方法

针对卷积神经网络（CNN）声学建模参数在低资源训练数据条件下的语音识别任务中存在训练不充分的问题,提出一种利用多流特征提升低资源卷积神经网络声学模型性能的方法。首先,为了在低资源声学建模过程中充分利用有限训练数据中更多数量的声学特征,先对训练数据提取几类不同的特征;其次,对每一类类特征分别构建卷积子网络,形成一个并行结构,使得多特征数据在概率分布上得以规整;然后通过在并行卷积子网络之上加入全连接层进行融合,从而得到一种新的卷积神经网络声学模型;最后,基于该声学模型搭建低资源语音识别系统。实验结果表明,并行卷积层子网络可以将不同特征空间规整得更为相似,且该方法相对传统多特征拼接方法和单特征CNN建模方法分别提升了3.27%和2.08%的识别率;当引入多语言训练时,该方法依然适用,且识别率分别相对提升了5.73%和4.57%。     

基于特征聚合的假新闻内容检测模型

针对假新闻内容检测中分类算法模型的检测性能与泛化性能无法兼顾的问题,提出了一种基于特征聚合的假新闻检测模型CCNN。首先,通过双向长短时循环神经网络提取文本的全局时序特征,并采用卷积神经网络（CNN）提取窗口范围内的词语或词组特征;然后,在卷积神经网络池化层之后,采用基于双中心损失训练的特征聚合层;最后,将双向长短时记忆网络（Bi-LSTM）和CNN的特征数据按深度方向拼接成一个向量之后提供给全连接层,采用均匀损失函数uniform-sigmoid训练模型后输出最终的分类结果。实验结果表明,该模型的F1值为80.5%,在训练集和验证集上的差值为1.3个百分点;与传统的支持向量机（SVM）、朴素贝叶斯（NB）和随机森林（RF）模型相比,所提模型的F1值提升了9~14个百分点;与长短时记忆网络（LSTM）、快速文本分类（FastText）等神经网络模型相比,所提模型的泛化性能提升了1.3~2.5个百分点。由此可见,所提模型能够在提高分类性能的同时保证一定的泛化能力,提升整体性能。     

基于加权密集连接卷积网络的深度强化学习方法

针对深度强化学习中卷积神经网络（CNN）层数过深导致的梯度消失问题，提出一种将密集连接卷积网络应用于强化学习的方法。首先，利用密集连接卷积网络中的跨层连接结构进行图像特征的有效提取；然后，在密集连接卷积网络中加入权重系数，加权密集连接卷积网络中的每一层都接收到前面几层产生的所有特征图，且之前所有层在跨层连接中被赋予不同的初始权重；最后，在训练中动态调整每层的权重，从而更加有效地提取特征。与常规深度强化学习方法相比，在GridWorld仿真实验中，在相同训练步数内的平均奖励值提升了85.67%；在FlappyBird仿真中，平均奖励值提升了55.05%。实验结果表明所提方法能在不同难度的游戏仿真实验中获得更好的性能。     

案例推理变权值引擎模型及权值计算方法

在案例推理（CBR）案例检索匹配中,不同案例通常由不同的特征构成。而传统的CBR引擎模型大多采用固定权值模式,导致系统在匹配精度方面的性能很低。为了解决这一问题,提出一种CBR变权值引擎模型,在其特征权值计算模块引入人机互动机制,基于群决策法计算主观权值,提出依据专家个体和群体决策差异的主观权值调整方法;基于相似粗糙集法计算客观权值。最后设计了一种综合权值调整算法,通过计算主观权值和客观权值间的距离,判断两者的偏离程度,从而推导出权值调整系数,得到最终的权值调整结果。通过网络攻击案例进行的算例分析和仿真实验验证了上述方法的正确性和优越性。     

基于CNN-PSO-DBN的短期电力负荷预测

电力负荷参数受多维因素影响，为提高短期电力负荷预测精度，提出一种基于特征参数筛选的卷积神经网络(Convolutional Neural Network, CNN)和深度信念网络(Deep Belief Network, DBN)结合的负荷预测模型。首先通过对多维输入参数进行优化筛选，利用CNN进行特征提取，将提取的特征向量输入到DBN网络中进行训练，得出预测结果。由于DBN网络权值的随机初始化，采用粒子群优化(Particle Swarm Optimization, PSO)算法迭代求解权重最优值。仿真结果表明，上述方法较于其它网络模型具有更好的预测性能。     

基于FPGA的卷积神经网络优化压缩技术研究

针对现有卷积神经网络(CNN)模型计算效率低、内存带宽浪费大等问题，提出了一种基于现场可编程门阵列(FPGA)优化压缩策略。对预先训练好的CNN模型进行分层剪枝，采用基于新型的遗传算法进行信道剪枝，同时设计了两步逼近适应度函数，进一步提高了遗传过程的效率。此外，通过对剪枝CNN模型进行数据量化，使得卷积层和全连接层的权值根据各自的数据结构以完全不同的方式存储，从而减少了存储开销。实验结果表明，在输入4 000个训练图像进行压缩过程中，该方法所耗压缩时间仅为15.9 s。     

基于卷积神经网络的应用层协议识别方法

针对传统网络协议识别方法中人工提取特征困难以及识别准确率低等问题,提出了一种基于卷积神经网络（CNN）的应用层协议识别方法。首先,基于完整的传输控制协议（TCP）连接或用户数据报协议（UDP）交互划分原始网络数据,从中提取出网络流;其次,通过数据预处理将网络流转化为二维矩阵,便于CNN的分析处理;然后,利用训练样本集合训练CNN模型,自动化提取出网络协议特征;最终,基于训练成熟的CNN模型进行应用层网络协议的识别。实验结果表明,所提方法的总体协议识别准确率约为99.70%,能有效实现应用层协议的识别。     

基于深度卷积神经网络的心音分类算法

针对现有心音分类算法普适性差、依赖于对基本心音的精确分割、分类模型结构单一等问题,提出采用大量未经过精确分割的心音二维特征图训练深度卷积神经网络(CNN)的方法;首先采用滑动窗口方法和梅尔频率系数对心音信号进行预处理,得到大量未经过精确分割的心音特征图;然后利用深度CNN模型对心音特征图进行训练和测试;根据卷积层间连接方式的不同,设计了 3种深度CNN模型:基于单一连接的卷积神经网络、基于跳跃连接的卷积神经网络、基于密集连接的卷积神经网络;实验结果表明,基于密集连接的卷积神经网络比其他两种网络具备更大的潜力;与其他心音分类算法相比,该算法不依赖于对基本心音的精确分割,且在分类准确率、敏感性和特异性方面均有提升.     

融合CNN和EWC算法的不平衡文本情绪分类方法

文本情绪分类是自然语言处理领域的一个基本任务。然而,基于不平衡数据的学习使得传统文本情绪分类方法的分类性能降低。针对这个问题,该文提出了一种融合CNN和EWC算法的不平衡文本情绪分类方法。首先,该方法使用随机欠采样方法得到多组平衡数据;其次,按顺序单独使用每一组平衡数据输入CNN训练,同时在训练过程中引入EWC算法用以克服CNN中的灾难性遗忘;最后,把使用最后一组平衡数据输入CNN训练得到的模型作为最终分类模型。实验结果表明,该方法在分类性能上明显优于基于欠采样和多分类算法的集成学习框架,且该方法比基于多通道LSTM神经网络的不平衡情绪分类方法在Accuracy和G-mean上分别提高了1.9%和2.1%。     

面向运动想象脑电图识别的镜卷积神经网络

目的 脑电图（electroencephalogram,EEG）是一种灵活、无创、非侵入式的大脑监测方法,广泛应用于运动想象脑机接口系统中,运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因,导致单个受试者可用于模型训练的样本数量少,严重影响了卷积神经网络在脑电图识别任务中的表现。为此,本文提出一种镜卷积神经网络（mirror convolutional neural network,MCNN）模型,使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法 在训练阶段,基于源脑电通过互换左右侧脑电通道构造镜像脑电,并与源脑电一起用于源卷积网络训练,有效扩增了训练样本;在预测阶段,复制已训练源卷积网络作为镜像卷积网络,将测试集中的源脑电输入源卷积网络,构造的镜像脑电输入镜像卷积网络,集成源卷积网络与镜像卷积网络输出的类别预测概率,形成最终类别预测。结果 为了验证模型的有效性和通用性,基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络,并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比,运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%,显著提高了识别精度。结论 本文面向运动想象脑电图识别,提出了镜卷积神经网络模型,通过集成学习与数据扩增方法提高运动想象识别精度,有效改善了运动想象脑机接口性能。     

基于图像识别的带式输送机输煤量和跑偏检测方法

传统的卷积神经网络(CNN)是单任务网络,为实现带式输送机输煤量和跑偏的同时检测,使用2个卷积神经网络分别对输煤量和跑偏进行检测,导致网络体积大、参数多、计算量大、运行时间长,严重影响检测性能.为降低网络结构的复杂性,提出了一种基于多任务卷积神经网络(MT-CNN)的带式输送机输煤量和跑偏检测方法,可使输煤量检测和跑偏检测这2个任务共享同一个网络底层结构和参数.在VGGNet模型的基础上,增大卷积核和池化核的尺度,减少全连接层通道数量,改变输出层结构,构建了MT-CNN;对采集的输送带图像进行灰度化、中值滤波和提取感兴趣区域等预处理后,获取训练数据集和测试数据集,并对MT-CNN进行训练;使用训练好的MT-CNN对输送带图像进行识别分类,实现输煤量和跑偏的准确、快速检测.实验结果表明,训练后的MT-CNN在测试数据集中检测准确率为97.3%,平均处理每张图像的时间约为23.1 ms.通过现场实际运行验证了该方法的有效性.     

基于改进CenterNet的竹条表面缺陷检测方法

在竹条表面缺陷检测中,竹条表面缺陷形状各异,成像环境脏乱,现有基于卷积神经网络（CNN）的目标检测模型面对这样特定的数据时并不能很好地发挥神经网络的优势;而且竹条来源复杂且有其他条件限制,因此没办法采集所有类型的数据,导致竹条表面缺陷数据量少到CNN不能充分学习。针对这些问题,提出一种专门针对竹条表面缺陷的检测网络。该网络的基础框架为CenterNet,而且为提高CenterNet在较少的竹条表面缺陷数据中的检测性能,设计了一种基于从零开始训练的辅助检测模块：在网络开始训练时,冻结采用预训练模型的CenterNet部分,并针对竹条的缺陷特点从零开始训练辅助检测模块;待辅助检测模块损失趋于稳定时,通过一种注意力机制的连接方式将该模块与采用预训练的主干部分进行融合。将所提检测网络与CenterNet以及目前常用于工业检测的YOLO v3在相同训练测试集上进行训练和测试。实验结果表明,所提检测网络的平均精度均值（mAP）在竹条表面缺陷检测数据集上比YOLO v3和CenterNet的mAP分别提高了16.45和9.96个百分点。所提方法能够针对形状各异的竹条表面缺陷进行有效检测,且没有增加过多的时耗,在实际工业运用中具有很好的效果。     

基于角度特征的分类网络

卷积神经网络(Convolutional Neural Networks,CNN)在图像分类任务中的卓越表现,使得其被广泛应用于计算机视觉的各个领域。图像分类模型精度与效率的提升,除了归功于网络结构的改变外,还有很大一部分原因来自于归一化技术以及分类损失函数的改进。在人脸识别任务中,随着精度的不断提升,分类损失函数从Softmax Loss到Triplet Loss,又从L-Softmax Loss到Arcface Loss,度量方式从几何度量发展到角度度量。度量方式的改变实际上是特征形式的变化,即特征形式从一般特征转变为角度特征。在Mnist数据集上,使用角度度量损失函数训练得到的特征点呈角度分布,同时准确率比几何度量高;将角度度量方式用更直接的角度特征来表示,训练得到的同类特征点呈直线分布,准确度也比一般角度度量更高。这不禁令人思考,在CNN分类模型中是否可以使用角度特征来代替一般特征。在CNN分类模型中,其主要架构往往由多个卷积层和一个或多个全连接层组成,通过统一卷积层与全连接层的归一化操作,得到角度卷积层与角度全连接层。在普通分类网络的基础上,用角度卷积层替换卷积层,用角度全连接层替换全连接层,可以得到一个由角度特征组成的角度分类网络。在Cifar-100数据集上,基于ResNet-32构造的角度分类网络相比原分类网络,分类准确率提高了2%,从而论证了角度特征在分类网络中的有效性。     

双模态语音识别中乘积HMM权重系数与瞬时SNR的关系研究

在有噪声污染等复杂情况下,为了能够得到更高的语音识别率,提出了一种新的乘积隐马尔可夫模型(HMM)用于双模态语音识别,研究并确定了模型中权重系数与瞬时信噪比(SNR)之间的关系.该模型在独立训练音频和视频HMM的基础上,建立二雏训练模型,并使用重估策略保证更高的准确性.同时引入广义几率递减(GPD)算法,调整音视频特征的权重系数.实验结果表明,提出的方法在噪声环境下体现出了良好稳定的识别性能.     

基于CNN深度学习的径流预判方法及应用

为快速预判流量等级,将复杂洪水预报过程简化为径流预判任务,借鉴卷积神经网络（CNN）在图像识别领域的应用思路,研究 CNN 径流预判模型搭建过程,深入分析样本处理、网络搭建、参数率定、性能测试、精度检验、知识训练等关键环节,提出基于 CNN 深度学习的径流预判方法。根据某水库 2008—2017 年的历史运行资料,构建其入库径流等级预测 CNN 模型实例,采用 61 362 个样本进行参数训练,17 532 个样本进行模型测试,8 766 个样本进行成果检验,预测准确率为 92.94%。研究结果表明,CNN 径流预判方法可作为防汛形势分析及会商决策的重要依据。