带比例因子的卷积神经网络压缩方法

针对卷积神经网络在图像分类任务中,分类准确率高但实时性差的问题。提出了一种含比例因子的“知识提取”算法。此方法在已有的“知识提取”算法上,加入了衡量样本类间相近关系的比例因子,充实了网络压缩手段,使得神经网络可以更精确地进行“知识提取”。其原理是将比例因子误差值作为代价函数的一部分参与训练调节神经网络的神经元参数,进而使得神经网络的泛化能力更加趋近于具有更好分类表现能力的压缩参考网络。结果表明,含比例因子的神经网络压缩算法可以更细致地刻画训练集的类间相近关系,拥有比原“知识提取”算法更好的训练性能,进而训练出泛化性能更强、精度更高的神经网络。实现了在网络分类准确率下降尽量小的前提下,较大程度地减少神经网络的分类耗时,以达到网络压缩的目的。     

量子小波神经网络及其在漏钢预报中的应用

针对传统神经网络收敛速度慢,收敛精度低,以及用于模式识别泛化能力差的问题。提出了将量子神经网络与小波理论相结合的量子小波神经网络模型。该模型隐层量子神经元采用小波基函数的线性叠加作为激励函数,称之为多层小波激励函数,这样隐层神经元既能表示更多的状态和量级,又能提高网络收敛精度和速度。给出了网络学习算法。并以之在漏钢预报波形识别中的应用验证了该模型和学习算法的有效性。     

基于改进型BP神经网络的手部动作识别

对手部动作进行模式识别,首先将采集到的肌电信号进行降噪处理,选择时域分析法中的方差算法对采集信号进行特征提取。将特征信号进行归一化处理,实验发现普通BP神经网络分类器出现学习速率慢,泛化能力较差,不同动作识别准确率差别较大等问题。针对以上问题,提出了一种改进型BP神经网络,将神经网络输入数据进行人工升维处理,并对网络学习速率慢的原因进行理论推导,然后引入交叉熵代价函数并对其进行正则化处理,以提高网络的泛化能力以及网络的识别准确率。实验结果表明,改进型BP神经网络的学习速率、泛化能力以及动作分类的准确率均优于普通网络,识别准确率平均为94.34%。     

基于小波神经网络的通用多变量非线性系统辨识算法和应用

在分析小波函数对L2(R)空间的逼近原理的基础上,给出了仅使用尺度函数的神经网络模型和网络学习方法,使得用于逼近低通系统的小波基函数大大减少,并给出逼近的理论依据.提出的小波神经网络模型的学习为线性LS参数估计问题,具有通用性和易用性,并具有线性系统中线性LS参数估计的优良性质,保证了在训练数据受噪声污染时的网络模型的推广能力.理论分析、仿真实验和实际应用结果都说明该辨识方法具有好的辨识精度和推广能力.     

基于改进胶囊神经网络的遥感影像分类

针对遥感影像卷积神经网络（CNN）分类会导致特征信息丢失及泛化能力差的问题,提出一种基于通道注意力和混合注意力改进的胶囊神经网络分类模型。首先,为了胶囊神经网络能够适应于大尺寸输入图像,在特征提取模块中使用2个最大池化层;其次,为了提高分类精度,分别将SENet注意力和CBAM注意力加在特征提取模块的最后一层去改进特征提取模块;最后,将样本集随机地划分为训练集、验证集和测试集,进一步使用训练集和验证集训练模型,测试集测试模型,使用AID数据集对模型分类的泛化能力进行验证。实验结果表明:基于SENet网络改进的胶囊神经网络的准确率与Kappa系数要高于其他模型,泛化能力也优于其他模型,本文提出的模型的总体分类精度和泛化能力有了显著性提升,从而验证了本文方法的可行性和使用性。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

An optimizing method of RBF neural network based on genetic algorithm

In the traditional learning algorithms of radial basis function (RBF) neural network, the architecture of the network is hard to be decided; thereby, the learning ability and generalization ability are hard to achieve optimal. In this paper, we propose an algorithm to optimize the RBF neural network learning based on genetic algorithm; it uses hybrid encoding method, that is, encodes the network by binary encoding and encodes the weights by real encoding; the network architecture is self-adapted adjusted, and the weights are learned. Then, the network is further adjusted by pseudo inverse method or least mean square method. Experiments prove that the network gotten by this method has a better architecture and stronger classification ability, and the time of constructing the network artificially is saved. The algorithm is a self-adapted and intelligent learning algorithm.     

改进鲸鱼算法在云计算资源负载预测中的应用

为了解决传统云计算资源负载预测方法对负载序列高频分量预测精度不高和泛化能力弱的缺点,提出一种混合小波包变换和正余混沌双弦鲸鱼优化（CSCWOA）算法优化多层感知器神经网络（MLP）的短期云计算资源负载预测方法。通过小波包变换对负载序列进行多频段预处理分解,然后采用CSCWOA算法优化的MLP神经网络,对单支重构所得的负载子序列进行预测;最后叠加各子序列的预测值来获取实际预测结果。实验结果表明,该方法能掌握负载序列各频段冲击毛刺的变化规律,具有较好的预测精度和泛化能力。     

小波网络和RBF网络的抗噪语音识别

针对目前在噪音环境下语音识别系统性能较差的问题,利用小波神经网络融合了小波变换良好的时频局域化性质和RBF神经网络具有最佳分类能力和辨识能力等特性。构建了一个用小波基替代RBF网络中激活函数的小波-RBF神经网络结构,并采用全监督训练算法,实现了基于小波-RBF网络的抗噪语音识别系统。实验结果表明该系统比RBF网络具有更好的识别效果,尤其在噪声环境下,具有更强的鲁棒性。     

基于一维卷积神经网络的实时道岔故障诊断

针对道岔故障诊断系统实时性要求高、特征提取严重依赖于先验知识的问题,提出了一种基于一维卷积神经网络（1D-CNN）的道岔实时故障诊断方法。以S700k转辙机的功率曲线为例,建立一维卷积神经网络的结构模型,该模型将特征提取与故障分类融合为一体,优化了网络参数,同时使用正则化Dropout提高模型的泛化能力,采用t-SNE可视化方法,来反映模型提取特征的有效性。仿真实验表明：卷积层和池化层对原始时域信号的自适应特征提取,能较好地捕捉信号空间维度信息,降低模型的计算量,提高模型的抗噪性能,实现了端到端的实时故障诊断,并有效地提高道岔故障实时诊断的准确率。     

基于改进的Adaboost-BP模型在降水中的预测

针对目前分类算法对降水预测过程存在着泛化能力低、精度不足的问题,提出改进Adaboost算法集成反向传播（BP）神经网络组合分类模型。该模型通过构造多个神经网络弱分类器,赋予弱分类器权值,将其线性组合为强分类器。改进后的Adaboost算法以最优化归一化因子为目标,在提升过程中调整样本权值更新策略,以此达到最小化归一化因子的目的,从而确保增加弱分类器个数的同时降低误差上界估计,通过最终集成的强分类器来提高模型的泛化能力和分类精度。选取江苏境内6个站点的逐日气象资料作为实验数据,建立7个降水等级的预报模型,从对降雨量有影响的众多因素中,选取12个与降水相关性较大的属性作为预报因子。通过多次实验统计,结果表明基于改进的Adaboost-BP组合模型具有较好的性能,尤其对58259站点的适应性较好,总体分类精度达到81%,在7个等级中,对0级降雨的预测精度最好,对其他等级的降雨预测有不同程度的精度提升,理论推导及实验结果证明该种改进可以提高预测精度。     

A central-point-enhanced convolutional neural network for high-resolution remote-sensing image classification

As one of the most important algorithms in the field of deep learning technology, the convolutional neural network (CNN) has been successfully applied in many fields. CNNs can recognize objects in an image by considering morphology and structure rather than simply individual pixels. One advantage of CNNs is that they exhibit translational invariance; when an image contains a certain degree of distortion or shift, a CNN can still recognize the object in the image. However, this advantage becomes a disadvantage when CNNs are applied to pixel-based classification of remote-sensing images, because their translational invariance characteristics causes distortions in land-cover boundaries and outlines in the classification result image. This problem severely limits the application of CNNs in remote-sensing classification. To solve this problem, we propose a central-point-enhanced convolutional neural network (CE-CNN) to classify high-resolution remote-sensing images. By introducing the central-point-enhanced layer when classifying a sample, the CE-CNN increases the weight of the central point in feather maps while preserving the original textures and characteristics. In our experiment, we selected four representative positions on a high-resolution remote-sensing image to test the classification ability of the proposed method and compared the CE-CNN with the traditional multi-layer perceptron (MLP) and a traditional CNN. The results show that the proposed method can not only achieves a higher classification accuracy but also less distortion and fewer incorrect results at the boundaries of land covers. We further compared the CE-CNN with six state-of-the-art methods: k-NN, maximum likelihood, classification and regression tree (CART), MLP, support vector machine, and CNN. The results show that the CE-CNN’s classification accuracy is better than the other methods.     

Localized generalization error model and its application to architecture selection for radial basis function neural network

The generalization error bounds found by current error models using the number of effective parameters of a classifier and the number of training samples are usually very loose. These bounds are intended for the entire input space. However, support vector machine (SVM), radial basis function neural network (RBFNN), and multilayer perceptron neural network (MLPNN) are local learning machines for solving problems and treat unseen samples near the training samples to be more important. In this paper, we propose a localized generalization error model which bounds from above the generalization error within a neighborhood of the training samples using stochastic sensitivity measure. It is then used to develop an architecture selection technique for a classifier with maximal coverage of unseen samples by specifying a generalization error threshold. Experiments using 17 University of California at Irvine (UCI) data sets show that, in comparison with cross validation (CV), sequential learning, and two other ad hoc methods, our technique consistently yields the best testing classification accuracy with fewer hidden neurons and less training time.     

基于面向对象自适应粒子群算法的神经网络训练*

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的基于面向对象的自适应粒子群优化算法(OAPSO)用于神经网络的训练。该算法通过改进PSO的编码方式和自适应搜索策略以提高网络的训练速度与泛化性能,并结合Iris和Ionosphere分类数据集进行测试。实验结果表明：基于OAPSO算法训练的神经网络在分类准确率上明显优于BP算法及标准PSO算法,极大地提高了网络泛化能力和优化效果,具有快速全局收敛的性能。     

动态数据约简的神经网络分类器训练方法研究

针对神经网络分类器训练时间长、泛化能力差的问题,提出了一种基于动态数据约简的神经网络分类器训练方法（DDR）。该训练方法在训练过程中赋给每个训练样本一个权重值作为样本的重要性度量,依据每次网络迭代训练样本的分类错误率动态更新每个训练样本的权重值,之后依据样本的权重值来约简训练样本,从而增加易错分类的边界样本比重,减少冗余核样本的作用。数值实验表明,基于权重的动态数据约简神经网络训练方法不仅大幅缩短了网络的训练时间,而且还能够显著提升网络的分类泛化能力。     

基于小波变换的肌电信号识别方法研究

针对肌电信号的非平稳特性,采用小波变换方法对表面肌电信号进行分析,提取小波系数最大值构造特征矢量输入神经网络分类器进行模式识别,经过训练能够成功地从掌长肌和肱桡肌采集的两道表面肌电信号中识别展拳、握拳、前臂内旋、前臂外旋四种运动模式。实验表明,基于小波变换的神经网络分类方法所需的数据短、运算快,对于肌电假肢的控制具有良好的应用前景。     

基于Dropout深度卷积神经网络的ST段波形分类算法

心电信号的ST段波形变化是心肌损伤等心血管类疾病临床诊断的重要辅助手段之一.针对ST段波形分类以及深度卷积神经网络过拟合问题,提出一种基于概率随机舍弃神经元建立子网络的Dropout深度卷积神经网络,通过心电信号数据去噪、ST段候选段筛选、神经网络卷积与下采样运算过程,实现ST段波形样本训练与测试.仿真实验对比分析了算法的波形分类准确率、卷积核个数影响和Dropout对算法泛化能力影响,与专家手工标注、BP、RNN和DCNN等方法进行比较,实验结果表明Dropout DCNN能够有效提高卷积神经网络泛化能力,提升算法的可用性.     

一种基于小波和神经网络的短时交通流量预测

针对实际交通流变化的不稳定性和复杂性的特点,应用交通流预测模型获取更准确的交通流信息,是智能交通领域的一个研究热点。提出一种基于小波分析与神经网络结合的预测模型。模型主要思想是通过小波多分辨率分析和Mallat算法对原始交通流数据进行平滑降噪处理,处理过程选用db10小波和软阈值去噪函数使得交通流曲线更加平滑稳定,更能真实反映交通流的真实情况;再采用激活函数为Tan-Sigmoid,训练函数为trainlm,各层神经元节点数为1-12-1的三层BP神经网络对消噪后的交通流数据进行训练,用训练好的预测模型对实际交通流信息进行预测,最后获取准确的交通流信息。实验结果表明,采用小波分析与BP神经网络结合的方法得到的预测结果平均相对误差为0.03%,最大相对误差为0.39,拟合度(EC)达到0.96。仅使用BP神经网络预测模型对交通流数据进行预测后得到的预测结果的平均相对误差为0.08%,最大相对误差为0.89%;实验对比采用BP神经网络预测模型和卡尔曼滤波、GM(1,1)预测模型对交通流的预测,BP神经网络预测模型的误差指标大大减小,拟合度大大提高,有较好的准确性和可行性,能较准确地反映交通流真实情况。而经过小波去噪与BP神经网络结合的预测模型提高了预测精度,为交通流的实时动态预警提供了更加准确真实的情况。     

基于量子免疫克隆算法的神经网络优化方法

为降低神经网络的冗余连接及不必要的计算代价,将量子免疫克隆算法应用于神经网络的优化过程,通过产生具有稀疏度的权值来优化神经网络结构。算法能够有效删除神经网络中的冗余连接和隐层节点,并同时提高神经网络的学习效率、函数逼近精度和泛化能力。该算法已应用于秦始皇帝陵博物院野外文物安防系统。经实际检验,算法提高了目标分类概率,降低了误报率。     

脑—机接口研究中想象动作提取的新方法

想象动作提取是脑—机接口（BCI）技术的关键和难点之一．本文采用连续小波变换结合贝叶斯神经网络组成新的分类方法，利用想象动作思维引起的事件相关去同步（ERD）现象进行特征脑电信息检测与模式识别．研究表明，该方法较常用的线性分类器具有更高的识别准确率和较强的抗干扰能力及较快的识别速度，基本可以满足实时BCI系统模式识别的需求．