基于Im2col的并行深度卷积神经网络优化算法

针对大数据环境下并行深度卷积神经网络（DCNN）算法中存在数据冗余特征多、卷积层运算速度慢、损失函数收敛性差等问题,提出了一种基于Im2col方法的并行深度卷积神经网络优化算法IA-PDCNNOA。首先,提出基于Marr-Hildreth算子的并行特征提取策略MHO-PFES,提取数据中的目标特征作为卷积神经网络的输入,有效避免了数据冗余特征多的问题;其次,设计基于Im2col方法的并行模型训练策略IM-PMTS,通过设计马氏距离中心值去除冗余卷积核,并结合MapReduce和Im2col方法并行训练模型,提高了卷积层运算速度;最后提出改进的小批量梯度下降策略IM-BGDS,排除异常节点的训练数据对批梯度的影响,解决了损失函数收敛性差的问题。实验结果表明,IA-PDCNNOA算法在大数据环境下进行深度卷积神经网络计算具有较好的性能表现,适用于大规模数据集的并行化深度卷积神经网络模型训练。     

BP神经网络在缺失数据估计中的应用

由于飞行参数记录系统所记录的数据很容易被污染,所以对飞参数据进行预处理已显得十分重要,而预处理的一项重要内容就是对缺失参数数据进行合理且有效地估计,真实地反映飞行器当时的状态.通过分析神经网络理论和飞参数据特征,提出了一种基于BP神经网络的缺失数据估计的方法,有效地解决了目前飞行参数记录系统记录数据时缺失数据的问题.利用某型飞机真实的数据进行仿真,结果表明了这种方法是可行且有效的.     

结合Bi-2DPCA与CNN的美式手语识别

针对现有美式手语（ASL）识别算法准确率低和模型训练时间长的问题,提出一种结合双向二维主成分分析（Bi-2DPCA）与卷积神经网络（CNN）并基于贝叶斯优化的识别算法。利用Bi-2DPCA算法对原始图像做数据降维处理,提取行、列方向的特征图,使用卷积神经网络对特征图进行训练分类,同时采用贝叶斯优化算法对模型超参数进行自动调参。在24分类ASL数据集上的实验结果表明,该算法的识别准确率达到99.15%,训练时间相比传统CNN算法减少90.3%。     

基于改进BP神经网络的非均衡数据分类算法

传统的分类算法大都默认所有类别的分类代价一致,导致样本数据非均衡时产生分类性能急剧下降的问题.对于非均衡数据分类问题,结合神经网络与降噪自编码器,提出一种改进的神经网络实现非均衡数据分类算法,在神经网络模型输入层与隐层之间加入一层特征受损层,致使部分冗余特征值丢失,降低数据集的不平衡度,训练模型得到最优参数后进行特征分类得到结果.选取UCI标准数据集的3组非均衡数据集进行实验,结果表明采用该算法对小数据集的分类精度有明显改善,但是数据集较大时,分类效果低于某些分类器.该算法的整体分类效果要优于其他分类器.     

基于广义重要度和runner-root算法的特征选择

特征选择是机器学习、模式识别和数据挖掘等领域数据预处理阶段的重要步骤。现实中采集的数据维度很高,存在大量冗余和噪声数据,这使得计算时间增加的同时还会对建模结果产生误导性。结合属性子集的广义重要度和智能优化runner-root算法提出一种特征选择算法,用runner-root算法进行迭代寻优,用属性子集的广义重要度和所选特征子集的大小作为适应度函数,对所选特征子集进行评估,尽可能在整个样本空间内搜索出对决策重要的特征子集。实验结果表明,该算法可以选择出有效的特征子集,使分类模型得到较高的准确率。     

基于数据挖掘技术的交通流预测模型

本文针对交通数据挖掘领域的交通流预测问题进行研究和实现.主要对数据挖掘技术应用于交通流数据的特征选择和交通流预测模型的建立提出算法.在对采样数据进行清洗后,以分类与回归决策树作为基学习器,采用梯度提升决策树进行回归拟合,计算出交通数据的特征重要度.并以此重要度作为自适应特征选择的依据.其次,采用聚类算法对选取后的特征数据进行聚类分析,缩小样本大小的同时,同类数据更加相似.最后,以实时数据匹配相应聚类作为训练数据集,使用经过人工鱼群算法优化参数后的支持向量机进行交通流预测.本文结尾通过实验数据论证本文所提出的算法和模型.     

双重驱动的果蝇优化算法及其在PID控制器中的应用

针对工业环境中齿轮箱多故障特征难以选择的问题,结合Fisher Score与最大信息系数(MIC)构建一种新的故障特征优化选择方法.首先,考虑到多故障特征分布不均匀和重叠性问题,采用Fisher Score计算方法构建特征指标重要度排序规则;其次,在考虑冗余特征对有效特征表征的影响基础上,利用最大信息系数构建特征间关联性评价方法,对冗余特征实现更新排序;再次,以分类准确率为判断依据,基于支持向量机理论(SVM)对排序模型进行修正,建立基于Fisher Score与最大信息系数的故障特征优化选择方法;最后,利用UCI标准数据集和实验仿真的齿轮箱故障数据进行实验以验证所提出算法的有效性和工程实用性.仿真实验对比分析表明,与传统的mRMR、reliefF方法相比,所提出的方法特征子集数量适中,准确率更高.     

基于主成分分析的SMO文本分类

利用SMO进行文本分类的核心问题是特征的选择问题,特征选择涉及到哪些特征和选择的特征维度问题。针对以上问题,介绍一种基于主成分分析和信息增益相结合的数据集样本降维的方法,并在此基础上对序贯最小优化算法进行改进,提出降维序贯最小优化(P-SOM)算法。P-SMO算法去掉了冗余维。实验结果证明,该方法提高SMO算法的性能,缩短支持向量机的训练时间,提高支持向量机的分类精度。     

结合分辨矩阵与蚁群优化算法改进的特征选择方法

目前已有蚁群算法优化的特征选择方法,大多采用的是以属性依赖度和信息熵属性重要度作为路径上启发搜索因子,但这类搜索方法在某些决策表中存在算法早熟或搜索到的特征子集包含了冗余特征,从而导致选择精度显著下降。针对此类问题,根据条件属性在分辨矩阵中的占比提出了一种属性重要度的度量方法,以分辨矩阵重要度作为路径上启发因子,设计了一种基于分辨矩阵与蚁群算法优化的特征子集搜索方法。该算法从特征核出发,蚁群依次选择概率大的特征加入特征核集,直至找到最小特征子集算法终止。通过实例验证和UCI数据集实验结果表明,与基于属性依赖度和信息熵属性重要度的特征选择方法相比,在通常情况下,该算法能较小代价找到最小特征子集,并且可以有效减少计算工作量。     

基于蚁群优化算法的BP神经网络的RPROP混合算法仿真的研究

本文对蚁群优化算法的BP神经网络中的RPROP混合算法进行了研究,提出了利用蚁群优化算法,结合RPROP混合算法解决无线网络传感器中如何处理信息服务点中大量的冗余数据、网络运行速度等相关问题,通过建立系统构架及信息服务点,证明该算法能够延长BP神经网络的生命周期,加快BP神经网络的收缩速度,能够将网络中信息服务点的重复数据进行有效的合并处理,并及时过滤掉非正常信息服务点的数据,减少数据服务点的能量消耗,期训练过程中迭代次数改善明显,解决BP神经网络的学习、训练时间冗余等问题,同时具有较强的计算、寻优等能力,提高了网络分类正确率和运行的效率,是一种较为实用的算法,完全能够满足日益增长的无线互联网终端的运行需要。     

基于ACO-FS-SVM特征选择加权的网络入侵分类方法

特征选择和分类器设计是网络入侵分类的关键,为了提高网络入侵分类率,针对特征选择问题,提出一种蚁群算法优化SVM选择和加权特征的网络入侵分类方法.首先利用支持向量机的分类精度和特征子集维数加权构造了综合适应度指标,然后利用蚁群算法的全局寻优和多次优解搜索能力实现特征子集搜索;然后选择网络数据的关键特征,计算信息增益获得各个特征权重,并根据特征权重构建加权支持向量机的网络入侵分类器;最后设计了局部细化搜索方式,使得特征选择结果不含冗余特征的同时提高了算法的收敛性,并通过KDD1999数据集验证了算法有效性.结果表明,ACO-SVM有效降低了特征维数,提高了网络入侵检测正确率和检测速度.     

大数据下基于特征图的深度卷积神经网络

针对大数据环境下DCNN(deep convolutional neural network)算法中存在网络冗余参数过多、参数寻优能力不佳和并行效率低的问题,提出了大数据环境下基于特征图和并行计算熵的深度卷积神经网络算法MR-FPDCNN(deep convolutional neural network algorithm based on feature graph and parallel computing entropy using MapReduce)。该算法设计了基于泰勒损失的特征图剪枝策略FMPTL(feature map pruning based on Taylor loss),预训练网络,获得压缩后的DCNN,有效减少了冗余参数,降低了DCNN训练的计算代价。提出了基于信息共享搜索策略ISS(information sharing strategy)的萤火虫优化算法IFAS(improved firefly algorithm based on ISS),根据“IFAS”算法初始化DCNN参数,实现DCNN的并行化训练,提高网络的寻优能力。在Reduce阶段提出了...     

基于判别式分析和神经网络的特征选择方法

为了获得重要的特征集合,提出了一种基于判别式分析算法和神经网络的特征选择方法。通过最小化扩展互熵误差函数来训练神经网络,这一误差函数的使用减小了神经网络传输函数的导数,降低了输出敏感度。该方法首先利用判别式分析算法得到一个有序的特征队列,然后通过正则化神经网络进行特征的选择,特征选择过程是基于单个特征的移除带来验证数据集上分类误差变化这一原理。与其他基于不同原理的四种方法进行了比较,实验结果表明,利用该算法训练的网络能够获得较高分类准确率。     

特征选择的轻量级入侵检测系统

特征选择能够很好地消除冗余和噪音特征,有利于提高入侵检测系统的检测速度和效果,因而对基于特征选择的入侵检测系统进行研究是必要的,也符合入侵检测领域的发展趋势。提出了一种基于过滤器模式的轻量级入侵检测系统,无论是在数据集的特征选择算法还是分类器的参数优化上,都给出了有效的实施策略,提高了检测速度,降低了分类干扰,提高了入侵检测的检测率。     

基于粗糙集和改进鲸鱼优化算法的特征选择方法

随着互联网和物联网技术的发展,数据的收集变得越发容易。但是,高维数据中包含了很多冗余和不相关的特征,直接使用会徒增模型的计算量,甚至会降低模型的表现性能,故很有必要对高维数据进行降维处理。特征选择可以通过减少特征维度来降低计算开销和去除冗余特征,以提高机器学习模型的性能,并保留了数据的原始特征,具有良好的可解释性。特征选择已经成为机器学习领域中重要的数据预处理步骤之一。粗糙集理论是一种可用于特征选择的有效方法,它可以通过去除冗余信息来保留原始特征的特性。然而,由于计算所有的特征子集组合的开销较大,传统的基于粗糙集的特征选择方法很难找到全局最优的特征子集。针对上述问题,文中提出了一种基于粗糙集和改进鲸鱼优化算法的特征选择方法。为避免鲸鱼算法陷入局部优化,文中提出了种群优化和扰动策略的改进鲸鱼算法。该算法首先随机初始化一系列特征子集,然后用基于粗糙集属性依赖度的目标函数来评价各子集的优劣,最后使用改进鲸鱼优化算法,通过不断迭代找到可接受的近似最优特征子集。在UCI数据集上的实验结果表明,当以支持向量机为评价所用的分类器时,文中提出的算法能找到具有较少信息损失的特征子集,且具有较高的分类精度。因此,所提算法在特征选择方面具有一定的优势。     

A new genetic feature selection with neural network ensemble

A neural network ensemble is a learning paradigm in which a finite collection of neural networks is trained for the same task. Ensembles generally show better classification and generalization performance than a single neural network does. In this paper, a new feature selection method for a neural network ensemble is proposed for pattern classification. The proposed method selects an adequate feature subset for each constituent neural network of the ensemble using a genetic algorithm. Unlike the conventional feature selection method, each neural network is only allowed to have some (not all) of the considered features. The proposed method can therefore be applied to huge-scale feature classification problems. Experiments are performed with four databases to illustrate the performance of the proposed method.     

利用邻域信息交互的在线流特征选择算法

开放动态环境下的机器学习任务面临着数据特征空间的高维性和动态性。目前已有在线流特征选择算法基本仅考虑特征的重要性和冗余性,忽略了特征的交互性。特征交互是指那些本身与标签单独统计时呈现无关或弱相关,但与其他特征结合时却能与标签呈强相关的特征。基于此,提出一种基于邻域信息交互的在线流特征选择算法,该算法分为在线交互特征选择和在线冗余特征剔除两个阶段,即直接计算新到特征与整个已选特征子集的交互强弱程度,以及利用成对比较机制剔除冗余特征。在10个数据集上的实验结果表明了所提算法的有效性。     

基于Gabor+PCA特征与粒子群算法的部分遮挡人耳识别研究

在分析人耳Gabor特征基础上,提出一种主成分分析降维并利用基于粒子群优化训练的人工神经网络对部分遮挡人耳进行识别方法。选取了PCA方法降维后人耳图像的Gabor特征值作为人工神经网络训练样本,利用粒子群优化算法与多层前馈网络结合算法训练神经网络。与多种方法对比的实验表明,针对部分遮挡人耳的测试实验,基于Gabor+PCA特征与粒子群算法的部分遮挡人耳识别方法具有高识别性能,取得好的效果。