基于改进Adam优化器的CNN电镜医学图像分类

提出了一种基于改进自适应矩估计(adaptive moment estimation, Adam)算法优化器的卷积神经网络(convolutional neural networks, CNN)电子显微镜(电镜)医学图像分类方法。该方法根据卷积神经网络数据迭代的特点,采用具有下降趋势的幂指数学习率改进策略,通过添加修正因子,将上一阶段的梯度值与当前梯度值进行对比、调节,通过梯度值衰减来逐次更新学习率的大小,实现优化器学习率的自适应变化,改善CNN网络模型的收敛性能,实现医学电镜图像的分类。实验结果表明,相比经典的Adam优化器分类方法,改进方法能提高电镜医学图像分类算法的精度,最大分类精度可以到达92%,同时减小图像样本在分类时出现的迭代振荡、分类稳定性不足等现象。     

基于Gossip的异步分布式训练算法

因此基于Gossip协议并结合SGD(Stochastic Gradient Descent)提出了一种用于深度学习的通信框架GR-SGD(Gossip Ring SGD),该通信框架是非中心化且异步的，解决了通信等待时间较长的问题。实验使用ImageNet数据集，ResNet模型验证了该算法的可行并与Ring AllReduce和D-PSGD(Decentralized parallel SGD)进行了比较，GR-SGD在更短的时间内完成了训练。     

多源非平衡交通检测数据的异常识别方法

为保证交通检测数据的准确性并服务于实时的交通状态判别和预测,交通大数据采用多种检测源数据协同处理并利用机器学习的方法进行异常识别.异常检测数据的识别主要基于机器学习中AdaBoost方法实现.在算法的训练过程中,为消除单一检测源数据的离群现象,训练数据选取同一路段上多种检测源提供的数据集.在算法的决策过程中,通过代价敏感方法的优势来改进AdaBoost的决策.实验结果表明:基于非均衡特性改进的AdaBoost模型迫使分类器更加关注了待识别的异常样本,增强了AdaBoost决策过程中训练决策树规则的代表性,提高了异常类样本的分类准确率.高速公路实例检测数据集验证了改进算法与相关经典算法的检测准确度、误检率、误警率等指标,其中改进模型与原模型相比,准确率提高了5.547%,误检率减低了6.792%.多种算法的ROC曲线对比表明改进的AdaBoost方法筛选交通检测样本的可靠度更高,可有效调整由非平衡数据导致的分类误差.     

结合AdaBoost和代价敏感的变压器故障诊断方法

数据集类别分布非均衡极大制约了人工智能技术在电力变压器故障诊断领域中的应用。为克服数据非均衡导致自适应算法(adaptive boosting, AdaBoost)分类精度提升有限的缺陷,研究提出了一种结合AdaBoost和代价敏感的Adacost算法,以有效提升诊断模型的综合分类性能。首先,确定专家打分和混淆矩阵结合的代价敏感矩阵以保证模型的合理性和客观性;然后,构建基于Adacost算法的电力变压器故障诊断模型,并以油中溶解气体无编码比值作为诊断模型的输入特征参量;最后进行算例仿真,同时选用准确率、F1度量以及G-mean作为诊断模型的评价指标。研究结果显示,相较于决策树和AdaBoost分类器,Adacost模型的各评价指标均有大幅提升,其中F1度量分别提升了22.03%、10.07%,表明所提方法有效提升了非均衡数据集下诊断模型的故障识别性能。     

并行PSVM算法及其在入侵检测中的应用(英文)

基于并行PSVM(proximal support vector machine)分类法,利用ε-支持向量与原数据集等价的特点,将PSVM和cascade SVM模型高效结合,加速训练入侵数据集.提出一种新的PSVM增量学习方法,它能快捷更新分类器.通过大量基于著名的KDD CUP1999数据集实验,研究表明,该算法相对其他SVM方法,在保证较高检测率和较低误报率的同时,其训练时间降低80%,且能通过增量学习新数据集来有效更新分类器.     

一种个有参数学习能力的决策融合方法

提出了一种基于模糊积分方法的多决策融合算法,通过对训练数据的学习来确定每个传感器的重要程度。分类实验表明,该算法可以有效提高融合系统的分类率。     

一种用于多分类问题的改进支持向量机

针对非均衡分布的多类分类问题,为提高支持向量机(SVM)算法的性能,提出了一种改进的SVM算法. 将遗传算法(GA)与传统SVM算法结合,构造出一种参数最优的进化SVM(GA-SVM), SVM模型采用径向基函数(RBF)作为核函数,利用格雷码编码方式对SVM算法的模型参数进行遗传编码和优化搜索,将搜索到的优化结果作为SVM的最终模型参数. 在两个不同特性的数据集上进行仿真测试,结果表明,与使用交叉验证策略的简单SVM相比,改进后的GA-SVM算法在多类非均衡问题上明显提高了分类正确率,学习速度也有提高.     

一种具有参数学习能力的决策融合方法

提出了一种基于模糊积分方法的多决策融合算法,通过对训练数据的学习来确定每个传感器的重要程度．分类实验表明,该算法可以有效提高融合系统的分类率．     

用于不平衡数据的去噪模糊支持向量机

为了降低支持向量机对不平衡数据的倾向性影响,以及减弱其对噪声点或野值点的敏感,提出了一种新的模糊支持向量机隶属度函数设计方法.该方法分析产生倾向性的原因,有效地区分样本对分类面的贡献,合理地设计隶属度函数.最后通过对含噪声的非均衡数据实验表明,该方法平衡了倾向性,提高了预测分类精度,从而增强了支持向量机在入侵检测和故障诊断等方面的应用.     

脑机接口中基于BISVM的EEG分类

针对脑电信号(EEG)分类问题,提出基于批处理增量式支持向量机(BISVM)的分类方法.将所有数据通过批处理进行分组,采用第1组数据在SVM中建立初始分类器模型,将剩余组内数据顺序作为新增样本,对满足卡罗需-库恩-塔克(KKT)条件的样本进行增量学习和减量去学习,不断判断KKT条件并更新参数,丢弃错误样本,对初始分类器模型进行更新.对2008年脑机接口竞赛数据及本实验室采集数据,用小波包分解(WPD)结合共空间模式(CSP)进行特征提取,SVM、ISVM及BISVM分类.结果表明,BISVM的平均分类准确率相对SVM及ISVM分别提高了3.3%及0.3%,BISVM平均训练时间相对ISVM从1.076 s减少到0.793 s.BISVM为改善计算机对大脑的适应性,实现快速实时在线的脑机接口系统奠定基础.     

基于多层判别式字典学习算法的传统服饰图像分类

现有的多层判别式字典学习算法中大多采用交替方向乘子法实现字典的更新，在图像分类方面的应用较为成熟。然而，当图像内容较为丰富且含有多个标签时，现有方法在多标签分类上的表现不佳。对此，可采用递归最小二乘法与去相关增强重建系数算法构成的二层判别式字典学习结构，更适用于图像多标签分类。通过多层判别式字典学习对数据进行多次稀疏分解，在最后一层判别式中用线性分类器对稀疏分解得到的特征向量进行分类，采用4个多标签分类指标对分类效果进行评判时，发现One-error, Coverage, Ranking-loss三个分类指标越小，Average-precision分类指标越大，算法的性能越优。实验结果表明，在明清服饰纹样数据集上使用多层字典学习算法的分类精度达到了82.17%,在同类算法中的性能最优。     

基于方差和深度学习的脑电信号分类算法

为了改善传统脑电信号分类不够准确且分类难度较大的问题,研究一种基于方差和深度学习的模型对脑电信号进行分类。针对脑电信号图像识别率较低的问题,采用方差对脑电信号进行特征提取,结合深度学习的一种典型方法——深度信念网络对提取数据进行训练,构建分类器,实现对脑电信号更高效的分类。实验证明,相比于SVM支持向量机、朴素贝叶斯等分类算法,该模型可以更准确地分类。     

基于OC-SVM的Hadoop DDoS攻击检测

DDoS以其攻击方法简单、破坏性强且难以追查等特点一直是互联网的主要威胁,而Hadoop作为云计算的主流平台,同样面临DDoS攻击的严重威胁。对此提出了一种基于One class SVM分类算法的Hadoop DDoS攻击分布式检测体系。该体系采用主动学习和疑似攻击核实机制,实时更新训练集,可以有效降低误报率和漏报率。实验结果表明,该体系有较好的分类准确性、较低的漏报率和误判率。     

基于流形学习的基因微阵列数据分类方法

提出了一种结合流形学习方法与分类算法的基因微阵列数据分类模型,先用流形学习算法对基因微阵列数据进行降维处理,然后再对降维后的数据进行分类.在实验中将流形学习算法LLE、ISO-MAP、LE和LTSA与三种分类算法相结合,并与直接用高维数据进行分类的结果进行了比较,实验结果表明所提出的模型极大地提高了分类精度,同时也提高了分类算法的执行效率.     

基于宽度学习系统的fMRI数据分类方法

提出基于宽度学习系统的功能性磁共振成像（fMRI）数据分类方法,通过简单结构提取fMRI数据的深层特征,加快分类速度. 使用fMRI中感兴趣区域体素均值的时间序列构造输入数据,分别提取fMRI数据的浅层和深层特征,映射为宽度学习的特征节点和增强节点并构建模型框架,利用岭回归逆计算分类模型的连接权值,实现对fMRI数据的分类. 使用ABIDE Ⅰ、ABIDE Ⅱ和ADHD-200数据集,将所提方法与6种分类方法进行对比实验,结果表明,所提方法可以在保持良好的分类准确率的同时,大幅度降低训练时间.     

入侵检测中的多分类SVM增量学习算法

通过分析入侵检测样本的分布特点,提出了一种多分类SVM增量学习算法.该算法通过衡量同类样本点和样本中心之间的距离来确定用于训练的支持向量,以选择对分类贡献较大的边缘向量进行训练,通过求解多个超平面的方法划分出不同类别样本的区域,实现了多分类的增量学习.在保证检测率的同时,减少了样本学习数量.利用KDDCUP99标准数据集进行测试,证明该算法可以大幅度降低训练的时间和空间复杂度.     

基于抗噪声的多任务多示例学习算法研究

在多示例学习中,当训练样本数量不充足或者训练样本中存在噪声信息时,分类器的分类性能将降低.针对该问题,本文提出了一种基于抗噪声的多任务多示例学习算法.一方面,针对训练样本中可能存在的噪声问题,该算法赋予包中示例不同的权值,通过迭代更新权值来降低噪声数据对预测结果的影响.另一方面,针对训练样本数量不充足问题,该算法运用多任务学习策略,通过同时训练多个学习任务,利用任务间的关联性来提高各个分类任务的预测性能.实验结果证明,与现有的分类算法相比,该方法在相同的实验条件下具有更优秀的性能.     

基于多层异构注意力机制和深度学习的短文本分类方法

针对现有算法难以对复杂文本准确分类的问题,本文提出了一种融合多层异构注意力机制、卷积和循环神经网络的自动分类方案.首先融合卷积和循环神经网络,设计了新的深度学习短文本分类框架,并基于渗透假设的类平衡分层求精原理,设计了异构注意力机制,并将其融入不同算法层之间,以提高算法性能.为验证上述方法的准确性,将本文算法与传统分类方法分别应用于三个数据集中,并进行了仿真实验.实验结果表明,本文所提出的方法对三个数据集均能达到90%以上的分类精确率,均优于传统分类算法.此外,在三个测试中,多层异构注意力机制能够提高2%以上的分类精度,代价为运行时间增加1 s～2 s.本文算法将注意力机制分层融入两种深度学习算法中,能够适应多种主题的复杂短文本分类需求.     

一种BP神经网络学习率的优化设计

考虑到结构优化设计的实用性和模糊性.在大量智能计算的基础上,提出了一种动态BP神经网络的学习率优化方法,该方法如同Rough集理论的数据分类简约功能去掉了多余属性的样本数据一样,从而使神经网络拓扑结构优化.实验表明,这种方法简单、实用且快速收敛.     

基于分层抽样的不均衡数据集成分类

不均衡数据分类是数据挖掘领域的一个难点问题,对多数类样本进行降采样可简单且有效地解决不均衡数据处理面临的两大核心问题,即如何从数类占绝对优势的数据集合中最大程度地挖掘少数类信息;如何确保在不过度损失多数类信息的前提下构建学习器.但现有的降采样方法往往会破坏原始数据结构特性或造成严重的信息损失.本研究提出一种基于分层抽样的不均衡数据集成分类方法 (简记为EC-SS),通过充分挖掘多数类样本的结构信息,对其进行聚类划分;再在数据块上进行分层抽样来构建集成学习数据成员,以确保单个学习器的输入数据均衡且保留原始数据的结构信息,提升后续集成分类性能.在不均衡数据集Musk1、Ecoli3、Glass2和Yeast6上,对比EC-SS方法与基于随机抽样的不均衡数据集成分类方法、自适应采样学习方法、基于密度估计的过采样方法和代价敏感的大间隔分类器方法的分类性能,结果表明,EC-SS方法能有效提升分类性能.