自适应特征筛选的地雷目标AdaBoost分类器

为解决前视地表穿透虚拟孔径雷达中地雷的分类问题,在传统AdaBoost算法的基础上,将特征选择作为弱分类器迭代的一部分,并将恒探测率下的虚警率作为特征选择的代价函数,提出一种基于弱分类器迭代及自适应特征选择的分类算法。通过实测数据验证,该分类算法适用于前视地表穿透虚拟孔径雷达中地雷与杂波的分类,同传统AdaBoost算法相比,分类性能有很大改善。     

一种分层多算法集成的微博情感分类方法

目前主观信息情感分类常用的方法主要有基于知识工程和基于统计两类,其中基于统计的机器学习方法在效率上优于基于知识的方法,但单一的机器学习算法有各自的优缺点,难以胜任复杂的分类任务。本文将微博情感判别任务分层,在不同层次选择合适的机器学习算法,提出了一种多算法集成的微博细粒度情感分类方法。首先采用朴素贝叶斯(NB)分类器对微博进行有无情绪分类,然后采用AdaBoost集成算法对KNN进行集成训练出多个分类器,对有情绪微博基于训练出的多个分类器通过线性组合模型进行情感判别。实验结果表明,在文本分类任务中合理集成不同机器学习算法,较单一机器学习算法和基于情感词典的方法能够提高分类性能。     

基于生成对抗网络的舰船辐射噪声分类方法研究

基于机器学习的舰船目标识别近年来已成为水声信号处理领域的一个重要研究方向,但水声目标信号的获取困难,样本量不足和不均衡的问题很容易导致目标分类模型的识别效果不佳。该文提出一种基于条件卷积生成对抗网络的船舶噪声数据分类方法,该方法利用生成对抗学习理论,生成相比于传统数据增强算法非线性特征更强,特征差异更丰富的伪DEMON调制谱数据来缓解训练样本量不足的问题。之后将传统生成对抗网络中的全连层输出替换成更善于解决小样本问题集成分类器,从而降低分类器对于数据量的依赖程度,进一步提高分类模型性能。最终由基于真实样本的实验结果表明,相比于传统数据增强算法和卷积生成对抗网络,该文方法能够更有效提高在样本不足条件下的模型的分类性能。     

深层次特征学习的Adaboost大规模图像分类算法

针对浅层次大规模图像分类的低精度问题,提出深层次特征学习的Adaboost图像分类算法.首先以DBN作为弱分类器对样本图像进行学习,根据每次训练得到的分类错误率以及各样本的分类准确性调整权值;然后在所有弱分类器训练好以后,使用BP算子回溯再次整体调整体样本权值;最后将所有弱分类器集成强分类器,输出最终分类结果.使用MNIST和ETH-80两种数据集进行实验仿真,并将分类结果与其他算法进行比较.结果表明所提算法的分类精度明显高于其他算法,有效实现了高精度的大规模图像分类.     

一种基于优化的随机子空间分类集成算法

提出了基于优化的随机子空间分类集成算法CEORS,该算法通过运用封装式特征选择和LSA降维两种方法对随机选择的特征子集进行了优化,并运用优化的特征子空间进行分类器的集成.实验结果表明,基于优化特征子空间的集成分类器性能优于Bagging和AdaBoost.     

基于MapReduce技术的并行集成分类算法

由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。     

带约束小生境二进制粒子群优化的生物组学数据集成特征选择

针对生物组学数据高维小样本的特点而引起的分类误差较大的问题,提出了一种带约束小生境二进制粒子群优化的集成特征选择方法。该方法利用二进制粒子群优化算法搜索分类准确率最高的特征子集,通过约束粒子编码的置位个数以限制选择特征个数,并加入多模优化中的小生境技术使算法能够一次获得多个差异度较大的特征子集,最后采用集成学习技术将基于多特征子集建立的基分类器集成为强分类器并对数据进行分类学习。实验结果表明,该特征选择方法在生物组学数据上能够稳定选择较少特征并获得较好分类性能。      

面向恶意网址检测的广谱特征选择与评估

针对恶意网址检测系统的特征选择和降维问题,基于特征选择方法的优化结果提出多种特征子集。利用基于分类器的准确率和召回率等性能评价指标,采用随机森林、贝叶斯网络、J48、随机树机器学习方法,对信息增益、卡方校验、信息增益率、基于Relief值、基于OneR分类器、基于关联性规则、基于相关性等多种特征选择算法所确定的特征子集进行检测。结果表明,除基于相关性特征选择算法确定的特征子集外,其他方法确定的特征子集均具有良好的分类性能,其中基于关联性规则选择的特征子集的维度仅为5,但各分类器基于此特征子集的分类准确率均高达99%以上。     

一种提高神经网络集成差异性的学习方法

集成学习已经成为机器学习的研究方向之一,它可以显著地提高分类器的泛化性能.本文分析了Bagging及AdaBoost集成方法,指出了这两种方法的缺陷;然后提出了一种新的基于神经网络的分类器集成方法DBNNE,该方法通过生成差异数据增加集成的差异性;另外,当生成一个分类器后,采用了测试方法确保分类器集成的正确率;最后针对十个标准数据集进行了实验研究,结果表明集成算法DBNNE在小规模数据集上优于Bagging及AdaBoost集成方法,而在较大数据集上也不逊色于这两种集成方法.     

基于反向标定合成数据的改进集成算法

面对获得的数据量越来越多,需要处理的数据类型也不尽相同,因此就需要寻找一种具有较好泛化性能和较高分类精度的算法。该文提出一种通过借用反向扩充训练数据样本对输入数据类型的不敏感性和径向基函数网络模型快速学习的能力来进行集成的混合算法。采用渐进P值作为受试者特征曲线下面积与0.5判断冗余特征的标准,将反向标定合成的新数据对分类器进行训练,通过比较训练误差的变化来决定新分类器的添加,最终以绝大多数投票方法对所有的分类器进行决策融合。最后以UCI数据为实验,结果表明该算法可以较好地适应于不同数据类型,得到比其它集成算法更高的分类精度。     

基于循环神经网络的无线网络入侵检测分类模型构建与优化研究

为提高无线网络入侵检测模型的综合性能,该文将循环神经网络(RNN)算法用于构建无线网络入侵检测分类模型。针对无线网络入侵检测训练数据样本分布不均衡导致分类模型出现过拟合的问题,在对原始数据进行清洗、转换、特征选择等预处理基础上,提出基于窗口的实例选择算法精简训练数据集。对攻击分类模型的网络结构、激活函数和可复用性进行综合优化实验,得到最终优化模型,分类准确率达到98.6699%,综合优化后的运行时间为9.13 s。与其他机器学习算法结果比较,该优化方法在分类准确率和执行效率两个方面取得了很好的效果,综合性能优于传统的入侵检测分类模型。     

网络流量特征选择方法中的分治投票策略研究

特征选择作为机器学习过程中的预处理步骤,是影响分类性能的关键因素.网络流量具有数据量大,特征维度高的特点,如何快速提取特征子集,并提高分类效率对于基于机器学习的流量分类方法具有重要意义.本文提出基于分治与投票策略的特征提取方法,将数据集分裂为多个子集,分别执行特征提取算法,利用投票方法获得最后的特征子集.实验表明可有效提高特征提取的时间效率,同时使分类器取得良好的分类准确率.     

An enhance excavation equipments classification algorithm based on acoustic spectrum dynamic feature

Underground pipeline network surveillance system attracts increasingly attentions recently due to severe breakages caused by external excavation equipments in the mainland of China. In this paper, we study excavation equipments classification algorithm based on acoustic signal processing and machine learning algorithms. A cross-layer microphone array with four elements is designed to collect the acoustic database of representative excavation equipments on real construction sites. The generalized sidelobe canceller algorithm is employed for background noise reduction. The improved spectrum dynamic feature extraction algorithm is then implemented for the benchmark acoustic feature database construction of excavation equipments. To perform classification and background noise identification, the single hidden layer feedforward neural network is employed as the classifier. An improved algorithm based on the popular extreme learning machine (ELM) is proposed for classifier learning. The leave-one-out cross validation strategy is adopted for the regularization parameter optimization in ELM. Comprehensive experiments are conducted to test the effectiveness of the proposed algorithm. Comparisons with state-of-art classifiers and the Mel-frequency cepstrual coefficients acoustic features are also provided to demonstrate the superiority of our approach.     

An accurate traffic classification model based on support vector machines

Network traffic classification is a fundamental research topic on high‐performance network protocol design and network operation management. Compared with other state‐of‐the‐art studies done on the network traffic classification, machine learning (ML) methods are more flexible and intelligent, which can automatically search for and describe useful structural patterns in a supplied traffic dataset. As a typical ML method, support vector machines (SVMs) based on statistical theory has high classification accuracy and stability. However, the performance of SVM classifier can be severely affected by the data scale, feature dimension, and parameters of the classifier. In this paper, a real‐time accurate SVM training model named SPP‐SVM is proposed. An SPP‐SVM is deducted from the scaling dataset and employs principal component analysis (PCA) to extract data features and verify its relevant traffic features obtained from PCA. By employing PCA algorithm to do the dimension extraction, SPP‐SVM confirms the critical component features, reduces the redundancy among them, and lowers the original feature dimension so as to reduce the over fitting and increase its generalization effectively. The optimal working parameters of kernel function used in SPP‐SVM are derived automatically from improved particle swarm optimization algorithm, which will optimize the global solution and make its inertia weight coefficient adaptive without searching for the parameters in a wide range, traversing all the parameter points in the grid and adjusting steps gradually. The performance of its two‐ and multi‐class classifiers is proved over 2 sets of traffic traces, coming from different topological points on the Internet. Experiments show that the SPP‐SVM's two‐ and multi‐class classifiers are superior to the typical supervised ML algorithms and performs significantly better than traditional SVM in classification accuracy, dimension, and elapsed time.     

动态加权条件互信息的特征选择算法

特征选择是机器学习、自然语言处理和数据挖掘等领域中数据预处理阶段必不可少的步骤。在一些基于信息论的特征选择算法中,存在着选择不同参数就是选择不同特征选择算法的问题。如何确定动态的非先验权重并规避预设先验参数就成为一个急需解决的问题。该文提出动态加权的最大相关性和最大独立性(WMRI)的特征选择算法。首先该算法分别计算新分类信息和保留类别信息的平均值。其次,利用标准差动态调整这两种分类信息的参数权重。最后,WMRI与其他5个特征选择算法在3个分类器上,使用10个不同数据集,进行分类准确率指标(fmi)验证。实验结果表明,WMRI方法能够改善特征子集的质量并提高分类精度。     

Multi-label feature selection algorithm based on joint mutual information of max-relevance and min-redundancy

Feature selection has played an important role in machine learning and artificial intelligence in the past decades.Many existing feature selection algorithm have chosen some redundant and irrelevant features,which is leading to overestimation of some features.Moreover,more features will significantly slow down the speed of machine learning and lead to classification over-fitting.Therefore,a new nonlinear feature selection algorithm based on forward search was proposed.The algorithm used the theory of mutual information and mutual information to find the optimal subset associated with multi-task labels and reduced the computational complexity.Compared with the experimental results of nine datasets and four different classifiers in UCI,the proposed algorithm is superior to the feature set selected by the original feature set and other feature selection algorithms.     

一种基于Adaboost.M1的车型分类算法

神经网络分类器存在容易出现过学习、欠学习、陷入维数灾以及局部最小等问题,支持向量机分类器也存在运算比较复杂,模型选择和核函数的构造比较困难的问题,而贝叶斯分类器只有在训练样本数趋于无穷时,训练结果才趋于真实的模型,因此,提出了一种基于Adaboost.M1理论的车型分类算法,该算法简单易用,只需要寻找一个精度比随机预测略高的弱分类器,不需要调节任何参数,不需要先验知识,而且有足够的理论支持.最后通过实验验证了该算法进行车型分类的有效性.     

量子GA-PLS特征选择算法及其应用

为进一步提高遗传算法-偏最小二乘法的计算速度和计算效率,将量子算法融合到遗传算法-偏最小二乘法中,提出一种新的特征选择方法—量子遗传算法-偏最小二乘法（Quantum Genetic Algorithm-Partial Square Least,QGA-PLS）算法。该方法利用量子态和叠加态原理对染色体进行编码,采用量子旋转门进行遗传操作,以实现参数的更新和增强种群多样性,同时,用量子计算重新构建了偏最小二乘法回归模型来计算个体适应度,以充分发挥快速收敛和全局优化能力。将方法应用于函数极值优化和Iris数据集的特征选择,实验结果表明,QGA-PLS在特征选择、运算时间和分类准确率方面优于QGA和GA-PLS,从而验证了QGA-PLS算法的有效性。     

基于卷积神经网络的Android流量分类方法

深度学习就是机器学习研究的过程,主要通过模拟人脑分析学习的过程对数据进行分析。目前,深度学习技术已经在计算机视觉、语音识别、自然语言处理等领域获得了较大发展,并且随着该技术的不断发展,为网络流量分类和异常检测带来了新的发展方向。移动智能手机与大家的生活息息相关,但是其存在的安全问题也日益凸显。针对传统机器学习算法对于流量分类需要人工提取特征、计算量大的问题,提出了基于卷积神经网络模型的应用程序流量分类算法。首先,将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。其次,设计了一种新的卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手,构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中的特征选择问题。最后,通过CICAndmal2017网络公开数据集进行模型测试,相比于传统的机器学习流量分类模型,设计的卷积神经网络模型的查准率和查全率分别提高了2.93%和11.87%,同时在类精度、召回率以及F1分数方面都有较好的提升。