基于LDA主题相似度的SVM迁移学习

针对文本分类领域中的迁移学习方法,提出了一种基于LDA(Latent Dirichlet Allocation)主题生成模型相似度的支持向量机(SVM)迁移学习新思路。基于此思想,提出了迁移学习算法LDA-TSVM。本算法通过对目标域的主题进行分类,依据主题分类信息熵对训练数据进行筛选,分别计算每个训练样本的权重,使得训练集与目标集有很高的相似度,从而达到迁移学习的目的。本算法不仅未引入辅助集,而且还考虑了样本本身的差异,有效地提高了源域数据集与目标域数据集的相似性。实验结果表明了新迁移算法的有效性。     

多模型集成的弱监督语义分割算法

为减小池化操作造成空间信息丢失的影响,提高基于迁移学习的弱监督语义分割算法的性能,提出一种多模型集成的弱监督图像语义分割算法.该算法在迁移学习算法的基础上,利用多尺度图像的高层语义特征和单尺度图像的高中层相结合的卷积特征,分别训练2个差异化的同质型基分割模型,并与原迁移学习训练的分割模型进行加权平均,集成构造最后的分割模型.同时结合预测类别可信度调整语义分割中对应类别像素的可信度,抑制分割图中的假正例区域,提高分割的精度.在VOC2012数据集上进行实验的结果表明,验证集上的平均重叠率为55.3%,测试集上的平均重叠率为56.9%,比原迁移学习算法分别提升6.1%和11.1%,也优于其他以类标为弱监督信息的语义分割算法.     

数据集动态重构的集成迁移学习

目前很多数据挖掘和机器学习方法都有一个基本假设：训练数据和测试数据必须服从相同的分布。但是在很多情况下这种假设不成立,没有考虑分布差异的传统机器学习方法就不能正确分类了。提出了一种新的迁移学习方法DRTAT,对原训练数据进行动态分割重组,适时地淘汰冗余数据,并进行分类器的集成。通过在多个文本数据集和UCI数据集上进行测试,并与TrAdaboost算法进行比较,表明了算法的先进性。     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

基于深度迁移学习的肺结节分割方法

针对U-Net分割小体积肺结节效果较差的问题,提出一种基于深度迁移学习的分割方法,利用分块式叠加微调（BSFT）策略辅助分割肺结节。首先,利用卷积神经网络学习自然图像大数据集的特征信息;然后,将所学特征迁移到进行肺结节图像小数据集分割的网络,从该网络最后一个下采样层开始逐块释放、微调训练,直到网络完成最后一层的叠加;最后,定量分析Dice相似性系数,以确定最佳分割网络。实验结果表明,BSFT在LUNA16肺结节公开数据集上的Dice值达到0.917 9,该策略的性能明显优于主流肺结节分割算法。     

BioTrHMM:基于迁移学习的生物医学命名实体识别算法

传统的生物医学命名实体识别方法需要大量目标领域的标注数据,但是标注数据代价高昂。为了降低生物医学文本中命名实体识别对目标领域标注数据的需求,将生物医学文本中的命名实体识别问题化为基于迁移学习的隐马尔可夫模型问题。对要进行命名实体识别的目标领域数据集无须进行大量数据标注,通过迁移学习的方法实现对目标领域的识别分类。以相关领域数据为辅助数据集,利用数据引力的方法评估辅助数据集的样本在目标领域学习中的贡献程度,在辅助数据集和目标领域数据集上计算权值进行迁移学习。基于权值学习模型,构建基于迁移学习的隐马尔可夫模型算法BioTrHMM。在GENIA语料库的数据集上的实验表明,BioTrHMM算法比传统的隐马尔可夫模型算法具有更好的性能;仅需要少量的目标领域标注数据,即可具有较好的命名实体识别性能。     

结合迁移学习模型的卷积神经网络算法研究

针对传统的卷积神经网络算法在训练集与测试集分布不同时分类精度较低且标注成本较高的问题,提出结合迁移学习模型的卷积神经网络算法。使用主成分分析算法对源域数据进行无监督降维,同时结合自编码机算法对目标数据集降维,使源域和目标数据集在低维度下具有相似的特征分布;根据卷积神经网络特征提取的特点,利用JS散度来判别卷积池层能否迁移,并使用初始化的隐藏层补全trCNN模型;使用少量带标注的目标数据集进行训练,完成分类模型的构建。设计实验验证分类模型能够在使用少量标注数据情况下准确地完成分类工作。     

基于选择迁移的baggi ng文本分类算法

针对目标域训练样本数量较少无法建立优质分类模型的问题,提出一种在迁移框架下基于集成bagging算法的跨领域分类方法。引入源域的数据并对其进行筛选,对混合数据集进行学习,建立基于集成bagging算法的分类模型,投票得出预测结果。仿真对比结果表明,采用基于贝叶斯个体分类器的集成bagging算法能够优化源域的迁移,提升目标域的分类准确率及泛化性能。分析源域的噪音数据数量,其结果表明,该算法可以部分规避负迁移。     

基于SVC 和SVR 约束组合的迁移学习分类算法

根据迁移学习思想,针对分类问题,以支持向量机(SVM)模型为基础提出一种新的迁移学习分类算法CCTSVM.该方法以邻域间的分类超平面为纽带实现源域对目标域的迁移学习.具体地,以支持向量分类的约束条件完成对目标域数据的学习,获取分类超平面参数,再以支持向量回归的约束条件有效利用源域数据矫正目标域超平面参数,并在上述组合约束的共同作用下实现邻域间迁移,提高分类器性能.在人工和真实数据集上的实验表明,所提出算法具有良好的迁移能力和优越的分类性能.     

一种用于非平衡数据分类的集成学习模型

针对非平衡数据分类问题,提出了一种改进的SVM-KNN分类算法,在此基础上设计了一种集成学习模型.该模型采用限数采样方法对多数类样本进行分割,将分割后的多数类子簇与少数类样本重新组合,利用改进的SVM-KNN分别训练,得到多个基本分类器,对各个基本分类器进行组合.采用该模型对UCI数据集进行实验,结果显示该模型对于非平衡数据分类有较好的效果.     

A parallel incremental extreme SVM classifier

The classification algorithm extreme SVM (ESVM) proposed recently has been proved to provide very good generalization performance in relatively short time, however, it is inappropriate to deal with large-scale data set due to the highly intensive computation. Thus we propose to implement an efficient parallel ESVM (PESVM) based on the current and powerful parallel programming framework MapReduce. Furthermore, we investigate that for some new coming training data, it is brutal for ESVM to always retrain a new model on all training data (including old and new coming data). Along this line, we develop an incremental learning algorithm for ESVM (IESVM), which can meet the requirement of online learning to update the existing model. Following that we also provide the parallel version of IESVM (PIESVM), which can solve both the large-scale problem and the online problem at the same time. The experimental results show that the proposed parallel algorithms not only can tackle large-scale data set, but also scale well in terms of the evaluation metrics of speedup, sizeup and scaleup. It is also worth to mention that PESVM, IESVM and PIESVM are much more efficient than ESVM, while the same solutions as ESVM are exactly obtained.     

可拓支持向量分类机

针对分类问题,基于可拓学的思想,提出了可拓支持向量分类机算法。与标准的支持向量分类机不同,可拓支持向量机在进行分类预测的同时,更注重于找到那些通过变化特征值而转换类别的样本。文中给出了可拓变量和可拓分类问题的定义,并构建了求解可拓分类问题的两种可拓支持向量机算法。把可拓学与SVM结合是一种新的方向,文中所提出的算法还有待进一步的理论分析,将在未来的工作里,继续探索如何在可拓学的基础上,构建更加完善的可拓SVM方法。     

受限玻尔兹曼机的稀疏化特征学习

受限玻尔兹曼机(RBM)作为深度学习算法的一种基础模型被广泛应用,但传统RBM算法没有充分考虑数据的稀疏化特征学习,使得算法性能受数据集的稀疏性影响较大。提出一种RBM稀疏化特征学习方法(sRBM),通过归一化的输入数据均值确定数据集的稀疏系数,将稀疏系数大于阈值的稠密数据集自动转化为稀疏数据集,在不损失信息量的情况下实现输入数据的稀疏化。在手写字符数据集和自然图像数据集上的实验结果表明,sRBM通过输入数据稀疏化有效提升了RBM的稀疏化特征学习性能。     

Global and decomposition evolutionary support vector machine approaches for time series forecasting

Multi-step ahead time series forecasting (TSF) is a key tool for supporting tactical decisions (e.g., planning resources). Recently, the support vector machine (SVM) emerged as a natural solution for TSF due to its nonlinear learning capabilities. This paper presents two novel evolutionary SVM (ESVM) methods for multi-step TSF. Both methods are based on an estimation distribution algorithm search engine that automatically performs a simultaneous variable (number of inputs) and model (hyperparameters) selection. The global ESVM (GESVM) uses all past patterns to fit the SVM, while the decomposition ESVM (DESVM) separates the series into trended and stationary effects, using a distinct ESVM to forecast each effect and then summing both predictions into a single response. Several experiments were held, using six time series. The proposed approaches were analyzed under two criteria and compared against a recent evolutionary artificial neural network (EANN) and two classical forecasting methods, Holt–Winters and autoregressive integrated moving average. Overall, the DESVM and GESVM obtained competitive and high-quality results. Furthermore, both ESVM approaches consume much less computational effort when compared with EANN.     

Semantic classification of mobile robot locations through 2D laser scans

Previous learning-based methods that rely on 2D laser data to classify indoor robot locations into semantic classes were successful in distinguishing between rooms and corridors. However, the classification accuracy remained low for doorway locations. We propose a semantic place classification method that uses a rule-based doorway detection algorithm followed by a classification scheme that models training data through either K-means clustering or learning vector quantization. We conducted extensive experiments on the Freiburg 79 dataset and compared our method to previous semantic place classification algorithms. The doorway detection algorithm we propose significantly increases the classification accuracy for doorway locations as compared to the state-of-the-art performance. We applied our method, trained on the Freiburg 79 dataset, to Freiburg 52 and ESOGU datasets in order to demonstrate its generalization ability.

     

基于深度神经网络的肺炎图像识别模型

当前的肺炎图像识别算法面临两个问题：一是肺炎特征提取器使用的迁移学习模型在源数据集与肺炎数据集上图像差异较大，所提取的特征不能很好地契合肺炎图像；二是算法使用的softmax分类器对高维特征处理能力不够强，在识别准确率上仍有提升的空间。针对这两个问题，提出了一种基于深度卷积神经网络的肺炎图像识别模型。首先使用ImageNet数据集训练好的GoogLeNet Inception V3网络模型进行特征提取；其次，增加了特征融合层，使用随机森林分类器进行分类预测。实验在Chest X-Ray Images肺炎标准数据集上进行。实验结果表明，该模型的识别准确率、敏感度、特异度的值分别达到96.77%、97.56%、94.26%。在识别准确率以及敏感度指标上，与经典的GoogLeNet Inception V3+Data Augmentation （GIV+DA）算法相比，所提模型分别提高了1.26、1.46个百分点，在特异度指标上已接近GIV+DA算法的最优结果。     

使用贝叶斯学习算法分类网络流量

随着网络应用（如P2P）的快速增长,使得传统的基于端口与有效载荷的网络流量分类方法效率大大降低。基于FCBF特征选择方法选择最优特征子集,研究使用贝叶斯学习方法对网络流量进行分类;实验结果显示提出的方法取得了较好的分类准确率。     

应用稀疏约束的非负正则矩阵学习算法

针对非负矩阵分解后的数据稀疏性较低,训练样本偏多导致运算规模持续增大的普遍现象,本文提出基于稀疏约束的非负正则矩阵学习算法,本文算法是在样本几何结构信息条件上执行非负矩阵分解操作,并且与学习算法结合,不仅能够有效保持样本局部结构,还能够充分利用前期分解结果参加迭代运算,从而达到降低运算时间目的. 本文实验表明与其他算法比较来说,本文方法在ORL人脸数据库上最多节省时间14.84 s,在COIL20数据集上为136.1 s;而在分解后数据的稀疏性上,本文方法在ORL人脸数据库上的稀疏度提高0.0691,在COIL20数据集上为0.0587. 实验结果表明了算法有效性.     

半监督SVM的工作集样本预选取方法

针对传统的半监督SVM训练方法把大量时间花费在非支持向量优化上的问题,提出了在凹半监督支持向量机方法中采用遗传FCM(GeneticFuzzyCMean,遗传模糊C均值)进行工作集样本预选取的方法。半监督SVM优化学习过程中,在原来训练集上(标签数据)加入了工作集(无标签数据),从而构成了新的训练集。该方法首先利用遗传FCM算法将未知数据划分成某个数量的子集,然后用凹半监督SVM对新数据进行训练得到决策边界与支持矢量,最后对无标识数据进行分类。这样通过减小工作样本集,选择那些可能成为支持向量的边界向量来加入训练集,减少参与训练的样本总数,从而减小了内存开销。并且以随机三维数据为例进行分析,实验结果表明,工作集减小至原工作集的一定范围内,按比例减少工作集后的分类准确率、支持向量数与用原工作集相比差别不大,而分类时间却大为减少,获得了较为理想的样本预选取效果。     

C4.5分类算法在高职就业预测中的应用

将C4.5决策树分类算法用于高职就业预测,并提取挖掘规则。对学生基本信息、各科考试成绩,以及就业信息进行处理,选取决策属性,构造决策树,由提取的规则,获得就业和学生成绩之间的关系,挖掘结果显示,该算法能将学习成绩属性和是否是学生干部属性进行正确分类,做出一定的就业预测,对辅助决策具有一定的帮助。