基于迁移学习的小样本DGA恶意域名检测方法

域名生成算法（DGA）存在变化多、部分类别样本难获取的特点,使得采用传统机器学习的恶意域名检测模型准确性不高。提出一种基于迁移学习和多核CNN的小样本DGA恶意域名检测模型。该模型将目标域名映射到向量空间中,使用样本充足的DGA种类进行预训练,并迁移预训练得到的参数到小样本检测模型。采用多核CNN小样本分类模型根据发音习惯进行域名特征提取并分类。通过实验对比发现,无知识迁移的小样本分类模型只有11类域名准确率超过92%,经过迁移学习的多核CNN模型20类准确率超过92%,11类准确率超过97%,检测效果接近数据充足时的分类效果。     

异构复合迁移学习的视频内容标注方法

针对传统的机器学习需要大量的人工标注训练模型的弊端,以及目前多数迁移学习方法只适用于同构空间的问题,提出了一种异构复合迁移学习（HCTL）的视频内容标注方法。首先,借助视频与图像的对应关系,利用典型相关性分析（CCA）来实现图像域（源域）和视频域（目标域）特征空间的同构化;然后,基于这两个特征空间向共同空间投影的代价最小化这一思想,找到源域特征空间向目标域特征空间对齐的矩阵;最后,通过对齐矩阵使得源域特征能够翻译到目标域特征空间中去,进而实现知识迁移,完成视频内容标注任务。所提方法在Kodak数据库上的平均标注准确率达到了35.81%,与标准的支持向量机（S-SVM）领域适应支持向量机（DASVM）、异构直推式迁移学习（HTTL）、跨领域的结构化模型（CDSM）、领域选择机（DSM）、异构源域下的多领域适应（MDA-HS）和判别性相关分析（DCA）方法相比分别提高了58.03%、23.06%、45.04%、6.70%、15.52%、13.07%和6.74%;而在哥伦比亚用户视频（CCV）数据库上达到了20.73%,分别相对提高了133.71%、37.28%、14.34%、24.88%、16.40%、20.73%和12.48%。实验结果表明先同构再对齐的复合迁移思想在异构领域适应问题上能够有效地提升识别准确率。     

基于动态策略的多源迁移学习数据流分类研究

为解决数据流分类中的概念漂移和噪声问题,提出一种基于样本确定性的多源迁移学习方法。该方法存储多源领域上由训练得到的分类器,求出各源领域分类器对目标领域数据块中每个样本的类别后验概率和样本确定性值。在此基础上,将样本确定性值满足当前阈值限制的源领域分类器与目标领域分类器进行在线集成,从而将多个源领域的知识迁移到目标领域。实验结果表明,该方法能够有效消除噪声数据流给不确定分类器带来的不利影响,与基于准确率选择集成的多源迁移学习方法相比,具有更高的分类准确率和抗噪稳定性。     

基于相似度学习的多源迁移算法

针对与测试数据分布相同的训练数据不足,相关领域中存在大量的、与测试数据分布相近的训练数据的场景,提出一种基于相似度学习的多源迁移学习算法(SL-MSTL).该算法在经典SVM分类模型的基础上提出一种新的迁移分类模型,增加对多源域与目标域之间的相似度学习,可以有效地利用各源域中的有用信息,提高目标域的分类效果.实验的结果表明了SL-MSTL 算法的有效性和实用性.     

基于多模态多标记迁移学习的早期阿尔茨海默病诊断

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题,提出一种基于多模态特征数据的多标记迁移学习方法,并将其应用于早期阿尔茨海默病诊断。所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块。首先,通过稀疏多标记学习模型对分类和回归学习任务进行有效结合;然后,将该模型扩展到来自多个学习领域的训练集,从而构建出多标记迁移学习特征选择模型;接下来,针对异质特征空间的多模态特征数据,采用多核学习技术来组合多模态特征核矩阵;最后,为了构建能同时用于分类与回归的学习模型,提出多标记分类回归学习器,从而构建出多模态多标记分类回归学习器。在国际老年痴呆症数据库（ADNI）进行实验,分类轻度认知功能障碍（MCI）最高平均精度为79.1%,预测神经心理学量表测试评分值最大平均相关系数为0.727。实验结果表明,所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据,从而提高早期老年痴呆症诊断性能。     

基于无监督学习的图像风格迁移方法

近年来,深度学习作为机器学习领域的一个分支,已经展现出强大的能力,其中基于卷积神经网络的无监督学习更是逐渐流行,之前有很多关于图像到图像翻译的工作,但都需要成对输入图片数据,这无疑增加了训练数据集获取的难度。笔者旨在实现在缺少成对数据的情况下使用生成对抗网络GAN学习从源数据域Y到目标数据域Y以实现图像到图像的翻译和风格迁移,通过学习映射G:X→Y和一个相反的映射F:Y→X,使它们成对,同时加入一个循环一致性损失函数,以确保F(G(X))≈X(反之亦然),最终实现通过输入一张具有任意风格的源图片进入网络并生成指定风格的图像,实现风格迁移。在缺少成对训练数据的情况下,本文成功实现了horse2zebra数据集和vangogh2photo数据集的风格迁移。     

一种面向跨项目软件缺陷预测的特征过滤与实例迁移框架

在跨项目软件缺陷预测中,源项目与目标项目的特征关联度与实例分布差异性是影响预测模型性能的主要因素。本文从特征过滤与实例迁移2个角度出发,提出一种跨项目软件缺陷预测框架KCF-KMM(K-medoids Cluster Filtering- Kernel Mean Matching)。在特征过滤阶段,该方法基于K-medoids聚类算法来筛选特征子集,过滤与目标项目关联度低的特征。在实例迁移阶段,通过KMM算法计算源项目与目标项目实例间的分布差异度,以此分配每个训练实例的影响权重。最后,结合目标项目中少量有标注数据建立混合缺陷预测模型。为了验证KCF-KMM的有效性,本文从准确率和F1值的角度出发,分别与经典的跨项目软件缺陷预测方法TCA+、TNB和NNFilter相比,KCF-KMM的预测性能在Apache数据集上可以分别提升34.1%、0.8%、21.1%和14.4%、3.7%、10.6%。     

共享隐空间迁移SVM

在机器学习中,迁移学习被证明能有效使用一个领域信息提高另一个领域中受训模型的分类精度. 迁移学习总是假设相关领域间共享某些隐含因素,但在当前的迁移学习方法中,该部分隐含因素依然未得到充分 探讨.本研究引入低维共享隐空间的迁移学习方法,基于经典支持向量机(Support vector machine, SVM)分类模型得到融入共享隐空间的迁移支持向量机,该模型较以往相关方法能更好地利用隐空间这一有效信息,从而提高所得分类器 的泛化性能.相关实验结果亦验证了所提方法的有效性.     

基于改进的深度残差网络的表情识别研究

提出了一种基于改进的深度残差网络（residual network,ResNet）的表情识别算法。采用小卷积核和深网络结构,利用残差模块学习残差映射解决了随着网络深度的增加网络精度下降问题,通过迁移学习方法克服了因数据量不足导致训练不充分的缺点;网络架构使用了线性支持向量机（SVM）进行分类。实验中首先利用ImageNet数据库进行网络参数预训练,使网络具有良好的提取特征能力,根据迁移学习方法,利用FER-2013数据库以及扩充后的CK+数据库进行参数微调和训练。该算法克服了浅层网络需要依靠手工特征,深层网络难以训练等问题,在CK+数据库以及GENKI-4K数据库上分别取得了91.333%和95.775%识别率。SVM在CK+数据库的分类效果较softmax提高了1%左右。     

Markov逻辑网在迁移学习中的应用

为充分利用过期训练数据和数据结构相关性进行新领域的学习,提出一种基于Markov逻辑网的迁移学习方法。该方法对源域与目标域的谓词进行自动映射后,通过自我诊断、结构更新和新公式挖掘3个步骤对映射结构进行优化,使之更适用于目标域数据。实验结果证明,与传统的机器学习方法相比,该方法使概率推理所获结果的准确率更高,所需的学习时间与训练数据更少。     

融合特征选取和学习策略的支持向量机研究

支持向量机是重要的机器学习方法之一,已成功解决了许多实际的分类问题。围绕如何提高支持向量机的分类精度与训练效率,以分类过程为主线,主要综述了在训练支持向量机之前不同的特征选取方法与学习策略。在此基础上,比较了不同的特征选取方法SFS,IWSS,IWSSr以及BARS的分类精度,分析了主动学习策略与支持向量机融合后获得的分类器在测试集上的分类精度与正确率/召回率平衡点两个性能指标。实验结果表明,包装方法与过滤方法相结合的特征选取方法能有效提高支持向量机的分类精度和减少训练样本量;在标签数据较少的情况下,主动学习能达到更好的分类精度,而为了达到相同的分类精度,被动学习需要的样本数量必须要达到主动学习的6倍。     

基于深度学习的无人机影像夜光藻赤潮提取方法

针对目前卫星遥感中夜光藻赤潮识别精度低、实时性差的问题,提出一种基于深度学习的无人机（UAV）影像夜光藻赤潮提取方法。首先,以UAV采集的高分辨率夜光藻赤潮RGB视频影像作为监测数据,在原有UNet++网络基础上,通过修改主干模型为VGG-16,并引入空间dropout策略,分别增强了特征提取能力并防止过拟合;然后,使用ImageNet数据集预先训练的VGG-16网络进行迁移学习,以提高网络收敛速度;最后,为评估所提方法的性能,在自建的赤潮数据集Redtide-DB上进行实验。所提方法的夜光藻赤潮提取总体精度（OA）为94.63%,F1评分为0.955 2,Kappa为0.949 6,优于K近邻（KNN）、支持向量机（SVM）和随机森林（RF）这3种机器学习方法及3种典型语义分割网络（PSPNet、 SegNet和U-Net）。在模型泛化能力测试中,所提方法对不同拍摄设备和拍摄环境的夜光藻赤潮影像表现出一定泛化能力,OA为97.41%,F1评分为0.965 9,Kappa为0.938 2。实验结果表明,所提方法可以实现夜光藻赤潮自动化、高精度的提取,可为夜光藻赤潮监测和研究工作提供参考。     

基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

为解决特征选择ReliefF算法在利用欧氏距离选取近邻样本过程中,算法稳定性差以及选取的特征子集分类准确率低的问题,提出了一种利用最大信息系数（MIC）作为近邻样本选择标准的MICReliefF算法;同时,以支持向量机（SVM）模型的分类准确率作为评价指标,并多次寻优,以自动确定其最优特征子集,从而实现MICReliefF算法与分类模型的交互优化,即MICReliefF-SVM自动特征选择算法。在多个UCI公开数据集上对MICReliefF-SVM算法的性能进行了验证。实验结果表明,MICReliefF-SVM自动特征选择算法不仅可以筛除更多的冗余特征,而且可以选择出具有良好稳定性和泛化能力的特征子集。与随机森林（RF）、最大相关最小冗余（mRMR）、相关性特征选择（CFS）等经典的特征选择算法相比,MICReliefF-SVM算法具有更高的分类准确率。     

基于表示学习和深度森林的长链非编码RNA编码短肽预测模型

长链非编码RNA（lncRNA）中的小开放阅读框（sORFs）能够编码长度不超过100个氨基酸的短肽。针对短肽预测研究中lncRNA中的sORFs特征不鲜明且高可信度数据尚不充分的问题,提出一种基于表示学习的深度森林（DF）模型。首先,使用常规lncRNA特征提取方法对sORFs进行编码;其次,通过自编码器（AE）进行表示学习来获得输入数据的高效表示;最后,训练DF模型实现对lncRNA编码短肽的预测。实验结果表明,该模型在拟南芥数据集上能够达到92.08%的准确率,高于传统机器学习模型、深度学习模型以及组合模型,且具有较好的稳定性;此外,在大豆与玉米数据集上进行的模型测试中,该模型的准确率分别能达到78.16%和74.92%,验证了所提模型良好的泛化能力。     

基于深度卷积神经网络的脑电信号情感识别

为了点对点自动学习脑电信号（Electroencephalogram,EEG）空间与时间维度上的情感相关特征,提高脑电信号情感识别的准确率,基于DEAP数据集中EEG信号的时域、频域特征及其组合特征,提出一种基于卷积神经网络（Convolution Neural Network,CNN）模型的EEG情感特征学习与分类算法。采用包括集成决策树、支持向量机、线性判别分析和贝叶斯线性判别分析算法在内的浅层机器学习模型与CNN深度学习模型对DEAP数据集进行效价和唤醒度两个维度上的情感分类实验。实验结果表明,在效价和唤醒度两个维度上,深度CNN模型在时域和频域组合特征上均取得了目前最好的两类识别性能,在效价维度上比最佳的传统分类器集成决策树模型提高了3.58%,在唤醒度上比集成决策树模型的最好性能提高了3.29%。     

基于胶囊网络的方面级跨领域情感分析

在跨领域情感分析任务中,目标领域带标签样本严重不足,并且不同领域间的特征分布差异较大,特征所表达的情感极性也有很大差别,这些问题都导致了分类准确率较低。针对以上问题,提出一种基于胶囊网络的方面级跨领域情感分析方法。首先,通过BERT预训练模型获取文本的特征表示;其次,针对细粒度的方面级情感特征,采用循环神经网络（RNN）将上下文特征与方面特征进行融合;然后,使用胶囊网络配合动态路由来区分重叠特征,并构建基于胶囊网络的情感分类模型;最后,利用目标领域的少量数据对模型进行微调来实现跨领域迁移学习。所提方法在中文数据集上的最优的F1值达到95.7%,英文数据集上的最优的F1值达到了91.8%,有效解决了训练样本不足造成的准确率低的问题。     

基于改进遗传算法和图神经网络的股市波动预测方法

针对支持向量机（SVM）、长短期记忆（LSTM）网络等智能算法在股市波动预测过程中股票评价特征选择困难及时序关系维度特征缺失的问题,为能够准确预测股票波动、有效防范金融市场风险,提出了一种基于改进遗传算法（IGA）和图神经网络（GNN）的股市波动预测方法——IGA-GNN。首先,利用相邻交易日间的时序关系构建股市交易指标图数据;其次,通过评价指标特性优化交叉、变异概率来改进遗传算法（GA）,从而实现节点特征选择;然后,建立图数据的边与节点特征的权重矩阵;最后,运用GNN进行图数据节点的聚合与分类,实现了股市波动预测。在实验阶段,所研究的股票总评价指标数为130个,其中IGA在GNN方法下提取的有效评价指标87个,使指标数量降低了33.08%。应用所提IGA在智能算法中进行特征提取,得到的算法与未进行特征提取的智能算法相比,预测准确率整体提升了7.38个百分点;而与应用传统GA进行智能算法的特征提取相比,应用所提IGA进行智能算法的特征提取的总训练时间缩短了17.97%。其中,IGA-GNN方法的预测准确率最高,相较未进行特征提取的GNN方法的预测准确率整体提高了19.62个百分点;而该方法与用传统GA进行特征提取的GNN方法相比,训练时间平均缩短了15.97%。实验结果表明,所提方法可对股票特征进行有效提取,预测效果较好。     

基于多季相Sentinel-2影像的白洋淀湿地信息提取

白洋淀湿地是华北平原上重要的浅水湖泊湿地,对雄安新区绿色发展具有重要的生态价值。对白洋淀高度异质化的景观格局进行分类,能够为白洋淀湿地资源的遥感监测提供指导意义。针对湿地季节变化的特点,对白洋淀每个季节选取一期具有代表性的Sentinel-2影像,采用分类与回归树（CART）、支持向量机（SVM）、随机森林（RF）3种常用的机器学习分类器对15种季相组合实验方案进行分类,分析不同季相遥感影像及其组合对白洋淀湿地信息提取的优劣。结果表明：相较于使用单一季相影像分类,多季相影像的组合能够显著提高分类精度,春&夏季相组合能够得到最优的分类效果,相对单季影像总体分类精度提高了10.9%~25.5%,Kappa系数提高了0.09~0.29;SVM分类器的分类表现较为稳定,能够得到最高的平均分类精度,CART分类器在处理高维特征的能力不如随机森林和SVM;不同特征类型对湿地信息提取的贡献度从高到底依次是红边光谱特征、传统光谱特征、缨帽变换特征、主成分分析特征、纹理特征。实验成果能为湿地信息的遥感识别提供依据。     

p范数正则化支持向量机分类算法

L2范数罚支持向量机(Support vector machine,SVM)是目前使用最广泛的分类器算法之一,同时实现特征选择和分类器构造的L1范数和L0范数罚SVM算法也已经提出.但是,这两个方法中,正则化阶次都是事先给定,预设p=2或p=1.而我们的实验研究显示,对于不同的数据,使用不同的正则化阶次,可以改进分类算法的预测准确率.本文提出p范数正则化SVM分类器算法设计新模式,正则化范数的阶次p可取范围为02范数罚SVM,L1范数罚SVM和L0范数罚SVM.