云南香格里拉地区森林优势树种决策融合分类

基于Google Earth Engine(GEE)云计算平台,协同Sentinel-2影像、WordClim生物气候数据、SRTM地形数据、森林资源二类调查数据等数据,以随机森林（Random Forest,RF）,支持向量机（Support Vector Machine,SVM）和最大熵（Maximum Entropy,MaxEnt）3种机器学习算法为组件分类器,开展多源特征、多分类器决策融合的优势树种分类研究。通过3种组件分类器分别构建了两种串行集成和3种贝叶斯并行集成模型,用于确定云南香格里拉地区10种主要优势树种的空间分布。分类结果显示：3个组件分类器的总体精度均低于67.17%;3种并行集成方法总体精度相当,约为72%;两种串行集成方法精度高于78.48%,其中MaxEnt-SVM串行集成方法获得最佳精度（OA:80.66%,Kappa:0.78）,与组件分类器相比精度至少提高了13.49%。研究表明：决策融合方法在优势树种分类中比组件分类器精度更高,并且有效改善了小样本树种的分类精度,可用于大范围山区优势树种分类。     

基于多特征融合的恶意代码分类算法

针对多数恶意代码分类研究都基于家族分类和恶意、良性代码分类,而种类分类比较少的问题,提出了多特征融合的恶意代码分类算法。采用纹理图和反汇编文件提取3组特征进行融合分类研究,首先使用源文件和反汇编文件提取灰度共生矩阵特征,由n-gram算法提取操作码序列;然后采用改进型信息增益（IG）算法提取操作码特征,其次将多组特征进行标准化处理后以随机森林（RF）为分类器进行学习;最后实现了基于多特征融合的随机森林分类器。通过对九类恶意代码进行学习和测试,所提算法取得了85%的准确度,相比单一特征下的随机森林、多特征下的多层感知器和Logistic回归算法分类器,准确率更高。     

基于影像组学的肝细胞癌病理分级方法

针对术前无创准确判断肝细胞癌（HCC）病理分化程度这一问题,提出了一种基于影像组学的肝细胞癌病理分级方法。该方法结合多模态融合及AdaBoost算法构建模型。首先,基于影像组学方法提取磁共振成像（MRI）的影像组学特征,通过特征递归消除等算法进行特征筛选和降维后进行多模态融合;然后,采用过采样方法解决数据类别不平衡问题优化模型性能;最后,基于Adaboost算法建模对HCC进行病理分化等级细分类。实验结果表明,所提方法在相同数据集的F1值比现有的加权融合方法、基于支持向量机（SVM）算法的方法相比均要高5个百分点。对比基于单模态构建的F1值最优模型,使用的多模态融合方法的F1值提高了7个百分点。     

基于重采样与属性约简的多模态选择性集成学习

通过对重采样技术和属性约简方法进行研究,提出一种多模态选择性集成学习算法SE_RSAR.采用重采样方法扰乱样本空间,采用一种基于相对决策熵的属性约简方法扰乱特征空间,通过这种多模态的扰乱策略增加个体分类器之间的差异性.实验在多个UCI数据集上完成,KNN算法被用来训练个体分类器.实验结果表明,相对现有的集成学习算法,SE_RSAR算法能够取得更好的分类效果.     

基于Stacking融合模型的抗乳腺癌药物活性值预测

通过实验研发和筛选药物耗时费力,为了能快速有效筛选候选药物,利用随机森林算法（Random Forests,RF）、极限梯度提升算法（eXtreme Gradient Boosting,XGBoost）等筛选出20个最具显著影响的分子描述符,再构建Stacking融合模型,利用贝叶斯优化调参,预测化合物的生物活性值,模型拟合度为0.793 7,均方根误差为0.681 2。结果表明,该模型与单一机器学习算法相比,具有更好的预测性能,对抗乳腺癌药物的研发具有重要的指导意义。     

基于多模态特征融合的三维点云分类方法

针对点云数据本身信息量不足导致现有三维点云分类方法分类精度较低的问题,结合多模态特征融合,设计一种三维点云分类模型。通过引入投影图对点云数据信息进行扩充,将点云数据与图像数据同时作为输入,对PointCNN模型提取的点云特征与CNN模型提取的投影图特征进行加权融合,从而得到最终分类结果。在ModelNet40数据集上的分类结果表明,该模型的分类精度达到96.4%,相比PointCNN模型提升4.7个百分点。     

基于KNN-GBDT的混合协同过滤推荐算法

针对传统基于单分类的推荐算法容易陷入“单指标最优”的困境和推荐精度低的问题,提出一种融合K-最近邻（KNN）和Gradient Boosting（GBDT）的协同过滤推荐算法。该算法利用K-最近邻法过滤出目标用户的多组候选最近邻居集,并综合集成学习的优点,采用多分类器对多组推荐结果进行集成。在相似度计算公式中引入了若只有单个用户评价的物品权重,以此获得更多目标用户的潜在信息。实验结果表明,该算法有效缓解了目标用户与候选最近邻居集之间的数据集稀疏性,提升了推荐精度。     

基于RGB-D图像特征的人体行为识别

针对现有的多模态特征融合方法不能有效度量不同特征的贡献度的问题,文中提出基于RGB-深度(RGB-D)图像特征的人体动作识别方法.首先获取基于RGB模态信息的方向梯度直方图特征、基于深度图像模态信息的时空兴趣点特征和基于关节模态信息的人体关节点位置特征,分别表征人体动作.采用不同距离度量公式的最近邻分类器对这3种不同模态特征表示的预测样本进行集成决策分类.在公开数据集上的实验表明,文中方法具有简单、快速,高效的特点.     

基于准确率爬坡的动态加权集成分类算法

传统集成分类算法中,一般将集成数目设置为固定值,这可能会导致较低分类准确率。针对这一问题,提出了准确率爬坡集成分类算法（C-ECA）。首先,该算法不再用一些基分类器去替换相同数量的表现最差的基分类器,而是基于准确率对基分类器进行更新,然后确定最佳集成数目。其次,在C-ECA的基础上提出了基于爬坡的动态加权集成分类算法（C-DWECA）。该算法提出了一个加权函数,其在具有不同特征的数据流上训练基分类器时,可以获得基分类器的最佳权值,从而提升集成分类器的性能。最后,为了能更早地检测到概念漂移并提高最终精度,采用了快速霍夫丁漂移检测方法（FHDDM）。实验结果表明C-DWECA的准确率最高可达到97.44%,并且该算法的平均准确率比自适应多样性的在线增强（ADOB）算法提升了40%左右,也优于杠杆装袋（LevBag）、自适应随机森林（ARF）等其他对比算法。     

基于Boosting的高光谱遥感切空间协同表示集成学习方法

近年来,协同表示分类(Collaborative Representation Classification,CRC)算法成为高光谱遥感影像分类的研究热点,尤其是切空间协同表示分类(Tangent Space Collaborative Representation,TCRC)利用切平面估计测试样本的局部流形,其分类精度得到了显著提高。为进一步提升高光谱遥感影像分类的准确性和可靠性,提出了基于Boosting的高光谱遥感影像切空间协同表示分类算法(Boosting-based Tangent Space Collaborative Representation Classification,Boost TCRC)。Boost TCRC算法采用TCRC算法作为基分类器,通过Boosting原理自适应地调整训练样本的权重,增大错分样本的权重从而使得分类器专注于较难分类的训练样本,然后在基于残差域融合时根据基分类器的分类表现赋予其权重,最终采用最小重构误差的原则对测试样本进行分类。实验采用HyMap(Hyperspectral Mapper)和AVIRIS(Airbone Visible Infrared Imaging Spectrometer)等高光谱遥感影像数据对所提出算法的性能进行了综合评价,结果表明：基于Boosting的集成方式可有效提升TCRC算法的分类效果。针对HyMap数据,Boost TCRC算法总体分类精度和Kappa系数分别为93.73%和0.920 8,两种精度指标分别高于TCRC算法2.82%和0.032 3,同时分别高于AdaBoost ELM算法1.81%和0.022 5。对于AVIRIS数据,Boost TCRC算法总体分类精度和kappa系数为84.11%和0.812 0,两种精度指标分别高于TCRC算法3.97%和0.049 3,同时分别高于AdaBoost ELM算法12.02%和0.143 6。     

基于集成学习算法的房价预测模型

如何有效预测房屋价格,对地方经济发展具有十分重要的作用。房屋价格作为一个综合指标,受诸多因素的影响,目前的房价预测模型大多数为单一模型,存在精度低、泛化能力差、容易过拟合等缺点。针对这些问题,提出基于特征选择与集成学习的房价预测模型。首先,选用ElasticNet、LightGBM、支持向量回归（Support Vector Regression,SVR）、梯度提升决策树（Gradient Boosting Decision Tree,GBDT）作为基础模型,采用随机森林进行特征重要度排序,并进行特征选择。其次,对这4个基础模型分别进行训练,使用blending方式进行融合。最后,在AmesHousing数据集上验证这个模型的有效性。验证结果表明,相对于单一的预测模型,集成学习模型能够提高预测精度,具有更好的泛化性能。     

多层CNN特征融合及多分类器混合预测的多模态虚假信息检测

针对现有的多模态虚假信息检测方法很少对多模态特征在特征层面进行融合，同时忽略了多模态特征后期融合作用的问题，提出了一种基于CNN多模态特征融合及多分类器混合预测的虚假信息检测模型。首次将多层CNN应用于多模态特征融合，模型首先用BERT和Swin-transformer提取文本和图像特征；随后通过多层CNN对多模态特征在特征层面进行融合，通过简单拼接对多模态特征在句子层面进行融合；最后将2种融合特征输入到不同的分类器中得到2个概率分布，并将2个概率分布按比例进行相加得到最终预测结果。该模型与基于注意力的多模态分解双线性模型(AMFB)相比，在Weibo数据集和Twitter数据集上的准确率分别提升了6.1%和4.3%。实验结果表明，所提模型能够有效提高虚假信息检测的准确率。     

基于多任务学习的时序多模态情感分析模型

针对时序多模态情感分析中存在的单模态特征表示和跨模态特征融合问题,结合多头注意力机制,提出一种基于多任务学习的情感分析模型。首先,使用卷积神经网络（CNN）、双向门控循环神经网络（BiGRU）和多头自注意力（MHSA）实现了对时序单模态的特征表示;然后,利用多头注意力实现跨模态的双向信息融合;最后,基于多任务学习思想,添加额外的情感极性分类和情感强度回归任务作为辅助,从而提升情感评分回归主任务的综合性能。实验结果表明,相较于多模态分解模型,所提模型的二分类准确度指标在CMU-MOSEI和CMU-MOSI多模态数据集上分别提高了7.8个百分点和3.1个百分点。该模型适用于多模态场景下的情感分析问题,能够为商品推荐、股市预测、舆情监控等应用提供决策支持。     

低小慢无人机降落野外场景识别方法

针对低小慢无人机野外飞行场景复杂自主降落场景识别问题,提出了一种融合局部金字塔特征和卷积神经网络学习特征的野外场景识别算法。首先,将场景分为4×4和8×8块的小场景,使用方向梯度直方图（HOG）算法提取所有块的场景特征,所有特征首尾连接得到具有空间金字塔特性的特征向量。其次,设计一个针对场景分类的深度卷积神经网络,采用调优训练方法得到卷积神经网络模型,并提取深度网络学习特征。最后,连接两个特征得到最终场景特征,并使用支持向量机（SVM）分类器进行分类。所提算法在Sports-8、Scene-15、Indoor-67以及自建数据集上较传统手工特征方法的识别准确率提高了4个百分点以上。实验结果表明,所提算法能有效提升降落场景识别准确率。     

基于近似约简与最优采样的集成剪枝

集成学习被广泛用于提高分类精度, 近年来的研究表明, 通过多模态扰乱策略来构建集成分类器可以进一步提高分类性能. 本文提出了一种基于近似约简与最优采样的集成剪枝算法(EPA_AO). 在EPA_AO中, 我们设计了一种多模态扰乱策略来构建不同的个体分类器. 该扰乱策略可以同时扰乱属性空间和训练集, 从而增加了个体分类器的多样性. 我们利用证据KNN (K-近邻)算法来训练个体分类器, 并在多个UCI数据集上比较了EPA_AO与现有同类型算法的性能. 实验结果表明, EPA_AO是一种有效的集成学习方法.     

基于双树复小波分解的Boosting集成学习土地覆被分类研究

近年来,集成学习（Ensemble Learning,EL）分类方法成为土地覆被分类的研究热点,尤其是Boosting集成分类方法具有分类精度高、泛化能力强,在土地覆被分类中得到了显著的应用。但是,Boosting集成分类方法对噪声很敏感,如果训练样本含有噪声时,Boosting算法可能会失效,这是该方法的局限性。为了解决Boosting集成方法在土地覆被分类中存在的问题,有效克服噪声的影响,减少分类结果中的“椒盐”现象和提高分类精度,提出了基于双树复小波分解的Boosting集成学习分类方法。该方法对影像的光谱波段进行一层双树复小波分解,降低图像的噪声,将分解后的各波段作为Boosting集成学习的输入,得到最终的分类结果。实验先后比较了GBDT、XGBoost、LightGBM 3种Boosting集成学习算法在SPOT 6和Sentinel-2A影像上的分类效果。结果表明：(1)在SPOT 6影像上,3种Boosting集成算法总体分类精度均高于90%;DTCWTLightGBM分类总体精度最高,达到94.73%,Kappa系数为0.93,比LightGBM总体精度提高了1.1%...     

基于多种特征选择的NB组合文本分类器设计

针对朴素贝叶斯（NB）分类器在分类过程中存在诸如分类模型对样本具有敏感性、分类精度难以提高等缺陷,提出一种基于多种特征选择方法的NB组合文本分类器方法。依据Boosting分类算法,采用多种不同的特征选择方法建立文本的特征词集,训练NB分类器作为Boosting迭代过程的基分类器,通过对基分类器的加权投票生成最终的NB组合文本分类器。实验结果表明,该组合分类器较单NB文本分类器具有更好的分类性能。     

用于阿尔茨海默病诊断的权值分布特征学习

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中有标记训练样本不足的问题,提出一种基于多模态特征数据的权值分布稀疏特征学习方法,并将其应用于早期阿尔茨海默病的诊断.具体来说,该诊断方法主要包括两大模块：基于权值分布的Lasso特征选择模型（WDL）和大间隔分布分类机模型（LDM）.首先,为了获取多模态特征之间的数据分布信息,对传统Lasso模型进行改进,引入权值分布正则化项,从而构建出基于权值分布的Lasso特征选择模型;然后,为了有效地利用多模态特征之间的数据分布信息,以保持多模态特征之间的互补性,直接采用大间隔分布学习算法训练分类器.选取国际阿尔茨海默症数据库（ADNI）中202个多模态特征的被试者样本进行实验,分类AD最高平均精度为97.5%,分类轻度认知功能障碍（MCI）最高平均精度为83.1%,分类轻度认知功能障碍转化为AD（pMCI）最高平均精度为84.8%.实验结果表明,所提WDL特征学习方法可从串联的多模态特征学到性能更优的特征子集,并能根据权值分布获取多模态特征之间的数据分布信息,从而提高早期阿尔茨海默病诊断的性能.     

随机森林在滚动轴承故障诊断中的应用

针对不同轴承数据特征选择困难和单个分类器方法在滚动轴承故障诊断中精度较低的问题,提出了一种基于分类回归树（CART）的随机森林滚动轴承故障诊断算法。随机森林是包含了多种分类器的集成学习方法。通过随机森林的“集成”思想来提高滚动轴承故障诊断的精度。从滚动轴承的振动信号中提取时域统计指标,将其作为特征向量,利用随机森林（Random Forest）对滚动轴承故障进行诊断。利用SQI-MFS实验平台的轴承数据,与传统分类器（SVM、kNN和ANN）以及单个分类回归树的诊断结果相比,随机森林算法具有比较高的诊断精度。     

集成特征选择的广义粗集方法与多分类器融合

为改善多分类器系统的分类性能, 提出了基于广义粗集的集成特征选择方法. 为在集成特征选择的同时获取各特征空间中的多类模式可分性信息, 研究并提出了关于多决策表的相对优势决策约简, 给出了关于集成特征选择的集成属性约简 (Ensemble attribute reduction,EAR) 方法, 结合基于知识发现的 KD-DWV 算法进行了高光谱遥感图像植被分类比较实验. 结果表明, EAR 方法与合适的多分类器融合算法结合可有效提高多分类器融合的推广性.