集成模糊LSA与MIL的图像分类算法

针对自然图像的分类问题,提出一种基于模糊潜在语义分析(LSA)与直推式支持向量机(TSVM)相结合的半监督多示例学习(MIL)算法.该算法将图像当作多示例包,分割区域的底层视觉特征当作包中的示例.为了将MIL问题转化成单示例问题进行求解,首先利用K-Means方法对训练包中所有的示例进行聚类,建立"视觉词汇表";然后根据"视觉字"与示例之间的距离定义模糊隶属度函数,建立模糊"词-文档"矩阵,再采用LSA方法获得多示例包(图像)的模糊潜在语义模型,并通过该模型将每个多示例包转化成单个样本;采用半监督的TSVM训练分类器,以利用未标注图像来提高分类精度.基于Corel图像库的对比实验结果表明,与传统的LSA方法相比,模糊LSA的分类准确率提高了5.6%,且性能优于其他分类方法.     

通过评估示例中概念的重要性来解决多示例学习问题

在多示例学习问题中,训练数据集里面的每一个带标记的样本都是由多个示例组成的包,其最终目的是利用这一数据集去训练一个分类器,使得可以利用该分类器去预测还没有被标记的包。在以往的关于多示例学习问题的研究中,有的是通过修改现有的单示例学习算法来迎合多示例的需要,有的则是通过提出新的方法来挖掘示例与包之间的关系并利用挖掘的结果来解决问题。以改变包的表现形式为出发点,提出了一个解决多示例学习问题的算法——概念评估算法。该算法首先利用聚类算法将所有示例聚成d簇,每一个簇可以看作是包含在示例中的概念;然后利用原本用于文本检索的TF-IDF(Term Frequency-Inverse Document Frequency)算法来评估出每一个概念在每个包中的重要性;最后将包表示成一个d维向量——概念评估向量,其第i个位置表示第i个簇所代表的概念在某个包中的重要程度。经重新表示后,原有的多示例数据集已不再是"多示例",以至于一些现有的单示例学习算法能够用来高效地解决多示例学习问题。     

基于近邻加权及多示例的多标记学习改进算法

多数多标记学习方法通过在输出空间中,单示例同时与多个类别标记相关联表示多义性,目前有研究通过在输入空间将单一示例转化为示例包,建立包中多示例与多标记的联系。算法在生成示例包时采用等权重平均法计算每个标记对应样例的均值。由于数据具有局部分布特征,在计算该均值时考虑数据局部分布,将会使生成的示例包更加准确。本论文充分考虑数据分布特性,提出新的分类算法。实验表明改进算法性能优于其他常用多标记学习算法。     

基于多示例学习的局部离群点改进算法

在多示例学习框架下,训练数据集由若干个包组成,包内含有多个用属性-值对形式表示的示例,系统对包内的多个示例进行学习。传统的基于多示例学习的局部离群点检测算法将多示例学习框架运用到数据集上,将多示例问题转化为单示例问题进行处理。但在示例包的转换过程中采用示例内部的特征长度所占比作为权重机制,并没有考察对结果影响较大的示例,分析原因或者动态调整其权重,从而对离群点检测的效果造成影响。针对这一问题,为了充分适应数据内部的分布特征,提出了一种基于多示例学习的局部离群点改进算法FWMIL-LOF。算法采用MIL（Multi-Instance Learning）框架,在示例包的转换过程中引入描述数据重要度的权重函数,通过定义惩罚策略对权重函数做相应调整,从而确定了不同特征属性的示例在所属包中的权重。在实际企业的实时采集监控系统中,通过仿真分析,并与其他经典局部离群点检测算法进行对比,验证了改进算法在离群点检测效果方面的提高。     

结合包光滑性的半监督多示例核学习方法

以往半监督多示例学习算法常把未标记包分解为示例集合,使用传统的半监督单示例学习算法确定这些示例的潜在标记以对它们进行利用。但该类方法认为多示例样本的分类与其概率密度分布紧密相关,且并未考虑包结构对包分类标记的影响。提出一种基于包层次的半监督多示例核学习方法,直接利用未标记包进行半监督学习器的训练。首先通过对示例空间聚类把包转换为概念向量表示形式,然后计算概念向量之间的海明距离,在此基础上计算描述包光滑性的图拉普拉斯矩阵,进而计算包层次的半监督核,最后在多示例学习标准数据集和图像数据集上测试本算法。测试表明本算法有明显的改进效果。     

半监督多示例核

在多示例学习中引入利用未标记示例的机制,能降低训练的成本并提高学习器的泛化能力。当前半监督多示例学习算法大部分是基于对包中的每一个示例进行标记,把多示例学习转化为一个单示例半监督学习问题。考虑到包的类标记由包中示例及包的结构决定,提出一种直接在包层次上进行半监督学习的多示例学习算法。通过定义多示例核,利用所有包(有标记和未标记)计算包层次的图拉普拉斯矩阵,作为优化目标中的光滑性惩罚项。在多示例核所张成的RKHS空间中寻找最优解被归结为确定一个经过未标记数据修改的多示例核函数,它能直接用在经典的核学习方法上。在实验数据集上对算法进行了测试,并和已有的算法进行了比较。实验结果表明,基于半监督多示例核的算法能够使用更少量的训练数据而达到与监督学习算法同样的精度,在有标记数据集相同的情况下利用未标记数据能有效地提高学习器的泛化能力。     

结合模糊聚类的多示例集成算法

针对许多多示例算法都对正包中的示例情况做出假设的问题,提出了结合模糊聚类的多示例集成算法（ISFC）。结合模糊聚类和多示例学习中负包的特点,提出了“正得分”的概念,用于衡量示例标签为正的可能性,降低了多示例学习中示例标签的歧义性;考虑到多示例学习中将负示例分类错误的代价更大,设计了一种包的代表示例选择策略,选出的代表示例作为基分类器的训练子集;结合各基分类器的结果,确定包的最终标签。ISFC算法对正包中正示例的比例未做任何假设,同时能够解决正包数量多、负包数量少情况下的类别不平衡问题。实验结果表明,ISFC在药物分子活性预测、图像分类、文本分类任务上都取得了较好的分类效果。     

基于改进在线多示例学习算法的机器人目标跟踪

提出基于改进的在线多示例学习算法(Improved multiple instance learning, IMIL)的移动机器人目标跟踪方法. 该方法利用射频识别系统(Radio frequency identification, RFID)粗定位IMIL算法的搜索区域, 然后应用IMIL算法实现目标跟踪. 该方法保证了机器人跟踪系统的连续性, 解决了目标突然转弯时的跟踪问题. IMIL算法采用从低维空间提取的压缩特征描述包中示例, 以降低算法耗时. 通过最大化弱分类器与极大似然概率的内积, 选择判别能力强的弱分类器, 避免了弱分类器选择过程中多次计算包概率和示例概率, 进一步提高算法的实时处理能力. 计算包概率时该算法平等对待各示例, 保证概率高的示例对包概率的贡献度, 克服跟踪漂移问题. 跟踪过程中, 结合当前跟踪结果与目标模板间的相似性分数在线实时调整分类器, 提高了算法的自适应能力. 最后将本文方法在视频和移动机器人上进行实验. 实验结果表明, 该方法在目标运动突变及外观改变时具有较强的鲁棒性和准确性, 并满足系统的实时性要求.     

基于改进多样性密度的性别识别

为了避免大量计算来获取分类器阈值,提高性别识别的效率,提出了一种基于改进多样性密度的性别识别方法。该方法将男、女性训练语音包进行双类别多次标记,通过期望最大多样性密度算法进行多示例学习,得到两个多样性密度点,组成双点语言模型,提出示例近邻分类算法,选取多个示例进行模式分类。该方法综合考虑了男、女性语音样本对未知语音包的影响,不必进行阈值设定,减小了野点示例的影响,最终提高了系统的识别效率。     

一种基于示例非独立同分布的多示例多标签分类算法

多示例多标签学习是一种新型的机器学习框架。在多示例多标签学习中,样本以包的形式存在,一个包由多个示例组成,并被标记多个标签。以往的多示例多标签学习研究中,通常认为包中的示例是独立同分布的,但这个假设在实际应用中是很难保证的。为了利用包中示例的相关性特征,提出了一种基于示例非独立同分布的多示例多标签分类算法。该算法首先通过建立相关性矩阵表示出包内示例的相关关系,每个多示例包由一个相关性矩阵表示;然后建立基于不同尺度的相关性矩阵的核函数;最后考虑到不同标签的预测对应不同的核函数,引入多核学习构造并训练针对不同标签预测的多核SVM分类器。图像和文本数据集上的实验结果表明,该算法大大提高了多标签分类的准确性。     

基于稀疏表达的多示例学习目标追踪算法

追踪目标在经历较大姿势变化时,会导致追踪目标偏移甚至丢失。为此,提出一种基于稀疏表达的多示例学习目标追踪算法。联合多示例学习与稀疏表达方法,将目标物体的局部稀疏编码作为多示例学习的训练数据,通过学习正负样本的局部稀疏编码获得一个多示例学习的分类器,分类的结果与粒子滤波框架相结合,估计目标在整个视频序列中的运动状态。实验结果表明,该算法稳定性较好,与增量学习追踪算法、范式学习追踪算法和多示例学习追踪算法相比,其中心位置误差率减少30%以上。     

一种具有容噪性能的SVM多值分类器

基于 SVM理论的分类器已经发展成为一种通用的二值分类器 .但是它对噪音数据非常敏感 ,而且不适用于多值分类场合 .将标准的 PCA算法扩展到更普遍的领域 ,并提出了一种新的 SVM分类器学习结构 .它使用扩展的 PCA算法对训练集数据进行降噪映射 ,产生一个新的数据集 ,然后通过反对称阵将一组二值分类器组合成一个多值分类器来处理该数据集 .理论分析和试验表明该分类器学习效率高并具有很强的容噪性能     

基于多样性密度的多示例学习方法

结合多样性密度和带负类的支持向量数据描述,提出了一种能够有效解决多示例问题的算法:MIL-NSVDD_DD。该算法首先通过多样性密度算法找出多示例问题中最优示例模型,然后通过使用带负类的支持向量数据描述对示例模型进行训练,以得到最终的分类器,用得到的分类器再对新包进行预测。最后通过实验表明了该算法的有效性。     

基于QPSO-MIL算法的图像标注

在多数现有图像标注图像库中,关键字只标注在图像级而非区域级,使有监督学习方法在图像标注中难以应用.基于量子粒子群优化算法(quantum-behaved particle swarm optimization,QPSO)提出了一种新的多示例学习(multi-instance learning,MIL)算法--QPSO-MIL算法,在多示例学习的框架下将基于区域的图像标注问题描述成一个有监督的学习问题.该方法将图像当作包,分割的区域当作包中的示例,利用多样性密度(DD)函数,定义了粒子的适应度向量.在示例空间,利用QPSO方法在各个维度上同时搜索DD函数的全局极大值点,作为关键字的概念点,然后根据Bayesian后验概率最大准则(MAP)对图像进行标注.通过ECCV 2002图像库的实验结果表明,QPSO-MIL算法是有效的.     

基于示例选择的目标跟踪改进算法

多示例学习是一种处理包分类问题的新型学习模式,传统基于多示例学习的目标跟踪算法在自适应获取正包时受到无益或有害示例的干扰,不能很好地提取目标的鉴别性特征.为此,设计基于核密度估计的示例选择方法,剔除训练集中的无益示例或有害示例,提高多示例学习算法的有效性,并在此基础上提出一种基于示例选择的目标跟踪改进算法,针对负示例占多数的情况建立核密度估计函数来精简正包中的示例,使用精简后的样本数据进行训练学习,最终实现对目标的实时跟踪.实验结果表明,该算法在光照变化、目标部分遮挡及形体变化等情形下都具有较好的稳健性.     

基于多示例学习框架的文本分类算法

针对有特殊结构的文本,传统的文本分类算法已经不能满足需求,为此提出一种基于多示例学习框架的文本分类算法。将每个文本当作一个示例包,文本中的标题和正文视为该包的两个示例;利用基于一类分类的多类分类支持向量机算法,将包映射到高维特征空间中;引入高斯核函数训练分类器,完成对无标记文本的分类预测。实验结果表明,该算法相较于传统的机器学习分类算法具有更高的分类精度,为具有特殊文本结构的文本挖掘领域研究提供了新的角度。     

基于AFSVM-MIL算法的图像标注*

通常情况下关键字只标注在图像上,而多示例(MIL)检索的需要将关键字下沉到区域.针对这个问题,在模糊支持向量机算法(FSVM)的基础上提出了一种改进的自适应模糊支持向量机多示例学习算法(AFSVM-MIL算法),在多示例学习的框架下把区域级的图像标注变成了一种有监督的学习.该方法利用AFSVMMIL对训练集进行分类,结...     

包空间多示例图像自动分类

为了有效地解决多示例图像自动分类问题,提出一种将多示例图像转化为包空间的单示例描述方法.该方法将图像视为包,图像中的区域视为包中的示例,根据具有相同视觉区域的样本都会聚集成一簇,用聚类算法为每类图像确定其特有的“视觉词汇”,并利用负包示例标注确定的这一信息指导典型“视觉词汇”的选择;然后根据得到的“视觉词汇”构造一个新的空间—包空间,利用基于视觉词汇定义的非线性函数将多个示例描述的图像映射到包空间的一个点,变为单示例描述;最后利用标准的支持向量机进行监督学习,实现图像自动分类.在Corel图像库的图像数据集上进行对比实验,实验结果表明该算法具有良好的图像分类性能.     

基于主题模型的多示例多标记学习方法

针对现有的大部分多示例多标记(MIML)算法都没有考虑如何更好地表示对象特征这一问题,将概率潜在语义分析(PLSA)模型和神经网络(NN)相结合,提出了基于主题模型的多示例多标记学习方法。算法通过概率潜在语义分析模型学习到所有训练样本的潜在主题分布,该过程是一个特征学习的过程,用于学习到更好的特征表达,用学习到的每个样本的潜在主题分布作为输入来训练神经网络。当给定一个测试样本时,学习测试样本的潜在主题分布,将学习到的潜在主题分布输入到训练好的神经网络中,从而得到测试样本的标记集合。与两种经典的基于分解策略的多示例多标记算法相比,实验结果表明提出的新方法在现实世界中的两种多示例多标记学习任务中具有更优越的性能。     

一种结合众包的排序学习算法

针对有监督排序学习所需带标记训练数据集不易获得的情况,引入众包这种新型大众网络聚集模式来完成标注工作,为解决排序学习所需大量训练数据集标注工作耗时耗力的难题提供了新的思路。首先介绍了众包标注方法,着重提出两种个人分类器模型来解决众包结果质量控制问题,同时考虑标注者能力和众包任务的难度这两个影响众包质量的因素。再基于得到的训练集使用RankingSVM进行排序学习并在微软OHSUMED数据集上衡量了该方法在NDCG@n评价准则下的性能。实验结果表明该众包标注方法能够达到95%以上的正确率,所得排序模型的性能基本和RankingSVM算法持平,从而验证了众包应用于排序学习的可行性和优越性。