多示例学习的示例层次覆盖算法

在多示例学习（Multi-instance learning,MIL）中,核心示例对于包类别的预测具有重要作用。若两个示例周围分布不同数量的同类示例,则这两个示例的代表程度不同。为了从包中选出最具有代表性的示例组成核心示例集,提高分类精度,本文提出多示例学习的示例层次覆盖算法（Multi-instance learning with instance_level covering algorithm,MILICA）。该算法首先利用最大Hausdorff距离和覆盖算法构建初始核心示例集,然后通过覆盖算法和反验证获得最终的核心示例集和各覆盖包含的示例数,最后使用相似函数将包转为单示例。在两类数据集和多类图像数据集上的实验证明,MILICA算法具有较好的分类性能。     

基于流形学习的多示例回归算法

多示例学习是一种新型机器学习框架,以往的研究主要集中在多示例分类上,最近多示例回归受到了国际机器学习界的关注．流形学习旨在获得非线性分布数据的内在结构,可以用于非线性降维．文中基于流形学习技术,提出了用于解决多示例同归问题的Mani MIL算法．该算法首先对训练包中的示例降维,利用降维结果出现坍缩的特性对多示例包进行预测．实验表明,Mani MIL算法比现有的多示例算法例如Citation-kNN等有更好的性能．     

结合包光滑性的半监督多示例核学习方法

以往半监督多示例学习算法常把未标记包分解为示例集合,使用传统的半监督单示例学习算法确定这些示例的潜在标记以对它们进行利用。但该类方法认为多示例样本的分类与其概率密度分布紧密相关,且并未考虑包结构对包分类标记的影响。提出一种基于包层次的半监督多示例核学习方法,直接利用未标记包进行半监督学习器的训练。首先通过对示例空间聚类把包转换为概念向量表示形式,然后计算概念向量之间的海明距离,在此基础上计算描述包光滑性的图拉普拉斯矩阵,进而计算包层次的半监督核,最后在多示例学习标准数据集和图像数据集上测试本算法。测试表明本算法有明显的改进效果。     

融合包空间和示例空间特征的多示例学习

多示例学习中,包空间特征描述包容易忽略包中的局部信息,示例空间特征描述包容易忽略包的整体结构信息.针对上述问题,提出融合包空间特征和示例空间特征的多示例学习方法.首先建立图模型表达包中示例之间的关系,将图模型转化为关联矩阵以构建包空间特征;其次筛选出正包中与正包的类别的相关性比较强的示例和负包中与正包的类别的相关性比较弱的示例,将示例特征分别作为正包和负包的示例空间特征;最后用Gaussian RBF核将包空间和示例空间特征映射到相同的特征空间,采用基于权重的特征融合方法进行特征融合.在多示例的基准数据集、公开的图像数据集和文本数据集上进行实验的结果表明,该方法提高了分类效果.     

通过评估示例中概念的重要性来解决多示例学习问题

在多示例学习问题中,训练数据集里面的每一个带标记的样本都是由多个示例组成的包,其最终目的是利用这一数据集去训练一个分类器,使得可以利用该分类器去预测还没有被标记的包。在以往的关于多示例学习问题的研究中,有的是通过修改现有的单示例学习算法来迎合多示例的需要,有的则是通过提出新的方法来挖掘示例与包之间的关系并利用挖掘的结果来解决问题。以改变包的表现形式为出发点,提出了一个解决多示例学习问题的算法——概念评估算法。该算法首先利用聚类算法将所有示例聚成d簇,每一个簇可以看作是包含在示例中的概念;然后利用原本用于文本检索的TF-IDF(Term Frequency-Inverse Document Frequency)算法来评估出每一个概念在每个包中的重要性;最后将包表示成一个d维向量——概念评估向量,其第i个位置表示第i个簇所代表的概念在某个包中的重要程度。经重新表示后,原有的多示例数据集已不再是\"多示例\",以至于一些现有的单示例学习算法能够用来高效地解决多示例学习问题。     

一种基于示例非独立同分布的多示例多标签分类算法

多示例多标签学习是一种新型的机器学习框架。在多示例多标签学习中,样本以包的形式存在,一个包由多个示例组成,并被标记多个标签。以往的多示例多标签学习研究中,通常认为包中的示例是独立同分布的,但这个假设在实际应用中是很难保证的。为了利用包中示例的相关性特征,提出了一种基于示例非独立同分布的多示例多标签分类算法。该算法首先通过建立相关性矩阵表示出包内示例的相关关系,每个多示例包由一个相关性矩阵表示;然后建立基于不同尺度的相关性矩阵的核函数;最后考虑到不同标签的预测对应不同的核函数,引入多核学习构造并训练针对不同标签预测的多核SVM分类器。图像和文本数据集上的实验结果表明,该算法大大提高了多标签分类的准确性。     

基于多示例学习图卷积网络的隐写者检测

隐写者检测通过设计模型检测在批量图像中嵌入秘密信息进行隐蔽通信的隐写者, 对解决非法使用隐写术的问题具有重要意义. 本文提出一种基于多示例学习图卷积网络 (Multiple-instance learning graph convolutional network, MILGCN) 的隐写者检测算法, 将隐写者检测形式化为多示例学习(Multiple-instance learning, MIL) 任务. 本文中设计的共性增强图卷积网络(Graph convolutional network, GCN) 和注意力图读出模块能够自适应地突出示例包中正示例的模式特征, 构建有区分度的示例包表征并进行隐写者检测. 实验表明, 本文设计的模型能够对抗多种批量隐写术和与之对应的策略.     

基于多示例的K-means聚类学习算法

多示例学习是继监督学习、非监督学习、强化学习后的又一机器学习框架。将多示例学习和非监督学习结合起来,在传统非监督聚类算法K-means的基础上提出MIK-means算法,该算法利用混合Hausdorff距离作为相似测度来实现数据聚类。实验表明,该方法能够有效揭示多示例数据集的内在结构,与K-means算法相比具有更好的聚类效果。     

在线多示例学习目标跟踪方法研究

多示例学习是不同于传统机器学习的一种新的学习模式,近年来被应用于图像检索、文本分类等领域。提出一种基于在线学习的多示例学习算法,将其应用于目标跟踪。该算法通过构造一个在线学习的多示例分类器作为检测器,无需制作大量的样本进行离线的训练,只需在第一帧手动选中目标,便可以自动生成正样本和负样本,并在随后的帧序列中,根据跟踪到的目标自动更新分类器,在跟踪器丢失目标或者目标从场景中消失后,它能够重新检测到目标并更新跟踪器,从而有效地支持了跟踪器跟踪目标。实验证明该方法在背景复杂,光线变化,摄像机抖动等复杂条件下,可以很好地跟踪到目标,且对遮挡具有较好的鲁棒性。     

ON THE THEORY OF BAGS

We introduce the bag structure as a set-like object in which repeated elements are significant. We discuss operations on bags such as intersection, union and addition. We introduce the operation of selecting elements from a bag based upon their membership in a set. We show the usefulness of the bag structure in relational data bases. We provide a definition for fuzzy bags. In these fuzzy bags the count of the number of elements itself becomes a crisp bags. We investigate a calculus for fuzzy bags.     

基于改进遗传算法的多示例神经网络优化

多示例神经网络是一类用于求解多示例学习问题的神经网络,但由于其中有不可微函数,使用反向传播训练方法时需要采用近似方法,因此多示例神经网络的预测准确性不高。〖BP）〗为了提高预测准确性,构造了一类优化多示例神经网络参数的改进遗传算法, 借助基于反向传播训练的局部搜索算子、排挤操作和适应性操作概率计算方式来提高收敛速度和防止早熟收敛。通过公认的数据集上实验结果的分析和对比,证实了这个改进的遗传算法能够明显地提高多示例神经网络的预测准确性,同时还具有比其他算法更快的收敛速度。     

PAC Learning Axis-aligned Rectangles with Respect to Product Distributions from Multiple-Instance Examples

We describe a polynomial-time algorithm for learning axis-aligned rectangles in Q ^d with respect to product distributions from multiple-instance examples in the PAC model. Here, each example consists of n elements of Q^d together with a label indicating whether any of the n points is in the rectangle to be learned. We assume that there is an unknown product distribution D over Q ^d such that all instances are independently drawn according to D. The accuracy of a hypothesis is measured by the probability that it would incorrectly predict whether one of n more points drawn from D was in the rectangle to be learned. Our algorithm achieves accuracy with probability 1- in O (d⁵ n¹²/²⁰ log² nd/ time.     

相关系数和卡方检验的正负关联规则挖掘算法

随着经济全球化和信息技术的发展,为了给企业发展提供更多的信息支持和决策帮助,数据中心纷纷建立起来,其作用是通过分析海量数据来为企业的政策趋向和战略选择提供意见佐证.但是,要想在庞大的数据海洋中获取数据间的相关性依赖并非易事,而且,传统的关联规则算法通常并不完善,产生的规则通常会包含一些没有意义甚至错误的规则,即所谓的弱规则与负规则.针对这种现状,提出一种度量正负关联规则的检验方法,并引入赋予不同权重值给不同数据库的方式,提高在水平多数据库中挖掘正负关联规则的效率.     

基于神经网络的多示例回归算法

通过重新定义全局误差函数,提出了一种基于神经网络的多示例回归算法,并在基准数据集上对该算法进行了测试,取得了较好的效果.     

正负模糊规则系统、极限学习机与图像分类

传统的图像分类一般只利用了图像的正规则,忽略了负规则在图像分类中的作用。Nguyen将负规则引入图像分类,提出将正负模糊规则相结合形成正负模糊规则系统,并将其用于遥感图像和自然图像的分类。实验证明,其在图像分类过程中取得了很好的效果。他们提出的前馈神经网络模型在调整权值时利用了梯度下降法,由于步长选择不合理或陷入局部最优从而使训练速度受到了限制。极限学习机（ELM）是一种单隐层前馈神经网络（SLFN）学习算法,具有学习速度快,泛化性能好的优点。本文证明了极限学习机与正负模糊规则系统的实质是等价的,遂将其用于图像分类。实验结果说明了极限学习机能很好的利用正负模糊规则相结合的方法对图像进行分类,实验结果较为理想。     

一种基于相似性的规则集一致性度量的新方法

规则学习算法通过学习样本产生规则集,如何判断规则集的好坏?目前规则集的评估标准有很多,如一致性、可测量性和易理解性评估,但它们有各自的缺点。提出一种新的评估规则集方法:相似性度量。这种度量方法可以计算出两个规则集之间的正相似性与负相似性。实验说明这种新的度量方法可以被用来评估规则集间的一致性,并且可以决定使用哪种算法解决某类问题或选择组合分类模型中的基模型。