基于多示例学习的图像检索方法

由于多示例学习能够有效处理图像的歧义性,因此被应用于基于内容的图像检索(CBIR)。本文提出一种基于多示例学习的CBIR方法,该方法将图像作为多示例包,基于高斯混合模型和改进的EM算法全自动分割图像,并提取颜色、纹理、形状和不变矩等区域信息作为示例向量生成测试图像包。根据用户选择的实例图像生成正包和反包,使用多种多示例学习算法进行学习,实现图像检索和相关反馈,得到了较好的效果。     

包空间多示例图像自动分类

为了有效地解决多示例图像自动分类问题,提出一种将多示例图像转化为包空间的单示例描述方法.该方法将图像视为包,图像中的区域视为包中的示例,根据具有相同视觉区域的样本都会聚集成一簇,用聚类算法为每类图像确定其特有的“视觉词汇”,并利用负包示例标注确定的这一信息指导典型“视觉词汇”的选择;然后根据得到的“视觉词汇”构造一个新的空间—包空间,利用基于视觉词汇定义的非线性函数将多个示例描述的图像映射到包空间的一个点,变为单示例描述;最后利用标准的支持向量机进行监督学习,实现图像自动分类.在Corel图像库的图像数据集上进行对比实验,实验结果表明该算法具有良好的图像分类性能.     

一种基于多示例学习的图像检索方法

由于多示例学习能够有效处理图像的歧义性,因此被应用于基于内容的图像检索(CBIR).本文提出一种基于多示例学习的CBIR方法.该方法将图像作为多示例包,使用基于自组织特征映射网络聚类的方法分割图像,并将由颜色和纹理特征描述的图像区域作为包中示例.根据用户选择的实例图像生成正包和反包,使用多示例学习算法进行学习,实现图像检索和相关反馈.实验结果表明这种方法与已有方法检索效果相当,但检索效率更高.     

基于深度图像学习的人体部位识别

针对人体部位识别问题,提出一种基于深度图像学习的人体部位识别系统。构建深度图样本库,包括训练集和测试集,提取训练样本中的局域梯度特征,利用随机森林学习得到分类器,并对图像进行单点分类,计算人体各关节点。实验结果表明,该系统能快速准确地识别人体的不同部位。     

多核多示例学习的糖尿病视网膜病变诊断

目的 在传统糖尿病视网膜病变（糖网）诊断系统中,微动脉瘤和出血斑病灶检测的精确性决定了最终诊断性能。目前的检测诊断方法为了保证高敏感性而产生了大量假阳性样本,由于数据集没有标注病灶区域导致无法有效地建立监督性分类模型以去除假阳性。为了解决监督性学习在糖网诊断中的问题,提出一种基于多核多示例学习的糖网病变诊断方法。方法 首先,检测疑似的微动脉瘤和出血斑病灶区域,并将其视为多示例学习模型中的示例,而将整幅图像视为示例包,从而将糖网诊断转化为多示例学习问题;其次,提取病灶区域的特征对示例进行描述,并通过极限学习机（ELM）分类算法过滤不相关示例以提升后续多示例学习的分类性能;最后,构建多核图的多示例学习模型对健康图像和糖网病变图像进行分类,以实现糖网病变的诊断。结果 通过对国际公共数据集MESSIDOR进行糖网病变诊断评估实验,获得的准确率为90.1%,敏感性为92.4%,特异性为91.4%,ROC（receiver operating characteristic）曲线下面积为0.932,相比其他算法具有较大性能优势。结论 基于多核多示例学习方法在无需提供病灶标注的情况下,能够高效自动地对糖网病变进行诊断,从而既能避免医学图像中标注病灶的费时费力,又可以免除分类算法中假阳性去除的问题,获得较好的效果。     

基于多示例学习的超市农产品图像识别

为解决超市农产品价格需依靠人工记忆的问题,实现农产品的智能识别,提出了基于多示例学习的农产品图像识别方法。采用改进的单色块及其邻域算法(SBN)特征提取算法将训练样本组织成多示例包,利用多样性密度算法对正包和反包进行多示例学习,根据多样性密度最大化模型对测试样本进行识别。分别在自采集的多类别果蔬图像集以及Amsterdam图像库中的单类别果蔬图像上进行测试。结果表明该方法能够识别不同光照、存在干扰物的环境背景下,以任意方式摆放的多类别混合果蔬图像,识别率最高达到94.21%,且对于单类别果蔬图像的识别优于全局方法。因此利用基于多示例学习的图像识别方法对超市农产品的自动售卖提供辅助具有可行性。     

基于半监督多示例学习的对象图像检索

针对基于对象的图像检索问题,提出一种新的半监督多示例学习(MIL)算法.该算法将图像当作包,分割区域的视觉特征当作包中的示例,按"点密度"最大原则,提取"视觉语义"构造投影空间;然后利用定义的非线性函数将包映射成投影空间中的一个点,以获得图像的"投影特征",并采用粗糙集(RS)方法对其进行属性约简;最后利用直推式支持向量机(TSVM)进行半监督的学习,得到分类器.实验结果表明,该方法有效且性能优于其他方法.     

一种结合多示例学习的图像检索方法①

提出一种基于多示例学习（Multiple—instance learning）的图像检索方法,将多示例学习应用于图像检索中,以有效的处理图像的歧义性。该方法首先将图像作为多示例包,其次采用自适应k—means图像分割算法将图像自动分成多个示例,然后根据用户选择的实例图像生成正包和反包,再采用EM—DD（expectation maximization diversedensity）算法进行多示例学习,实现图像检索和相关反馈,最终使用户得到比较满意的结果。     

基于多示例学习的高分辨率遥感影像面向对象分类

多示例学习以示例组成的包作为训练样本,学习的目的是预测新包的类型。从分类角度上,处理问题的策略类似于以均质对象为基本处理单元的面向对象影像分类。针对两者之间理论和方法相似性,将多样性密度多示例学习算法与面向对象方法相结合用于高分辨率遥感图像分类。以图像分割方法获取均值对象作为示例,利用多样性密度算法对样本包进行学习获取最大多样性密度示例,最后根据相似性最大准则对单示例包或是经聚类算法得到的新包进行类别标记,以获取最终分类结果。通过与SVM分类器的比较,发现多样性密度算法的平均分类精度都在70%以上,最高可达96%左右,且对小样本问题学习能力更强,结果表明多示例学习在遥感图像分类中有着广泛应用前景。     

基于多示例学习的对象图像推荐算法

用户评分矩阵稀疏问题影响协同过滤的推荐性能。为此,提出一种基于多示例学习的对象图像推荐算法。将分割区域的视觉特征作为图像中的示例,利用多样性密度函数求得最大多样性密度点,使用正负图像内容评价不同用户间的相似性,将其与传统余弦相似性进行组合,从而实现推荐。实验结果表明,该算法提高了推荐性能。     

基于联合多样性密度的汉语方言辨识

为了解决汉语方言模型设计较为单一的问题,提高方言辨识的效率,提出了一种基于联合多样性密度的汉语方言辨识方法。多样性密度算法是多示例学习中的一种经典算法,联合多样性密度算法是对其的改进应用。该方法首先将方言进行预分类为多个小类,然后将各小类方言进行多示例包生成,并通过期望最大多样性密度算法进行多示例学习,得到的多个多样性密度点作为方言的多示例模型,最后提出平均最近距离算法进行模式分类。该方法在训练模型时得到的方言模型更为全面、完整,在模式分类时考虑了未知包中每个示例的影响,提高了辨识系统的效率。     

Adapting RBF Neural Networks to Multi-Instance Learning

In multi-instance learning, the training examples are bags composed of instances without labels, and the task is to predict the labels of unseen bags through analyzing the training bags with known labels. A bag is positive if it contains at least one positive instance, while it is negative if it contains no positive instance. In this paper, a neural network based multi-instance learning algorithm named RBF-MIP is presented, which is derived from the popular radial basis function (RBF) methods. Briefly, the first layer of an RBF-MIP neural network is composed of clusters of bags formed by merging training bags agglomeratively, where Hausdorff metric is utilized to measure distances between bags and between clusters. Weights of second layer of the RBF-MIP neural network are optimized by minimizing a sum-of-squares error function and worked out through singular value decomposition (SVD). Experiments on real-world multi-instance benchmark data, artificial multi-instance benchmark data and natural scene image database retrieval are carried out. The experimental results show that RBF-MIP is among the several best learning algorithms on multi-instance problems.     

在线多示例学习目标跟踪方法研究

多示例学习是不同于传统机器学习的一种新的学习模式,近年来被应用于图像检索、文本分类等领域。提出一种基于在线学习的多示例学习算法,将其应用于目标跟踪。该算法通过构造一个在线学习的多示例分类器作为检测器,无需制作大量的样本进行离线的训练,只需在第一帧手动选中目标,便可以自动生成正样本和负样本,并在随后的帧序列中,根据跟踪到的目标自动更新分类器,在跟踪器丢失目标或者目标从场景中消失后,它能够重新检测到目标并更新跟踪器,从而有效地支持了跟踪器跟踪目标。实验证明该方法在背景复杂,光线变化,摄像机抖动等复杂条件下,可以很好地跟踪到目标,且对遮挡具有较好的鲁棒性。     

Abnormal visual event detection based on multi-instance learning and autoregressive integrated moving average model in edge-based Smart City surveillance

The abnormal visual event detection is an important subject in Smart City surveillance where a lot of data can be processed locally in edge computing environment. Real-time and detection effectiveness are critical in such an edge environment. In this paper, we propose an abnormal event detection approach based on multi-instance learning and autoregressive integrated moving average model for video surveillance of crowded scenes in urban public places, focusing on real-time and detection effectiveness. We propose an unsupervised method for abnormal event detection by combining multi-instance visual feature selection and the autoregressive integrated moving average model. In the proposed method, each video clip is modeled as a visual feature bag containing several subvideo clips, each of which is regarded as an instance. The time-transform characteristics of the optical flow characteristics within each subvideo clip are considered as a visual feature instance, and time-series modeling is carried out for multiple visual feature instances related to all subvideo clips in a surveillance video clip. The abnormal events in each surveillance video clip are detected using the multi-instance fusion method. This approach is verified on publically available urban surveillance video datasets and compared with state-of-the-art alternatives. Experimental results demonstrate that the proposed method has better abnormal event detection performance for crowded scene of urban public places with an edge environment.     

半监督多示例核

在多示例学习中引入利用未标记示例的机制,能降低训练的成本并提高学习器的泛化能力。当前半监督多示例学习算法大部分是基于对包中的每一个示例进行标记,把多示例学习转化为一个单示例半监督学习问题。考虑到包的类标记由包中示例及包的结构决定,提出一种直接在包层次上进行半监督学习的多示例学习算法。通过定义多示例核,利用所有包(有标记和未标记)计算包层次的图拉普拉斯矩阵,作为优化目标中的光滑性惩罚项。在多示例核所张成的RKHS空间中寻找最优解被归结为确定一个经过未标记数据修改的多示例核函数,它能直接用在经典的核学习方法上。在实验数据集上对算法进行了测试,并和已有的算法进行了比较。实验结果表明,基于半监督多示例核的算法能够使用更少量的训练数据而达到与监督学习算法同样的精度,在有标记数据集相同的情况下利用未标记数据能有效地提高学习器的泛化能力。     

人脸性别约束下的深度随机森林表情识别

由于人脸表情类内变化和类间干扰因素的存在,人脸表情识别仍面临着巨大挑战.提出一种基于性别条件约束随机森林的深度人脸表情识别方法,解决人脸表情识别中噪声、性别等变化和干扰问题.首先,采用深度多示例学习方法提取鲁棒性人脸特征,解决人脸光照、遮挡和低分辨率等图像变化问题;其次,采用性别条件随机森林分类方法进行人脸表情分类器设计,解决人脸性别因素干扰问题.在公开的CK+、BU-3DEF、LFW人脸表情数据库上进行广泛实验结果表明:所提出方法在3大人脸数据库上分别达到了98.83%、90%、60.58%的识别率,与先进方法相比具有更好的性能和鲁棒性.另外,与其他先进的深度学习方法(需要大量训练数据库)相比,所提出方法只需要小量训练样本就能达到较好效果.     

基于弱标签的多示例迁移学习方法

作为监督学习的一种变体,多示例学习(MIL)试图从包中的示例中学习分类器。在多示例学习中,标签与包相关联,而不是与单个示例相关联。包的标签是已知的,示例的标签是未知的。MIL可以解决标记模糊问题,但要解决带有弱标签的问题并不容易。对于弱标签问题,包和示例的标签都是未知的,但它们是潜在的变量。现在有多个标签和示例,可以通过对不同标签进行加权来近似估计包和示例的标签。提出了一种新的基于迁移学习的多示例学习框架来解决弱标签的问题。首先构造了一个基于多示例方法的迁移学习模型,该模型可以将知识从源任务迁移到目标任务中,从而将弱标签问题转换为多示例学习问题。在此基础上,提出了一种求解多示例迁移学习模型的迭代框架。实验结果表明,该方法优于现有多示例学习方法。     

基于流行排序的多示例图像检索方法

为了提高图像检索的性能,提出了一种基于流行排序的多示例图像检索方法,将分割后的图像表示为多示例的形式,通过给出适合图像在包空间的度量方式,有效结合流行排序和多示例学习的方法来进行图像检索.实验结果表明,采用所提出的方法的检索结果与传统的检索方法相比,检索率得到了明显的提高,检索结果更符合人的视觉习惯.     

基于改进的Fisher准则的多示例学习视频人脸识别算法

视频环境下目标的姿态变化使得人脸关键帧难以准确定位,导致基于关键帧标识的视频人脸识别方法的识别率偏低.为解决上述问题,本文提出一种基于Fisher加权准则的多示例学习视频人脸识别算法.该算法将视频人脸识别视为一个多示例问题,将视频中归一化后的人脸帧图像作为视频包中的示例,采用分块TPLBP级联直方图作为示例纹理特征,示例特征的权值通过改进的Fisher准则获得.在训练集合的示例特征空间中,采用多示例学习算法生成分类器,进而实现对测试视频的分类及预测.通过在Honda/UCSD视频库和Youtube Face数据库中的相关实验,该算法达到了较高的识别精度,从而验证了算法的有效性.同时,该方法对均匀光照变化、姿态变化等具有良好的鲁棒性.