一个示例学习系统的设计与实现

本文简要介绍了我们自行研制的一个示例学习系统的结匈,学习算法 CORE、属性压缩与构造、噪声处理及渐近式学习等内容。     

示例学习中的一类新算法

在示例学习这一机器学习的分支领域中有两类非常重要的算法,其中一个是以ＩＤ３为代表算法,其知识表示是用决策树。在是ＡＱ算法,其知识表示是产生式规则。ＩＤ３的优点是匹配速度快,但其规则数目太多,ＡＱ虽然能生成数目相对ＩＤ３不十分多的产生式规则,钵民ＩＤ３相比却慢得多,因此就示例学习这一领域提出了一种新的算法ＨＰ,这一算法是基于ｎ维欧几里空间中的超平面提出的,对一个正例集和一个反例集,这一算法的规则只有     

基于弱标签的多示例迁移学习方法

作为监督学习的一种变体,多示例学习(MIL)试图从包中的示例中学习分类器。在多示例学习中,标签与包相关联,而不是与单个示例相关联。包的标签是已知的,示例的标签是未知的。MIL可以解决标记模糊问题,但要解决带有弱标签的问题并不容易。对于弱标签问题,包和示例的标签都是未知的,但它们是潜在的变量。现在有多个标签和示例,可以通过对不同标签进行加权来近似估计包和示例的标签。提出了一种新的基于迁移学习的多示例学习框架来解决弱标签的问题。首先构造了一个基于多示例方法的迁移学习模型,该模型可以将知识从源任务迁移到目标任务中,从而将弱标签问题转换为多示例学习问题。在此基础上,提出了一种求解多示例迁移学习模型的迭代框架。实验结果表明,该方法优于现有多示例学习方法。     

面向增量分类的多示例学习

近年来多示例学习(multi-instance learning, MIL)被广泛应用于复杂数据问题中,但现有的多示例学习算法往往在封闭静态环境中工作良好,其所处理的类别数量也恒定不变.然而在现实应用当中,常会有新的类别不断地加入到系统当中,例如科学的发展中不断出现新的议题、社交媒体中不断出现新的话题.由于存储限制或保密协议等原因,旧数据可能随着时间的发展变得不可见,这使得直接学习新的类别时模型会忘记曾经学过的知识.增量学习则被用于解决上述问题.因此,在多示例学习设定下进行增量数据挖掘十分有意义,然而目前针对多示例学习下的增量数据挖掘的工作十分稀少.提出一个基于注意力机制和原型分类器映射的多示例增量数据挖掘方法,通过注意力机制选择性地将多示例包的示例汇合为统一的特征表示,然后为每个类别生成类别原型表示并存储下来.类别原型通过原型分类器映射模块得到无偏鲁棒的类别分类器,并通过上一个增量阶段生成的分类器的预测结果对新增量阶段生成的分类器的预测结果进行知识蒸馏,使得模型能够在多示例学习下以极低的存储很好地保留模型的旧知识.实验结果表明：提出的方法能够有效地进行面向增量分类的多示例学习.     

归纳学习算法CAP2的研究与应用

本文提出以实例空间中状态划分概率的大小作为启发式信息，以提供的正反实例集为依据，基于二叉树分类方法的示例式归纳学习算法ＣＡＰ２．它输出的分类规则是谓词演算表达式．该算法可根据用户对精度的要求控制分类深度，得到不同精度的规则，并能处理连续数据、噪音数据和利用用户提供的背景知识，既适用于同时给定概念的正、反例集的情况，也适用于只给正例集的情况．本文还介绍了ＣＡＰ２算法的应用情况，并和著名的ＩＤ３算法进行了比较．ＣＡＰ２已嵌入到一个自动知识获取系统．     

利用类比知识的基于解释的学习

本文介绍如何将示例中包含的新的知识通过基于解释的学习加入到原来不完善的领域知识库中去。整个学习过程是在示例的引导下依据领域理论和类比知识进行推理的纯演绎过程。因此，经过改进的领域理论可以保持其正确性。系统的原型在ＳＵＮ工作站上用ＱＵＩＮＴＵＳ ＰＲＯＬＯＧ实现。     

基于深度学习的智能问答系统研究与设计

智能客户服务系统是在大规模知识处理的基础上开发的面向行业的应用程序,适用于大规模知识处理、自然语言理解、知识管理、自动问答系统和推理等技术行业。近年来,机器学习、强化学习、深度学习等技术的革命性发展,促进了问答系统的进一步发展。笔者设计了一个系统,该系统基于给定文档提取知识,并自动生成知识库,实现基本功能。     

通过评估示例中概念的重要性来解决多示例学习问题

在多示例学习问题中,训练数据集里面的每一个带标记的样本都是由多个示例组成的包,其最终目的是利用这一数据集去训练一个分类器,使得可以利用该分类器去预测还没有被标记的包。在以往的关于多示例学习问题的研究中,有的是通过修改现有的单示例学习算法来迎合多示例的需要,有的则是通过提出新的方法来挖掘示例与包之间的关系并利用挖掘的结果来解决问题。以改变包的表现形式为出发点,提出了一个解决多示例学习问题的算法——概念评估算法。该算法首先利用聚类算法将所有示例聚成d簇,每一个簇可以看作是包含在示例中的概念;然后利用原本用于文本检索的TF-IDF(Term Frequency-Inverse Document Frequency)算法来评估出每一个概念在每个包中的重要性;最后将包表示成一个d维向量——概念评估向量,其第i个位置表示第i个簇所代表的概念在某个包中的重要程度。经重新表示后,原有的多示例数据集已不再是"多示例",以至于一些现有的单示例学习算法能够用来高效地解决多示例学习问题。     

“互联网+”背景下自适应学习系统的研究

分析"互联网+"背景下的自适应学习及自适应学习系统的特点,介绍自适应学习系统的开发过程,以移动应用开发课程为例,说明自适应系统的结构特点,并以几个章节知识点为示例介绍自适应学习系统的工作方式及学习者的学习方式。     

示例学习的抽象信道模型及其应用

本文提出了示例学习的抽象信道模型，引入一个新的特征选择量－信道容量。介绍了应用这个模型建立的示例学习系统IBLE及其用于质谱解析取得的结果。     

图学习的区域图像标注方法

近年来,图像标注技术得到广泛关注.提出一种图学习的自动图像标注方法,将图像标注作为多示例学习框架下的半监督学习策略,通过给出适合图像在包空间的有效度量方式,充分利用未标注样本挖掘图像特征的内在规律性,将半监督学习的方法和多示例学习有效结合起来,从而获得更准确的标注结果.实验结果表明,提出的标注方法可行,同时标注结果与传统的标注方法相比得到了明显提高.     

在线多示例学习目标跟踪方法研究

多示例学习是不同于传统机器学习的一种新的学习模式,近年来被应用于图像检索、文本分类等领域。提出一种基于在线学习的多示例学习算法,将其应用于目标跟踪。该算法通过构造一个在线学习的多示例分类器作为检测器,无需制作大量的样本进行离线的训练,只需在第一帧手动选中目标,便可以自动生成正样本和负样本,并在随后的帧序列中,根据跟踪到的目标自动更新分类器,在跟踪器丢失目标或者目标从场景中消失后,它能够重新检测到目标并更新跟踪器,从而有效地支持了跟踪器跟踪目标。实验证明该方法在背景复杂,光线变化,摄像机抖动等复杂条件下,可以很好地跟踪到目标,且对遮挡具有较好的鲁棒性。     

一个机器学习新算法——HP算法的实现及研究

在示例学习这一机器学习的分支领域中有两类非常重要的算法,其中一个以ID3为代表算法,其知识表示是决策树.另一类是AQ算法,其知识表示是产生式规则.ID3的优点是匹配速度快,但其规则数目太多.AQ虽然能生成数目相对ID3不十分多的产生式规则,但其匹配速度与ID3比较却慢的多.因此就示例学习这一领域提出了一个新算法--HP,这个算法是基于n维欧几里德空间中的超平面提出的,对一个正例集和一个反例集,这一算法的规则只有一个,其匹配速度比AQ要快得多.     

图像检索中结合文本信息的多示例原型选择及主动学习策略

针对基于区域的图像检索系统检索精度不高的问题,提出结合文本信息的多示例原型选择算法和反馈标注机制。在示例原型选择时,首先使用文本信息进行正例拓展,然后通过估计负示例分布进行最初示例选择,最后通过示例更新和分类器学习的交替优化获得真的示例原型。相关反馈采用了多策略相结合的主动学习机制,通过信息值控制主动学习策略的自动切换,使系统能够自动选择当前最适合的主动学习策略。实验结果表明,该方法有效且性能优于其他方法。     

多示例学习下的深度森林架构

多示例学习已经广泛地应用到各个领域,如图像检索、文本分类、人脸识别等.而近年来深度神经网络也成功地运用到各个任务和问题上,MI-Nets是深度神经网络在多示例学习领域一个成功的应用.虽然MI-Nets很成功,但其主要在图像相关的任务上表现突出,而在非图像任务比如文本分类任务上的性能并不令人满意.而最近2年兴起的深度森林在非图像任务上取得了较好的成绩,并因为其相对于深度神经网络有较少的参数和较稳定的性能而受到青睐.所以用深度森林来提升多示例学习性能具有可行性.但由于深度森林结构的限制,并不能把组成深度森林的每一个森林都直接替换成包级别的森林,需要修改深度森林的结构来达到目的.提出了一种新的深度森林架构MIDF.在该架构下,为了使得中间层的输出分布可以和包中的示例拼接成功,拼接时把包里的每个示例都看作是一个包,从而使得级联结构依然有效.另外,还能自动确认深度森林的层数.实验结果表明：该方法在图像任务上的性能与擅长处理图像任务的MI-Nets相当;而在文本数据上,该方法取得了比MI-Nets和其他基线算法更好的效果.     

自学习软件自动化系统NDSAIL的设计与实现

本文介绍一个具有自学习功能的软件自动化系统NDSAiL。该系统能自动从示例中学习问题分解方法,并用于自动生成部分通用算法.该系统还能自动学习基本算法及算法优化方法.在算法构架学习背景下,有效地解决了解释学习的操作性准则问题;并针对一类问题解决了归纳学习结果的正确性问题以及unfold/fold转换技术的完全自动化问题.     

学习系统中的知识

本文阐述了学习系统中背景知识和领域理论的区别和联系以及它们在学习过程中的地位和作用，强调了背景知识对提高系统的学习能力有着重要的作用。文中还以一个具体的学习系统为例说明了可以利用背景知识帮助基于解释的学习系统克服不完善的领域理论带来的问题，使系统能完成知识级的学习。文章最后还讨论了背景知识的来源与获取问题     

基于自动编码器组合的深度学习优化方法

为了提高自动编码器算法的学习精度,更进一步降低分类任务的分类错误率,提出一种组合稀疏自动编码器(SAE)和边缘降噪自动编码器(mDAE)从而形成稀疏边缘降噪自动编码器(SmDAE)的方法,将稀疏自动编码器和边缘降噪自动编码器的限制条件加载到一个自动编码器(AE)之上,使得这个自动编码器同时具有稀疏自动编码器的稀疏性约束条件和边缘降噪自动编码器的边缘降噪约束条件,提高自动编码器算法的学习能力。实验表明,稀疏边缘降噪自动编码器在多个分类任务上的学习精度都高于稀疏自动编码器和边缘降噪自动编码器的分类效果;与卷积神经网络(CNN)的对比实验也表明融入了边缘降噪限制条件,而且更加鲁棒的SmDAE模型的分类精度比CNN还要好。     

一种具有自学习能力的动态调度决策机制*

车间资源分配知识是以专家历史经验为基础,由粗模糊集理论获取调度规则知识,从而来进行资源的分配。这种规则知识在短时间内有较高的可靠性,但伴随现在制造环境的急剧变化,知识陈旧化是一个必然的问题。对此提出了一种具有自学习能力的动态调度决策机制,其知识迭代的更新采用一种具有双向学习能力的改进算法,从而使系统在运行过程中能自动感知环境的变化,不断进行自适应、自学习的知识更新;最后,描述动态调度决策系统的决策及知识更新过程算法,并通过仿真进行了分析验证。     

用于多标记学习的阈值确定算法

提出一种多标记学习阈值确定算法(DTML),为每个类别标记确定一个阈值。当分类器将一个测试示例预测为某个类别标记的分值大于该类别标记的阈值时,则将该类别标记添加到该测试示例的最终分类结果中。该算法采用编程实现,并将其应用于PT5方法和TML算法。实验结果表明,利用DTML算法为多标记学习算法确定阈值,能够得到较好的分类效果。