在线学习算法综述

随着信息技术的迅猛发展,尤其是互联网行业的广泛应用,越来越多的领域出现了对海量、高速到达的数据实时处理需求。如何从浩瀚的“数据海洋”中挖掘有用的知识变得尤为重要。传统批处理模式的机器学习算法在面临 大数据时变得力不从心,而在线学习通过流式计算框架,在内存中直接对数据实时运算,为大数据的学习提供了有力的工具,这类在线学习框架有望应对大数据背景下机器学习任务面临的困境与挑战。本文总结了经典和目前主流的在线学习算法,主要包括：(1）在线线性学习算法;(2）基于核的在线学习算法;(3）其他经典的在线学习算法;(4）在线学习算法的优化理论。本文介绍在线学习与深度学习结合方法的研究现状,探讨在线学习算法研究中的关键问题与应用场景,最后展望了在线学习下一步的研究方向。     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.     

《软件学报》大数据时代的机器学习研究专刊征文通知

为及时反映我国在大数据机器学习方面的研究进展。《软件学报》将出版大数据时代的机器学习研究专刊,收录该领域近期取得的原创性高水平研究成果,进一步促进该领域的发展.专刊将突出大数据背景下机器学习的几个研究热点,包括表示学习(如何构建有效表示)、在线机器学习(如何处理动态数据)、并行与分布式学习(如何进行高效学习)、弱监督学习(如何利用复杂语义)以及在特定领域的应用等.专刊预录用论文需     

基于小规模标注语料的机器学习方法研究

文中通过讨论机器学习和自然语言处理之间的关系，论述了语料库语言工程中机器学习的困境，概述分析了应用半监督学习的现状，研究有限样本下结合未标注样本的方法和统计学习理论框架的结合前景。     

面向认知的多源数据学习理论和算法研究进展

多源数据学习在大数据时代具有极其重要的意义.目前,多源数据学习算法研究远远超前于多源数据学习理论研究,经典的机器学习理论难以应用于多源数据学习,更难以提供多源数据学习算法在实际应用中的理论保障.从学习的最终目的是知识这一认知切入点出发,对人类学习的认知机理、机器学习的三大经典理论（计算学习理论、统计学习理论和概率图理论）以及多源数据学习算法设计这3个方面的研究进展进行总结,最后给出未来研究方向的思考.     

平行手术:基于ACP的智能手术计算方法*

由人工社会(Artificial Societies)、计算实验(Computational Experiments)、平行执行(Parallel Execution)构成的ACP理论在平行智能和复杂系统建模与调控中发挥重要作用.文中将ACP理论引入到医疗手术领域中,提出平行手术的基本框架及相关流程.在平行手术中,采用人工场景模拟医生和患者情况,表征真实复杂的手术场景.在此基础上,采用计算试验的方法试验和评估手术方案,选择最佳方案.最后通过虚实互动的平行执行功能在线优化手术方案,实时地对手术进行智能预测与导引.整个框架结合规则提取、计算机图形学、虚拟现实/增强现实、机器学习、知识自动化等技术,力图有效提高手术的效率和准确性.     

面向众包数据清洗的主动学习技术

传统方法多数采用机器学习算法对数据进行清洗.这些方法虽然能够解决部分问题,但存在计算难度大、缺乏充足的知识等局限性.近年来,随着众包平台的兴起,越来越多的研究将众包引入数据清洗过程,通过众包来提供机器学习所需要的知识.由于众包的有偿性,研究如何将机器学习算法与众包有效且低成本结合在一起是必要的.提出了两种支持基于众包的数据清洗的主动学习模型,通过主动学习技术来减少众包开销,实现了对给定的数据集基于真实众包平台的数据清洗,最大程度减少成本的同时提高了数据的质量.在真实数据集上的实验结果验证了所提模型的有效性.     

平行眼:基于ACP的智能眼科诊疗

ACP理论是平行智能的核心,由人工社会(Artificial Societies, A)、计算实验(Computational Experiments, C)、平行执行(Parallel Execution, P)构成,在复杂系统建模与调控中发挥重要的作用.人眼作为一个典型的复杂系统,是接收外界信息的重要器官,拥有复杂而又精细的结构,同时又和身体其他器官有着密不可分的联系.文中将ACP理论引入到人眼的诊疗和护理中,提出平行眼的基本框架.人工眼(A)构建不断更新的虚拟人眼模型及其对应的由诊疗护理知识构成的虚拟眼科医生.在此基础上,计算实验(C)借助人工眼进行各种眼病发展预测并制定最优的治疗护理方案.最后平行执行(P)将虚拟世界和人工世界串联起来,利用实际人眼的数据不断更新人工眼模型,同时借助人工眼和计算实验引导实际人眼进行在线化、长期化的治疗护理.整个框架结合知识自动化、计算机视觉、知识图谱、机器学习等相关人工智能技术,力图有效提升对于人眼疾病的诊断精度,实现对于人眼的长期、精确、有效的监护.     

基于飞桨框架的三阶递进式机器学习教学模式探索与实践

如何结合大数据与人工智能技术的时代特征和机器学习课程的自身特点,设计一套行之有效的教学模式是摆在专业教师面前的一个难题,对此提出一种三阶递进式机器学习教学模式,从课堂、实验、三级项目层层递进,基于百度飞桨框架介绍具体教学实践过程,最后说明教学效果.     

平行皮肤:基于视觉的皮肤病分析框架

随着计算机与人工智能的快速发展,基于图像感知的皮肤病分析方法取得一些成果.然而,以深度学习为主的计算机辅助分析方法依赖于领域专家标注的医学大数据,诊断结果缺乏医学可解释性.为此,文中提出基于视觉的皮肤病分析统一框架——平行皮肤.启发于ACP方法与平行医学图像分析框架,通过构建人工皮肤图像系统实现数据选择与生成,通过预测学习的计算实验完成诊断分析模型构建与评估,并利用描述学习与指示学习融合专家知识,引导人工图像系统数据生成与选择,从而实现闭环诊断分析模型优化.     

《软件学报》大数据时代的机器学习研究专刊征文通知

为及时反映我国在大数据机器学习方面的研究进展,《软件学报》将出版大数据时代的机器学习研究专刊,收录该领域近期取得的原创性高水平研究成果,进一步促进该领域的发展,专刊将突出大数据背景下机器学习的几个研究热点,包括表示学习(如何构建有效表示)、在线机器学习(如何处理动态数据)、并行与分布式学习(如何进行高效学习)、弱监督学习(如何利用复杂语义)以及在特定领域的应用等,专刊预录用论文需     

《软件学报》大数据时代的机器学习研究专刊征文通知

为及时反映我国在大数据机器学习方面的研究进展,《软件学报》将出版大数据时代的机器学习研究专刊,收录该领域近期取得的原创性高水平研究成果,进一步促进该领域的发展,专刊将突出大数据背景下机器学习的几个研究热点,包括表示学习(如何构建有效表示)、在线机器学习(如何处理动态数据)、并行与分布式学习(如何进行高效学习)、弱监督学习(如何利用复杂语义)以及在特定领域的应用等,专刊预录用论文需     

基于多标记与半监督学习的入侵检测方法研究

机器学习所关注的问题是系统如何随着经验积累自动提高分类性能,这与入侵检测通过对外界入侵进行自我学习来提高其检测率和降低误报率是一致的。因此把机器学习的理论和方法引入到入侵检测中已成为一种有效方案。文中结合多标记与半监督学习理论,将ML-KNN算法应用于入侵检测系统。在KDD CUP99数据集上的仿真结果表明,该方法在入侵检测中能获得高检测率和低误报率。     

信息见解引导的可视化推荐

对高维数据的探索和分析需要在数据中提取有价值的信息见解并生成合适的可视化图表.为降低生成有效图表的门槛,以信息见解为中心自动生成可视化图表,提出一个可视化推荐框架,包含数据片段推荐和视觉编码推荐2部分.在数据片段推荐中,相比现有方法使用单一指标,所提框架结合多种分析方法和机器学习算法进行信息见解的挖掘和数据片段的排序,为用户推荐信息见解丰富的数据片段;在视觉编码推荐中,该框架结合规则和机器学习方法,基于信息见解的特征建立视觉编码映射,并对图表中的关键信息进行高亮以增强用户的理解.在图表类型预测任务中,使用用户绘制的真实可视化图表数据进行实验的结果表明,所提框架比现有方法具有更高的预测准确率;用户调查的结果则证明,该框架能帮助用户更好、更快地了解一个陌生的数据表格中蕴含的关键信息.     

科学发现中的机器学习方法研究

大规模科学装置与重大科学实验使得科学发现进入了数据密集型的第四范式,借助蓬勃发展的人工智能技术促进智能科学发现势在必行.机器学习作为人工智能中的一项重要技术,已广泛应用于各个科学领域.然而,现有工作仅研究特定任务下的机器学习方法,没能抽象出一个通用的智能科学发现研究框架.本文首先总结了科学发现任务中常用的机器学习方法,并将科学任务归类为五大机器学习问题.其次,提出了基于机器学习的智能科学发现研究框架,作为“AI for Science”的典型范例,阐述了一种高效的智能科学发现模式.再次,本文以时域天文学中发现瞬变事件这一科学任务为例,通过实验证明了唯有恰当地结合领域知识后,机器学习算法才能更好地服务于智能科学发现,验证了该框架的有效性.最后进行总结与展望,以期对各领域进行智能科学发现形成参考意义.     

基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.     

统计机器学习中参数可辨识性研究及其关键问题

参数可辨识性研究在统计机器学习中具有重要的理论意义和应用价值.参数可辨识性是关于模型参数能否被惟一确定的性质.在包含物理参数的学习模型中,可辨识性不仅是物理参数获得正确估计的前提条件,更重要的是,它反映了学习机器中由参数决定的物理特征.为扩展到未来类人智能机器研究的考察视角,我们将学习模型纳入"知识与数据共同驱动模型"的框架中讨论.在此框架下,我们提出两个关键问题.第一是参数可辨识性准则问题.该问题考察与可辨识性密切相关的各种判断准则,其中知识驱动子模型与数据驱动子模型的耦合方式为参数可辨识性问题提供了新的研究空间.第二是参数可辨识性与机器学习理论和应用相关联的研究.该研究包括可辨识性对参数估计、模型选择、学习算法、学习动态过程、奇异学习理论、贝叶斯推断等内容的深刻影响.     

关于统计学习理论与支持向量机

模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重 要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计 学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的 统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种 新的通用学习算法--支持向量机(SVM),能够较好的解决小样本学习问题.目前,SLT和 SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的 基本思想、特点和研究发展现状,以引起国内学者的进一步关注.     

《软件学报》大数据时代的机器学习研究专刊 征文通知

为及时反映我国在大数据机器学习方面的研究进展,《软件学报》将出版大数据时代的机器学习研究专刊,收录该领域近期取得的原创性高水平研究成果,进一步促进该领域的发展.专刊将突出大数据背景下机器学习的几个研究热点,包括表示学习(如何构建有效表示)、在线机器学习(如何处理动态数据)、并行与分布     

多示例学习及其研究现状

较全面地介绍和分析了第4种机器学习框架的多示例学习(MIL)．首先通过数学表达式对多示例学习进行描述，概括了其主要性质；然后总结了目前主要的求解多示例学习问题的算法，剖析了这些算法的主要思想；最后对多示例学习的未来发展作了展望．