机器学习公平性指标：现状、挑战和展望

随着机器学习应用的日益普及，机器学习公平性问题引起了学术界和工业界的广泛关注，成为了可信人工智能的重要组成部分。为了评估和改善机器学习应用的公平性，研究人员提出了一系列公平性指标，这些指标有助于保障机器学习模型在不同个体、群体间的公平决策，并为改善和优化模型提供指导。但各界对于指标之间的区别与联系仍没有形成共识，对不同场景、不同任务的公平性定义没有明确的划分，公平性指标缺乏完善的分类体系。文中对公平性指标进行了全面的整理和归类，从指标的数学定义出发，根据是否基于概率统计将公平性指标分为两类，然后分别对这两类指标进行进一步的细粒度划分和阐述。为了便于读者理解和运用，结合一个实际案例，从适用场景和实现条件等方面指出各类指标的优势和面临的挑战，还结合数学定义讨论了指标之间的关系，并对未来趋势进行了展望。     

公平性机器学习研究综述

随着机器学习在社会中的广泛使用,带来的歧视问题引发广泛的社会争议,这逐步引起了产业界和学术界对机器学习算法公平性问题的浓厚兴趣。目前对公平性度量和机器学习公平性机制的研究仍然处于初级阶段。本文对公平性机器学习的研究进行了调研,首先从公平性的定义出发,比较了衡量公平性指标的方法,然后调研了公平性数据集,对公平性问题的产生进行了分析,接下来对现有的公平性机器学习算法进行归类和比较,最后总结了当前公平性机器学习研究中存在的问题,并对关键问题和重大挑战进行了讨论。     

机器学习算法及其应用综述

机器学习是一门多学科的综合性研究,它既是基于模式识别和人工智能的一类计算机科学分支,也是人工智能的一种极其重要的研究方向。文章从机器学习经典算法、新型算法及其应用三个方面进行介绍。首先阐述了6种最常见的机器学习方法,及其机器学习算法的数据并行、聚类、分治3个主要方式;然后,在机器学习经典方法的基础上介绍了结合各专业领域的量子机器学习方法以及李群机器学习;最后,阐述了机器学习方法在各领域中的实际应用,并对机器学习未来的发展趋势做出了分析总结。     

面向深度学习的公平性研究综述

深度学习是机器学习研究中的一个重要领域,它具有强大的特征提取能力,且在许多应用中表现出先进的性能,因此在工业界中被广泛应用.然而,由于训练数据标注和模型设计存在偏见,现有的研究表明深度学习在某些应用中可能会强化人类的偏见和歧视,导致决策过程中的不公平现象产生,从而对个人和社会产生潜在的负面影响.为提高深度学习的应用可靠性、推动其在公平领域的发展,针对已有的研究工作,从数据和模型2方面出发,综述了深度学习应用中的偏见来源、针对不同类型偏见的去偏方法、评估去偏效果的公平性评价指标、以及目前主流的去偏平台,最后总结现有公平性研究领域存在的开放问题以及未来的发展趋势.     

支撑机器学习的数据管理技术综述

应用驱动创新,数据库技术就是在支持主流应用的提质降本增效中发展起来的.从OLTP、OLAP到今天的在线机器学习建模无不如此.机器学习是当前人工智能技术落地的主要途径,通过对数据进行建模而提取知识、实现预测分析.从数据管理的视角对机器学习训练过程进行解构和建模,从数据选择、数据存储、数据存取、自动优化和系统实现等方面,综...     

基于概率模型检查的树模型公平性验证方法

如今,越来越多的社会决策借助机器学习模型给出,包括法律决策、财政决策等等.对于这些决策,算法的公平性是极为重要的.事实上,在这些环境中引入机器学习的目的之一,就是为了规避或减少人类在决策过程中存在的偏见.然而,数据集常常包含敏感特征,或可能存在历史性偏差,会使得机器学习算法产生带有偏见的模型.由于特征选择对基于树的模型具有重要性,它们容易受到敏感属性的影响.提出一种基于概率模型检查的方法,以形式化验证决策树和树集成模型的公平性.将公平性问题转换为概率验证问题,为算法模型构建PCSP#模型,并使用PAT模型检查工具求解,以不同定义的公平性度量衡量模型公平性.基于该方法开发了FairVerify工具,并在多个基于不同数据集和复合敏感属性的分类器上验证了不同的公平性度量,展现了较好的性能.与现有的基于分布的验证器相比,该方法具有更高的可扩展性和鲁棒性.     

软件可信评估综述

软件可信评估是近年来计算机科学的一个新的研究热点和难点,对软件可信评估的研究有助于促进软件产业的振兴与发展。首先分析了软件可信评估的必要性;然后对可信评估的研究现状进行综述,主要包括体现可信的属性特征和软件可信等级的定义、软件可信评估模型、软件可信评估实现方案四个方面;同时分析了目前可信评估中存在的不足以及造成这些不足的根本原因;最后指出了可信评估的未来发展趋势。     

基于离线可信第三方的电子支付协议公平性分析

基于离线可信第三方的电子支付协议通常具有复杂结构,它由多个子协议组合而成,与传统认证协议有显著差别,主要表现在协议目标和攻击者模型两个方面.电子支付协议最主要目的是实现买卖双方的公平交换,同时假定交换双方都可能是不诚实的,需要考虑来自协议合法实体的内部攻击.在重新定义协议公平性和攻击者模型的基础上,提出扩展的串空间模型,以一个真实的电子支付协议为对象,演示了基于串空间理论的电子支付协议公平性形式化模型和分析方法,并指出该协议存在安全缺陷,提出改进意见.     

机器学习的可解释性

机器学习是实现人工智能的重要技术手段之一,在计算机视觉、自然语言处理、搜索引擎与推荐系统等领域有着重要应用.现有的机器学习方法往往注重数据中的相关关系而忽视其中的因果关系,而随着应用需求的提高,其弊端也逐渐开始显现,在可解释性、可迁移性、鲁棒性和公平性等方面面临一系列亟待解决的问题.为了解决这些问题,研究者们开始重新审视因果关系建模的必要性,相关方法也成为近期的研究热点之一.在此对近年来在机器学习领域中应用因果技术和思想解决实际问题的工作进行整理和总结,梳理出这一新兴研究方向的发展脉络．首先对与机器学习紧密相关的因果理论做简要介绍;然后以机器学习中的不同问题需求为划分依据对各工作进行分类介绍,从求解思路和技术手段的视角阐释其区别与联系;最后对因果机器学习的现状进行总结,并对未来发展趋势做出预测和展望．

     

协调机器学习的稳定性研究

传统的机器学习方法 ,学习过程不影响被学习系统 ,并且被学习系统通常不是可变的 ,本文提出的协调机器学习系统 ,把学习与被学习作为一个整体来研究 ,进一步丰富和发展了机器学习的基本内容     

多模态视觉语言表征学习研究综述

我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法....     

机器学习的主要策略综述

当前人工智能研究的主要障碍和发展方向之一就是机器学习。机器学习与计算机科学、心理学、认知科学等各种学科都有着密切的联系,牵涉的面比较广,许多理论及技术上的问题尚处于研究之中。对机器学习的一些主要策略的基本思想进行了较全面的介绍,同时介绍了一些最新的进展和研究热点。     

机器推理的进展与展望

机器学习算法的发展仍受到泛化能力较弱、鲁棒性较差、缺乏可解释性等问题的限制.文中介绍机器推理,说明推理对于机器学习人的知识和逻辑、理解和解释世界的重要作用.首先分析人类大脑推理机制,从认知地图、神经元和奖赏回路,扩展到受脑启发的直觉推理、神经网络和强化学习.进而总结机器推理的方式及其相互关联的现状、进展及挑战,具体包括直觉推理、常识推理、因果推理和关系推理等.最后展望机器推理的应用前景与未来的研究方向.     

基于模型的机器人强化学习研究综述

基于模型的强化学习通过学习一个环境模型和基于此模型的策略优化或规划,实现机器人更接近于人类的学习和交互方式.文中简述机器人学习问题的定义,介绍机器人学习中基于模型的强化学习方法,包括主流的模型学习及模型利用的方法.主流的模型学习方法具体介绍前向动力学模型、逆向动力学模型和隐式模型.模型利用的方法具体介绍基于模型的规划、...     

基于机器学习的软件缺陷预测研究

基于机器学习的软件缺陷预测是一种有效的提高软件可靠性的方法。该方法基于软件模块的统计特性预测软件模块可能出现的缺陷数或是否容易出现缺陷。通过对软件模块缺陷状况的预测,软件开发组织可以将有限的资源集中于容易出现缺陷的模块,从而有效地提高软件产品的质量。基于机器学习的软件缺陷预测近年来出现了很多研究成果,文章概述该领域近年来的主要研究成果,并根据各方法的特点进行了分类。     

Intelligent Choice of Machine Learning Methods for Predictive Maintenance of Intelligent Machines

Machines are serviced too often or only when they fail. This can result in high costs for maintenance and machine failure. The trend of Industry 4.0 and the networking of machines opens up new possibilities for maintenance. Intelligent machines provide data that can be used to predict the ideal time of maintenance. There are different approaches to create a forecast. Depending on the method used, appropriate conditions must be created to improve the forecast. In this paper, results are compiled to give a state of the art of predictive maintenance. First, the different types of maintenance and economic relationships are explained. Then factors for the forecast are explained. Requirements for the data are collected and algorithms for machine learning are presented. Based on the relationships found, a process model is presented that shows a fast implementation of the predictive maintenance for machines.     

基于函数逼近的学习式搜索

本文将函数逼近的方法引入到学习式搜索中,使学习式搜索通过一定数量的解题训练后可以建立起一个任意一致逼近理想函数h*(·)的启发估计函数h(·).本文给出了一个这样的学习式搜索算法A-Bn,并证明了当训练例子集充分大后,A-Bn可在多项式复杂度内解决任一后来提交的同类问题.     

基于稀疏字典的李群机器学习算法

李群机器学习理论被广泛应用于图像集分类中的数据表示和处理,并获得较优结果.由此,文中提出基于稀疏字典的李群机器学习算法.首先使用协方差矩阵对图像集建模,分析协方差矩阵构成的李群结构,应用对数映射将数据映射到线性空间中,得到数据的距离矩阵.再使用路标多维缩放对数据进行降维处理,降低运算成本.最后,使用带费舍尔判别字典学习进行分类.在YTC数据集上的实验证明文中算法具有良好的鲁棒性和准确率.     

基于稀疏表示的多标记学习算法

为解决多标记数据的分类问题,提出基于稀疏表示的多标记学习算法。首先将待分类样本表示为训练样本集上的稀疏线性组合,基于l¹-最小化方法求得最稀疏的系数解。然后利用稀疏系数的判别信息提出一个计算待分类样本对各标记的隶属度的方法。最后根据隶属度对标记进行排序,进而完成分类。在Yeast基因功能分析、自然场景分类和web页面分类上的实验表明,该算法能够有效解决多标记数据的分类问题,与其它方法相比取得更好的结果。     

一种改进的SVM相关反馈图像检索方法*

提出了一种改进的支持向量机SVM( Support Vector Machine) 的相关反馈图像检索方法。在这种方法的交互过程中, SVM 分类器不仅对本次反馈过程中用户所提交的标记的正例和反例样本进行学习, 还对历次反馈过程中的正例和反例样本进行学习, 并根据训练后的分类器进行检索。实验结果表明, 该方法在样本集非常小的情况下, 仍可以检索出较多的相关图像, 在有限训练样本情况下具有良好的推广能力。