大数据下的机器学习算法综述

随着产业界数据量的爆炸式增长,大数据概念受到越来越多的关注.由于大数据的海量、复杂多样、变化快的特性,对于大数据环境下的应用问题,传统的在小数据上的机器学习算法很多已不再适用.因此,研究大数据环境下的机器学习算法成为学术界和产业界共同关注的话题.文中主要分析和总结当前用于处理大数据的机器学习算法的研究现状.此外,并行是处理大数据的主流方法,因此介绍一些并行算法,并引出大数据环境下机器学习研究所面临的问题.最后指出大数据机器学习的研究趋势.     

大数据计算环境下的隐私保护技术研究进展

批处理、流式计算和机器学习等分布式的大数据计算环境在云上的广泛部署与应用,为云用户带来了极大的便利,但随之带来的隐私数据泄露事件愈演愈烈.如何在这种云上部署的大数据计算环境下保护数据隐私成为一个研究热点,本文对近些年国内外在该领域的最新隐私保护研究成果及进展进行了全面综述.针对上述大数据计算环境下的参与角色及应用场景,...     

基于可视分析的训练数据质量提升综述

在机器学习应用中,由于数据来源渠道多以及部分标注者水平不足,训练数据质量很难得到保证.通过深度结合机器学习和可视化技术,可视分析技术将人融入数据质量分析与提升回路中,帮助提升训练数据质量,从而提高模型性能.文中首先总结了训练数据质量问题的三大类型:标注错,覆盖窄,标注缺;然后基于这些问题类型,介绍分析了相关的可视分析工作,包括标注错误修正方法,数据集偏离纠正方法和无标注数据质量提升方法;最后深入分析了基于可视分析的训练数据质量提升面临的机遇与挑战,包括在复杂任务、大语言模型、多模态数据、流数据等场景下的数据质量提升.     

计算机视觉与机器学习技术在三维人体动画中的应用综述

近年来计算机视觉与机器学习技术广泛应用于三维人体动画领域中.基于图像/视频的人体运动数据获取技术、数字角色和场景建模、交互式角色动画控制与运动生成等方面都大量应用了计算机视觉技术;同时,机器学习理论在三维人体运动数据重用以及后期智能角色动画创作中扮演了越来越重要的角色,并得到一些很好的研究成果.文中以三维人体动画创作流程为主线对这些方法的基本思想和关键技术进行了归纳与分析,并讨论了三维人体动画制作技术的发展趋势.     

基于大数据下分布式机器学习的策略与原则

随着人工智能的快速发展,分布式机器学习开始成为社会生产建设中重要工具.大数据技术的应用,丰富了分布式机器学习的策略,进一步拓展了应用空间,提高了应用价值.基于此,本文分析了基于大数据下分布式机器学习特点,然后根据分布式机器学习的实际需要,从分配与调度、计算与通信连接等方面进行探讨,围绕着分布式机器学习的基本原则,寻找科学、合理的学习策略.     

机器学习中的隐私攻击与防御

大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展,然而机器学习模型的训练集在数据采集、模型训练等各个环节中存在的隐私泄露风险,为人工智能环境下的数据管理提出了重大挑战.传统数据管理中的隐私保护方法无法满足机器学习中多个环节、多种场景下的隐私保护要求.分析并展望了机器学习技术中隐私攻击与防御的研究进展和趋势.首先介绍了机器学习中隐私泄露的场景和隐私攻击的敌手模型,并根据攻击者策略分类梳理了机器学习中隐私攻击的最新研究;介绍了当前机器学习隐私保护的主流基础技术,进一步分析了各技术在保护机器学习训练集隐私时面临的关键问题,重点分类总结了5种防御策略以及具体防御机制;最后展望了机器学习技术中隐私防御机制的未来方向和挑战.     

基于大数据分析技术的数据安全与机器学习研究

随着新技术和新需求以及新应用场景的出现,大数据分析技术的应用愈发广泛,同时基于大数据分析技术的数据安全也面临更多新的挑战。本文首先分析了数据安全在大数据中的重要性,并从大数据分析技术与机器学习之间的关系、基于大数据分析技术的机器学习具体应用两个方面对基于大数据分析技术的机器学习的运用原理展开分析,希望为从业者提供一定的参考。     

一种可用于数据和模型分享的模型链

机器学习开始在越来越多的行业中得到应用,但使用机器学习执行任务的软件一直受限于第三方软件商更新模型.文中基于区块链,将训练神经网络消耗的算力和区块链的工作量证明机制相结合,提出并实现了模型链.模型链作为一种可用于分享数据和机器学习模型的区块链,基于骨架网络训练神经网络模型,以全网节点匿名分享的数据作为训练模型的数据集,实现了不依赖第三方更新神经网络模型.模型链使用环签名来保护用户数据隐私,节点训练的模型使用统一的测试集评估,通过评估的模型将作为节点的工作量证明用于投票达成一致共识.文中提出了两种可行的激励机制,即物质奖励和模型奖励.对于潜在的威胁,如账本分析、脏数据攻击和欺骗投票,给出了相应的解决方案.实现了一个用于数字识别的模型链.实验结果表明,模型链中的模型可以适应实际场景下发生的用户变迁和数据变化.     

一种可用于数据和模型分享的模型链

机器学习开始在越来越多的行业中得到应用,但使用机器学习执行任务的软件一直受限于第三方软件商更新模型.文中基于区块链,将训练神经网络消耗的算力和区块链的工作量证明机制相结合,提出并实现了模型链.模型链作为一种可用于分享数据和机器学习模型的区块链,基于骨架网络训练神经网络模型,以全网节点匿名分享的数据作为训练模型的数据集,实现了不依赖第三方更新神经网络模型.模型链使用环签名来保护用户数据隐私,节点训练的模型使用统一的测试集评估,通过评估的模型将作为节点的工作量证明用于投票达成一致共识.文中提出了两种可行的激励机制,即物质奖励和模型奖励.对于潜在的威胁,如账本分析、脏数据攻击和欺骗投票,给出了相应的解决方案.实现了一个用于数字识别的模型链.实验结果表明,模型链中的模型可以适应实际场景下发生的用户变迁和数据变化.     

安全多方计算及其在机器学习中的应用

随着人工智能、大数据等技术的发展,数据采集、数据分析等应用日渐普及,隐私泄露问题越来越严重.数据保护技术的缺乏限制了企业之间数据的互通,导致形成"数据孤岛".安全多方计算(securemultiparty computation,MPC)技术能够在不泄露明文的情况下实现多方参与的数据协同计算,实现安全的数据流通,达到数据"可用不可见".隐私保护机器学习是当前MPC技术最典型也是最受关注的应用与研究领域,MPC技术的应用可以保证在不泄露用户数据隐私和服务商模型参数隐私的情况下进行训练和推理.针对MPC及其在隐私保护机器学习领域的应用进行全面的分析与总结,首先介绍了MPC的安全模型和安全目标;梳理MPC基础技术的发展脉络,包括混淆电路、不经意传输、秘密分享和同态加密;并对MPC基础技术的优缺点进行分析,提出不同技术方案的适用场景;进一步对基于MPC技术实现的隐私保护机器学习方案进行了介绍与分析;最后进行总结和展望.