《软件学报》大数据时代的机器学习研究专刊征文通知

为及时反映我国在大数据机器学习方面的研究进展。《软件学报》将出版大数据时代的机器学习研究专刊,收录该领域近期取得的原创性高水平研究成果,进一步促进该领域的发展.专刊将突出大数据背景下机器学习的几个研究热点,包括表示学习(如何构建有效表示)、在线机器学习(如何处理动态数据)、并行与分布式学习(如何进行高效学习)、弱监督学习(如何利用复杂语义)以及在特定领域的应用等.专刊预录用论文需     

基于大数据的水闸安全评价与预测研究

针对传统评价数据源单一、综合性和智能化不高的问题,在水闸安全评价相关理论、方法和应用经验的基础上,引入大数据理论与机器学习技术,协同应用多种水闸运行管理数据,设计了水闸安全评估及预测大数据总体应用框架,阐述了关键技术的实现方法,重点论述了基于大数据的机器学习模型库的建设流程。利用大数据和机器学习技术,建立基于大数据的水闸安全评价与态势预测的智能化应用模型,具有很好的技术支撑和应用价值。     

大数据计算环境下的隐私保护技术研究进展

批处理、流式计算和机器学习等分布式的大数据计算环境在云上的广泛部署与应用,为云用户带来了极大的便利,但随之带来的隐私数据泄露事件愈演愈烈.如何在这种云上部署的大数据计算环境下保护数据隐私成为一个研究热点,本文对近些年国内外在该领域的最新隐私保护研究成果及进展进行了全面综述.针对上述大数据计算环境下的参与角色及应用场景,...     

《软件学报》大数据时代的机器学习研究专刊征文通知

为及时反映我国在大数据机器学习方面的研究进展,《软件学报》将出版大数据时代的机器学习研究专刊,收录该领域近期取得的原创性高水平研究成果,进一步促进该领域的发展,专刊将突出大数据背景下机器学习的几个研究热点,包括表示学习(如何构建有效表示)、在线机器学习(如何处理动态数据)、并行与分布式学习(如何进行高效学习)、弱监督学习(如何利用复杂语义)以及在特定领域的应用等,专刊预录用论文需     

面向机器学习的分布式并行计算关键技术及应用

当前机器学习等算法的计算、迭代过程日趋复杂, 充足的算力是保障人工智能应用落地效果的关键。本文首先提出一种适应倾斜数据的分布式异构环境下的任务时空调度算法,有效提升机器学习模型训练等任务的平均效率;其次,提出分布式异构环境下高效的资源管理系统与节能调度算法,实现分布式异构环境下基于动态预测的跨域计算资源迁移及电压/频率的动态调节,节省了系统的整体能耗;然后构建了适应于机器学习/深度学习算法迭代的分布式异构优化环境,提出了面向机器学习/图迭代算法的分布式并行优化基本方法。最后,本文研发了面向领域应用的智能分析系统,并在制造、交通、教育、医疗等领域推广应用,解决了在高效数据采集、存储、清洗、融合与智能分析等过程中普遍存在的性能瓶颈问题。     

《软件学报》大数据时代的机器学习研究专刊征文通知

为及时反映我国在大数据机器学习方面的研究进展,《软件学报》将出版大数据时代的机器学习研究专刊,收录该领域近期取得的原创性高水平研究成果,进一步促进该领域的发展,专刊将突出大数据背景下机器学习的几个研究热点,包括表示学习(如何构建有效表示)、在线机器学习(如何处理动态数据)、并行与分布式学习(如何进行高效学习)、弱监督学习(如何利用复杂语义)以及在特定领域的应用等,专刊预录用论文需     

机器学习模型安全与隐私研究综述

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法.在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足.最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.     

新型分布式计算系统中的异构任务调度框架

随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导...     

基于机器学习模型的大数据挖掘优化算法

大数据分析的方法有很多,借助机器学习模型对大数据进行挖掘优化是现今较为有效的方法。基于此,笔者提出基于机器学习模型的大数据挖掘优化算法,以机器学习技术为基础,建立分布式挖掘模型,通过计算数据相异度,完成数据挖掘中心的优化。实验结果表明,本设计算法在总计算量和预测准确度上均胜于传统算法,证明了方法的有效性和实用性。     

基于Spark的分布式大数据机器学习算法

对于大数据而言,机器学习技术是不可或缺的;对于机器学习而言,大规模的数据可以提升模型的精准度。然而复杂的机器学习算法从时间和性能上都急需分布式内存计算这种关键技术。Spark分布式内存计算可以实现算法的并行操作,有利于机器学习算法处理大数据集。因此本文提出在Spark分布式内存环境下实现非线性机器学习算法,其中包括多层可变神经网络、BPPGD SVM、K-means,并在实现的基础上进行数据压缩、数据偏向抽样或者数据加载等方面的优化。为了实现充分配置资源批量运行脚本,本文也实现SparkML调度框架来调度以上优化算法。实验结果表明,优化后的3种算法平均误差降低了40%,平均时间缩短了90%。     

基于大数据分析技术的数据安全与机器学习研究

随着新技术和新需求以及新应用场景的出现,大数据分析技术的应用愈发广泛,同时基于大数据分析技术的数据安全也面临更多新的挑战。本文首先分析了数据安全在大数据中的重要性,并从大数据分析技术与机器学习之间的关系、基于大数据分析技术的机器学习具体应用两个方面对基于大数据分析技术的机器学习的运用原理展开分析,希望为从业者提供一定的参考。     

让机器学习突破大数据的重围

机器学习算法和大规模网络数据导致的计算和数据依赖经常令分布式算法程序员头痛不已,本文将探讨分布式机器学习系统的思想与阻碍。     

大数据下的机器学习算法综述

随着产业界数据量的爆炸式增长,大数据概念受到越来越多的关注.由于大数据的海量、复杂多样、变化快的特性,对于大数据环境下的应用问题,传统的在小数据上的机器学习算法很多已不再适用.因此,研究大数据环境下的机器学习算法成为学术界和产业界共同关注的话题.文中主要分析和总结当前用于处理大数据的机器学习算法的研究现状.此外,并行是处理大数据的主流方法,因此介绍一些并行算法,并引出大数据环境下机器学习研究所面临的问题.最后指出大数据机器学习的研究趋势.     

并行效率敏感的大规模SVM数据分块数选择

数据分块数的选择是并行/分布式机器学习模型选择的基本问题之一,直接影响着机器学习算法的泛化性和运行效率。现有并行/分布式机器学习方法往往根据经验或处理器个数来选择数据分块数,没有明确的数据分块数选择准则。提出一个并行效率敏感的并行/分布式机器学习数据分块数选择准则,该准则可在保证并行/分布式机器学习模型测试精度的情况下,提高计算效率。首先推导并行/分布式机器学习模型的泛化误差与分块数目的关系。然后以此为基础,提出折衷泛化性与并行效率的数据分块数选择准则。最后,在ADMM框架下随机傅里叶特征空间中,给出采用该数据分块数选择准则的大规模支持向量机实现方案,并在高性能计算集群和大规模标准数据集上对所提出的数据分块数选择准则的有效性进行实验验证。     

基于机器学习建模的航天器健康管理平台研究

近年来,随着深度学习等技术的快速发展和航天器系统数据量的不断增加,新型的机器学习平台凭借其友好的流程化分析框架、丰富的即插即用机器学习工具、分布式的服务等诸多优点,为航天器等领域复杂问题分析处理提出了新思路;在分析了航天器故障预测与健康管理方面存在的难点以及机器学习优势基础上,提出了面向机器学习建模的航天器健康管理平台设计方案与方法,分析了多语言融合的健康管理算法模型构建、基于分布式的健康管理计算服务引擎等关键技术,并以某卫星电源系统太阳电池阵功率预测等案例详细说明平台实际应用情况,验证结果表明研究成果能够为基于机器学习建模的航天器健康管理技术研究与应用提供技术参考,最终提高卫星、空间站等航天器的安全性。     

机器学习在故障检测与诊断领域应用综述

机器学习已经成为当前技术发展热点,由于机器学习具有快速处理大量数据、分析提取有效信息等优点,因此在故障检测与诊断技术中受到了越来越多的关注;文章系统介绍了机器学习和故障检测与诊断的概念、分类,深入了解了基于PCA和随机森林的故障检测方法和国内研究现状,以及基于决策树、支持向量机以及神经网络的故障诊断方法和国内外研究现状,其中重点介绍了卷积神经网络和递归神经网络的应用,并对机器学习算法在故障检测与诊断应用前景进行了展望,大数据时代下,机器学习在故障检测和诊断领域有着绝对优势。     

基于Hadoop的数据挖掘技术在测光红移上的研究

天文数据量以指数量级快速增长,使得天文数据挖掘面临前所未有的挑战。分布式集群技术和云计算平台的飞速发展,为海量数据处理和分析提供了新的研究思路和方法。其中基于内存计算的Hadoop分布式集群技术更是异军突起,并在迭代式机器学习和交互式数据挖掘应用等方面表现出明显的优势。基于最新释放的斯隆数字巡天测光数据集研究基于Hadoop平台的数据挖掘技术在海量天文巡天数据上的适用性和应用问题,为海量天文数据挖掘提供了新的手段和方法。     

基于Spark的分布式数字信号处理算法库设计

传统的基于DSP与FPGA的数字信号处理技术更加适用于实时信号处理,且受到数据规模和频率分辨率的限制,使得其不适于进行大规模数据下的离线式数据处理、分析与挖掘的应用.目前工业大数据分析平台可以采用Spark作为实时信号处理和离线信号处理加速的计算引擎,但该分析平台缺少适用于分布式并行计算引擎的数字信号处理等数学计算的解决方案.基于此,本文提出了基于Spark的分布式数字信号处理算法库,为面向分析的工业大数据应用场景提供支撑.本文介绍了该算法库的架构设计,并以FFT算法和DFT算法为例介绍了传统数字信号处理算法在Spark下的分布式实现,最后对算法库进行了正确性测试和性能分析.结果表明该算法库能够正确完成数字信号处理的功能,同时可以满足工业大数据分析平台对于大规模数据集进行数字信号处理的需求.     

网络化分布式凸优化算法研究进展

分布式优化是指利用网络化多自主体之间的协作来求解的一类优化问题,其在大规模数值计算、机器学习、资源分配、传感器网络等方面具有重要的研究意义和应用价值.自主体之间的协作通常基于代数图来描述,且图的结构对分布式优化算法的设计与性能有显著影响.本文针对凸优化问题,基于平衡图和非平衡图的情形,简要讨论了分布式优化算法的最新研究进展,并对今后的发展趋势和应用进行展望.     

可扩展机器学习的并行与分布式优化算法综述

机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.本文针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法五类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每个算法进行详细对比.随后对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时对本文中介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.