范畴表示机器学习算法

长期以来,人们认为表示问题是机器学习领域的瓶颈问题之一.机器学习方法的性能在很大程度上依赖于数据表示的选择.数据表示领域的主要问题是如何更好地学习到有意义和有用的数据表示.宽泛来看数据表示领域有深度学习、特征学习、度量学习、成分建模、结构化预测和强化学习等.这些技术应用的范围也非常广泛,包括图像、语音识别和文字理解等.因此,研究机器学习表示方法是一件长期且具有探索意义的工作.基于此,利用范畴理论来研究机器学习方法的表示,提出了范畴表示机器学习方法的基本概念.对决策树、支持向量机、深度神经网络等方法进行研究分析,提出了范畴表示分类算法、范畴表示决策树算法、切片范畴表示主成分分析和支持向量机算法、范畴函子表示深度学习方法,给出相应的理论证明及可行性分析.并对这5种算法做了深入分析,找到了主成分分析和支持向量机之间的本质联系,最后通过仿真实验论证范畴表示方法的可行性.     

基于机器学习算法的寿命预测与故障诊断技术应用与发展综述

寿命预测与故障诊断作为复杂装备系统可靠性分析中的两类重要问题,基于数据驱动的机器学习分析方法具有良好的工程效果。本文系统地从故障预测与寿命估算及后续健康管理的实际工程需求出发,深入分析该类型系统因性能衰退出现的早期故障诊断与维护时间确定的共性难点问题并深度挖掘其所对应的关键科学问题,对机器学习算法在其中的应用与研究进行综述,重点阐述了人工神经网络、支持向量机等机器学习算法,对于完善可靠性分析方法,进一步推动机器学习算法在可靠性工程领域的运用具有一定的指导意义。     

基于机器学习的脑网络分析方法及应用

脑网络学习旨在从整体上研究大脑各功能区的交互,对于人类深入了解大脑功能和结构以及对一些脑疾病的诊断都具有非常重要的作用。作为脑网络分析的重要工具,机器学习由于能够从数据中学习规律并对未知数据进行预测,已成为近年来脑网络分析领域一个新的研究热点。本文综述了近年来基于机器学习技术在脑网络分析中的典型研究方法和应用,主要从网络的构建、特征学习和分类预测等3个方面加以介绍。最后,总结全文并展望未来研究方向。     

关于深度学习的综述与讨论

机器学习是通过计算模型和算法从数据中学习规律的一门学问,在各种需要从复杂数据中挖掘规律的领域中有很多应用,已成为当今广义的人工智能领域最核心的技术之一。近年来,多种深度神经网络在大量机器学习问题上取得了令人瞩目的成果,形成了机器学习领域最亮眼的一个新分支——深度学习,也掀起了机器学习理论、方法和应用研究的一个新高潮。对深度学习代表性方法的核心原理和典型优化算法进行了综述,回顾与讨论了深度学习与以往机器学习方法之间的联系与区别,并对深度学习中一些需要进一步研究的问题进行了初步讨论。     

深度学习在天气预报领域的应用分析及研究进展综述

随着传感器网络和全球定位系统等技术的进步，兼有时间与空间特性的气象数据体量呈爆炸式增长，针对时空序列预测（STSF）的深度学习模型研究得到了迅猛发展。然而，长期以来用于天气预报的传统机器学习方法在提取数据的时间相关性与空间依赖性方面的效果往往并不理想。与此同时，深度学习方法通过人工神经网络自动提取特征，可以有效提高天气预报的准确度，并且在编码长期空间信息的建模方面有相当优秀的效果。同时，由观测数据驱动的深度学习模型与基于物理理论的数值天气预报（NWP）模型结合的方式可以构建拥有更高预测精度与更长预报时间的混合模型。基于这些，将深度学习在天气预报领域的应用分析及研究进展进行了综述。首先，将天气预报领域的深度学习问题与经典深度学习问题从数据格式、问题模型与评价指标这3个方面进行了对比研究；然后，回顾了深度学习在天气预报领域的发展历程与应用现状，并总结分析了深度学习技术与NWP结合的最新进展；最后，展望了未来的发展方向和研究重点，为天气预报领域的深度学习研究提供参考。     

基于深度学习的视频预测研究综述

近年来,深度学习算法在众多有监督学习问题上取得了卓越的成果,其在精度、效率和智能化等方面的性能远超传统机器学习算法,部分甚至超越了人类水平。当前,深度学习研究者的研究兴趣逐渐从监督学习转移到强化学习、半监督学习以及无监督学习领域。视频预测算法,因其可以利用海量无标注自然数据去学习视频的内在表征,且在机器人决策、无人驾驶和视频理解等领域具有广泛的应用价值,近两年来得到快速发展。本文论述了视频预测算法的发展背景和深度学习的发展历史,简要介绍了人体动作、物体运动和移动轨迹的预测,重点介绍了基于深度学习的视频预测的主流方法和模型,最后总结了当前该领域存在的问题和发展前景。     

基于模糊理论扩充的归纳学习方法和思想

归纳学习是机器学习最重要、最核心也是最成熟的一个分支，但在应用归纳学习所获得的知识以及改进归纳学习算法等方面存在着很多传统方法难以解决的问题。本文从归纳学习的本质--归纳依赖于数据间的相似性出发，尝试将能够较好地定量反映数据间相似性程度的模糊理论应用到归纳学习中去，为归纳学习和机器学习找出一个新的研究方法和思路。     

类别不均衡学习中的抽样策略研究

类别不均衡学习在信用评估、客户流失预测、医学诊断、短文本情感分析、标记学习、评分预测等众多领域有广泛的应用，是机器学习研究和应用的热点方向之一，近年来逐渐引起学术界和工业界的广泛关注。目前解决类别不均衡问题主要有三种方法：数据级解决方法、算法级解决方法和集成解决方法。侧重于对近年来类别不均衡学习中的抽样策略研究进展进行综述，介绍类别不均衡学习的基本框架，对类别不均衡学习中三种主要的抽样策略（过抽样、欠抽样和混合抽样）相关研究进展进行前沿概括、比较和分析，对类别不均衡学习的抽样策略中有待研究的难点、热点及发展趋势进行展望。     

基于C-AdaBoost模型的乳腺癌预测研究

机器学习和深度学习技术可用于解决医学分类预测中的许多问题,其中一些分类算法的预测精度较高,而另一些算法的精度有限。提出了基于C-AdaBoost模型的集成学习算法,对乳腺癌疾病进行预测,发现了判断乳腺癌是否复发、乳腺癌肿瘤是否为良性的最优特征组合。通过逐步回归方法对现有特征进行二次选取,并结合C-AdaBoost模型使得预测效果更优。大量实验表明,基于C-AdaBoost模型的算法的预测准确率比SVM、Naive Bayes、RandomForest以及传统的集成学习模型等机器学习分类器的准确率最多可提高19.5%,从而可以更好地帮助医生进行临床决策。     

基于Stacking模型融合的光伏发电功率预测

为了提高光伏发电输出功率的预测精度和可靠性,本文提出一种基于Stacking模型融合的光伏发电功率预测方法.选取某光伏电站温度、湿度、辐照度等历史实测数据为研究对象,在将光伏发电功率数据进行特征交叉以及基于模型的递归特征消除法进行预处理和特征选择的基础上,以XGBoost、LightGBM、RandomForest 3种机器学习算法作为Stacking集成学习的第一层基学习器,以LinearRegression作为第二层元学习器,构建了多个机器学习算法嵌入的Stacking模型融合的光伏发电功率预测模型.预测结果表明,该方法的R²、MSE分别达到了0.9874和0.1056,相较于单一的机器学习模型,预测精度显著提升.     

机器学习在超声图像中的应用综述

超声图像为临床疾病检测与诊断提供重要的辅助信息,机器学习在超声图像中的应用给超声图像的分析诊断带来了新变革.从超声图像的去噪、分割、检测、分类等方面介绍了超声图像的研究现状.分类综述了近年来机器学习算法在超声图像领域的研究和应用进展.指出了基于机器学习在医学影像领域开展研究所面临的困难与挑战,并对未来研究方向进行了展望...     

深度学习方法在软件分析中的应用

大数据时代下迅速兴起的深度学习已在计算机视觉等多个领域取得了重大进展。近年来,随着软件制品的积累,这一方法也开始在软件工程领域发挥重要作用。概述了利用深度学习处理不同软件分析任务的研究进展,总结了主要研究方向和应用特点。目前已有一批重要成果发表,相关研究热度呈现上升趋势。最后探讨了现有深度学习技术在应用时的一些局限性与问题。     

基于深度学习的短文本情感倾向分析综述

短文本情感倾向分析是自然语言处理领域的关键研究问题之一.情感倾向分析是用于检测语言所蕴含主观倾向语义的一系列方法、技术和工具,是对文本深层语义理解的关键.短文本数据的随意性、高歧义性以及简短性使得传统基于特征工程和机器学习分类技术的情感倾向分析任务性能有限.随着深度学习技术在自然语言处理中的广泛应用,基于深度学习的短文...     

基于机器学习的软件漏洞挖掘方法综述

软件复杂性的增加,给软件安全性带来极大的挑战.随着软件规模的不断增大以及漏洞形态多样化,传统漏洞挖掘方法由于存在高误报率和高漏报率的问题,已无法满足复杂软件的安全性分析需求.近年来,随着人工智能产业的兴起,大量机器学习方法被尝试用于解决软件漏洞挖掘问题.首先,通过梳理基于机器学习的软件漏洞挖掘的现有研究工作,归纳了其技术特征与工作流程;接着,从其中核心的原始数据特征提取切入,以代码表征形式作为分类依据,对现有研究工作进行分类阐述,并系统地进行了对比分析;最后,依据对现有研究工作的整理总结,探讨了基于机器学习的软件漏洞挖掘领域面临的挑战,并展望了该领域的发展趋势.     

基于组合模型的股票停牌预测研究

针对股票的无规律性停牌和长时间停牌的问题,采用机器学习相关技术,提出了股票停牌预测的组合模型,选取财务和股票两方面的指标作为数据,通过计算各个指标的重要性进行筛选,并划分出多个特征数据集,进而完成多个分类子模型的学习,形成子模型池,系统随机抽取多个子模型进行分类,并通过投票法得到最终的预测结果。实证分析以中国上市公司为研究对象,结果表明组合模型预测取得了较高的准确率,与单一模型相比在误报率和漏报率上有较大的改进。     

问答系统中问句分类方法研究综述

问答系统作为信息检索的一种高阶形式,能够迅速、精准地为用户提供所需的信息服务,在给定一个问题后,会相应地给出准确的答案,这使得它在自然语言处理领域成为一个越发受人关注的研究方向。问句分类作为问答系统中的问题分析和处理的首要环节,是问答系统中尤为重要的一部分,其分类精度会直接影响到问答系统的性能。近些年来,机器学习和深度学习等技术的快速发展极大地促进了问句分类的研究和发展,其在问句分类上具有较强的可行性和优越性。为此就问句分类的国内外研究现状、问句分类标准体系、问句特征抽取、传统的机器学习分类方法和近来流行的深度学习分类方法进行总结和分析,阐述了问句分类当前所面临的一些研究难点,并对未来的研究和发展方向做了初步展望。     

股票趋势预测中Wrapper方法的研究与应用

近年来股票市场预测研究一直较受欢迎。大量研究者尝试基于多种数学模型的技术指数及机器学习技术预测股票价格或指数。尽管现有方法展示了较满意的预测成就,但是股票市场是升还是降的预测准确性很少被分析。用Wrap-per方法从由23个技术指标构成的原始特征集中选择最优特征子集,然后用混合不同分类算法的投票法来预测两股票市场的趋势。实验结果表明Wrapper方法比常用的Filter式特征选择算法如χ^2-统计,信息增益,Relief F,对称不确定性,和CFS能有更好的性能。此外,提出的投票法超越单一的分类器如SVM,K最邻近,BP神经网络,决策树和Logistic回归。     

深度域适应综述: 一般情况与复杂情况

信息时代产生的大量数据使机器学习技术成功地应用于许多领域. 大多数机器学习技术需要满足训练集与测试集独立同分布的假设, 但在实际应用中这个假设很难满足. 域适应是一种在训练集和测试集不满足独立同分布条件下的机器学习技术. 一般情况下的域适应只适用于源域目标域特征空间与标签空间都相同的情况, 然而实际上这个条件很难满足. 为了增强域适应技术的适用性, 复杂情况下的域适应逐渐成为研究热点, 其中标签空间不一致和复杂目标域情况下的域适应技术是近年来的新兴方向. 随着深度学习技术的崛起, 深度域适应已经成为域适应研究领域中的主流方法. 本文对一般情况与复杂情况下的深度域适应的研究进展进行综述, 对其缺点进行总结, 并对其未来的发展趋势进行预测. 首先对迁移学习相关概念进行介绍, 然后分别对一般情况与复杂情况下的域适应、域适应技术的应用以及域适应方法性能的实验结果进行综述, 最后对域适应领域的未来发展趋势进行展望并对全文内容进行总结.     

Physics-based machine learning method and the application to energy consumption prediction in tunneling construction

Representing causality in machine learning to predict control parameters is state-of-the-art research in intelligent control. This study presents a physics-based machine learning method providing a prediction model that guarantees enhanced interpretability conforming to physical laws. The proposed approach encodes physical knowledge as mapping relationships between variables in engineering dataset into the learning procedure through dimensional analysis. This derives causal relationships between the control parameter and its influencing factors. The proposed machine learning method's objective function is further improved by the penalty term in the regularization strategy. Verifications on the energy consumption prediction of tunnel boring machine prove that, the established model accords with basic principles in this field. Moreover, the proposed approach traces the impact of three major factors (structure, operation, and geology) along the construction section, offering each component's contribution rates to energy consumption. Compared with several commonly used machine learning algorithms, the proposed method reduces the need for large amounts of training data and demonstrates higher accuracy. The results indicate that the revealed causality and enhanced prediction performance of the proposed method advance the applicability of machine learning methods to intelligent control during construction.