基于机器学习的编译器自动调优综述

现代编译器提供的优化选项众多,选择何种参数因子、选择哪些选项组合以及以何种顺序应用这些选项成为复杂的问题,其中优化次序问题是最困难的优化问题。随着传统方法的改进(迭代编译结合启发式优化搜索)以及新技术的出现(机器学习),构建一种相对高效、智能的编译器自动调优框架成为可能。文中通过调查过去数十年的相关研究,总结了前人的研究思路和应用方法。首先介绍了编译器自动调优的发展历程,包括早期的手工方法、成本函数驱动的方法、启发式优化搜索驱动的迭代编译、基于机器学习的直接预测以及机器学习驱动的迭代编译方法。然后重点梳理了基于机器学习的直接预测和机器学习驱动的迭代编译自动调优方法,统计和对比了一些较为成功的框架和最新的研究成果。最后提出了当前编译器优化存在的问题和今后的重点研究方向。     

基于优化组合模型的PM2.5浓度预测

为精确预测出具有非线性、非平稳的PM2.5时序数据，提出基于PSO-VMD-LSTM的组合模型。融合机器学习优化算法和深度学习技术，其中利用以包络熵为适应度函数的PSO机器学习算法对VMD分解过程中的惩罚因子和模态个数进行迭代寻优，基于分解处理后的数据进行LSTM深度学习模型预测。构建两种经典分解组合模型作为对照，结果表明，在相同迭代次数情况下，时序分解处理后的LSTM预测比未分解时的预测精度和效果都有明显改善；与经典分解组合模型相比，该模型在准确度和评估指标上均取得最佳预测效果，在PM2.5浓度预测上具有一定普适性。     

一种基于增量式实例学习的迭代编译方法

为提高编译器的自适应性,以应对复杂的体系结构,提出一个结合迭代编译和机器学习的编译框架。编译器可将在优化空间中搜索到的最佳编译选项信息保存到知识库中,并能从知识库中学习获得适合当前程序的最佳编译选项。实例学习算法具有增量式的特点,可有效利用编译过程中积累的数据。通过避免冗余实例入库以及从库中剔除噪声实例,保证学习的精度与效率。     

基于粒子群优化算法的模型超参调优方法应用研究

机器学习模型的效果很大程度上取决于模型的超参数调优,如何实现自动化的超参数优化是机器学习领域的重点研究方向之一。提出一种改进粒子群优化算法的惯性系数动态更新的方法,实现基于粒子群优化算法的模型超参数的调优方法,并以信用卡核心业务场景建模的自动调参过程予以实际验证。实验结果表明,改进后的自动超参数优化方法在通过多轮迭代逐步逼近最优解的参数择优方面更容易达到预期模型的效果目标,能够提升机器学习模型的预测精度和泛化能力。     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络（CNN）在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution（SSSConv）;该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

多面体表示技术及在程序性能优化中的应用

多面体表示技术提供一种统一化的方式来表示程序变换和程序变换组合,有利于最优程序变换的搜索。论文首先介绍并评价了几种典型的多面体表示方法,并详细介绍了Cohen提出的多面体表示模型;同时,对多面体表示在程序性能优化尤其是迭代编译中的应用进行了介绍和评价;最后,对多面体表示技术在迭代编译领域今后的发展方向做出了展望。     

基于反时限混沌郊狼优化算法的BP神经网络参数优化

针对郊狼优化算法优化性能弱及多样性低等问题,提出一种基于反时限衰减算子的混沌郊狼优化算法(ICCOA).首先,在个体迭代更新过程加入反时限衰减权重因子,使得全局搜索与局部开发能力保持平衡的同时提高算法的搜索速度;其次,加入基于Tent混沌映射的混沌干扰机制,将种群中部分较差个体经过映射产生新个体,进而增大种群多样性;接着,为了验证ICCOA算法的优化能力,分别在10、30和100维度下进行函数优化测试,并与5种优化算法进行比较,其实验结果表明ICCOA算法具有良好的优化性能;最后,将ICCOA算法应用于BP神经网络参数优化,提出新的神经网络模型(ICCOABP),并与标准神经网络、基于遗传算法的BP神经网络参数优化方法一同应用于机器学习的分类任务进行性能比较,实验结果表明ICCOABP算法具有高效性.     

稀疏回归和流形学习的无监督特征选择算法

针对无标签高维数据的大量出现,对机器学习中无监督特征选择进行了研究。提出了一种结合自表示相似矩阵和流形学习的无监督特征选择算法。首先,通过数据的自表示性质,构建相似矩阵,结合低维流形能够表示高维数据结构这一流形学习思想,建立一种考虑流形学习的无监督特征选择优化模型。其次,为了保证选择更有用及更稀疏的特征,采用◢l◣▼2,1▽范数对优化模型进行约束,使特征之间相互竞争,消除冗余。进而,通过变量交替迭代对优化模型进行求解,并证明了算法的收敛性。最后,通过与其他几个无监督特征算法在四个数据集上的对比实验,表明所给算法的有效性。     

基于改进灰狼算法和支持向量机的拱桥索力优化模型

为实现复杂工程结构的高效率优化设计，以某大跨径钢管混凝土拱桥索力优化为例，提出一种基于混沌映射与非线性收敛改进的灰狼算法组合优化模型。使用改进灰狼算法对支持向量机的关键参数进行优化，得到训练样本下线形预测的最佳参数组合。建立索力优化问题的数学模型，采用改进灰狼算法得到期望线形下的最优索力组合。计算结果表明，经改进灰狼算法优化后的支持向量机对数据样本具有良好的学习泛化能力，可应用于索力优化等工程问题；预测模型与有限元软件线形结果的平均相对误差约为9%,组合优化模型在保证预测精度的同时大大减少了计算时间。     

改进果蝇算法优化回声状态网络的旅游需求预测研究

首先对标准果蝇优化算法FOA进行改进,自适应调整果蝇种群数量和搜索步长,同时优化初始迭代位置,改善算法局部搜索能力和搜索效率。接着将改进的FOA算法AFOA与回声状态网络ESN相结合,构建一个两阶段组合预测模型(AFOA-ESN),通过AFOA优化ESN获取其关键参数,将优化后的参数输入ESN,形成最终的组合预测模型。最后利用该模型进行旅游需求预测。实验结果表明,AFOA-ESN模型较自回归移动平均模型、支持向量机模型、BP神经网络、标准ESN网络以及其他预测模型具有更高的预测精度。     

Milepost GCC: Machine Learning Enabled Self-tuning Compiler

Tuning compiler optimizations for rapidly evolving hardware makes porting and extending an optimizing compiler for each new platform extremely challenging. Iterative optimization is a popular approach to adapting programs to a new architecture automatically using feedback-directed compilation. However, the large number of evaluations required for each program has prevented iterative compilation from widespread take-up in production compilers. Machine learning has been proposed to tune optimizations across programs systematically but is currently limited to a few transformations, long training phases and critically lacks publicly released, stable tools. Our approach is to develop a modular, extensible, self-tuning optimization infrastructure to automatically learn the best optimizations across multiple programs and architectures based on the correlation between program features, run-time behavior and optimizations. In this paper we describe Milepost GCC, the first publicly-available open-source machine learning-based compiler. It consists of an Interactive Compilation Interface (ICI) and plugins to extract program features and exchange optimization data with the cTuning.org open public repository. It automatically adapts the internal optimization heuristic at function-level granularity to improve execution time, code size and compilation time of a new program on a given architecture. Part of the MILEPOST technology together with low-level ICI-inspired plugin framework is now included in the mainline GCC. We developed machine learning plugins based on probabilistic and transductive approaches to predict good combinations of optimizations. Our preliminary experimental results show that it is possible to automatically reduce the execution time of individual MiBench programs, some by more than a factor of 2, while also improving compilation time and code size. On average we are able to reduce the execution time of the MiBench benchmark suite by 11% for the ARC reconfigurable processor. We also present a realistic multi-objective optimization scenario for Berkeley DB library using Milepost GCC and improve execution time by approximately 17%, while reducing compilation time and code size by 12% and 7% respectively on Intel Xeon processor.     

一种基于Java虚拟机的动静结合自适应优化方法

动态语言可以利用程序运行时获取的动态信息,指导程序进行各种优化。但是,现有的Java虚拟机没有将运行过程中收集的信息有效利用,而是在运行结束后直接丢弃,下一次执行程序的时候重新监测、收集、优化需要的信息。基于HotSpot虚拟机提出一种动静结合的自适应优化方法,将运行过程中优化对象迭代搜索到的最佳参数或者信息保存到资源库中;能够从资源库中学习获得适合当前程序的最佳参数或选项,可有效地利用运行过程中积累的数据;资源分析是静态且离线的,不占用应用程序运行的开销;迭代学习的过程中,通过避免冗余实例入库以及从库中剔除噪声实例,保证资源库学习过程的精度与效率。实验表明,该框架对指导Java虚拟机在不同的平台上自适应优化具有一定的实用性。     

编译器中激进蝴蝶优化方法的研究与实现

编译优化技术的目的是挖掘程序中的优化空间,提高程序编译或运行效率,无效代码删除优化是被广泛使用的编译优化技术之一,它旨在删除程序中不可达的代码,以提升程序的执行效率。许多应用程序的执行路径往往与运行时的输入参数值相关,并且在一些分支路径上与运行时参数值相结合,可能存在无效代码,通过现有的无效代码删除优化,很难做出优化处理。为此,提出一种依赖数据流分析的激进蝴蝶优化方法,利用SSA中间表示,根据动态运行时的参数可能值,自动为程序生成代码形状类似蝴蝶（butterfly）的分支代码,使编译器在程序编译阶段为相关优化提供可行的优化依据。最后通过实验验证了该方法的有效性和可行性。     

基于自动机器学习流程优化的雷达辐射源信号识别

针对雷达辐射源信号识别课题中复杂的参数配置问题,从机器学习参数优化的研究入手,发现了一种基于树结构的机器学习流程优化方法,该方法利用遗传编程生成基于树结构的机器学习流程,并对其结构和参数进行进化,得到表现最佳的带参数的机器学习流程。该流程可以包括特征处理和建模的任意组合,实现对原始数据集的学习和识别。并与人工参数配制的一对一支持向量机在两种不同维度的雷达信号特征集上进行对比识别,相比之下,该方法无须繁琐的参数配置,最高准确率提高超过6%,证明该方法得到的基于树结构的机器学习流程有着明显的优势。     

基于学习的迭代式优化编译中的经验适用性研究

迭代式优化编译方法能有效地使应用程序的运行充分发挥各种硬件平台的潜力。其中基于机器学习的方法显著提高了优化效率,但它忽视了编译程序的经验总是有限的现实,需要根据一个新程序的具体情况判断自己是否有足够的和适当的经验将其优化。这制约了在更广泛的应用领域内应用该技术。为此,本文提出采用逆K近邻法对新程序作孤立点检测。如果一个程序被判断为孤立点,表明已有经验并不适用,应该从零开始搜索优化空间;否则可直接利用已有经验。初步实验结果表明,本方法能有效判断一系列程序中的孤立点,使编译程序能对它们做恰当的处理,提高优化效率。     

Combined Selection of Tile Sizes and Unroll Factors Using Iterative Compilation

Loop tiling and unrolling are two important program transformations to exploit locality and expose instruction level parallelism, respectively. However, these transformations are not independent and each can adversely affect the goal of the other. Furthermore, the best combination will vary dramatically from one processor to the next. In this paper, we therefore address the problem of how to select tile sizes and unroll factors simultaneously. We approach this problem in an architecturally adaptive manner by means of iterative compilation, where we generate many versions of a program and decide upon the best by actually executing them and measuring their execution time. We evaluate several iterative strategies based on genetic algorithms, random sampling and simulated annealing. We compare the levels of optimization obtained by iterative compilation to several well-known static techniques and show that we outperform each of them on a range of benchmarks across a variety of architectures. Finally, we show how to quantitatively trade-off the number of profiles needed and the level of optimization that can be reached. In this way, we can reach high levels of optimization within 50 iterations.     

面向多核体系结构的并行迭代编译技术研究

迭代编译技术是一种编译优化技术,目前学术研究已经证明将迭代编译技术运用于程序优化能够显著提高程序性能。但是,因为迭代编译需要多次编译运行程序,整个迭代过程耗时巨大。为了运用当前普遍存在的多核计算资源,加快迭代编译过程,对当前新提出的迭代编译框架OpenTuner进行修改,将迭代编译过程中的评估阶段改为并行执行。同时,探索迭代编译评估阶段并行化对优化效果的影响,并对此做出分析。     

基于改进混沌粒子群的混合核SVM参数优化及应用

针对混合核SVM的多参数优化问题, 提出利用改进混沌粒子群（ICPSO）对SVM基本参数（惩罚因子、核参数等）、混合核可调参数进行寻优, 以获取最佳参数组合。实验结果表明, 该方法能够快速有效地提取最优参数组合, 其泛化性能明显提升, 拟合效果更好。该方法用于煤与瓦斯突出预测, 具有良好的建模效果和更高的预测精度。     

进化贝叶斯优化的核极限学习机分类器

为解决传统核极限学习机算法参数优化困难的问题,提高分类准确度,提出一种改进贝叶斯优化的核极限学习机算法。用樽海鞘群设计贝叶斯优化框架中获取函数的下置信界策略,提高算法的局部搜索能力和寻优能力;用这种改进的贝叶斯优化算法对核极限学习机的参数进行寻优,用最优参数构造核极限学习机分类器。在UCI真实数据集上进行仿真实验,实验结果表明,相比传统贝叶斯优化算法,所提算法能提升核极限学习机的分类精度,相较其它优化算法,所提算法可行有效。