INTER-VMM:融合虚拟机选择和放置的虚拟机迁移模型

低能量消耗与物理资源的充分利用是绿色云数据中心构造的两个主要目标,需要采用虚拟机迁移模型来完成优化,为此提出了融合虚拟机选择和放置的虚拟机迁移模型INTER-VMM（Interrelation approach in virtual machine migration）。INTER-VMM设计了云数据中心的基于多维物理资源约束的能量消耗模型,是一种将主机负载检测、虚拟机选择及放置结合起来考虑的虚拟机迁移策略。在虚拟机选择中采用HPS（High CPU utilization selection）选择法,选择超负载物理主机上CPU利用率最高的一个虚拟机,让其进入候选迁移虚拟机列表中。在虚拟机放置中采用空间感知分配（Space aware placement, SAP）放置法,考虑了充分利用物理主机空余空间使用效率的方法。仿真结果表明,INTER-VMM比近几年来常见的虚拟机迁移策略具有更好的性能指标,对云服务提供商具有很好的参考价值。     

基于双迭代聚能量字典学习的数据压缩算法

针对基于稀疏表示（Sparse representation,SR）的数据压缩压缩率低、重构精度低等问题,本文提出一种基于双迭代的聚能量字典学习算法,把高维信号映射到低维特征空间,当低维特征空间保留高维原始信号越多的特征时,高维信号从低维特征空间中恢复出来的精度越高。为了使低维字典保留高维字典更多的主成分,本文提出了一个新的变换,被命名为?变换,能提升高维字典的能量集中性。除此之外,针对高维字典与低维字典的耦合关系,建立了双循环迭代训练,增加字典的能量集中性与字典的表达能力。实验表明,相比于传统算法,本文提出算法字典学习收敛速度提升了3倍以上。此外,该方法可以得到较高的压缩比和更高质量的重构信号。     

基于改进的花授粉算法的虚拟机分配策略

构造绿色云数据中心的两个主要目标是低能量消耗与物理资源利用效率的充分利用,为此需要采用虚拟机分配策略来完成优化。本文提出了基于改进花授粉算法的虚拟机分配策略（Flower pollination algorithm based virtual machine allocation, FPA-VMA）。FPA-VMA中一朵花或一个配子就对应于虚拟机映射到物理主机分配优化问题中的一个解;并且描述了云数据中心云客户端的资源请求模型和多维物理资源的能量消耗模型。FPA-VMA在花授粉的动态切换概率阶段的策略可以平衡全局最优解搜索和局部最优解搜索之间的切换,同时改善资源分配的全局收敛能力。真实的虚拟机数据的访问测试结果标明：FPA-VMA比常见的虚拟机分配优化策略有更低的能量消耗和更高的物理资源利用效率。     

一种面向跨项目软件缺陷预测的特征过滤与实例迁移框架

在跨项目软件缺陷预测中,源项目与目标项目的特征关联度与实例分布差异性是影响预测模型性能的主要因素。本文从特征过滤与实例迁移2个角度出发,提出一种跨项目软件缺陷预测框架KCF-KMM(K-medoids Cluster Filtering- Kernel Mean Matching)。在特征过滤阶段,该方法基于K-medoids聚类算法来筛选特征子集,过滤与目标项目关联度低的特征。在实例迁移阶段,通过KMM算法计算源项目与目标项目实例间的分布差异度,以此分配每个训练实例的影响权重。最后,结合目标项目中少量有标注数据建立混合缺陷预测模型。为了验证KCF-KMM的有效性,本文从准确率和F1值的角度出发,分别与经典的跨项目软件缺陷预测方法TCA+、TNB和NNFilter相比,KCF-KMM的预测性能在Apache数据集上可以分别提升34.1%、0.8%、21.1%和14.4%、3.7%、10.6%。     

基于迁移学习的卷积神经网络通道剪枝

卷积神经网络在计算机视觉等多个领域应用广泛,然而其模型参数量众多、计算开销庞大,导致许多边缘设备无法满足其存储与计算资源要求。针对其边缘部署困难,提出使用迁移学习策略改进基于BN层缩放因子通道剪枝方法的稀疏化过程。本文对比不同层级迁移方案对稀疏化效果与通道剪枝选取容限的影响;并基于网络结构搜索观点设计实验,探究其精度保持极限与迭代结构的收敛性。实验结果表明,对比原模型,采用迁移学习的通道剪枝算法,在精度损失不超过0.10的前提下,参数量减少89.1%,模型存储大小压缩89.3%;对比原剪枝方法,将剪枝阈值从0.85提升到0.97,进一步减少参数42.6%。实验证明,引入迁移策略更易实现充分的稀疏化,提高通道剪枝阈值选取容限,实现更高压缩率;并在迭代剪枝的网络结构搜索过程中,提供更高效的搜索起点,利于快速迭代趋近至搜索空间的一个网络结构局部最优解。     

基于多通道分离整合的多尺度单幅图像去雨算法

由于密度不同的雨对图像造成的遮挡不同,图像去雨一直都是一项极具挑战性的任务。目前,基于深度学习的图像去雨算法已经成为主流。然而,多数深度学习的架构都是通过堆叠卷积层来设计的,执行去雨任务后图像仍存在着大小不一的雨痕,这些方法并不能很好地关注训练中雨图的局部信息和上下文信息。为了解决上述问题,本文设计一种基于多通道分离整合的卷积神经网络用于图像去雨。第一步通过通道分离,再利用卷积层间的层级连接,构成多尺度模块,最终将不同通道的输出进行整合。该模块可以增大感受野,探索特征图之间的空间信息,更好地提取特征。第二步利用渐进网络来反复计算挖掘上下文信息,能够很好关联到全局特征。整体模型易于实施,可以端对端训练。在常用的数据集以及自建的自动驾驶雨天数据集上的大量实验表明,本文方法比现有方法取得了明显的改进。     

基于深度网络的出租车Pick-up需求预测

在智慧城市建设中,区域的出租车需求预测是一个十分重要的模块。为了预测指定区域未来时刻的出租车需求,本文通过拓展已有序列模型,提出一个多时间分辨率的基于层次注意力机制的循环高速网络（Multi-Time Resolution Hierarchical Attention-Based Recurrent Highway Networks, MTR-HRHN）。MTR-HRHN将对外生数据时空特征的提取和目标数据的时空建模整合到单个框架中,并且通过多分辨率（例如每个小时或者每天）对序列数据不同的时间属性建模,从而捕获更全面的时间模式。最后,在纽约市出租车数据集上评估MTR-HRHN的预测性能。实验结果表明,与其他经典时间序列预测方法相比,MTR-HRHN在多个高需求区域的短期需求预测上表现出更好的预测性能。     

基于主动学习的命名实体识别算法

命名实体识别的目的是识别文本中的实体指称的边界和类别。在进行命名实体识别模型训练的过程中,通常需要大量的标注样本。本文通过实现有效的选择算法,从大量样本中选择适合模型更新的样本,减少对样本的标注工作。通过5组对比实验,验证使用有效的选择算法能够获得更好的样本集,实现具有针对性的标注样本。通过设计在微博网络数据集上的实验,验证本文提出的基于流的主动学习算法可以针对大量互联网文本数据选择出更合适的样本集,能够有效减少人工标注的成本。本文通过2个模型分别实现实体的边界提取和类别区分。序列标注模型提取出实体在序列中的位置,实体分类模型实现对标注结果的分类,并利用主动学习的方法实现在无标注数据集上的训练。使用本文的训练方法在2个数据集上进行实验。在Weibo数据集上的实验展示算法能从无标签数据集中学习到文本特征。在MSRA数据集上的实验结果显示,在预训练数据集的比例达到40%以上时,模型在测试数据集上的F1值稳定在90%左右,与使用全部数据集的结果接近,说明模型在无标签数据集上具有一定的特征提取能力。     

一种基于深度强化学习的Spark Streaming参数优化方法

Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法（DQN-SSPO）,将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率。在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93%,在总处理时间上平均缩减42%。