基于自适应知识迁移与资源分配的多任务协同优化算法

多任务优化算法在各任务单独优化的同时进行任务间的知识迁移,从而提升多个任务的综合性能。然而,在相似度较低的任务间进行负向知识迁移反而会导致整体性能下降,且为难度不同的任务分配同等的计算资源会造成资源浪费。此外,在任务的不同阶段采用固定的搜索步长容易陷入局部最优。为解决上述问题,提出了一种基于自适应知识迁移与动态资源分配的多任务协同优化(Multitask Cooperative Optimization Algorithm Based on Adaptive Knowledge Transfer and Resource Allocation, AMTO)算法。首先,每个任务用一个单独的种群进行优化,并将一个种群分成3个子种群,采用3种不同的搜索策略,增加搜索行为的多样性,并且在单个任务内根据个体成功率来动态更新搜索步长,增强自适应搜索能力,避免陷入局部最优;其次,利用多个任务间知识迁移的反馈结果在线计算任务间相似度,并依据相似度自适应地调整迁移概率,同时,在相似度较低的任务间进行迁移时还需减去任务偏差,减小负向知识迁移造成的性能下降程度,提升算法对任务间差异的感知能力;然后,通过评估...     

基于图嵌入编码形态信息的非均匀多任务强化学习方法

传统强化学习方法存在效率低下、泛化性能差、策略模型不可迁移的问题。针对此问题,提出了一种非均匀多任务强化学习方法,通过学习多个强化任务提升效率和泛化性能,将智能体形态构建为图,利用图神经网络能处理任意连接和大小的图来解决状态和动作空间维度不同的非均匀任务,突破模型不可迁移的局限,充分发挥图神经网络天然地利用图结构归纳偏差的优点,实现了模型高效训练和泛化性能提升,并可快速迁移到新任务。多任务学习实验结果表明,与以往方法相比,该方法在多任务学习和迁移学习实验中均表现出更好的性能,在迁移学习实验中展现出更准确的知识迁移。通过引入图结构偏差,使该方法具备更高的效率和更好的迁移泛化性能。     

基于Winograd卷积的并行深度卷积神经网络优化算法

针对并行深度卷积神经网络算法在大数据环境下存在冗余特征计算过多、卷积运算性能不足和参数并行化合并效率低等问题，提出了基于Winograd卷积的并行深度卷积神经网络优化算法。首先，该算法提出基于余弦相似度与归一化互信息的特征过滤策略，通过先筛选后融合的方式消除了通道间对于冗余特征的计算，以此解决了冗余特征计算过多的问题；然后，结合MapReduce提出了并行Winograd卷积策略，通过使用并行化Winograd卷积运算替换传统卷积运算的方式来提升卷积运算的性能，以此解决了卷积运算性能不足的问题；最后，提出基于任务迁移的负载均衡策略，通过动态负载迁移的方式来均衡集群中各节点之间的负载，降低了集群总体的平均反应时长，以此解决了参数并行化合并效率低的问题。实验表明，WP-DCNN算法显著降低了DCNN在大数据环境下的训练代价，而且对并行DCNN的训练效率也有大幅提升。     

一种基于超粒子引导的自适应知识迁移多任务差分进化算法

针对传统多任务优化算法(MTEA)存在负向知识迁移、迁移算子效率低下等问题,提出一种基于超粒子引导的自适应知识迁移的多任务差分进化算法(SAKT＿MFDE).首先,通过任务之间的相似程度自适应地调节任务之间的交配概率,增大任务之间的正向迁移;其次,利用超粒子引导算法的搜索方向,进一步提升算法整体的优化效率;最后,通过多任务基准函数进行仿真实验来评价改进算法的寻优性能.实验结果表明,所提出算法可以有效规避任务之间的负向迁移,提高相似度较低的任务组的优化性能.     

基于迁移学习的多任务分配算法

对于多任务分配问题，传统的方法针对每一个任务独立地寻找一个最优分配方案，没有考虑任务间的关联以及历史经验对新任务分配的影响，因而复杂度较高。研究了多智能体系统中的多任务分配问题，通过迁移学习来加速任务分配以及子任务的完成。在分配目标任务时，通过计算当前任务和历史任务的相似度找到最适合的源任务，再将源任务的分配模式迁移到目标任务中，并在完成子任务的过程中使用迁移学习，从而提高效率，节约时间。最后，通过“格子世界”的实验证明了该算法在运行时间和平均带折扣回报方面都优于基于Q学习的任务分配算法。     

基于迁移学习的讽刺检测

准确的讽刺检测对于情感分析等任务至关重要.传统的方法严重依赖于离散的人工制定的特征.现有的研究大多将讽刺检测作为一种标准的监督学习文本分类任务,但是监督学习需要有大量数据,而这些数据的收集和标注都存在困难.由于目标任务有限的数据集可能导致讽刺检测的低性能,为此将讽刺检测作为一种迁移学习任务,将讽刺标记文本的监督学习与外部分析资源的知识转移相结合.通过转移的资源知识来改进神经网络模型,以此提升对目标任务的检测性能.在公开可用的数据集上的实验结果表明,提出的基于迁移学习的讽刺检测模型优于现有较先进的讽刺检测模型.     

基于知识架构的持续学习情感分类方法

当情感分类模型依次学习多个领域的情感分类任务时，从新任务中学到的参数会直接修改模型原有参数，由于缺少对原有参数的保护机制，降低了模型在旧任务上的分类准确率。为缓解灾难遗忘现象对模型性能的影响，并增加任务间的知识迁移，提出一种用于中文情感分类的基于知识架构的持续学习方法。在Transformer编码层中，采用任务自注意力机制为每个任务单独设置注意力变换矩阵，通过区分任务特有的注意力参数实现知识保留。在TextCNN的全连接层中，利用任务门控注意力(HAT)机制控制每个神经元的开闭，为每个任务训练特定的网络结构，仅激活对任务重要的神经元加强知识挖掘，提升分类效率与准确率。在JD21中文数据集上的实验结果表明，该方法的Last ACC和负类F1值相比于基于HAT的持续学习方法分别提升了0.37和0.09个百分点，具有更高的分类准确率，并且有效缓解了灾难遗忘现象。     

基于石油领域本体的概念相似度级联模型

提出了一种利用级联模型来计算本体中概念间相似度的新方法.在模型的第一阶段,采用了基于距离的语义相似度计算方法,计算出概念对在本体中的路径得分;第二阶段,采用IC （Information Content）算法精确计算概念对间相似度得分,并利用概念的公共子代集合对算法进行了扩展;第三阶段我们采用了特征整合策略,将所有的相似性得分构建成特征向量来描述概念对,并且使用权重来平衡第一阶段与第二阶段的相似度结算得分.最后使用BP神经网络确定两个概念的相似性.我们对新提出的语义相似度算法进行了评估,并与现有的方法相比.实验结果表明,该方法有效提高相似度算法的准确性和科学性.     

基于协方差矩阵调整的多目标多任务优化算法

多任务进化（EMT）是进化计算领域的一个新兴研究方向,区别于传统的单任务搜索算法,EMT通过在任务间传递有用知识,对多个任务同时实施进化搜索,以提升多个任务的收敛性能。目前,大多数进化算法只考虑了知识迁移而忽略了任务间的联系。提出一种多目标多任务优化算法,结合迁移学习的思想,采用任务间种群的协方差矩阵差异表示任务间种群分布特征差异,使用任务间种群均值的距离表示任务间种群的分布距离,并通过任务间种群的分布特征差异和分布距离表示任务间的相似度。对于某个目标任务,将其最相似任务中的解集实施K最近邻分类,以筛选出对目标任务有价值的解,并使其迁移到目标任务中。实验结果表明,与EMTSD、MaTEA、MO-MFEA-II等多目标多任务优化算法相比,所提算法具有较佳的收敛性能,平均运行效率约提高了66.62%。     

融合关键词和语义特征的汉越文本相似度计算

汉越文本相似度计算是实现汉越文本理解和文本分类的基础.目前使用神经网络来计算文本相似度是一个有效方法,但由于文本较长、冗余信息较多,神经网络难以有效捕获文本间的相似信息,同时汉-越平行语料稀缺导致模型泛化性能一般,此方法受到一定限制.故提出一种融合关键词和语义特征的汉越文本相似度计算方法.针对文本较长冗余信息较多,提出使用文本关键词来获得文本关键信息以压缩文本减少冗余,同时计算出文本间关键词相似信息;针对汉-越平行语料稀缺,提出使用知识蒸馏的方法来训练神经网络来对文本进行编码,得到上下文语义特征;最后将词的相似信息和上下文语义特征融合实现文本相关性判断.实验表明,本文提出的方法能有效提升汉-越文本相似度计算的准确率.     

基于知识蒸馏的深度无监督离散跨模态哈希

跨模态哈希因其低存储花费和高检索效率得到了广泛的关注。现有的大部分跨模态哈希方法需要额外的手工标签来提供实例间的关联信息,然而,预训练好的深度无监督跨模态哈希方法学习到的深度特征同样能提供相似信息;且哈希码学习过程中放松了离散约束,造成较大的量化损失。针对以上两个问题,提出基于知识蒸馏的深度无监督离散跨模态哈希（DUDCH）方法。首先,结合知识蒸馏中知识迁移的思想,利用预训练无监督老师模型潜藏的关联信息以重构对称相似度矩阵,从而代替手工标签帮助有监督学生模型训练;其次,采用离散循环坐标下降法（DCC）迭代更新离散哈希码,以此减少神经网络学习到的实值哈希码与离散哈希码间的量化损失;最后,采用端到端神经网络作为老师模型,构建非对称神经网络作为学生模型,从而降低组合模型的时间复杂度。在两个常用的基准数据集MIRFLICKR-25K和NUS-WIDE上的实验结果表明,该方法相较于深度联合语义重构哈希（DJSRH）方法在图像检索文本/文本检索图像两个任务上的平均精度均值（mAP）分别平均提升了2.83个百分点/0.70个百分点和6.53个百分点/3.95个百分点,充分体现了其在大规模跨模态数据检索中的有效性。     

基于用户相似度迁移的协同过滤推荐算法

数据稀疏性问题是传统的协同过滤算法主要的瓶颈之一。迁移学习利用辅助领域的用户评分信息,有效地缓解了目标领域的稀疏性问题。现有的迁移学习推荐算法中,普遍存在领域间的用户需要一致、模型平衡参数较多等限制。针对这些局限性,提出了一种用户相似度迁移的模型,利用辅助领域的用户相似度帮助目标领域用户相似度的学习。此外,通过一种用户特征子空间的距离来度量模型的平衡参数,使模型更加具有智能性。实验结果表明,该模型与其他协同过滤算法相比较能够更有效地缓解数据稀疏性问题。     

基于LDA主题模型的文本相似度计算

LDA(Latent Dirichlet Allocation)模型是近年来提出的一种具有文本表示能力的非监督学习模型。提出了一种基于LDA主题模型的文本相似度计算方法,该方法利用LDA为语料库建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,挖掘隐藏在文本内的不同主题与词之间的关系,得到文本的主题分布,并以此分布来计算文本之间的相似度,最后对文本相似度矩阵进行聚类实验来评估聚类效果。实验结果表明,该方法能够明显提高文本相似度计算的准确率和文本聚类效果。     

基于CNN和深层语义匹配的中文实体链接模型

实体链接是知识图谱领域的重要研究内容,现有的实体链接模型研究大多集中在对手工特征的选择上,不能很好地利用实体间的语义信息来实现更高效的实体链接效果。故提出一个基于深度语义匹配模型和卷积神经网络的实体链接模型,候选实体生成阶段采用构造同名字典,并基于上下文进行字典扩充,通过匹配来选择候选实体集。通过卷积神经网络来捕获深层语义信息,进行特征提取,并将其作为语义匹配模型的输入,通过模型训练学习选择出最佳参数,并输出语义相似度最高的候选实体作为实体链接的结果。在NLP & CC2014_ERL 数据集上较Ranking SVM模型准确率提升了3.9%,达到86.7%。实验结果表明了提出的新模型性能优于当前的主流模型。     

结合记忆与迁移学习的小样本学习

小样本学习是视觉识别中的一个受关注的领域,旨在通过少量的数据来学习新的视觉概念。为了解决小样本问题,一些元学习方法提出从大量辅助任务中学习可迁移的知识并将其应用于目标任务上。为了更好地对知识进行迁移,提出了一种基于记忆的迁移学习方法。提出一种权重分解策略,将部分权重分解为冻结权重与可学习权重,在迁移学习中通过固定冻结权重,仅更新可学习权重的方式来减少模型需要学习的参数。通过一个额外的记忆模块来存储之前任务的经验,在学习新任务时,这些经验被用来初始化模型的参数状态,以此更好地进行迁移学习。通过在miniImageNet、tieredImageNet以及CUB数据集上的实验结果表明,相对于其他先进的方法,该方法在小样本分类任务上取得了具有竞争力甚至是更好的表现。     

基于混合共享机制的多任务深度学习方法

针对多任务学习的特征提取和任务区分难题，提出基于混合共享机制的多任务深度学习方法。给出硬参数共享网络混合训练方法和依据灵敏性分析的任务相似度分组策略；对组内、组间任务分别应用硬、软参数共享，给出混合共享网络及其相应训练方法；通过MNIST数据集上的实例研究与分析验证该方法的有效性。该方法充分发挥了硬、软参数共享机制的优点，较好刻画了任务的共享与私有特征，提升了多任务学习的性能。     

迁移学习下高分快视数据道路快速提取

目的 传统的道路提取方法自动化程度不高,无法满足快速获取道路信息的需求。使用深度学习的道路提取方法多关注精度的提升,网络冗余度较高。而迁移学习通过将知识从源领域迁移到目标领域,可以快速完成目标学习任务。因此,本文利用高分辨率卫星快视数据快速获取的特性,构建了一种基于迁移学习的道路快速提取深度神经网络。方法 采用基于预训练网络的迁移学习方法,可以将本文整个道路提取过程分为两个阶段：首先在开源大型数据库ImageNet上训练源网络,保存此阶段最优模型;第2阶段迁移预训练保存的模型至目标网络,利用预训练保存的权重参数指导目标网络继续训练,此时快视数据作为输入,只做目标任务的定向微调,从而加速网络训练。总体来说,前期预训练是一个抽取通用特征参数的过程,目标训练是针对道路提取任务特化的过程。结果 本文构建的基于迁移学习的快速道路提取网络,迁移预训练模型与不迁移相比验证精度提升6.0%,单幅尺寸为256×256像素的数据测试时间减少49.4%。快视数据测试集平均精度可达88.3%。截取一轨中7 304×6 980像素位于天津滨海新区的快视数据,可在54 s内完成道路提取。与其他迁移模型对比,本文方法在快速预测道路的同时且能达到较高的准确率。结论 实验结果表明,本文针对高分卫星快视数据,提出的利用预训练模型初始化网络能有效利用权重参数,使模型趋于轻量化,使得精度提升的同时也加快了提取速度,能够实现道路信息快速精准获取。     

基于相似度约束的双策略蒸馏深度强化学习方法

策略蒸馏是一种将知识从一个策略转移到另一个策略的方法，在具有挑战性的强化学习任务中获得了巨大的成功。典型的策略蒸馏方法采用的是师生策略模型，即知识从拥有优秀经验数据的教师策略迁移到学生策略。获得一个教师策略需要耗费大量的计算资源，因此双策略蒸馏框架(Dual Policy Distillation, DPD)被提出，其不再依赖于教师策略，而是维护两个学生策略互相进行知识迁移。然而，若其中一个学生策略无法通过自我学习超越另一个学生策略，或者两个学生策略在蒸馏后趋于一致，则结合DPD的深度强化学习算法会退化为单一策略的梯度优化方法。针对上述问题，给出了学生策略之间相似度的概念，并提出了基于相似度约束的双策略蒸馏框架(Similarity Constrained Dual Policy Distillation, SCDPD)。该框架在知识迁移的过程中，动态地调整两个学生策略间的相似度，从理论上证明了其能够有效提升学生策略的探索性以及算法的稳定性。实验结果表明，将SCDPD与经典的异策略和同策略深度强化学习算法结合的SCDPD-SAC算法和SCDPD-PPO算法，在多个连续控制任务上，相比经...     

参数字典稀疏表示的完全无监督域适应

无监督域适应(unsupervised domain adaptation,UDA)针对的是源域有标记而目标域无标记的学习问题,其目的是利用从标记大样本源域中所学"知识"来促进无标记小样本目标域的学习性能。但现实中也往往存在样本无标记的源域,形成了所谓的完全无监督域适应。该问题给域适应学习带来了严峻的挑战。受先前提出的软大间隔聚类学习(soft large margin clustering,SLMC)启发,提出了一种参数迁移方法——参数字典稀疏表示的完全无监督的域适应方法(whole UDA,WUDA)。SLMC采用分类学习思想在输出(标记)空间中实现给定数据的聚类,在这种实现原理的启发下,从参数(决策函数的权重矩阵)公共字典的角度,在源域和目标域的权重间进行互适应参数字典学习实现知识迁移,同时引入l_(2,1)范数来约束字典系数矩阵,使得各域权重可从公共字典中自适应地选择,从而实现域适应学习。最后,在相关数据集上的实验显示了WUDA在聚类性能上的显著有效性。     

基于分布的中文词表示研究

针对基于分布的中文词表示构造过程中的参数选择问题进行了系统性的研究。选择了六种参数进行对比实验,在中文语义相似度任务上对不同参数设置下得到的中文词表示的质量进行了评估。实验结果表明,通过选择合适的参数,基于分布的词表示在中文语义相似度任务上能够得到较高的性能,而且,这种高维的词分布表示的质量甚至优于目前流行的基于神经网络（Skip-gram）或矩阵分解（GloVe）得到的低维的词表示。