基于深度多任务学习的层次分类

针对现有的深度卷积神经网络往往训练平行的分类器层,很少关注类别的层次性结构,导致均衡性分类器训练难度较大的问题,提出一种结构化的深度多任务学习算法.该算法结合深度卷积神经网络与层次分类,使类别之间的结构性信息融入至深度卷积神经网络中.依托树形的类别结构设计了一个带有共享层的多分支网络结构,并使用一种关联性多任务分类器学习算法协同训练各网络分支的分类器层;为了抑制层次间的误差传播,在各分支网络的分类器层的学习过程中添加一个基于父子关系的结构化限制.采用CIFAR100和手工采集到服装数据集,在tensorflow平台上进行实验,结果表明文中算法相比于基准网络可以提高2%~4%的分类准确度.     

含有误差校正的小波神经网络交通流量预测

交通流量的准确预测对于高速路管理者进行决策至关重要;建立了小波神经网络(WNN)交通流量预测模型,并通过预测训练误差和测试误差校正预测结果来提高预测精度;首先构建WNN模型对交通流量进行初步预测,然后利用经验模态分解(EMD)和WNN模型对训练误差和测试误差进行预测;分别用训练误差预测值、测试误差预测值和两种误差预测值的加权对流量初步预测结果进行修正得到最终预测值;采用四川省成灌高速路交通流量数据进行了仿真对比实验,仿真结果表明含有误差校正的小波神经网络模型能有效提高交通流量预测精度,并且利用两种误差加权修正模型的预测精度高于利用测试误差的修正模型和利用训练误差的修正模型。     

基于时域建模的自动语音识别

端到端神经网络能够根据特定的任务自动学习从原始数据到特征的变换,解决人工设计的特征与任务不匹配的问题。以往语音识别的端到端网络采用一层时域卷积网络作为特征提取模型,递归神经网络和全连接前馈深度神经网络作为声学模型的方式,在效果和效率两个方面具有一定的局限性。从特征提取模块的效果以及声学模型的训练效率角度,提出多时间频率分辨率卷积网络与带记忆模块的前馈神经网络相结合的端到端语音识别模型。实验结果表明,所提方法语音识别在真实录制数据集上较传统方法字错误率下降10%,训练时间减少80%。     

基于特征整合的卷积神经网络草地分类算法

为提高遥感影像草地分类的精度,分析了卷积神经网络中提取图像特征的特点,提出了一种基于特征整合深度神经网络的遥感影像特征提取算法。首先,将遥感影像数据进行PCA白化处理,降低数据之间的相关性,加快神经网络学习的速率;其次,将从卷积神经网络中提取到的浅层特征和深层特征进行双线性整合,使得整合后的新特征更加完善和优化;最后,对遥感数据进行训练,由于新特征中有效信息的增加,使得特征表达能力得到提高,达到提高草地分类准确率的目的。实验结果表明:该算法能够有效地提高草地分类的准确率,分类精度达到94.65%,相较于卷积神经网络、BP神经网络和基于SVM的分类算法分别提高了4.3%、10.39%和15.33%。     

高频随机时间序列分量的稳定预测方法

针对小波分解预测方法中高频随机序列预测精度低的问题,采用一种自行开发的小波神经网络工具箱进行预测,该方法既有小波函数信号特征提取能力,又有BP神经网络工具箱快速、方便、鲁棒性强等特点,同时给出了神经网络初始化方法.该方法的显著特点是简捷、快速、实用性强,可以克服非平稳信号预测及大批量数据的训练问题,对推广小波神经网络的应用具有重要意义.对短期电力负荷预测的仿真实验结果表明,该方法绝对平均精度达到1％以上,并具有较高的预测效率.     

基于ARIMA-BP组合模型的房地产价格预测方法研究

针对使用单一预测模型存在数据特征提取不充分,预测精度不高的问题,提出了一种基于ARIMA-BP组合模型的房地产价格预测方法。结合ARIMA模型处理线性问题的优势以及BP神经网络模型在非线性问题上的优势,利用误差方差加权平均训练法训练出最佳权重的组合并建立组合模型对某市区房地产价格和趋势预测进行实证分析。理论分析和实验结果表明,所提两者的组合模型有效解决了不能充分提取数据特征,预测精度不理想的问题,比单一预测模型能获得更准确的预测效果。     

基于迁移学习的微博谣言检测方法

为解决基于深度神经网络的微博谣言检测工作中带标签数据稀缺的问题,提出一种基于迁移学习的微博谣言检测方法.利用双层双向的门控循环单元和卷积神经网络组成的联合模型作为特征提取器,利用丰富的评论数据对联合神经网络进行预训练,将训练好的特征提取层迁移到微博谣言检测任务中,通过区分微调和斜三角学习率两种微调策略对特征提取层进行调整,使其适应于目标任务.实验结果表明,采用迁移学习方法的联合神经网络能有效提高微博谣言检测的准确率.     

基于共享BERT和门控多任务学习的事件检测方法

事件检测任务的目标是从文本中自动获取结构化的事件信息。目前基于表示学习的神经事件检测方法能够有效利用潜在语义信息,但人工标注数据集的语义知识含量有限,制约了神经网络模型的认知广度。相对地,多任务表示学习框架,有助于模型同时学习不同任务场景中的语义知识,从而提升其认知广度。BERT预训练模型得益于大规模语言资源的充沛语义信息,具有高适应性(适应不同任务)的语义编码能力。因此,该文提出了一种基于BERT的多任务事件检测模型。该方法将BERT已经包含的语义知识作为基础,进一步提升多任务模型的表示、学习和语义感知能力。实验表明,该方法有效提高了事件检测的综合性能,其在ACE2005语料集上事件分类的F₁值达到了76.7%。此外,该文在实验部分对多任务模型的训练过程进行了详解,从可解释性的层面分析了多任务架构对事件检测过程的影响。     

基于级联多任务深度学习的卡口识别引擎研究

针对在将卡口非结构化视频图像数据转化为智能结构化信息的过程中存在环境的复杂性、需求的多样性、任务的关联性和识别的实时性等问题,提出了一种级联多任务深度学习网络的卡口识别引擎方法,其通过充分利用分割、检测、识别等任务之间的相互联系实现了高精度的、高效的、同步实时的卡口车辆多种基本信息的识别(车型、品牌、车系、车身颜色以及车牌等识别任务)。首先,利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从卡口道路复杂背景中提取出感兴趣区域(包括多车辆对象);然后,利用多任务深度学习网络对提取出来的车辆对象实现多层次的多任务识别。实验结果表明,提出的方法在识别精度和效率上都明显优于传统计算机视觉方法和现有的基于深度学习的识别引擎技术,该方法对车型、品牌、车系及车牌的识别与检测精度均达到98%以上,检测效率提升了1.6倍。     

挠性陀螺刻度系数标定算法

为减小刻度系数非线性误差,建立了陀螺刻度系数分段非线性插值标定方法.针对分段非线性插值方法的不足,建立刻度系数神经网络模型,用扩展卡尔曼滤波方法训练;并在此基础上对神经网络进行再训练以提高其精度.实验结果表明,分段非线性插值方法有效地减小了刻度系数非线性误差;用训练好的神经网络可以代替分段非线性插值算法,并可简化实现过程;对刻度系数神经网络再训练,可提高神经网络对实际刻度系数的逼近程度,减小刻度系数的非线性误差.     

基于多任务学习的中文事件抽取联合模型

事件抽取旨在从非结构化的文本中提取人们感兴趣的信息,并以结构化的形式呈现给用户.当前,大多数中文事件抽取系统采用连续的管道模型,即：先识别事件触发词,后识别事件元素.其容易产生级联错误,且处于下游的任务无法将信息反馈至上游任务,辅助上游任务的识别.将事件抽取看作序列标注任务,构建了基于CRF多任务学习的中文事件抽取联合模型.针对仅基于CRF的事件抽取联合模型的缺陷进行了两个扩展：首先,采用分类训练策略解决联合模型中事件元素的多标签问题（即：当一个事件提及中包含多个事件时,同一个实体往往会在不同的事件中扮演不同的角色）.其次,由于处于同一事件大类下的事件子类,其事件元素存在高度的相互关联性.为此,提出采用多任务学习方法对各事件子类进行互增强的联合学习,进而有效缓解分类训练后的语料稀疏问题.在ACE 2005中文语料上的实验证明了该方法的有效性.     

基于知识蒸馏和生成对抗网络的远场语音识别

为了进一步利用近场语音数据来提高远场语音识别的性能,提出一种基于知识蒸馏和生成对抗网络相结合的远场语音识别算法.该方法引入多任务学习框架,在进行声学建模的同时对远场语音特征进行增强.为了提高声学建模能力,使用近场语音的声学模型（老师模型）来指导远场语音的声学模型（学生模型）进行训练.通过最小化相对熵使得学生模型的后验概率分布逼近老师模型.为了提升特征增强的效果,加入鉴别网络来进行对抗训练,从而使得最终增强后的特征分布更逼近近场特征.AMI数据集上的实验结果表明,该算法的平均词错误率（WER）与基线相比在单通道的情况下,在没有说话人交叠和有说话人交叠时分别相对下降5.6%和4.7%.在多通道的情况下,在没有说话人交叠和有说话人交叠时分别相对下降6.2%和4.1%.TIMIT数据集上的实验结果表明,该算法获得了相对7.2%的平均词错误率下降.为了更好地展示生成对抗网络对语音增强的作用,对增强后的特征进行了可视化分析,进一步验证了该方法的有效性.     

基于多任务深度学习的HXDSP多簇软流水研究

针对目前编译优化领域的深度学习模型普遍采用单任务学习而难以利用多个任务间的相关性提升模型整体编译加速效果的问题, 提出了一种基于多任务深度学习的编译优化方法. 该方法使用图神经网络 (GNN) 从C程序的抽象语法树 (ASTs) 和数据控制流图 (CDFGs) 中学习得到程序特征, 然后对程序特征同步预测HXDSP软件流水启动间隔和循环展开因子. 在DSPStone数据集上的实验结果表明, 该多任务方法取得了相对于单任务方法12%的性能提升.     

基于马氏距离的孪生多分类支持向量机

孪生支持向量机(TWSVM)的研究是近来机器学习领域的一个热点。TWSVM具有分类精度高、训练速度快等优点,但训练时没有充分利用样本的统计信息。作为TWSVM的改进算法,基于马氏距离的孪生支持向量机(TMSVM)在分类过程中考虑了各类样本的协方差信息,在许多实际问题中有着很好的应用效果。然而TMSVM的训练速度有待提高,并且仅适用于二分类问题。针对这两个问题,将最小二乘思想引入TMSVM,用等式约束取代TMSVM中的不等式约束,将二次规划问题的求解简化为求解两个线性方程组,得到基于马氏距离的最小二乘孪生支持向量机(LSTMSVM),并结合有向无环图策略(DAG)设计出基于马氏距离的最小二乘孪生多分类支持向量机。为了减少DAG结构的误差累积,构造了基于马氏距离的类间可分性度量。人工数据集和UCI数据集上的实验均表明,所提算法不仅有效,而且相对于传统多分类SVM,其分类性能有明显提高。     

多任务分段紧凑特征的车辆检索方法

目的 随着公共安全领域中大规模图像监控及视频数据的增长以及智能交通的发展,车辆检索有着极其重要的应用价值。针对已有车辆检索中自动化和智能化水平低、难以获取精确的检索结果等问题,提出一种多任务分段紧凑特征的车辆检索方法,有效利用车辆基本信息的多样性和关联性实现实时检索。方法 首先,利用相关任务之间的联系提高检索精度和细化图像特征,因此构造了一种多任务深度卷积网络分段学习车辆不同属性的哈希码,将图像语义和图像表示相结合,并采用最小化图像编码使学习到的车辆的不同属性特征更具有鲁棒性;然后,选用特征金字塔网络提取车辆图像的实例特征并利用局部敏感哈希再排序方法对提取到的特征进行检索;最后,针对无法获取查询车辆目标图像的特殊情况,采用跨模态辅助检索方法进行检索。结果 提出的检索方法在3个公开数据集上均优于目前主流的检索方法,其中在CompCars数据集上检索精度达到0.966,在VehicleID数据集上检索精度提升至0.862。结论 本文提出的多任务分段紧凑特征的车辆检索方法既能得到最小化图像编码及图像实例特征,还可在无法获取目标检索图像信息时进行跨模态检索,通过实验对比验证了方法的有效性。     

基于多任务学习的糖尿病视网膜病变图像分割

针对糖尿病视网膜病变(DR)图像,提出了一种基于多任务学习的图像多分类分割方法.首先,通过Otsu阈值算法将大部分无病灶信息像素去除;其次,通过滑动窗口切割的方法将图像切分为若干小尺寸的图像,以解决医学图像分辨率过大以及病灶在图像中占比较小的问题;再次,将不存在病灶的子图剔除,以增大含病灶子图的比例;最后,利用UNet++多任务学习属性,并且用转置卷积代替传统上采样,进行多输出多病灶的图像分割.通过在国际公开的IDRID和DDR数据集上进行验证,在IDRi D上取得0.713 1的m AUPR,在DDR上取得0.569 1的m AUPR.     

A method of credit evaluation modeling based on block-wise missing data

Missing data is a common problem in credit evaluation practice and can obstruct the development and application of an evaluation model. Block-wise missing data is a particularly troublesome issue. Based on multi-task feature selection approach, this paper proposes a method called MMPFS to build a model for credit evaluation that primarily includes two steps: (1) dividing the dataset into several nonoverlapping subsets based on missing patterns, and (2) integrating the multi-task feature selection approach using logistic regression to perform joint feature learning on all subsets. The proposed method has the following advantages: (1) missing data do not need to be managed in advance, (2) available data can be fully used for model learning, (3) information loss or bias caused by general missing data processing methods can be avoided, and (4) overfitting risk caused by redundant features can be reduced. The implementation framework and algorithm principle of the proposed method are described, and three credit datasets from UCI are investigated to compare the proposed method with other commonly used missing data treatments. The results show that MMPFS can produce a better credit evaluation model than data preprocessing methods, such as sample deletion and data imputation.

     

轴承在线早期故障检测的无监督张量深度迁移学习方法

基于张量分解可有效挖掘信号高维本质信息的优点,提出一种无监督张量深度迁移学习方法.首先,构建基于张量表示的深度多任务异常检测模型,利用核心张量构建单分类异常检测规则表示,并建立超球规则适配机制,交替优化张量分解和域无关特征提取,以实现异常检测规则在离线轴承和在线目标轴承间的有效传递,完成在线无标记数据的异常检测;其次,提出一个基于异常概率贯序累积的非参数报警阈值设定方法,可在仅设定误报警率置信度的条件下自适应选择在线阈值,并给出该阈值合理性的理论分析.在IEEE PHM Challenge 2012轴承数据集上进行实验,结果表明,所提出方法可获得更好的检测实时性和更低的误报警数,为早期故障检测提供一种具有易部署性和鲁棒性的解决方案.     

基于对抗图卷积的网络表征学习框架

现有的网络表征方法及其相关变体的侧重点在于保存网络的拓扑结构或使重构误差最小,忽略隐变量的数据分布问题.基于此种情况,文中提出基于对抗图卷积的网络表征学习框架(AGCN),使网络模型不仅可以组合图的结构信息和节点的属性信息,提高网络表征学习性能,而且可以学习数据分布.与此同时,在AGCN的基础上提出端到端的多任务学习框架(MTL),在一个学习阶段可以同时进行链接预测和节点分类任务.实验表明,MTL性能较优.     

结合从句级远程监督与半监督集成学习的关系抽取方法*

针对传统基于远程监督的关系抽取方法中存在噪声和负例数据利用不足的问题,提出结合从句级远程监督和半监督集成学习的关系抽取方法.首先通过远程监督构建关系实例集,使用基于从句识别的去噪算法去除关系实例集中的噪声.然后抽取关系实例的词法特征并转化为分布式表征向量,构建特征数据集.最后选择特征数据集中所有正例数据和部分负例数据组成标注数据集,其余的负例数据组成未标注数据集,通过改进的半监督集成学习算法训练关系分类器.实验表明,相比基线方法,文中方法可以获得更高的分类准确率和召回率.