基于深度强化学习的空间众包任务分配策略

针对动态在线任务分配策略难以有效利用历史数据进行学习、同时未考虑当前决策对未来收益的影响的问题,提出基于深度强化学习的空间众包任务分配策略.首先,以最大化长期累积收益为优化目标,基于马尔科夫决策过程从单个众包工作者的角度建模,将任务分配问题转化为对状态动作价值Q的求解及工作者与任务的一对一分配.然后采用改进的深度强化学...     

基于生成式对抗网络的图像自动标注

针对基于深度学习的图像标注模型输出层神经元数目与标注词汇量成正比,导致模型结构因词汇量的变化而改变的问题,提出了结合生成式对抗网络(GAN)和Word2vec的新标注模型.首先,通过Word2vec将标注词汇映射为固定的多维词向量;其次,利用GAN构建神经网络模型——GAN-W模型,使输出层神经元数目与多维词向量维数相等,与词汇量不再相关;最后,通过对模型多次输出结果的排序来确定最终标注.GAN-W模型分别在Corel 5K和IAPRTC-12图像标注数据集上进行实验,在Corel 5K数据集上,GAN-W模型准确率、召回率和F1值比卷积神经网络回归(CNN-R)方法分别提高5、14和9个百分点;在IAPRTC-12数据集上,GAN-W模型准确率、召回率和F1值比两场K最邻近(2PKNN)模型分别提高2、6和3个百分点.实验结果表明,GAN-W模型可以解决输出神经元数目随词汇量改变的问题,同时每幅图像标注的标签数目自适应,使得该模型标注结果更加符合实际标注情形.     

基于Web的众包文本标注平台构建与应用

针对现有文本标注工具中缺乏复杂类型标注功能和众包质量检测方法等问题,构建了一个基于Web的众包文本标注平台。一方面,平台采用浏览器/服务器（B/S）的开发架构和前后端分离的开发方式,实现了复杂类型文本标注的需求,提供序列标注、单标签标注、量级标签标注、多层次标签标注和嵌套文本标注等场景的文本标注功能;另一方面,还提出了一种基于监督数据的多数投票一致性检测方法,在随机注入的监督数据上计算标注参与者的标注能力,作为多数投票的权重,进行真值推断得到最终的标注结果。最后,进行了系统功能测试、系统性能测试和浏览器兼容性测试,测试结果表明该系统能够满足复杂类型文本标注的需求,所提出的一致性检测方法能够筛选出高质量的标注内容反馈给用户。提供了一个高效便捷的众包文本标注平台,以构建高质量的文本语料库,助力自然语言处理（NLP）相关任务的研究,并已部署在服务器上,互联网用户可直接通过浏览器访问。     

基于众包标注的语文教材句子难易度评估研究

该文提出了一种基于成对比较的众包标注方法,该方法可以通过非专业人士的简单判断获取标准统一的句子难度标注结果。基于该方法,构建了基于语文教材的由18411个句子组成的汉语句子难度语料库。面向单句绝对难度评估和句对相对难度评估两项基本的句子难易度评估任务,使用机器学习方法训练汉语句子难度评估模型,并进一步探讨了不同层面语言特征对模型性能的影响。实验结果显示,基于机器学习的分类模型可以有效预测句子的绝对难度和相对难度,最高准确率分别为63.37%和67.95%。语言特征可以帮助提升模型的性能,相比于词汇和句法层面的特征,加入汉字层面特征的模型在两项任务上的准确率最高。     

基于众包标注的中文微博命名实体识别

中文微博命名实体的有效识别对使用微博进行社会舆论监测具有重要意义。鉴于微博更新速度快、语言不规范、噪声多,使得命名实体识别成本高、识别效率低。针对这些问题,提出基于众包标注的中文微博命名实体识别的方法。对众包工作者的能力进行评估,使用最大期望算法(EM算法)对评估后的能力值进行分析学习,过滤掉每个标注者的噪声并对众包标注的结果进行优化,从而确定最后的命名实体。实验结果表明,该方法能够有效地提高中文微博中命名实体识别的准确率。     

一种结合众包的排序学习算法

针对有监督排序学习所需带标记训练数据集不易获得的情况,引入众包这种新型大众网络聚集模式来完成标注工作,为解决排序学习所需大量训练数据集标注工作耗时耗力的难题提供了新的思路。首先介绍了众包标注方法,着重提出两种个人分类器模型来解决众包结果质量控制问题,同时考虑标注者能力和众包任务的难度这两个影响众包质量的因素。再基于得到的训练集使用RankingSVM进行排序学习并在微软OHSUMED数据集上衡量了该方法在NDCG@n评价准则下的性能。实验结果表明该众包标注方法能够达到95%以上的正确率,所得排序模型的性能基本和RankingSVM算法持平,从而验证了众包应用于排序学习的可行性和优越性。     

基于深度学习的生成式文本摘要研究

技术可帮助用户高效、准确地获取目标信息,有效缓解了人们在日常生活中面对海量信息的压力。本研究提出一种基于深度学习的生成式文本摘要方法,利用强化学习将抽取式模型与生成式文本摘要结合,将经过优化的BERTScore评价指标作为模型的反馈值,避免了在使用Rouge评价指标作为反馈值时,忽略词汇不同但语义相同的问题。将BERTScore评价指标和Rouge评价指标联合作为反馈值,得到了与人工总结更接近的文本摘要。     

基于t分布的贝叶斯深度学习模型及其应用

贝叶斯深度学习(BDL)融合了贝叶斯方法与深度学习(DL)的互补优势,成为复杂问题中不确定性建模与推断的强大工具.本文构建了基于t分布和循环随机梯度汉密尔顿蒙特卡罗采样算法的BDL框架,并基于数据不确定性和模型定不确定性给出了不确定性的度量.为了验证模型框架的有效性和适用性,我们分别基于人工神经网络(ANN)、卷积神经网络(CNN)和循环神经网络(RNN)构建了相应的BDL模型,并将模型应用于全球15个股票指数预测,实证结果显示:1)该框架在ANN、CNN和RNN下均适用,对全部指数的预测效果均很出色; 2)在预测精度和通用性方面,基于t分布BDL的模型比基于正态分布的BDL模型具有显著优越性; 3)在给定不确定性阈值之下的预测MAE比初始MAE显著提升,表明文中定义的不确定性是有效的,对不确定性建模具有重要意义.鉴于该BDL框架在预测精度、易于拓展和具备提供预测不确定性度量的优势,其在金融和其他具有复杂数据特征的领域均有广阔的应用前景.     

基于深度高斯过程的多元类别数据分布估计

多元类别数据的可能取值会随向量长度的增长呈指数级增长,从而造成数据稀疏性问题。通过将观察数据嵌入到连续空间中训练识别数据之间的相似性,构建多元类别数据的线性高斯隐变量模型和类别隐高斯过程(CLGP)。在CLGP模型基础上,建立小样本多元类别数据分布估计的多元类别深度隐高斯过程模型,并结合蒙特卡洛采样的变分推断方法对模型进行参数优化。实验结果表明,与CLGP模型相比,该模型分布估计精确度有所提升。     

利用收益预测与策略梯度两阶段众包评论集成

近年来随着互联网的飞速发展,人们频繁地在网络上发布关于某一特定对象的评论内容,快速掌握众包评论文本的关键信息对决策制定、服务调整有着重要作用,对众包评论文本集成进行深入研究亦显得十分必要.众包评论文本集成旨在将不同评论者对同一对象的评论内容以既定压缩率整合成较短的集成文本,从而根据大众认知形成关于特定对象较为匹配的内容...     

概率生成模型变分推理方法综述

概率生成模型是知识表示的重要方法,在该模型上计算似然函数的概率推理问题一般是难解的.变分推理是重要的确定性近似推理方法,具有较快的收敛速度、坚实的理论基础．尤其随着大数据时代的到来,概率生成模型变分推理方法受到工业界和学术界的极大关注.综述了多种概率生成模型变分推理框架及最新进展,具体包括：首先综述了概率生成模型变分推理一般框架及基于变分推理的生成模型参数学习过程;然后对于条件共轭指数族分布,给出了具有解析优化式的变分推理框架及该框架下可扩展的随机化变分推理;进一步,对于一般概率分布,给出了基于随机梯度的黑盒变分推理框架,并简述了该框架下多种变分推理算法的具体实现;最后分析了结构化变分推理,通过不同方式丰富变分分布提高推理精度并改善近似推理一致性.此外,展望了概率生成模型变分推理的发展趋势.     

二值probit回归模型的坍缩变分贝叶斯推断算法

给出了二值probit回归模型的坍缩变分贝叶斯推断算法.此算法比变分贝叶斯推断算法能更逼近对数边缘似然,得到更精确的模型参数后验期望值.如果两个算法得到的分类错误一致,则该算法的迭代次数较变分法明显减少.仿真实验结果验证了所提出算法的有效性.     

混合变分自编码

变分自编码(variational autoencoder, VAE)是一种基于连续隐向量的生成模型,通过变分近似构建目标函数,其中的生成模型及变分推理模型均采用神经网络结构.传统变分自编码模型中的变分识别模型假设多维隐变量之间是相互独立的,这种假设简化了推理过程,但是这使得变分下界过于松弛,同时限制了隐向量空间的表示能力.提出混合变分自编码(mixture of variational autoencoder, MVAE)模型,它通过多个变分自编码组件生成样本数据,丰富了变分识别模型结构,同时扩展了隐向量表示空间.该模型以连续型隐向量作为模型的隐层表示,其先验分布为高斯分布;以离散型隐向量作为各组件的指示向量,其先验分布为多项式分布.对于MVAE模型的变分优化目标,采用重参策略和折棍参数化策略处理目标函数,并用随机梯度下降方法求解模型参数.MVAE采用混合组件的方法可以增强隐变量空间的表示能力,提高近似推理精度,重参策略和折棍参数化策略可以有效求解对应的优化问题.最后在MNIST和OMNIGLOT数据集上设计了对比实验,验证了MVAE模型较高的推理精度及较强的隐变量空间表示能力.     

不确定性环境下维纳模型的随机变分贝叶斯学习

多重不确定性环境下的非线性系统辨识是一个开放问题. 贝叶斯学习在描述、处理不确定性方面具有显著优势, 已在线性系统辨识方面得到广泛应用, 但在非线性系统辨识的应用较少, 且面临概率估计复杂、计算量大等难题. 针对上述问题, 以典型维纳(Wiener)非线性过程为对象, 提出基于随机变分贝叶斯的非线性系统辨识方法. 首先对过程噪声、测量噪声以及参数不确定性进行概率描述; 然后利用随机变分贝叶斯方法对模型参数进行后验估计. 在估计过程中, 利用随机优化思想, 仅利用部分中间变量概率信息估计模型参数分布的自然梯度期望, 与利用所有中间变量概率信息估计模型参数比较, 显著降低了计算复杂性. 该方法是首次在系统辨识领域中的应用. 最后, 利用一个仿真实例和一个维纳模型的Benchmark问题, 证明了该方法在对大规模数据下非线性系统辨识的有效性.     

黑盒机器学习模型的成员推断攻击研究

近年来,机器学习技术飞速发展,并在自然语言处理、图像识别、搜索推荐等领域得到了广泛的应用.然而,现有大量开放部署的机器学习模型在模型安全与数据隐私方面面临着严峻的挑战.本文重点研究黑盒机器学习模型面临的成员推断攻击问题,即给定一条数据记录以及某个机器学习模型的黑盒预测接口,判断此条数据记录是否属于给定模型的训练数据集....     

基于深度生成模型的煤矿运输皮带异物检测

为了能够精准地对煤矿皮带运输机上的异物进行检出,提出了一种基于深度生成模型的皮带异物检测方法.首先,利用常规的变分自编码器(variational autoencoder,VAE)对图像进行重构,根据原始图像与重构图像之间的重构误差对图像中是否存在异物进行检出.然后,为了解决变分自编码器所生成的重构图像通常较为模糊的问...     

Mean-field variational approximate Bayesian inference for latent variable models

The ill-posed nature of missing variable models offers a challenging testing ground for new computational techniques. This is the case for the mean-field variational Bayesian inference. The behavior of this approach in the setting of the Bayesian probit model is illustrated. It is shown that the mean-field variational method always underestimates the posterior variance and, that, for small sample sizes, the mean-field variational approximation to the posterior location could be poor.