基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注．基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能．本文围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行对比和分析．我们又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行概述和评价．最后总结语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望．     

视觉问答研究综述

视觉问答是计算机视觉领域和自然语言处理领域的交叉方向,近年来受到了广泛关注.在视觉问答任务中,算法需要回答基于特定图片（或视频）的问题.自2014年第一个视觉问答数据集发布以来,若干大规模数据集在近5年内被陆续发布,并有大量算法在此基础上被提出.已有的综述性研究重点针对视觉问答任务的发展进行了总结,但近年来,有研究发现,视觉问答模型强烈依赖语言偏见和数据集的分布,特别是自VQA-CP数据集发布以来,许多模型的效果大幅度下降.主要详细介绍近年来提出的算法以及发布的数据集,特别是讨论了算法在加强鲁棒性方面的研究.对视觉问答任务的算法进行分类总结,介绍了其动机、细节以及局限性.最后讨论了视觉问答任务的挑战及展望.     

基于$pm3sigma$正态概率区间分族遗传蚁群算法的移动机器人路径规划

针对移动机器人路径规划问题,提出一种基于正态概率区间分族的家族遗传蚁群融合算法.首先提出初始种群优化及删除算子解决传统遗传蚁群融合算法中遗传阶段随机生成的初始种群质量低的问题;然后引入适应度值正态概率区间种群分族机制及家族混合交叉算子,解决传统遗传蚁群融合算法中易出现未成熟收敛的问题;最后引入混合变异策略以提高随机变异后生成的路径质量.将全局路径规划算法与局部路径规划算法-动态窗口算法相结合形成完整移动机器人运动规划.基于Matlab仿真平台与机器人操作系统平台进行实验分析,结果验证了所提出正态化概率分族遗传蚁群融合算法求解移动机器人路径规划问题的有效性.     

融入时间的兴趣点协同推荐算法

兴趣点（POI）推荐可以帮助用户发现其没有访问过但可能感兴趣的地点,是重要的基于位置的服务之一。时间在POI推荐中是一个重要因素,而现有POI推荐模型并没有较好地考虑时间因素,因此通过考虑时间因素来提出融入时间的POI协同推荐（TUCF）算法,从而提高POI推荐的效果。首先,分析基于位置的社交网络（LBSN）的用户签到数据,以探索用户签到的时间关系;然后,利用时间关系对用户签到数据进行平滑处理,以融入时间因素并缓解数据稀疏性;最后,根据基于用户的协同过滤方法,在不同时间推荐不同POI给用户。在真实签到数据集上的实验结果表明,与基于用户的协同过滤（U）算法相比,TUCF算法的精确率和召回率分别提高了63%和69%;与具有平滑增强时间偏好的协同过滤（UTE）算法相比,TUCF算法的精确率和召回率分别提高了8%和12%;并且TUCF算法的平均绝对误差（MAE）比U算法和UTE算法分别减小了1.4%和0.5%。     

计算密集型大流量数据的接力计算与动态分流处理

针对当前大流量数据计算速度慢、服务器端计算压力大等问题,提出一套计算密集型大流量数据的接力计算与动态分流处理模型。首先,在分布式环境下,使用内存型数据存储技术确定计算任务的运算量与复杂等级,同时利用节点资源能力对节点进行排序;然后,动态分配任务到不同节点进行并行计算,并采用一种接力处理模式完成计算任务的分解,以有效保证高流量复杂运算任务的性能和精度要求。通过分析对比,可知在万级以上数据量的情况下,多个节点比单个节点的运行时间更短、计算速度更快;而且,将该模型应用于实际时,发现它不仅能在高并发场景下减少运行时间,而且也能节省更多计算资源。     

优化三元组损失的深度距离度量学习方法

针对基于三元组损失的单一深度距离度量在多样化数据集环境下适应性差,且容易造成过拟合的问题,提出了一种优化三元组损失的深度距离度量学习方法。首先,对经过神经网络映射的三元组训练样本的相对距离进行阈值化处理,并使用线性分段函数作为相对距离的评价函数;然后,将评价函数作为一个弱分类器加入到Boosting算法中生成一个强分类器;最后,采用交替优化的方法来学习弱分类器和神经网络的参数。通过在图像检索任务中对各种深度距离度量学习方法进行评估,可以看到所提方法在CUB-200-2011、Cars-196和SOP数据集上的Recall@1值比之前最好的成绩分别提高了4.2、3.2和0.6。实验结果表明,所提方法的性能优于对比方法,同时在一定程度上避免了过拟合。     

融合语义位置的差分私有位置隐私保护方法

如何在位置差分隐私保护中实现更合理的噪声添加是当前研究的一大热点,但在不同的位置添加相同噪声的隐私保护模式会导致服务可用性和隐私保护度下降.针对这问题,提出了一种融合语义位置的差分私有位置隐私保护方法,该方法首先利用"地理不可区分性"的框架构建预期距离,然后通过定义隐私质量函数和需求函数构建语义位置信息来确定不同位置点的敏感度,最后依据位置点的敏感度为不同类型的区域细粒度地添加Laplace噪声,系统地解决了位置隐私保护、服务可用性和时间开销之间的矛盾.在两个公开数据集上进行仿真实验,与已有的方法从基于贝叶斯攻击的查询成功率、基于预期距离量化的服务可用性和时间开销方面进行了对比分析,结果证明了所提方法的可行性和有效性,并且在隐私保护度、服务可用性和时间开销方面取得了更好的权衡.     

社会网络用户心理健康自动评估研究综述

心理健康问题正迅速成为世界范围内最严重和最普遍的公共卫生问题之一。社会网络的兴起与普及带来大量与社会网络用户心理状态相关的数据。近年来,利用社会网络数据自动评估检测用户心理健康的研究吸引着越来越多的学者,取得了不少成果,但未见对这些成果进行总结分析的工作。该文对社会网络用户心理健康自动评估的相关文献进行评述: 在现有文献基础上总结归纳了心理健康自动评估的概念及界定;从评估任务、社会网络数据集构造、评估用到的特征等方面概述了社会网络用户心理健康自动评估的国内外研究现状;比较分析了现有自动评估方法的特点,包括基于特征工程的方法和基于深度学习的方法;总结了现有研究存在的问题和面临的挑战,包括评估性能问题、数据质量问题、隐私伦理问题、原因抽取问题和自动干预问题等。未来的研究应该结合其他数据流,并需要患者、临床医生和数据科学家之间开展更大的合作,以使机器学习在心理健康问题的原因提取、预防疏导等方面得到新的应用。     

基于深度学习的广告布局图片美学属性评价

图像质量美学评价是近十年来比较热门的课题,但是研究的大多是对自然图像的美学评价。然而随着互联网技术的发展,线上广告业务得到了迅速发展,因此准确高效地评价一张广告布局图片的好坏是很有必要的。所谓广告布局图片,即广告图片不考虑广告语的具体内容。为了研究广告布局图片的质量美学评价,引入了一个新的数据集ALID,该数据集包含了四个美学属性的数值评分和语言评价;提出了美学多属性网络,该网络包含了三个部分:多属性特征网络、注意网络和语言生成网络。多属性特征网络通过4个不同的美学属性得分的多任务回归计算不同属性的特征矩阵,注意网络动态地调整所获特征的维度,最后语言生成网络通过长短期记忆网络生成图像字幕。实验结果表明,根据图像字幕的评价标准,该文设计的模型优于传统的CNN-LSTM模型和现代的SCA-CNN模型。     

Fast method for SAR echo simulation of a three-dimensional ground scene

Due to huge calculation of SAR echo simulation of a three-dimensional (3D) ground scene, a fast simulation method is proposed. First, the data of a 3D ground scene are fractionally interpolated based on the Fractional Brownian Motion (FBM) model. Second, the data interpolated are divided into lots of small facets whose precision meets the simulation requirement, the backscattering coefficients of the small facets are calculated. Third, the shaded area is judged by the comparison method of overlook angles. Three parallel levels are analyzed and the kernel function is designed. Finally, the computing method of reduction adding and external thread are also utilized under the framework of GPU in order to get high efficiency. With the methods mentioned above, the imaging result of experimental DEM data verifies the validity and superiority of the proposed method.