搅局者的价值

在这个盛夏的8月,正当人们将所有的注意力都放在“家电大战”上时,360低调的进军搜索市场拉开了一场悄无声息的“搜索大战”。自从360推出自己的搜索网站后,短短几天内,一鸣惊人,占有了国内搜索市场第二把交椅,更是让百度的股票应声下跌,中国搜索引擎市场格局仿佛已在一夜之间完全重写。虽然360以一种非常低调的方式投下了一颗重磅炸弹,不过当我们以平静的目光来看待这个生力军时,会发现如今的360充其量也只能算是一个大嗓门的“搅局者”。     

基于多模态推理图神经网络的场景文本视觉问答模型

文本阅读能力差和视觉推理能力不足是现有视觉问答(visual question answering, VQA)模型效果不好的主要原因,针对以上问题,设计了一个基于图神经网络的多模态推理(multi-modal reasoning graph neural network, MRGNN)模型。利用图像中多种形式的信息帮助理解场景文本内容,将场景文本图片分别预处理成视觉对象图和文本图的形式,并且在问题自注意力模块下过滤多余的信息;使用加入注意力的聚合器完善子图之间相互的节点特征,从而融合不同模态之间的信息,更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。在ST-VQA和TextVQA数据集上验证了有效性,实验结果表明,相比较此任务的一些其他模型,MRGNN模型在此任务上有明显的提升。     

单幅图像去雨算法研究现状及展望

图像去雨算法通过对有雨图像进行分析和处理从而去除雨水条纹,恢复干净的背景场景,有助于提升计算机视觉任务识别精度,因此成为当下的研究热点。为系统地了解该领域的研究现状和发展趋势,首先介绍了典型的雨水合成模型,其次从基于模型驱动和基于数据驱动两个方面重点分析了典型图像去雨算法模型和方法;之后比较了去雨图像质量评价指标及雨水数据集;最后,对单幅图像去雨算法未来发展趋势进行了展望。     

基于损失自注意力机制的立体匹配算法研究

针对现有的立体匹配算法在阴影、物体边缘和光照反射等区域匹配困难且存在大量错误结果的问题,设计了一种可拆卸的损失自注意力网络（loss self-attention net,LSAnet）查找图像中的匹配困难区域。LSAnet的网络各层相互稠密连接,应用了空洞卷积来扩大感受野,并以立体匹配算法生成的损失分布为标签,能够动态地进行有监督训练,最终生成匹配困难区域掩膜辅助立体匹配网络进行更好的优化;同时,改进了立体匹配网络中经典的特征匹配代价卷结构,降低了后续3D卷积的计算负荷,提高了匹配效率。实验结果表明,该算法相比于基准算法精度更高,并且可以提高算法对于匹配困难区域的鲁棒性。     

基于多通路融合网络的高速公路雾天能见度等级识别

雾天是影响高速公路交通安全的重要因素。研究从监控图像进行高速公路雾天能见度的自动识别方法可以为交通管理部门的智能管理和决策提供技术支持。根据大气散射模型分析出与雾浓度相关的多个物理因素,提出了综合这些物理因素的多通路融合识别网络。该网络使用三个通路联合学习深度视觉特征、传输矩阵特征和场景深度特征,并设计注意力融合模块来自适应地融合这三类特征以进行能见度等级识别。同时构建了一个合成数据集和一个真实的高速公路场景数据集,用于网络参数学习和性能评估。实景数据集中的图像是从中国多条高速公路的监控视频中收集的。在这两个数据集上的实验表明,所提方法可以适应不同的监控拍摄场景,能够比现有方法更准确地识别能见度等级,有效提升了识别精度。     

卷积融合文本和异质信息网络的学术论文推荐算法

针对交互数据稀疏和推荐多样性问题,基于卷积协同过滤推荐框架提出卷积融合文本和异质信息网络的学术论文推荐算法（WN-APR）。首先学习不同语义下用户和论文的多样化特征,缓解数据稀疏问题;然后基于外积设计不同语义特征相互增强的方式融合它们,并使用三维卷积神经网络代替二维卷积神经网络充分挖掘不同特征对性能的影响;最后改进贝叶斯个性化排序损失函数增强推荐多样性。在CiteuLike-a、CiteuLike-t数据集上的实验结果表明,相比于基线模型,WN-APR在准确率和多样性的四个指标上都有所提升。     

局部特征表征的6D位姿估计算法

为解决有纹理模型在遮挡条件下6D位姿估计精确度不高的问题,提出了一种局部特征表征的端到端6D位姿估计算法。首先为了得到准确的定位信息,提出了一个空间—坐标注意力机制（spatial and coordinate attention）,通过在YOLOv5网络中加入空间—坐标注意力机制和加权双向特征金字塔网络（bidirectional feature pyramid network）,YOLOv5-CBE算法的精确度（precision）、召回率（recall）、平均精度均值（mAP@0.5）分别提升了3.6%、2.8%、2.5%,局部特征中心点坐标误差最高提升了25%;然后用 YOLOv5-CBE算法检测局部特征关键点,结合3D Harris关键点通过奇异值分解法（singular value decomposition）计算模型的6D位姿,最高遮挡70%的情况下仍然可以保证二维重投影精度（2D reprojection accuracy）和ADD度量精度（ADD accuracy）在95%以上,具有较强的鲁棒性。     

基于标签推理和注意力融合的多标签文本分类方法

目前许多多标签文本分类方法主要关注文档表示,而丢失了大量标签相关的语义信息,导致分类效果不理想。针对以上问题,提出一种基于标签推理和注意力融合的分类方法,挖掘文档中与标签相关的特征以及相似标签之间的相关性,学习标签信息进行标签推理,同时采用注意力机制自学习地融合文档表示和标签表示,最终完成多标签分类任务。在AAPD和RCV1-V2数据集上进行实例验证,该方法的F1值分别达到了0.732和0.887,与其他最新方法相比其准确度均有提升,实验结果证明了标签推理和注意力融合策略的有效性。     

基于组反馈融合机制的视频超分辨率模型

视频超分辨率（video super-resolution,VSR）的目的是利用多个相邻帧的信息来生成参考帧的高分辨率版本。现有的许多VSR工作都集中在如何有效地对齐相邻帧以更好地融合相邻帧信息,而很少在相邻帧信息融合这一重要步骤上进行研究。针对该问题,提出了基于组反馈融合机制的视频超分辩模型（GFFMVSR）。具体来说,在相邻帧对齐后,将对齐视频序列输入第一重时间注意力模块;然后,将序列分成几个小组,各小组依次通过组内融合模块实现初步融合。不同小组的融合结果经过第二重时间注意力模块;然后,各小组逐组输入反馈融合模块,利用反馈机制反馈融合不同组别的信息,最后将融合结果输出重建。经验证,该模型具有较强的信息融合能力,在客观评价指标和主观视觉效果上都优于现有的模型。     

基于时空图卷积网络的多变量时间序列预测方法

为了扩大时空图卷积网络的预测范围,将它应用在关联关系未知场景下的多变量时间序列预测问题,提出一种附加图学习层的时空图卷积网络预测方法（GLB-STGCN）。图学习层借助余弦相似度从时间序列中学习图邻接矩阵,通过图卷积网络捕捉多变量之间的相互影响,最后通过多核时间卷积网络捕捉时间序列的周期性特征,实现对多变量的精准预测。为验证GLB-STGCN的有效性,使用天文、电力、交通和经济四个领域的公共数据集和一个工业场景生产数据集进行预测实验,结果表明GLB-STGCN优于对比方法,在天文数据集上的表现尤为出色,预测误差分别降低了6.02%、8.01%、6.72%和5.31%。实验结果证明GLB-STGCN适用范围更广,预测效果更好,尤其适合自然周期明显的时间序列预测问题。