基于注意力机制的多层次编码和解码的图像描述模型

图像描述任务是图像理解的一个重要分支,它不仅要求能够正确识别图像的内容,还要求能够生成在语法和语义上正确的句子.传统的基于编码器-解码器的模型不能充分利用图像特征并且解码方式单一.针对这些问题,提出一种基于注意力机制的多层次编码和解码的图像描述模型.首先使用Faster R-CNN(Faster Region-base...     

改进编码-解码框架下的跨站脚本检测

为解决传统机器学习方法特征提取工作艰难导致对跨站脚本检测性能有限的问题,提出应用注意力机制改进编码-解码框架的方法并以此建立模型检测跨站脚本。由卷积神经网络和双向门控循环单元网络并行构成编码器,既考虑输入数据上下文信息,又充分提取有效特征;使用注意力机制解决传统编码-解码框架的“分心问题”;使用门控循环单元网络构成解码器,使用分类器进行分类检测。在收集到的数据集上进行仿真实验,验证了模型的有效性和性能优势。     

伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测

目的 复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征,提出一种基于伪3D（Pseudo-3D,P3D）卷积神经网络（convolutional neural network,CNN）与注意力机制的驾驶疲劳检测方法。方法 采用伪3D卷积模块进行时空特征学习;提出P3D-Attention模块,利用P3D的结构融合双通道注意力模块和适应的空间注意力模块,提高对重要通道特征的相关度,增加特征图的全局相关性,将多层深度卷积特征进行融合。利用双通道注意力模块分别在视频帧之间和每一帧的通道上施加关注,去除背景和噪声对识别的干扰,使用自适应空间注意模块使模型训练更快、收敛更好;使用2D全局平均池化层替代3D全局平均池化层获得更具表达能力的特征,进而提高网络收敛速度;运用softmax分类层进行分类。结果 在公共数据集YawDD（a yawning detection dataset）上开展对比实验,本文方法在测试集上的F1-score检测准确率达到99.89%,在打哈欠类别上召回率达到100%;在数据集UTA-RLDD（University of Texas at Arlington real-life drowsiness dataset）上,本文方法在测试集上的F1-score检测准确率达到99.64%,在困倦类别上召回率达到100%;与Inception-V3融合LSTM（long short-term memory）的方法相比,本文方法模型大小为42.5 MB,是其模型大小的1/9,本文方法预测时间约660 ms,是其11%左右。结论 提出一种基于伪3D卷积神经网络与注意力机制的驾驶疲劳检测方法,利用注意力机制进一步分析哈欠、眨眼和头部特征运动,将哈欠行为与说话行为动作很好地区分开来。     

基于改进3D卷积神经网络的疼痛检测

在临床实践中, 精确评估疼痛对于疼痛管理和诊断至关重要. 但传统的评估方法主观性高且依赖医生经验, 迫切需要更可靠客观的替代方法. 利用深度学习的方法实现基于面部表情的疼痛检测研究近年已取得显著进展, 但复杂的结构和高计算成本制约了其实际应用. 因此, 本文提出了一个改进的3D卷积神经网络, 采用轻量级的3D卷积神经网络L3D作为骨干网络, 并结合改进的SE注意力机制, 把多个不同尺度的特征进行融合, 捕捉疼痛序列中具有较强辨别能力的时空特征. 在UNBC-McMaster和BioVid数据集上进行评估, 与最新方法相比, 该方法在疼痛检测性能以及计算复杂度上取得了优势.     

时空双路3D残差卷积网络的视频烟雾检测

现有的视频烟雾检测方法大多通过运动检测提取疑似烟区,并依据经验手工设计提取烟雾特征,在复杂场景中检测准确率不高。针对以上问题,提出了一种基于时空双路3D残差卷积网络的视频烟雾检测方法,基于混合高斯背景模型与原始视频帧的小波低频分量差进行疑似烟区提取,其次构造时空双路3D残差卷积神经网络,并引入注意力机制加权融合烟雾时空域特征,实现端对端的烟雾识别。实验结果表明,该方法可以得到更为完整的疑似烟区,尤其对于过于稀薄和浓厚的烟雾分割效果较好,且相比于传统的烟雾检测方法和2D的烟雾检测卷积网络,在烟雾检测准确率上得到了提高。     

基于多图时空图卷积神经网络的网约车需求预测

随着时代发展,网约车已经逐渐成为当今社会的重要出行方式.这项新的出行方式大大降低了出行成本,使人们的生活更加便捷.网约车需求预测是人工智能交通系统的重要组成部分,有着良好的应用价值,但传统的研究在建模时,忽略了目的地和不同地区的社会属性相似性的影响,使得模型的特征不全面,算法预测准确率较低.针对上述问题,本文提出了一种...     

基于编码—解码结构的多阶段图像去雨滴方法

针对附着镜头或玻璃表面的雨滴会造成图像退化的问题,提出了一种多阶段渐进式图像去雨滴方法。整个去雨滴过程被分解为多个更易于实现的阶段。首先在每个阶段设计多尺度融合的编码—解码网络以学习雨滴特征,通过构建带有门控循环单元的多尺度扩张卷积来细化内部传递的空间特征。然后引入无降维的通道注意力机制对特定空间特征下的通道信息进行提取。最后为加强每个阶段各部分之间的信息交换,采用跨阶段特征融合机制,在每个阶段的编码—解码网络之间加入横向连接,以实现特征信息的横向传递。在每个阶段之间加入监督注意模块,以增强不同阶段之间的信息传递,最终渐进地实现雨滴的去除。实验表明该方法能够有效地去除雨滴。     

编码—解码结构的语义分割

目的 语义分割是计算机视觉中一项具有挑战性的任务,其核心是为图像中的每个像素分配相应的语义类别标签。然而,在语义分割任务中,缺乏丰富的多尺度信息和足够的空间信息会严重影响图像分割结果。为进一步提升图像分割效果,从提取丰富的多尺度信息和充分的空间信息出发,本文提出了一种基于编码-解码结构的语义分割模型。方法 运用ResNet-101网络作为模型的骨架提取特征图,在骨架末端附加一个多尺度信息融合模块,用于在网络深层提取区分力强且多尺度信息丰富的特征图。并且,在网络浅层引入空间信息捕获模块来提取丰富的空间信息。由空间信息捕获模块捕获的带有丰富空间信息的特征图和由多尺度信息融合模块提取的区分力强且多尺度信息丰富的特征图将融合为一个新的信息丰富的特征图集合,经过多核卷积块细化之后,最终运用数据依赖的上采样（DUpsampling）操作得到图像分割结果。结果 此模型在2个公开数据集（Cityscapes数据集和PASCAL VOC 2012数据集）上进行了大量实验,验证了所设计的每个模块及整个模型的有效性。新模型与最新的10种方法进行了比较,在Cityscapes数据集中,相比于RefineNet模型、DeepLabv2-CRF模型和LRR（Laplacian reconstruction and refinement）模型,平均交并比（mIoU）值分别提高了0.52%、3.72%和4.42%;在PASCAL VOC 2012数据集中,相比于Piecewise模型、DPN（deep parsing network）模型和GCRF（Gaussion conditional random field network）模型,mIoU值分别提高了6.23%、7.43%和8.33%。结论 本文语义分割模型,提取了更加丰富的多尺度信息和空间信息,使得分割结果更加准确。此模型可应用于医学图像分析、自动驾驶、无人机等领域。     

结合注意力的3D卷积网络脑胶质瘤分割算法

为了提升脑胶质瘤分割精度，提出一种结合注意力机制的3D卷积神经网络算法。输入3个不同尺度的图像块，经过9个卷积层和1个分类层后得到3个不同的分类结果，将分类结果与注意力学习到的权重相乘并逐体素相加得到输出。此外该算法采用了一种混合Dice损失函数与Focal损失函数的超参数损失函数。实验表明，该算法的Dice系数在整体区域、核心区域以及增强区域分别达到了95.31%、80.12%、82.25%。与已有的一种脑胶质瘤分割算法deepmedic相比，整体区域、核心区域以及增强区域的Dice系数分别提升了3%、2%、6%。在脑胶质瘤分割方面，具有重要的临床意义。     

基于考虑滞后性LSTM模型的电商需求预测

消费者网络购物浏览时间碎片化、对价格更敏感的特征带来滞后性消费。为了掌握顾客消费趋势,通过获取Q企业纸类商品的历史销售数据和消费者购买行为数据,分析消费者行为对销售数据的影响,并利用随机森林分别选取不考虑滞后性和考虑滞后性的特征因子;基于LSTM神经网络建立快消品的需求预测模型;根据Q企业纸类商品的数据进行预测及验证,结果表明考虑滞后性LSTM模型预测相对误差更小,预测精度更高。     

基于编解码卷积神经网络的单张图像深度估计

摘 要：针对传统方法在单目视觉图像深度估计时存在鲁棒性差、精度低等问题,提出一 种基于卷积神经网络(CNN)的单张图像深度估计方法。首先,提出层级融合编码器-解码器网络, 该网络是对端到端的编码器-解码器网络结构的一种改进。编码器端引入层级融合模块,并通过 对多层级特征进行融合,提升网络对多尺度信息的利用率。其次,提出多感受野残差模块,其 作为解码器的主要组成部分,负责从高级语义信息中估计深度信息。同时,多感受野残差模块 可灵活地调整网络感受野大小,提高网络对多尺度特征的提取能力。在 NYUD v2 数据集上完 成网络模型有效性验证。实验结果表明,与多尺度卷积神经网络相比,该方法在精度 δ<1.25 上 提高约 4.4%,在平均相对误差指标上降低约 8.2%。证明其在单张图像深度估计的可行性。     

Stock-Price Forecasting Based on XGBoost and LSTM

Using time-series data analysis for stock-price forecasting (SPF) is complex and challenging because many factors can influence stock prices (e.g., inflation, seasonality, economic policy, societal behaviors). Such factors can be analyzed over time for SPF. Machine learning and deep learning have been shown to obtain better forecasts of stock prices than traditional approaches. This study, therefore, proposed a method to enhance the performance of an SPF system based on advanced machine learning and deep learning approaches. First, we applied extreme gradient boosting as a feature-selection technique to extract important features from high-dimensional time-series data and remove redundant features. Then, we fed selected features into a deep long short-term memory (LSTM) network to forecast stock prices. The deep LSTM network was used to reflect the temporal nature of the input time series and fully exploit future contextual information. The complex structure enables this network to capture more stochasticity within the stock price. The method does not change when applied to stock data or Forex data. Experimental results based on a Forex dataset covering 2008–2018 showed that our approach outperformed the baseline autoregressive integrated moving average approach with regard to mean absolute error, mean squared error, and root-mean-square error.     

一种基于LSTM模型的日销售额预测方法

精准的销售额预测对于商业运营有非常大的指导意义,可以指导运营后台提前进行合理的资源配置,帮助管理者制定合理的目标。零售商店日销售额预测指从商店已有日销售额的数据资料中总结出商品销售额的变化规律,并根据该规律动态预测未来一段时间内的日销售额。预测目的是通过增加企业销量,从而完善生产模式,使企业获利。目前,现有的关于商品销售额预测方法的精度大都不高,低于85%。因此,提出了一种基于TensorFlow的LSTM模型的零售商店日销售额预测方法,能够提高预测未来一周的日销售额精度。实验结果显示,预测精度达到90%;同时得到LSTM模型的MAPE为0.031932,MAE为168.3207,明显高于现有模型的预测结果。     

基于三维各向异性卷积的肺结节良恶性分类

计算机断层扫描(Computer Tomography,CT)图像中肺结节的良恶性诊断对治疗方案的选择有非常重要的作用.目前基于深度学习的CT图像肺结节良恶性分类算法的一个研究趋势是充分利用CT图像的三维信息来设计网络,但由于不同CT设备采集的图像参数不同,不同样本的CT图像其层内及层间分辨率也多不相同,进行特征提取前...     

基于深度卷积神经网络的三维模型检索

为了更有效地利用三维模型数据集进行特征的自主学习,提出一种使用自然图像作为输入源,以三维模型的较优视图集为基础,通过深度卷积神经网络的训练提取深度特征用于检索的三维模型检索方法。首先,从多个视点对三维模型进行视图提取,并根据灰度熵的排序选取较优视图;然后,通过深度卷积神经网络对视图集进行训练,从而提取较优视图的深度特征并进行降维,同时,对输入的自然图像提取边缘轮廓图,经过相似度匹配获得一组三维模型;最后,基于检索结果中同类模型总数占检索列表长度的比例对列表进行重排序,从而获得最终的检索结果。实验结果表明,该算法能够有效利用深度卷积神经网络对三维模型的视图进行深度特征提取,同时降低了输入源的获取难度,有效提高了检索效果。     

基于局部-非局部交互卷积的3D点云分类

现阶段点云分类研究已被广泛应用于机器人操作、自主驾驶和虚拟现实等多个领域,提取既丰富又具有高判别能力的特征是3D点云分类的关键.为此,文中设计基于局部-非局部交互卷积的3D点云分类算法,改善点云的特征提取.首先,构造局部-非局部交互卷积模块,在获取局部相似特征和非局部相似特征的基础上,采用交互增强,缓解单个邻域在表示封闭区域时存在的冗余问题,增强网络的层次性和稳定性,同时也缓解网络的退化问题.然后,以该模块为基本单元构建卷积神经网络.最后,采用自适应特征融合,充分利用不同层次的特征,实现3D点云的分类.在ModelNet40、ScanObjectNN基准数据集上的实验表明,文中算法性能较优.     

基于LSSVR和LSTM的多模型优化集成负荷预测

针对负荷需求受多源因素影响和现有单模型预测方法精度较低的问题,提出了一种基于最小二乘支持向量回归(LSSVR)和长短期记忆循环神经网络(LSTM)的多模型优化集成负荷预测方法。首先探究负荷相关特征的特性并由互信息进行特征选择,获取最优特征集。在此基础上采用随机抽样(bootstrap)生成多个训练集,然后使用具有良好预测能力的LSSVR和LSTM模型对多个训练集分别进行预测。利用混沌粒子群优化算法(CPSO)进一步提高模型预测精度。最后,在决策阶段中使用偏最小二乘回归(PLSR)组合各个子模型的最优预测输出并提供最终预测结果。对真实电网数据进行了仿真,并与其它预测方法进行了比较。本文所提方法的应用范围广泛且预测精度提高显著。     

基于特征选取与LSTM模型的股指预测方法研究

为了更好地研究股指预测问题，提出了基于特征选取与LSTM模型的股指预测方法，该方法从优化特征参数选取角度对模型预测能力进行提升，包含全面选取特征参数、应用系统聚类法进行特征分类、应用主成分分析对分类特征进行降维三个步骤。在实证论证中，应用LSTM模型对纳斯达克股票指数数据和标普500指数数据进行预测，实验结果表明所提出的方法计算量小，预测结果在速度和准确度两方面分析均得到显著提升。     

基于EEMD和LSTM的短期风速预测模型研究

由于风具有较强的阵性和局地性,影响因子较多,利用机器学习相关技术进行风速的预测,往往会受这些影响,降低预测的准确率,特别是对于瞬时大风的预测,准确度普遍不高。针对上述问题,提出一种基于集合经验模态分解法(EEMD)和长短期记忆神经网络(LSTM)相结合的短期风速预测模型,该模型采用EEMD将风速序列分解为多个频域相对稳定的子序列,进而改善经验模态分解法(EMD)模态混叠现象,再采用LSTM构建预测模型,实现短期风速预测。该方法与其他预测方法相比,预测的精度更高,误差更小,验证了本文预测方法的可行性和有效性。