基于因果约束的Transformer医学图像分割方法

【目的】数据分布对深度学习模型的性能影响较大。模型学习了与分割目标无关的特征后,这些无关特征通常不适用于新的数据集,从而导致模型泛化能力不足。【方法】为缓解这一问题,本文提出基于因果约束的Transformer医学图像分割方法。以MCRformer为网络主体,利用形态约束流模块提取形态约束先验信息,网状Transformer进一步提取局部信息和网络各层次信息,并加入因果约束模块降低目标区域相关特征和无关特征之间的相关性,通过形态先验和因果先验信息为模型选出具有代表性的特征,最终提高分割性能。【结果】在公开数据集Synapse上,Dice相关系数和Hausdorff距离的均值分别达到了80.01%和19.39 mm,在公开数据集ACDC上,Dice相关系数均值达到了90.95%,优于其他对比方法。【结论】实验证明,本文提出的方法可以有效提升CT和MRI中多器官的分割性能,并验证因果约束模块在不同模型上的有效性。     

基于时空序列的Conv-LSTM航班延误预测模型

精准的航班延误预测结果可以为大面积航班延误的预防提供巨大的参考价值。航班延误预测是在特定空间下做时间序列预测,然而目前已有预测方法多为两种或多种算法的结合,存在算法间的融合问题。针对上述问题,提出了一种综合考虑时空序列的卷积长短时记忆（Conv-LSTM）网络航班延误预测模型。所提模型在长短时记忆（LSTM）网络提取时间特征的基础上,将网络的输入和权重矩阵进行卷积来提取空间特征,从而充分利用数据集包含的时间和空间信息。实验结果表明,与LSTM、仅考虑空间信息的卷积神经网络（CNN）模型相比,Conv-LSTM模型的准确率分别提高了0.65个百分点和2.36个百分点。由此可见,同时考虑时空特性可以在航班延误问题中获得更精确的预测结果。此外,基于所提模型设计并实现了基于浏览器/服务器（B/S）架构的航班延误分析系统,并且该系统也可以应用于空中交通管理局流量控制中心。     

基于LDA和语步标注的主题识别与分析方法研究

【目的】从主题表征词抽取和主题句功能分类两个维度,设计基于潜在狄利克雷分布模型（Latent Dirichlet Allocation,LDA）和语步标注的主题分析方法,并探究方法的有效性与实用性。【方法】采用LDA模型进行主题识别,利用Sentence Transformer模型对主题词短语进行提取,同时构建句子功能分类模型进行语步标注,识别文本句子功能类型,从句子功能维度对主题内容进行细粒度分析。【结果】以农业资源与环境领域论文数据为例进行实证研究,结果表明,相比传统LDA模型,经过提取主题词短语后,识别出的主题表征词可读性和解释性更强,进一步结合语步标注后,主题句子内容分析更为深入。【局限】主题短语表征词扩展内容存在含义相同问题,有待进一步改进表征词的多样性,以整合相同含义的主题短语表征词。【结论】本研究所提方法在主题表征词抽取、主题内容分析方面具有较好的效果,可以提高文本主题挖掘的效率与深度。     

基于时频域信息融合和多尺度对抗的轨迹预测

目前已有许多工作将Transformer运用到时间序列预测相关任务. 然而, 相比其他时间序列, 运动轨迹数据存在运动学的不确定性, 没有明显的周期特性. 为了降低噪声干扰, 增强趋势建模, 本文在Transformer架构的基础上, 提出一种基于时频域信息融合和多尺度对抗训练的目标轨迹预测方法. 将小波分解嵌入网络模型, 实现时频域自适应滤波; 并与时域注意力进行融合, 能够更有效地对观测轨迹的长期趋势特性进行编码. 并设计了一个全卷积判别器, 通过对抗训练学习序列的多尺度短期微运动表示, 进一步提高预测精度. 本文建立了一个包括2维船舶轨迹和3维飞行器轨迹的轨迹预测数据集DT作为基准, 并在此与Transformer、LogTrans、Informer等模型进行对比实验. 实验结果表明本文的方法在中长期轨迹预测任务上优于其他模型.     

离港航班延误的动态预测研究

现有航班延误预测方法大多是对航班延误进行非动态预测,不能随着航班数据的不断增加而有效更新,进而使得预测结果的实时性较差.因此,提出一种基于时间序列的航班延误动态预测方法.首先,利用小波分解技术对延误时间序列进行平稳化处理;然后,采用自回归滑动平均(ARMA)模型对离港航班延误进行预测;最后,利用支持向量机模型对预测结果进行修正,得到最终的离港航班延误预测值.结果表明,该动态预测方法能较好地提高预测精度.     

基于多粒度时间注意力RNN的航班客座率预测

准确预测航班客座率有利于处理航班机票超售、座位虚耗等问题,然而传统时间序列预测方法只关注航班近期每日客座率的变化特点,无法同时考虑其他因素的影响,预测效果不够理想。针对该问题,提出一种基于多粒度时间注意力机制的循环神经网络模型MTA-RNN。通过构建多级注意力机制获取航班客座率在不同时间粒度下的时序相关性,同时考虑航班自身属性及节假日等其他因素,得到未来一段时间内的目标航班客座率。在真实历史航班客座率数据集上的实验结果表明,MTA-RNN模型的预测准确率高于ARIMA模型、LSTM模型和Seq2seq模型。     

基于双向长短时记忆和卷积Transformer的声学词嵌入模型

示例查询语音关键词检测中,卷积神经网络（CNN）或者循环神经网络（RNN）提取到的声学词嵌入语音信息有限,为更好地表示语音内容以及改善模型的性能,提出一种基于双向长短时记忆（Bi-LSTM）和卷积Transformer的声学词嵌入模型。首先,使用Bi-LSTM提取特征、对语音序列进行建模,并通过叠加方式来提高模型的学习能力;其次,为了能在捕获全局信息的同时学习到局部信息,将CNN和Transformer编码器并联连接组成卷积Transformer,充分利用它在特征提取上的优势,聚合更多有效的信息,提高嵌入的区分性。在对比损失约束下,所提模型平均精度达到了94.36%,与基于注意力的Bi-LSTM模型相比,平均精度提高了1.76%。实验结果表明,所提模型可以有效改善模型性能,更好地实现示例查询语音关键词检测。     

基于视觉Transformer的双流目标跟踪算法

目前基于Transformer的目标跟踪算法主要利用Transformer来融合深度卷积特征,忽略了Transformer在特征提取和解码预测方面的能力。针对上述问题,提出一种基于视觉Transformer的双流目标跟踪算法。引入基于注意力机制的Swin Transformer进行特征提取,通过移位窗口进行全局信息建模。使用Transformer编码器对目标特征和搜索区域特征进行充分融合,使用解码器学习目标查询中的位置信息。分别对编解码器中的双流信息进行目标预测。在决策层面上进一步地加权融合得到最终跟踪结果,并使用多监督策略。该算法在LaSOT、TrackingNet、UAV123和NFS四个具有挑战性的大规模跟踪数据集上取得了先进的结果,分别达到67.4%、80.9%、68.6%和66.0%的成功率曲线下面积,展示了其强大的潜力。此外,由于避免了复杂的后处理步骤,能够端到端进行目标跟踪,跟踪速度可达42?FPS。     

实时电价下DTSLF模型的短期负荷预测应用研究

精准的短期负荷预测可以保证电网安全稳定地运行,然而实时波动的电价在一定程度上与电力负荷相互影响,这大大增加了电力负荷预测的难度。针对此问题,基于改进语言模型Transformer提出一种短期负荷预测模型,简称DTSLF。其将Transformer模型输入端的Embedding层和输出端的Softmax层进行调整,并以全新的Encoder-decoder的输入方式双向处理负荷数据。实验表明,该模型可以充分发挥Transformer在语言处理上的超强特征提取能力,可以捕捉负荷数据间的“含义”,将复杂的相关因素“翻译”成下一时刻负荷值,最后以真实数据进行实验,结果表明DTSLF模型与其他的模型相比在实时电价下有着更加出色的预测效果。     

基于Transformer的U型医学图像分割网络综述

目前,医学图像分割模型广泛采用基于全卷积网络（FCN）的U型网络（U-Net）作为骨干网,但卷积神经网络（CNN）在捕捉长距离依赖能力上的劣势限制了分割模型性能的进一步提升。针对上述问题,研究者们将Transformer应用到医学图像分割模型中以弥补CNN的不足,结合Transformer和U型结构的分割网络成为研究热点之一。在详细介绍U-Net和Transformer之后,按医学图像分割模型中Transformer模块所处的位置,包括仅在编码器或解码器、同时在编码器和解码器、作为过渡连接和其他位置进行分类,讨论各模型的基本内容、设计理念以及可改进的地方,并分析了Transformer处于不同位置的优缺点。根据分析结果可知,决定Transformer所在位置的最大因素是目标分割任务的特点,而且Transformer结合U-Net的分割模型能更好地利用CNN和Transformer各自的优势,提高模型的分割性能,具有较大的发展前景和研究价值。     

基于团簇随机连接的CliqueNet航班延误预测模型

针对目前民航运输业延误率较高,而传统算法难以解决高精度延误预测的问题,提出一种基于随机连接团簇网络（CliqueNet）航班延误预测模型。该模型首先对航班数据和相关气象数据进行融合;然后,充分利用改进后的网络模型对融合后的数据集进行特征提取;最后,使用Softmax分类器进行航班离港延误各等级的高精度预测。模型的主要特点是：在团簇特征层的随机连接,以及在转换层引入通道和空间注意力残差（CSAR）模块。前者以更为有效的连接方式传递特征信息;后者则对特征信息进行通道和空间维度的双重标定,以提高准确率。实验结果表明,对融合数据进行预测,引入随机连接和CSAR模块后,新模型的准确率分别提高了0.5%、1.3%,最终准确率能达到93.40%。     

基于时空图卷积网络的机场地铁短时客流预测

机场地铁短时客流预测是实现机场旅客快速疏解、航站楼现场运力资源指挥调度的关键。考虑到机场复杂的空间结构与航班波动的影响，建立基于图卷积神经网络（GCN）和组合门控卷积（GLU）的机场地铁短时客流预测模型。通过图卷积神经网络融合机场空间路径点与地铁口的空间结构关系，同时，设计一种组合门控卷积模块挖掘航班波动下地铁客流的时变特征，有效地捕捉地铁客流的波动性。基于首都机场T3航站楼真实客流数据对模型的有效性进行检验，经多次实验结果表明，提出的时空图卷积短时客流预测模型在均方根误差、平均绝对误差和平均绝对百分比误差均小于传统ARIMA预测模型与深度学习中LSTM、STGCN模型，该模型能捕捉地铁客流与航班客流的波动变化关系，具有较高的预测精度，提高了模型预测的鲁棒性。     

面向小目标的改进YOLOv5安全帽佩戴检测算法

安全帽是施工人员的安全保障,但是现有安全帽检测模型在复杂环境下对重叠和密集小目标存在误检和漏检等问题,为此提出改进YOLOv5的小目标检测算法。在YOLOv5的主干网络中加入Transformer捕获多个尺度上的全局信息,获得更丰富的高层语义特征;使用GsConv卷积进行特征融合增强,并引入坐标注意力机制（coordinate attention）,让网络在更大区域上进行注意;检测头将分类和回归进行解耦,加快收敛速度;使用无锚点（anchor-free）的检测方法,简化算法结构,加快检测速度;使用EIOU损失函数来优化边框预测的准确度。在自制安全帽数据集上实验结果表明,改进的YOLOv5模型平均精度达到了96.33%,相比于YOLOv5模型,平均精度提高了4.73个百分点,达到了在复杂条件下对重叠和密集小目标检测的要求。     

基于Transformer网络的抗癌肽的预测

癌症是造成人类死亡的一个重要原因。抗癌肽（ACPs）是一系列由10～60个氨基酸组成的短肽,可以抑制肿瘤细胞的增殖或迁移,不易引起耐药性。将肽序列作为输入,搭建基于Transformer网络的抗癌肽模型并预测,模型自动将序列信息通过字符嵌入的方法映射为特征向量,实现了使用Transformer网络模型来自动识别抗癌肽和非抗癌肽。五倍交叉验证实验结果表明,该模型在数据集ACP240和ACP740上的准确率分别达到87.92%和83.75%。该模型能够有效地预测抗癌肽。     

基于卷积神经网络和Transformer的手写体英文文本识别

手写体文本识别技术可以将手写文档转录成可编辑的数字文档。但由于手写的书写风格迥异、文档结构千变万化和字符分割识别精度不高等问题,基于神经网络的手写体英文文本识别仍面临着许多挑战。针对上述问题,提出基于卷积神经网络（CNN）和Transformer的手写体英文文本识别模型。首先利用CNN从输入图像中提取特征,而后将特征输入到Transformer编码器中得到特征序列每一帧的预测,最后经过链接时序分类（CTC）解码器获得最终的预测结果。在公开的IAM（Institut für Angewandte Mathematik）手写体英文单词数据集上进行了大量的实验结果表明,该模型获得了3.60%的字符错误率（CER）和12.70%的单词错误率（WER）,验证了所提模型的可行性。     

基于CNN‐Head Transformer编码器的中文命名实体识别

基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器（CHTE）模型,在未使用外部词典和分词工具的基础上,通过自注意力机制捕获全局语义信息,利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量,使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示,并且应用自适应的门控残差连接融合当前层和子层特征,提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明,CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点,具有更高的中文命名实体识别准确性。     

基于Transformer的多分支单图像去雨方法

雨纹会严重降低拍摄图像的质量,影响后续计算机视觉任务。为了提高雨天图像的质量,提出了一种基于Transformer的单图像去雨算法。首先,该算法通过具有窗口机制的Transformer获得大范围的感受野,进而获取雨纹特征的上下文信息,提高模型提取雨纹特征的能力;其次,该算法通过多分支模块提取和融合不同种类、不同层次的特征,提高模型对复杂雨纹信息的表征能力;最后通过残差连接融合浅层特征和深层特征,补全深层特征中缺失的细节信息,增强网络表达能力。在公开数据集Rain100L、Rain100H和私有数据集Rain3000上的实验结果表明,该方法相较于现有算法,能更有效地去除雨纹,同时更好地恢复图像中丢失的背景纹理信息。峰值信噪比和结构相似度（PSNR/SSIM）分别达到38.33/0.9855、28.42/0.9000、34.51/0.9643。     

基于视野域机制的行人轨迹预测

为提高行人在复杂交通场景中交互的安全性,提出一种基于social-GAN（social-generative adversarial network）的行人轨迹预测算法SAN-GAN（social angle norm-GAN）。该算法首先以行人历史位置信息与头部信息为输入,通过轨迹生成器LSTM网络（long short term memory networks）获取行人隐藏特征信息,并基于行人视野域模块捕捉行人视野域动态变化,对所有行人建立扇形视野域并筛选有效信息,从而驱动神经网络模型预测行人未来轨迹变化。将SAN-GAN与LSTM、social-LSTM（social-long short term memory networks）、social-GAN等轨迹预测算法进行对比实验,结果表明SAN-GAN算法相较于其他算法,在预测3.2 s的行人轨迹时,ADE分别平均降低65.8%、51.2%、10.7%,FDE分别平均降低73.6%、60.9%、10.4%。SAN-GAN能够有效地预测行人在复杂交通环境中进行交互的未来轨迹。     

多尺度局部特征增强Transformer道路裂缝检测模型

目的 道路裂缝是路面病害的早期征兆。定期监测路面状况、及时准确地发现路面裂缝对于交通养护机构降低成本、保证路面结构的可靠性和耐久性以及提高驾驶安全性、舒适性有重要意义。目前基于卷积神经网络的深度学习模型在长距离依赖建模方面存在不足,模型精度难以满足真实路面环境下的裂缝检测任务。一些模型通过引入空间/通道注意力机制进行长距离依赖建模,但是会导致计算量和计算复杂程度增加,无法实现实时检测。鉴于此,本文提出一种基于Transformer编码—解码结构的深度神经网络道路裂缝检测模型CTNet(crack transformer network)。方法 该模型主要由Transformer注意力模块、多尺度局部特征增强模块、上采样模块和跨越连接4部分构成。采用Transformer注意力机制能更有效提取全局和长距离依赖关系,克服传统卷积神经网络表征输入信息的短距离相关缺陷。同时,为适应裂缝尺寸变化多样性,将Transformer与多尺度局部特征增强模块相结合,从而有效整合不同尺度局部信息,克服Transformer局部特征建模不足。结果 通过与DeepCrack模型在不同裂缝检测数据集中的比较表明...     

薰衣草品种的FTIR快速分析鉴别研究

【目的】对不同品种薰衣草进行快速鉴别,为其正确使用提供可靠的科学方法。【方法】采用傅利叶红外光谱法测定93个属4种不同品种薰衣草花样品的红外谱图,以1600 cm^-1～1665 cm^-1范围内的吸收峰为指标,应用主成分分析（PCA）和径向基神经网络（RBFNN）进行数据分析,对不同品种薰衣草进行鉴别。【结果】对不同品种薰衣草的傅利叶红外光谱进行数据分析,主成分分析（PCA）结果表明,前3个主成分的累积可信度已达93.43%,可将薰衣草分为4个品种,基于FTIR谱的主成分分析能够在一定程度表征出薰衣草在不同品种的多样性分化,在对薰衣草品种进行主成分分析的基础上,选用64个薰衣草花样本建立径向基神经网络模型（RBFNN）,余下29个作为预测样本,所建模型的拟合率和预测品种的识别率均为100%。【结论】实验表明主成分分析（PCA）对不同品种薰衣草具有较好的聚类作用,径向基神经网络模型（RBFNN）能对薰衣草进行较好的识别,说明该方法能快速无损的鉴别薰衣草,为薰衣草的品种识别提供了一定的科学依据。