3D多尺度深度卷积神经网络肺结节检测

目的 肺结节是肺癌的早期存在形式。低剂量CT（computed tomogragphy）扫描作为肺癌筛查的重要检查手段,已经大规模应用于健康体检,但巨大的CT数据带来了大量工作,随着人工智能技术的快速发展,基于深度学习的计算机辅助肺结节检测引起了关注。由于肺结节尺寸差别较大,在多个尺度上表示特征对结节检测任务至关重要。针对结节尺寸差别较大导致的结节检测困难问题,提出一种基于深度卷积神经网络的胸部CT序列图像3D多尺度肺结节检测方法。方法 包括两阶段：1）尽可能提高敏感度的结节初检网络;2）尽可能减少假阳性结节数量的假阳性降低网络。在结节初检网络中,以组合了压缩激励单元的Res2Net网络为骨干结构,使同一层卷积具有多种感受野,提取肺结节的多尺度特征信息,并使用引入了上下文增强模块和空间注意力模块的区域推荐网络结构,确定候选区域;在由Res2Net网络模块和压缩激励单元组成的假阳性降低网络中对候选结节进一步分类,以降低假阳性,获得最终结果。结果 在公共数据集LUNA16（lung nodule analysis 16）上进行实验,实验结果表明,对于结节初检网络阶段,当平均每例假阳性个数为22时,敏感度可达到0.983,相比基准ResNet + FPN（feature pyramid network）方法,平均敏感度和最高敏感度分别提高了2.6%和0.8%;对于整个3D多尺度肺结节检测网络,当平均每例假阳性个数为1时,敏感度为0.924。结论 与现有主流方案相比,该检测方法不但提高了肺结节检测的敏感度,还有效地控制了假阳性,取得了更优的性能。     

基于决策场理论的公交出行多阶段动态决策

针对城市公交出行决策问题,采用改进决策场模型从心理微观偏好进化的角度对两阶段出行决策行为进行了研究.提取了不同公交方式的同质属性构建属性矩阵;结合出行者个体特征和交通属性状态的波动构建注意力权重矩阵,同时优化了注意力转移概率的计算方法.通过问卷调查与计算机仿真相结合的方式对偏好进化过程进行分析,结果显示:出行者存在偏好震荡现象,且在短时思考时间内更加明显;在出行过程中进行决策时,换乘行为的触发需要更多的偏好进化时间;同一时刻下,个人对不同的交通方式的属性注意力是独立分布的;反馈矩阵中的记忆效应和方案竞争性对决策的形成时间有显著影响,强记忆效应和弱竞争性下的偏好进化速度更快.决策场模型可对公交出行动态决策行为进行描述.     

基于AM-LSTM的风电场内多点位风电功率预测

为了提高大型风电场的风电功率预测的准确性,构建基于多点位的注意力机制(AM)和长短期记忆神经网络(LSTM)混合预测模型.对于风电功率影响因素特征提取模块,利用属性简约方法,在保证不影响原有的分类效果上,去掉多余属性,大幅度提高预测效率.对于风电功率预测模块,首先,利用15分钟数据间隔,不同高度的风速等作为模型输入,然后通过LSTM处理输入的时间序列与风电功率之间的非线性关系,接下来通过AM进一步优化LSTM的权重,最终得到风电功率的预测结果.通过国外某电场数据的验证:将数据集按照季度分开,各个模型预测结果最为优的是第四季度,对于基于多点位的注意力机制和长短期记忆混合预测模型的均方根误差和平均绝对误差分别比前馈神经网络预测模型降低48.8％和17.4％,比单一长短期记忆神经网络预测模型降低37.2％和7.8％.     

基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含特征分别输入全连接层处理, 再合并到同一个向量空间进行评分预测, 得到推荐结果. 在Yelp和Amazon两个公开数据集中进行实验, 结果表明所提出的算法与其他算法相比, 具有更好的推荐性能.     

基于RetinaNet-CPN网络的视频人体关键点检测

为解决基于视频流的人体关键点检测效果不佳及视频流切片后可能会发生运动模糊的问题,提出了一种改进的RetinaNet-CPN网络对人体关键点进行检测,有效解决切片后运动模糊图像的干扰并提高了人体关键点的检测准确率.视频流切片后,先用改进的RetinaNet网络检测出图片中的所有人并对每个目标框做模糊检测,对大于阈值的目标框做去模糊处理,最后用引入注意力机制的CPN网络提取关键点.将RetinaNet衡量预测框与真实框差异的IOU函数改成DIOU后,在仿真实验中目标检测AP提高了近3％;对于模糊的图片,利用匀速直线运动频谱特征估算出的模糊核与实际模糊核相差不大,对其做去模糊处理后基本能恢复出原清晰图片;同时引入注意力机制为各通道和特征层分配合理的权重,使得CPN检测AP提高近1％,AR提升0.5％.     

基于ViLBERT与BiLSTM的图像描述算法

传统图像描述算法存在提取图像特征利用不足、缺少上下文信息学习和训练参数过多的问题,提出基于ViLBERT和双层长短期记忆网络(BiLSTM)结合的图像描述算法.使用ViLBERT作为编码器,ViLBERT模型能将图片特征和描述文本信息通过联合注意力的方式进行结合,输出图像和文本的联合特征向量.解码器使用结合注意力机制的BiLSTM来生成图像描述.该算法在MSCOCO2014数据集进行训练和测试,实验评价标准BLEU-4和BLEU得分分别达到36.9和125.2,优于基于传统图像特征提取结合注意力机制图像描述算法.通过生成文本描述对比可看出,该算法生成的图像描述能够更细致地表述图片信息.     

基于注意力机制和卡尔曼滤波的多目标跟踪

为了解决目前多目标跟踪算法在行人遮挡后无法再次准确跟踪的问题,提出了一种融入注意力机制和改进卡尔曼滤波的多目标跟踪算法,选用联合检测和重识别框架提取特征,同时完成目标检测和重识别任务.设计了并行支路注意力机制,包括空间注意力和通道注意力两个部分,每个部分都采用并行支路的方式完成池化和卷积操作.在跟踪阶段,本文提出了速度先验卡尔曼滤波,实现对行人运动状态更精确的预测.采用CUHK-SYSU数据集对算法进行训练,并在MOT16数据集上做算法的验证和测试.本算法的多目标跟踪准确度(MOTA)达到了65.1％,多目标跟踪精确度(MOTP)达到了78.8％,识别F1值(IDF1)达到62.3％.实验表明,提出的跟踪算法可以有效地提高跟踪的整体性能,实现对目标的持续跟踪.     

基于卷积块注意力模块的图像描述生成模型

图像描述生成模型是使用自然语言描述图片的内容及其属性之间关系的算法模型.对现有模型描述质量不高、图片重要部分特征提取不足和模型过于复杂的问题进行了研究,提出了一种基于卷积块注意力机制模块(CBAM)的图像描述生成模型.该模型采用编码器-解码器结构,在特征提取网络Inception-v4中加入CBAM,并作为编码器提取图片的重要特征信息,将其送入解码器长短期记忆网络(LSTM)中,生成对应图片的描述语句.采用MSCOCO2014数据集中训练集和验证集进行训练和测试,使用多个评价准则评估模型的准确性.实验结果表明,改进后模型的评价准则得分优于其他模型,其中Model2实验能够更好地提取到图像特征,生成更加准确的描述.     

结合全局和局部特征的BiGRU-RA图像中文描述模型

针对目前基于全局特征的图像描述模型存在细节语义信息不足的问题,提出结合全局和局部特征的图像中文描述模型.该模型采用编码器-解码器框架,在编码阶段,分别使用残差网络(residual networks,ResNet)和Faster R-CNN提取图像的全局特征和局部特征,提高模型对不同尺度图像特征的利用.采用嵌入了残差连接结构和视觉注意力结构的双向门控循环单元(bi-directional gated recurrent unit,BiGRU)作为解码器(BiGRU with residual connection and attention,BiGRU-RA).模型可以自适应分配图像特征和文本权重,改善图像特征区域和上下文信息的映射关系.此外,加入基于强化学习的策略梯度对模型的损失函数进行改进,直接对评价指标CIDEr进行优化.在AI Challenger全球挑战赛图像中文描述数据集上进行训练和实验,实验结果表明,该模型获得更高的评分,生成的描述语句更准确、更详细.     

基于空间注意力下边缘图融合的草图图像检索

基于草图的图像检索任务根据用户提供的手绘草图,从图像数据库中检索得到与该草图对应的自然图像.与传统基于内容的图像检索不同,草图和自然图像间存在明显的域差异,这使得二者的特征难以直接进行比较.针对自然图像边缘图和草图的相似性,提出了空间注意力下的边缘图融合模型,将自然图像和对应的边缘图分别编码到各自的特征空间,再通过空间注意力掩膜进行加权融合,进而用于草图图像检索.所提模型可以更有效地编码物体边缘轮廓的特征,分别在Sketchy和Flickr15K数据集的草图图像检索任务上取得了比前人方法更高的Recall@1和MeanAP指标.