基于多尺度多模式图像的肺结节分类对比研究

基于深度卷积神经网络模型,讨论了不同尺度及不同模式肺结节图像对模型分类表现的影响,并提出了一种2D多视图融合的肺图像处理方法,该方法比传统的2D方式能获取更多的肺结节信息,同时又能比3D的方式引入更少的干扰组织。为了验证模型,对LIDC-IDRI和LUNA16数据集进行了预处理,得到了16、25、36三种尺度下2D、3D、2D全视图融合以及2D多视图融合四种不同模式的肺结节图像,然后构建了2D CNN、3D CNN、2D全视图融合卷积神经网络、2D多视图融合卷积神经网络四种模型。利用上述样本对模型进行训练和验证,最终结果表明,2D多视图融合模式下的肺结节图像相对于其他模式图像具有更佳的肺结节分类表现;对比多种尺度图像,小尺度下的分类表现相对更佳。     

基于MobileNet的多目标跟踪深度学习算法

针对深度学习算法在多目标跟踪中的实时性问题,提出一种基于MobileNet的多目标跟踪算法.借助于MobileNet深度可分离卷积能够对深度网络模型进行压缩的原理,将YOLOv3主干网络替换为MobileNet,通过将标准卷积分解为深度卷积和逐点卷积,保留多尺度预测部分,以有效减少参数量.对于检测得到的边框信息,利用Deep-SORT算法进行跟踪.实验结果表明,所提出方法在跟踪效果基本不变的情况下可提升处理速度近50%.     

结合改进密集模块深度估计网络和多视几何的视觉里程计

以多视图几何原理为基础,有效结合卷积神经网络进行图像深度估计和匹配筛选,构造无监督单目视觉里程计方法.针对主流深度估计网络易丢失图像浅层特征的问题,构造一种基于改进密集模块的深度估计网络,有效地聚合浅层特征,提升图像深度估计精度.里程计利用深度估计网络精确预测单目图像深度,利用光流网络获得双向光流,通过前后光流一致性原则筛选高质量匹配.利用多视图几何原理和优化方式求解获得初始位姿和计算深度,并通过特定的尺度对齐原则得到全局尺度一致的6自由度位姿.同时,为了提高网络对场景细节和弱纹理区域的学习能力,将基于特征图合成的特征度量损失结合到网络损失函数中.在KITTI Odometry数据集上进行实验验证,不同阈值下的深度估计取得了85.9%、95.8%、97.2%的准确率.在09和10序列上进行里程计评估,绝对轨迹误差在0.007 m.实验结果验证了所提出方法的有效性和准确性,表明其在深度估计和视觉里程计任务上的性能优于现有方法.     

面向三维模型视图特征提取的残差卷积网络优化

在已有残差卷积神经网络基础上,采用加权损失函数提高视图特征的可分性,提出面向三维模型视图特征提取的残差卷积网络优化算法.首先对三维模型进行多视图渲染得到二维视图;然后通过残差网络扩展模块加深网络深度;最后采用中心损失函数和交叉熵损失函数定义加权损失函数,解决交叉熵损失函数因为类内距离小于类间距离而导致的特征不可分问题.在ModelNet数据集上的实验结果表明,该算法提取到的特征在三维模型分类问题上性能表现优异.     

基于局部多片段的轻量级行为识别网络MLNet

针对传统3D卷积神经网络(CNN)对医学和自然场景视频中的动作识别存在输入片段帧数少、正向推理速度慢、网络层数浅、参数量和计算量大的问题,基于2D深度卷积和1D卷积设计了局部时空深度分离卷积模块(LSDW)和时序卷积模块(TCM),进而提出了轻量级局部多片段网络MLNet.首先,MLNet的输入是视频中的多个局部片段,这些片段通过间隔采样得到;其次,将输入中的多个局部片段通过LSDW提取相应的时空特征;最后,通过TCM对LSDW输出特征在时序维度进行融合,得到视频动作的全局表示.实验结果表明,利用该方法在公开数据集UCF101和HX上测试,其识别精度分别达到了76％和94.23％,与时序3D卷积网络方法(T3D)相比,识别率分别至少提升了4.89和4.6个百分点,在拥有低的参数量和计算量的同时提高了识别精度和网络的正向推理速度.     

基于像素语义信息的单图像视图生成深度预测方法

单幅图像的深度预测具有重要的应用前景。为解决现有视图生成方法中图像扭曲的问题，创新性引入目标检测思想改进了视图生成网络Deep3D,提出基于像素语义信息的单图像视图生成模型。把视图生成网络得到视差概率分布和目标检测模型提取到中心点概率分布加权结合到一起。把模型得到的视差图与输入图结合来产生右图，最后利用左右图计算得到深度图。实验结果显示，该方法有效提升了生成右图和计算得到深度图的精度。     

基于深度卷积神经网络的三维模型检索

为了更有效地利用三维模型数据集进行特征的自主学习,提出一种使用自然图像作为输入源,以三维模型的较优视图集为基础,通过深度卷积神经网络的训练提取深度特征用于检索的三维模型检索方法。首先,从多个视点对三维模型进行视图提取,并根据灰度熵的排序选取较优视图;然后,通过深度卷积神经网络对视图集进行训练,从而提取较优视图的深度特征并进行降维,同时,对输入的自然图像提取边缘轮廓图,经过相似度匹配获得一组三维模型;最后,基于检索结果中同类模型总数占检索列表长度的比例对列表进行重排序,从而获得最终的检索结果。实验结果表明,该算法能够有效利用深度卷积神经网络对三维模型的视图进行深度特征提取,同时降低了输入源的获取难度,有效提高了检索效果。     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

基于小样本学习融合随机深度和多尺度卷积的SDM-RNET网络

针对神经网络难以利用少量标注数据获取足够的信息来正确分类图像的问题,提出了一种融合随机深度网络和多尺度卷积的关系网络——SDM-RNET.首先在模型嵌入模块引入随机深度网络用于加深模型深度,然后在特征提取阶段采用多尺度深度可分离卷积替代普通卷积进行特征融合,经过骨干网络后再采用深浅层特征融合获取更丰富的图像特征,最终学习预测出图像的类别.在mini-ImageNet、RP2K、Omniglot这3个数据集上对比该方法与其他小样本图像分类方法,结果表明在5-way 1-shot和5-way 5-shot分类任务上该方法准确率最高.     

面向移动平台的轻量级卷积神经网络架构

针对深度神经网络在移动平台上存在准确度低、过拟合等问题,提出一种轻量级的卷积神经网络架构。将3×3的深度可分离卷积替换SqueezeNet网络模型基本模块Fire中的标准3×3卷积核,并构建SparkNet的网络结构,替换模型卷积得到网络变形结构。实验结果表明,与SqueezeNet网络结构相比,该架构可以提高网络模型的计算速度,有效降低网络模型规模并减少参数数量。     

基于全卷积编解码网络的单目图像深度估计

针对传统方法在单目图像深度估计时精度低、速度慢等问题,提出一种全卷积编码-解码网络模型,该模型将稀疏的深度样本集和RGB图像作为输入,编码层由Resnet和一个卷积层组成,解码层由两个上采样层和一个双线性上采样层组成,上采样层采用上卷积模块和上投影模块交叉使用,有效降低了棋盘效应并保留了预测深度图像的边缘信息。同时,模型中使用了全卷积,使得参数减少,提升了预测速度。在NYU-Depth-v2数据集上验证了网络模型的有效性与优越性。实验结果表明,在仅使用RGB图像进行深度预测的情况下,与多尺度卷积神经网络相比,该模型在精度[δ<1.25]上提高约4%,均方根误差指标降低约11%;与仅使用RGB图像相比,添加100个空间随机深度样本,均方根误差降低约26%。     

基于多尺度特征递归卷积的稠密点云重建网络

针对在三维重建任务中,由于弱纹理区域的光度一致性测量误差较大,使得传统的多视图立体算法难以处理的问题,提出了一种多尺度特征聚合的递归卷积网络(MARDC-MVSNet),用于弱纹理区域的稠密点云重建。为了使输入图像分辨率更高,该方法使用一个轻量级的多尺度聚合模块自适应地提取图像特征,以解决弱纹理甚至无纹理区域的问题。在代价体正则化方面,采用具有递归结构的分层处理网络代替传统的三维卷积神经网络(CNN),极大程度地降低了显存占用,同时实现高分辨率重建。在网络的末端添加一个深度残差网络模块,以原始图像为指导对正则化网络生成的初始深度图进行优化,使深度图表述更准确。实验结果表明,在DTU数据集上取得了优异的结果,该网络在拥有较高深度图估计精度的同时还节约了硬件资源,且能扩展到航拍影像的实际工程之中。     

RGB-Fusion: Monocular 3D reconstruction with learned depth prediction

Generating large-scale and high-quality 3D scene reconstruction from monocular images is an essential technical foundation in augmented reality and robotics. However, the apparent shortcomings (e.g., scale ambiguity, dense depth estimation in texture-less areas) make applying monocular 3D reconstruction to real-world practice challenging. In this work, we combine the advantage of deep learning and multi-view geometry to propose RGB-Fusion, which effectively solves the inherent limitations of traditional monocular reconstruction. To eliminate the confinements of tracking accuracy imposed by the prediction deficiency of neural networks, we propose integrating the PnP (Perspective-n-Point) algorithm into the tracking module. We employ 3D ICP (Iterative Closest Point) matching and 2D feature matching to construct separate error terms and jointly optimize them, reducing the dependence on the accuracy of depth prediction and improving pose estimation accuracy. The approximate pose predicted by the neural network is employed as the initial optimization value to avoid the trapping of local minimums. We formulate a depth map refinement strategy based on the uncertainty of the depth value, which can naturally lead to a refined depth map. Through our method, low-uncertainty elements can significantly update the current depth value while avoiding high-uncertainty elements from adversely affecting depth estimation accuracy. Numerical qualitative and quantitative evaluation results of tracking, depth prediction, and 3D reconstruction show that RGB-Fusion exceeds most monocular 3D reconstruction systems.     

基于多尺度特征和元学习的智能预测找矿靶区实验研究

当前智能找矿靶区预测方法大多依赖于人工采样和专家的知识经验,然而,对于现实世界中区域小、数量少的矿区区域,这些方法将面临巨大的挑战。为了迎接这个挑战,提出一种新颖的深度智能找矿靶区预测框架——多尺度特征交互框架。具体地,首先定义两个网络,即多尺度特征映射网络和多尺度特征分类网络;在此基础上,通过膨胀卷积捕获多尺度特征映射网络中不同地球化学元素的特征,并且利用多尺度分类网络处理这些特征;其次,使用元网络为多尺度分类网络生成卷积权重;最后使用自蒸馏挖掘多尺度分类网络中的隐知识用于预测。整个模型采用端到端的训练方式,大量的实验结果表明,多尺度特征交互框架与当前最先进的方法比较具有显著的竞争力。     

改进Inception-Resnet-V2网络的无人机航向识别

为解决无人机在复杂环境下电力巡检的避障难题,研究并改进了基于Inception-Resnet-V2网络的一种无人机航向识别方法。引入深度可分离卷积,将卷积操作分解为深度卷积和逐点卷积两个过程,压缩了计算量。改进后的网络结构保证高精度的识别,同时节约了计算成本。改进后的网络模型在标准数据集上达到了92.5%的准确率。在实际电力巡检实验中,改进的网络模型针对于基杆塔的航向预测精度达到95.63%。实验结果表明,搭载改进后Inception-Resnet-V2网络模型的无人机可以在复杂环境下成功识别大型基杆塔并进行精确地航向识别与预测。     

优化LeNet-5网络的多角度头部姿态估计方法

针对在受到部分遮挡或角度过大无法定位面部关键特征点的情况下,传统的头部姿态估计方法的准确率低或无法进行头部姿态估计的问题,提出了优化LeNet-5网络的多角度头部姿态估计方法。首先,通过对卷积神经网络（CNN）的深度、卷积核大小等进行优化来更好地捕捉图像的全局特征;然后,改进池化层,用卷积操作代替池化操作来增强网络的非线性能力;最后,引入AdaBound优化器,并利用Softmax回归模型做姿态分类训练。训练中在自建数据集中增加遮挡头发、做出夸张表情和佩戴眼镜等动作来增强网络的泛化能力。实验结果表明,所提方法不需要定位面部关键特征点,在光照阴影、头发等遮挡情况下也可以实现抬头、低头、偏头等多角度转动下的头部姿态估计,在Pointing04公共数据集和CAS-PEAL-R1公共数据集上准确率达到了98.7%,运行速度平均在每秒22~29帧。     

基于卷积特征深度融合的海上目标跟踪算法

针对海上复杂环境下深度学习方法跟踪速度慢和尺度变化问题,以及现有跟踪算法仅使用单层深度特征或手动融合多层特征的问题,提出一种基于卷积神经网络特征深度融合的多尺度相关滤波海上目标跟踪算法。以VGG-NET-16深度模型为基础,加入多层特征融合结构,实现深度卷积融合网络,用于特征提取,通过相关滤波算法构建定位滤波器,确定目标的中心位置,通过多尺度采样构建尺度滤波器,实现对目标的判断。实验结果表明,该算法可对海上移动目标实现多尺度的有效跟踪。     

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.     

基于卷积神经网络的多尺度Logo检测算法

针对自然场景图像中多尺度Logo的检测需求,提出了一种基于卷积神经网络的多尺度Logo检测算法。该算法基于两阶段目标检测的实现思路,通过构建特征金字塔并采取逐层预测的方式实现多尺度候选区域的生成,通过融合卷积神经网络中的多层特征图以增强特征的表达能力。在FlickrLogos-32数据集上的实验结果显示,相比基线方法,所提算法能够提升生成候选区域的召回率,并且在保证大中尺度 Logo 检测精度的前提下,提升小尺度Logo的检测性能,验证了所提算法的优越性。