基于局部匹配窗口的动作识别方法

在词袋模型基础上,综合考虑姿态之间的时序约束关系,提出一种基于局部匹配窗口的动作识别方法.首先采用人体姿态差别作为动作序列特征描述.其次,在模型学习阶段,使用局部训练法而非传统的整体训练法来提高特征词汇的表征性;在特征量化阶段,使用自适应局部线性重构策略来给特征基更灵活的权值;在对象描述阶段,分别使用时间金字塔、滑动窗口2种方法将整个动作序列划分成多个局部动作片段,进而通过连接各个局部动作片段的特征来描述整个动作序列.最后使用直方图相交操作来完成特征匹配工作.在MSR Action3D数据库上测试了所提算法的性能并与已有的动作识别方法进行对比,结果表明,该方法的识别效果较优.     

A photonic crystal fiber for supporting 30 orbital angular momentum modes with low dispersion

This paper proposes a novel photonic crystal optical fiber which can support 30 orbital angular momentum(OAM)modes transmission and possesses relatively flat and low dispersion.The OAM modes can be well-separated due to the large effective refractive index difference(above 10^-4)between the eigenmodes.The only material of the designed fiber is silica.The dispersion of each OAM mode is controlled in the range of 50-100 ps·nm^-1·km^-1 and the total dispersion variation is below 10 ps·nm^-1·km^-1 from 1500 nm to 1600 nm.Moreover,the confinement loss of each OAM mode is below 8.17×10^-10 dB/m at 1550 nm,and the nonlinear coefficients is less than 0.71 W^-1/km for all modes at 1550 nm.With all these good features,this proposed optical fiber is promising to be applied in fiberbased OAM communication systems.     

基于颈动脉粥样硬化斑块的多序列MR图像去噪与配准

目的 颈动脉粥样硬化斑块成分识别是预测脑血管疾病及脑卒中临床病发的主要依据,然而在实际中斑块成分识别会受到磁共振图像固有的噪声和多序列图像空间坐标不匹配的影响,为了更加精确地识别斑块的组成成分,提出基于小波分析和中值滤波相结合的去噪方法,以及基于图形上下文(shape context)的颈动脉多序列磁共振(MR)图像配准算法。方法 针对MR图像去噪,首先在传统小波去噪的基础上改进了阈值函数,根据高、低频子带噪声分布比重自适应的选取阈值。多序列MR图像配准方面,在提取多序列图像颈动脉血管边缘的基础上,用shape context描述子做血管形状匹配,依据产生的匹配点对进行迭代校正,计算参考图像与浮动图像的血管形变场,然后采用样条插值方法得到最终的配准结果。结果 利用本文去噪方法能有效地去除图像高、低频域的噪声,同时保护图像的原始细节。本文多序列MR图像血管配准方法使得配准后血管重合度达到了96%±0.8%。本文方法能够有效地提高MR图像的质量,验证了算法的有效性。结论 本文方法能够有效去除多序列磁共振图像噪声和空间位置不匹配的情况,本文去噪方法也适用于其他模态(CT,超声等)医学图像的斑点噪声以及噪声分布不均匀等情况下的噪声去除,本文配准方法也能够有效地处理基于小目标,对精度要求较高的精细配准问题。     

基于最大截面特征的病变宫颈细胞核的自动筛查

针对基于细胞图像分割的病变宫颈细胞筛查中由于细胞精细分割复杂而不能实现筛查自动化的问题，提出一种省略精细分割步骤的宫颈细胞分类算法。首先，定义一种新的用于描述像素值分布的特征——最大截面（MAXSection）特征，将该特征与反向传播（BP）神经网络和Selective Search算法结合，实现细胞核感兴趣区域（ROI）的准确提取（最高正确率100%）；其次，基于最大截面特征定义了两个参数——估计长与估计宽，用于描述病变细胞核的形态变化；最后，根据宫颈细胞发生癌变时其核会绝对增大的特点，利用以上两参数实现病变细胞核（估计长与估计宽中至少一个参数大于65）与正常细胞核（估计长与估计宽均小于等于65）的分类。实验结果表明，该自动筛查算法的准确率为98.89%，敏感度为98.18%，特异度为99.20%。该算法可以完成从输入整幅巴氏涂片到输出最终筛查结果的全部过程，实现病变宫颈细胞筛查的自动化。     

多层注意力机制融合的序列到序列中国连续手语识别和翻译

使计算机能够理解手语者的表达一直是一项极具挑战性的任务,不仅需要考虑手语视频的时间和空间信息,同时还要考虑手语语法的复杂性。在连续手语识别任务中,手语词汇和手语动作共享一致的顺序;而在连续手语翻译任务中,生成的自然语言句子应符合口语化描述,词汇顺序和动作顺序可能不一致。为了能够更加准确地学习手语者的表达,提出了一个新颖的能同时进行手语识别和翻译的深度神经网络。该方案探讨了不同的经典预训练卷积神经网络和不同的多层时序注意力分值函数在连续手语识别上的效果,网络将手语视频高级抽象特征和低级时序语义组合在多层时间注意力融合模块中,形成更全面的序列注意力融合特征,从而从连续手语视频中更准确地生成gloss句子。结合Transformer语言模型将手语识别gloss句子转换为符合手语翻译的连续自然语言句子。首先,该方法在第一个大规模的复杂背景的中国连续手语识别和翻译数据集Tslrt上进行评估。利用Tslrt数据集中手语者复杂的背景环境和丰富的动作表达来训练所提神经网络模型,通过不同的对比实验得到了一系列的基准结果。在连续手语识别和翻译的任务上,效果最好的词错误率分别达到了4.8%和5.1%。为了进...     

面向大规模图像分类的深度卷积神经网络优化

在图像分类任务中,为了获得更高的分类精度,需要对图像提取不同层次的特征信息。深度学习被越来越多的应用于大规模图像分类任务中。本文提出了一种基于深度卷积神经网络的,可应用于大规模图像分类的深度学习框架。该框架在经典的深度卷积神经网络AlexNet基础上分别从网络框架和网络内部结构两个方面对网络做了优化和改进,进一步提升了网络的特征表达能力。同时,通过在全连接层引入隐层使得网络能够同时具备学习图像特征和二值哈希的功能,使得该框架具有处理大规模图像数据的能力。通过在三个标准数据库中的一系列比对实验,分析了不同优化方法在不同情况下的作用,并证明了本文所提优化方法的有效性。     

基于条件生成对抗网络的图像描述生成方法

图像描述,即利用电脑自动描述图像的语义内容一直是计算机视觉领域的一项重要研究任务.尽管使用卷积神经网络(convolutional neural networks, CNN)和长短期记忆网络(long short-term memory, LSTM)的组合框架在生成图像描述方面解决了梯度消失和梯度爆炸问题,但是基于LSTM的模型依赖序列化的生成描述,无法在训练时并行处理,且容易在生成描述时遗忘先前的信息.为解决这些问题,提出将条件生成对抗网络(conditionalgenerativeadversarial network, CGAN)引入到描述生成模型训练中,即采用CNN来生成图像描述.通过对抗训练来生成句子描述,并结合注意力机制提升描述的质量.在MSCOCO数据集上进行测试,实验结果表明,与基于CNN的其他方法相比,文中方法在语义丰富程度指标CIDEr上取得了2%的提升,在准确性指标BLEU上有1%左右的性能提升;同时,其在部分指标,尤其是语义指标上超过了基于LSTM模型的图像描述方法的性能;证明该方法生成的图像描述更接近图像的真实描述,并且语义内容更加丰富.     

复杂场景下视觉先验信息的地图恢复SLAM

目的 目前已有的单目视觉SLAM（simultaneous localization and mapping）系统每次开始运行时都将初始帧而不是绝对位置设置为参考帧,不能在一个固定的坐标系中获得位姿,导致无法重用已有的建图信息,而且在复杂场景中相机容易跟踪失败,需要当前帧与已有的关键帧非常相似时才能重定位并继续建图。针对这个问题,提出一种具有重新初始化、地图重用与地图恢复能力的视觉SLAM系统。方法 首先,加载先验地图,通过ORB（oriented brief）特征匹配SLAM系统当前帧与先验地图关键帧,并结合重定位方法完成SLAM系统的初始化。接着,为了避免丢失地图,建立一种应对SLAM系统跟踪失败的地图保存机制,保存跟踪成功地图,并提出一种自适应快速重新初始化算法,引入灭点检测,自动选择最佳重新初始化策略,保证SLAM系统继续跟踪与建图,建立的地图称为恢复地图。最后,对于跟踪成功地图与恢复地图,采用改进的回环方法获得它们之间的转换关系,并提出一种地图恢复法,减少跟踪成功地图与恢复地图尺度不一带来的误差,确保得到的全局一致地图更加准确。结果 在经过加噪处理的KITTI数据集上进行地图恢复融合的测试,实验结果表明,在KITTI00、KITTI02、KITTI05数据集下,本文提出的SLAM系统比ORB-SLAM2系统分别可以多获得39.25%、47.75%、32.46%的地图信息。在EuRoC数据集上的运行结果表明,本文提出的单目视觉SLAM系统不仅在建图精度方面与ORB-SLAM2效果相当,还在跟踪稳定性方面有显著提升。结论 本文提出的SLAM系统可以在跟踪失败的情况下有效恢复地图;此外,还可以高效重用SLAM系统已有的建图结果,固定SLAM地图坐标系,提升SLAM系统运行稳定性。     

融合响应模板和特征组合的鱼眼视频目标跟踪方法

鱼眼摄像机的广泛应用使得鱼眼视频目标跟踪受到了越来越多的关注,然而其特殊的成像原理造成的严重畸变给目标跟踪带来了不利的影响.为了降低鱼眼镜头视频图像的畸变对跟踪结果的影响,提出一种基于响应模板和特征组合的鱼眼视频目标跟踪方法.首先基于多个样本对应的响应值合成响应模板,构建基于响应模板的分类器;然后提取目标的HoG特征和Color Name特征分别训练分类器,综合考虑2个分类器的响应来确定目标位置;最后在分类器训练前用成像模型对变形的目标进行矫正.在鱼眼视频数据集上的实验结果表明,该方法能够在实时性的基础上很好地降低图像畸变以及目标变形的影响,获得良好的跟踪表现.