基于形态学和Snake模型的尿沉渣提取

针对尿沉渣图像的背景和目标区分度低、有形成分复杂，导致提取困难的问题，设计了一种融合形态学和Snake模型的尿沉渣提取算法。采用基于区域生长的阚值分割方法对尿沉渣进行粗定位，通过形态学的方法确定Snake模型的初始蛇，并将Canny的边缘定位法融入到Snake模型的贪婪算法中，最后完成对尿沉渣的准确提取。实验表明融合算法性能稳定，所提取的尿沉渣区域定位准确；特别是解决了虚假边缘和边缘断裂现象较为严重的尿沉渣轮廓提取问题。     

基于边缘检测的图像处理软件的开发及优化

在采用Canny算子提取工业图像边缘的快速分离算法的基础上。提出了在VC 6．0环境下对计算Canny算子的过程进行优化以提高处理速度的两种方法：采用编译器自带优化工具进行优化法和采用MMX(Microprocessor Media Extension)多媒体扩展技术进行优化法。前者主要是通过最佳地组合C优化器的各个优化选项,以达到缩短代码长度和提高代码执行速度的优化目的。后者则是利用高效的MMX指令和SIDM(Single Instruction Multiple Date)单指令多数据核心技术来编写汇编代码以达到优化目的的。实验结果表明，优化后的Canny算子运算速度提高200％～400％。     

联合语义分割与注意力机制的行人再识别模型

受行人姿态变化、光照视角、背景变换等因素的影响,现有行人再识别模型通常对数据集中的行人分成若干块提取图像的局部特征进行辨识以提高识别精度,但存在人体局部特征不匹配、容易丢失非人体部件的上下文线索等问题。构建一种改进的行人再识别模型,通过将人体语义解析网络的局部特征进行对齐,增强行人语义分割模型对图像中行人任意轮廓的建模能力,利用局部注意力网络捕捉非人体部分丢失的语境线索。实验结果表明,该模型在Market-1501、DukeMTMC和CUHK03数据集上的平均精度均值分别达到83.5%、80.8%和92.4%,在DukeMTMC数据集上的Rank-1为90.2%,相比基于注意力机制、行人语义解析和局部对齐网络的行人再识别模型具有更强的鲁棒性和迁移性。     

双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,以增强节点间的全局依赖.两个模块并行相互提升,可以得到完整的特征表示.在TA-CRED和SemEval数据集上的实验结果表明,该方法能够更有效地获取对关系抽取任务有益的信息,在各评价指标上取得了更好的性能.     

结合深度特征与多标记分类的图像语义标注

为了缩减不同模态数据间的语义鸿沟,提出一种结合深度卷积神经网络和集成分类器链的多标记图像语义标注方法.该方法主要由生成式特征学习和判别式语义学习2个阶段构成.首先利用深度卷积神经网络学习图像的高层视觉特征;然后基于获取的视觉特征与图像的语义标记集训练集成分类器链,并学习视觉特征包含的语义信息;最后利用训练得到的模型对未知图像进行自动语义标注.在Corel5K和PASCAL VOC 2012图像数据集上的实验结果表明,与一些当前国际先进水平的方法相比,文中方法的鲁棒性更强,标注结果更精确.     

基于动作子空间和权重条件随机场的行为识别王智文

针对单目视频中的人类行为识别,提出了基于动作子空间与权重条件随机场的行为识别方法。该方法结合了基于特征提取的核主分量分析 (KPCA) 与基于运动建模的权重条件随机场 (WCRF) 模型。探讨了通过非线性降维行为空间的基本结构,并在运动轨迹投影过程中保留清晰的时间顺序,使人体轮廓数据表示更紧凑。WCRF通过多种交互途径对时间序列建模,从而提高了信息共享的联合精确度,具有超越生成模型的优势 (如放宽观察之间独立性的假设,有效地将重叠的特征和远距离依存关系合并起来的能力)。实验结果表明,该行为识别方法不仅能够准确地识别随时间、区域内外人员变化的人类行为,而且对噪声和其他因素鲁棒性强。     

图像描述生成研究进展

图像描述生成结合了计算机视觉和自然语言处理2个研究领域,不仅要求完备的图像语义理解,还要求复杂的自然语言表达,是进一步研究符合人类感知的视觉智能的关键任务.对图像描述生成的研究进展做了回顾.首先,归纳分析了当前基于深度学习的图像描述生成方法涉及的5个关键技术,包括整体架构、学习策略、特征映射、语言模型和注意机制.然后,按照发展进程将现有的图像描述生成方法分为四大类,即基于模板的方法、基于检索的方法、基于编码器-解码器架构的方法和基于复合架构的方法,并阐述了各类方法的基本概念、代表性方法和研究现状,重点讨论了基于编码器-解码器架构的各种方法及其创新思路,如多模态空间、视觉空间、语义空间、注意机制、模型优化等.接着,从实验的角度给出图像描述生成的常用数据集和评估措施,并在2个基准数据集上比较了一些典型方法的性能.最后,以提升图像描述的准确性、完整性、新颖性、多样性为依据,展示了图像描述生成的未来发展趋势.     

基于加权梯度和Snake模型的尿沉渣提取

针对尿沉渣图像的背景和目标区分度低、有形成分复杂,导致提取困难的问题,设计了基于加权梯度和Snake模型的尿沉渣提取算法.首先采用基于区域生长的阈值分割方法对尿沉渣进行粗定位,然后通过形态学的方法确定Snake模型的初始蛇,最后将加权梯度融入到Snake模型中,完成对尿沉渣的准确提取.实验表明算法性能稳定,所提取的尿沉渣区域定位准确.特别是解决了虚假边缘和边缘断裂现象较为严重的尿沉渣轮廓提取.     

基于多层级视觉融合的图像描述模型

传统方法在视觉策略网络中只关注实体,不能够推理出实体和属性之间的联系,在语言策略网络存在暴露偏差和误差累计问题.为此,提出了一个基于强化学习的多层级视觉融合网络模型.在视觉策略网络中通过多层级神经网络模块将视觉特征转化为视觉知识的特征集.融合网络生成使描述语句更加流畅的虚词,用于视觉策略网络和语言策略网络的互动.在语言策略网络中使用基于强化学习的自批评策略梯度算法对视觉融合网络实现端到端的优化.实验结果表明,该模型在MS?COCO数据集取得不错效果,将Karpathy分割测试中的CIDEr值从120.1提高到124.3.