基于词汇树层次语义模型的图像检索算法

解决语义鸿沟必须建立图像低层特征到高层语义的映射,针对此问题,本文提出了一种基于词汇树层次语义模型的图像检索方法.首先提取图像包含颜色信息的SIFT特征来构造图像库的特征词汇树,生成描述图像视觉信息的视觉词汇.并在此基础上利用Bayesian决策理论实现视觉词汇到语义主题信息的映射,进而构造了一个层次语义模型,并在此模型基础上完成了基于内容的语义图像检索算法.通过检索过程中用户的相关反馈,不仅可以加入正反馈图像扩展图像查询库,同时能够修正高层语义映射.实验结果表明,基于该模型的图像检索算法性能稳定,并且随着反馈次数的增加,检索效果明显提升.     

基于多级描述模型的渐进式图像内容理解

针对目前基于内容的图像检索技术中低级特征无法准确全面地描述高级语义的问题,本文提出了一种基于多级图像描述模型的渐进式图像内容理解.该图像描述模型在不同层次上对图像内容进行分析和提取,实现了图像内容的全方位描述,从底层向高层的过渡是渐进式的图像理解过程.特别是从视觉感知层到目标层,体现了图像低级特征与高级语义之间的过渡.本文给出了一种基于先验知识的上下文驱动的目标理解算法,实现了图像语义的提取.作为一个应用实例,本文给出了以上方法在基于内容的图像检索技术中的具体应用.     

基于潜在语义分析和相关反馈的图像检索方法

为了解决传统的CBIR系统中存在的"语义鸿沟"问题,提出一种基于潜在语义索引技术(LSI)和相关反馈技术的图像检索方法.在进行图像检索时,先在HSV空间下提取颜色直方图作为底层视觉特征进行图像检索,然后引入潜在语义索引技术试图将底层特征赋予更高层次的语义含义;并且结合相关反馈技术,通过与用户交互进一步提高检索精度.实验...     

基于语义属性的肺结节良恶性分类

现有肺结节良恶性计算机辅助诊断的依据通常为肺部CT图像的底层特征,而临床医生的诊断依据为高级语义特征.为克服这种图像底层特征和高级语义特征之间的不一致性,提出一种基于语义属性的肺结节良恶性判别方法.首先,利用阈值概率图方法提取肺结节图像;其次,一方面提取肺结节图像的形状、灰度、纹理、大小和位置等底层特征,组成样本特征集.另一方面,根据专家对肺结节属性的标注,提取结节属性集;然后,根据特征集和属性集建立属性预测模型,实现两者之间的映射;最后,利用预测的属性进行肺结节的良恶性分类.LIDC数据库上的实验结果表明所提方法具有较高的分类精度和AUC值.     

一种基于GMM的图像语义标注方法

针对图像语义概念具体语义描述的问题,提出了一种基于GMM的图像语义标注方法。该方法对于每一个语义概念分别建立基于颜色特征和纹理特征的GMM模型,利用EM算法获取关键词内容,最后融合两个GMM模型求取的概率排序结果,对未知图像进行标注。实验结果表明,提出的方法能够准确地为待标注的图像预测出若干文本关键字,有效提高图像标注的查准率和查全率。     

面向6G网络的基于语义通信的端到端服务框架

未来的6G网络需支持更高的通信效率和高效的智能连接。基于AI的语义通信以传递用户意图及语义信息为目标，有望成为6G网络“内生智能”架构的技术支撑。然而，现有的语义通信框架忽略所提取的语义特征中的冗余信息。为研究高效的语义通信，提出基于语义通信的端到端服务框架，该框架将语义通信与AI的语义分析能力深度融合，可对语义特征进一步压缩后再传输，并保证AI服务质量。仿真分析表明，相比传统通信方案，所提方案在目标检测任务和图像重建均取得更优的性能，且取得与全语义特征传输方案相近的性能。     

基于概念格的图像语义检索研究

概念格是一种有效的数据分析和知识提取的形式化工具,已广泛应用于机器学习、人工智能、软件工程、知识发现等领域.提出了一种新的基于概念格的图像语义检索方法,将概念格理论应用到图像检索中,利用形式概念分析发现图像中潜在的概念结构和概念间的相互关系.借助于语言变量描述图像语义特征并根据这些模糊语义值构建概念格,用基于概念格的方法进行图像语义检索,这种方法所给的结果与人类视知觉具有更好的一致性.     

面向自然场景分类的贝叶斯网络局部语义建模方法

本文提出了一种基于贝叶斯网络的局部语义建模方法.网络结构涵盖了区域邻域的方向特性和区域语义之间的邻接关系.基于这种局部语义模型,建立了场景图像的语义表述,实现自然场景分类.通过对已标注集的图像样本集的学习训练,获得贝叶斯刚络的参数.对于待分类的图像,利用该模型融合区域的特征及其邻接区域的信息,推理得到区域的语义概率;并通过网络迭代收敛得到整幅图像的区域语义标记和语义概率;最后在此基础上形成图像的全局描述,实现场景分类.该方法利用了场景内部对象之间的上下文关系,弥补了仅利用底层特征进行局部语义建模的不足.通过在六类自然场景图像数据集上的实验表明,本文所提的局部语义建模和图像描述方法是有效的.     

基于纹元森林和显著性先验的弱监督图像语义分割方法

弱监督语义分割任务常利用训练集中全体图像的超像素及其相似度建立图模型,使用图像级别标记的监督关系进行约束求解。全局建模缺少单幅图像结构信息,同时此类参数方法受到复杂度限制,无法使用大规模的弱监督训练数据。针对以上问题,该文提出一种基于纹元森林和显著性先验的弱监督图像语义分割方法。算法使用弱监督数据和图像显著性训练随机森林分类器用于语义纹元森林特征(Semantic Texton Forest, STF)的提取。测试时,先将图像进行过分割,然后提取超像素语义纹元特征,利用朴素贝叶斯法进行超像素标记的概率估计,最后在条件随机场(CRF)框架下结合图像显著性信息定义了新的能量函数表达式,将图像的标注(labeling)问题转换为能量最小化问题求解。在MSRC-21类数据库上进行了验证,完成了语义分割任务。结果表明,在并未对整个训练集建立图模型的情况下,仅利用单幅图像的显著性信息也可以得到较好的分割结果,同时非参模型有利于规模数据分析。     

一种改进的二进制哈希编码方法

为了应对手工视觉特征与哈希编码过程不能最佳地兼容以及现有哈希方法无法区分图像语义信息的问题,提出一种基于深度卷积神经网络学习二进制哈希编码的方法.该方法基本思想是在深度残差网络中增加一个哈希层,同时学习图像特征和哈希函数;以此同时提出一种更加紧凑的分级哈希结构,用来提取更加接近图像语义的特征.经MNIST、CIFAR-10、NUS-WIDE数据集的实验,结果表明该方法优于现有的哈希方法.该方法不仅统一了特征学习和哈希编码的过程,同时深层残差网络也能得到更接近图像语义的特征,进而提高了检索准确度.     

基于内容的多层次语义视频对象提取方法研究

视频对象的提取在序列图像的分析中起着重要作用.提出一个基于内容的多层次视频的对象提取算法,利用高斯马尔可夫模型对其进行颜色和纹理的混合特征图像分割.利用Normalize-cut准则,对其运动信息进行分析,然后进行区域聚合,即得到具有语义的视频对象.对于背景运动信息较丰富的序列图像可以取得良好的提取效果.     

结合空洞可分离卷积的多尺度医学影像分割算法

传统U-Net语义分割模型在医学影像领域具有广泛的应用,但该模型的准确率受限于单一尺度的预测模式以及上下采样引起的信息丢失。针对上述问题,本文基于U-Net编码—解码架构以及空洞可分离卷积提出了一种高低层级信息丰富的多尺度医学影像语义分割算法,该算法由特征提取网络以及多尺度语义分割预测网络两部分构成。特征提取网络使用空洞可分离卷积和类残差块分别替换原U-Net中上、下采样以及卷积块,在增加感受野的同时使信息得到最大化的保留;提出一个通道注意力机制,强化目标核心特征的表达以及无关背景区域的抑制;在多尺度上挖掘带有图像级全局上下文的卷积特征,进一步提高分割性能。本文在采集的胚胎以及DRIVE数据集上进行仿真实验,其结果表明,与U-Net及其衍生模型相比该方法具有更高的准确率和鲁棒性。     

图像的情感语义研究进展

人对图像的感知和理解是主观性的。图像的情感语义研究的目的是希望计算机能够描述和表达人观察图像所引起的情感反应，使用带有主观感情色彩的语义表述图像，其结果可用于图像的情感评估、图像检索、美术和广告设计等方面，是一个崭新的且有很大挑战性前沿课题。本文从图像情感语义提取的结构框架出发，对图像的情感语义研究进展进行评述，包括了情感语义提取过程中的关键技术：图像特征提取、情感空间的选取与建立、建立图像特征到情感空间的映射等方面，并对国内外的研究现状进行跟踪研究。     

基于流的流媒体语义提取技术研究

提出了在流的基础上最大限度的挖掘流媒体途径各网络层的语义信息。对流媒体语义信息的提取主要包括以下几个方面：首先根据流媒体传输协议规范,对流媒体数据进行实时捕获;通过数据包的入口信息定位和区分不同的流媒体数据流;然后结合多层语义分析方法设计流媒体语义提取算法,最后将提取出的语义信息存入流媒体语义标签库。实验仿真表明,采用基于流的流媒体语义提取技术较好的完成了对流媒体信息的最大化理解。     

基于视觉感知的图像检索的研究

基于内容图像检索的一个突出问题是图像低层特征与高层语义之间存在的巨大鸿沟.针对相关反馈和感兴趣区检测在弥补语义鸿沟时存在主观性强、耗时的缺点,提出了视觉信息是一种客观反映图像高层语义的新特征,基于视觉信息进行图像检索可以有效减小语义鸿沟;并在总结视觉感知的研究进展和实现方法的基础上,给出了基于视觉感知的图像检索在感兴趣区检测、图像分割、相关反馈和个性化检索四个方面的研究思路.     

现勘图像检索综述

现勘图像检索是进行证据图像比对以获取物证信息的重要手段.本文基于目前应用广泛的现勘图像数据库,根据图像内容将图像分为鞋印、指纹、纹身等种类.并通过对现勘图像的两项关键技术即低层数字特征提取和高层语义分析的总结,从颜色特征、纹理特征、边缘提取等方面综述了现勘图像低层数字特征提取技术,从利用语义模板和数据库本体结构、机器学习算法、引入人工反馈三大类高层语义提取技术综述了现勘图像高层语义分析的研究成果.最后,结合公安行业利用现勘图像获取物证线索的实际应用需求,指出了通过引入公安行业先验知识来提高检索效率等研究方向.     

基于多尺度上下文语义信息的图像场景分类算法

传统视觉词典模型没有考虑图像的多尺度和上下文语义共生关系.本文提出一种基于多尺度上下文语义信息的图像场景分类算法.首先,对图像进行多尺度分解,从多个尺度提取不同粒度的视觉信息;其次利用基于密度的自适应选择算法确定最优概率潜在语义分析模型主题数;然后,结合Markov随机场共同挖掘图像块的上下文语义共生信息,得到图像的多尺度直方图表示;最后结合支持向量机实现场景分类.实验结果表明,本文算法能有效利用图像的多尺度和上下文语义信息,提高视觉单词的语义准确性,从而改善场景分类性能.     

基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

基于短文本的独立语义特征抽取算法

提出了一种基于短文本的独立语义特征抽取算法，旨在降低文本向量的稀疏性并提其高语义表示能力。该算法首先采用潜在语义分析降低文本的维数并去除噪声，然后运用独立成份分析方法在潜在语义特征中提取出最能表达语义且相互统计独立的特征。实验表明此算法优于潜在语义索引算法。