C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

基于MRF模型的多模态图像配准技术研究

在医学图像处理领域中,医学图像配准技术极其重要,其价值体现在临床医学中对图像处理技术的应用。在解决多模态图像配准的相关问题时,基于互信息方法的应用最广泛,但在某些特定的应用中该方法受到的约束仍然较多。针对这一情况,提出一种新的医学图像配准算法,模态变换的引入作为此研究算法的基础,之后新的马尔可夫能量函数则根据两幅通过模态变换后的图像矩阵以及原配准图像得以构建。同时,为了优化能量函数引入了一种改进的梯度下降算法,从而得到配准结果。最后,运用不同的医学图像进行配准实验来验证该算法,通过实验证明该配准算法具有良好的有效性及抗噪性能。     

基于身份感知模型的素描人脸识别方法

针对素描图像和光学图像之间存在较大的模态差异这一问题,提出了一种基于身份感知模型的素描人脸识别方法,实现跨模态图像生成和素描人脸识别。该方法应用新的感知损失来监督图像生成网络,生成更好的跨模态图像,减少模态差异带来的识别精度损失,并通过三元组损失来正则化类内和类间距离,增强识别模型的性能,用联合训练策略提升素描人脸识别能力。在UoM-SGFSv2、e-PRIP等素描人脸数据集上的实验结果表明,该方法识别效果优于其他对比算法。     

DPCM系统中基于量化预测值的图像无损压缩

在超光谱图像和医学图像压缩的领域中,要求这些压缩是无损的,基于预测的方法一直是图像无损压缩的理论框架。在传统无损压缩的模型上,给出了一种有效的预测和量化算法,并结合算术编码对图像进行压缩,实验证明该算法兼有JPEG-JS预测器和Pirsch预测器的优点,有着较好的压缩性能,且算法简单、易于实现。     

基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法

面向构建24小时全时段视频监控系统的需要，基于可见光与近红外的跨模态行人重识别受到工业界与学术界的广泛关注.然而，目前大部分跨模态行人重识别任务都试图利用在ImageNet上预训练的模型来提前学习模态内共性特征，但ImageNet与跨模态行人数据模态差异较大，且预训练过程中将颜色信息作为判别特征之一，导致预训练中学习到的共性特征并不适用于无色彩红外图像的信息表示.本文提出了一种基于灾难性遗忘及组合叠加擦除的自监督跨模态行人重识别预训练方法，首先利用提出的灾难性遗忘评分来对预训练数据进行筛选，旨在减小预训练数据与后续任务数据存在的域间差距，进一步减少模型训练时间.其次，针对传统跨模态识别中的关键区分性特征提取，本文设计了一种强通道数据增强策略，通过对R、G、B三通道的通道级擦除与组合，生成了颜色迥异的多类型样本，有利于促使模型关注于纹理信息而非颜色信息.最后基于本文提出的跨模态数据筛选指标以及通道增强策略，构建了跨模态任务的自监督学习框架.实验结果表明，本文提出的预训练方法所训练的ResNet50网络在迁移到众多跨模态行人重识别方法时优于目前主流自监督预训练方法，其中在经典方法 AGW的...     

面向跨模态通信的信息恢复技术

针对多模态数据在传输过程中丢失、受到无线信道噪声污染而严重影响跨模态通信质量的问题,提出了一种面向跨模态通信的信息恢复技术,通过充分利用接收端已有数据,采用同模态一对一检索、跨模态一对一检索、跨模态一对多检索等方式,在接收端进行信息恢复.所提方法在公共数据集以及实际跨模态通信平台上进行验证,实验表明,该方法可以实现精准的信息恢复,有效提升了跨模态通信质量.     

一种具有预测能力的三维图像分割方法

在充分分析三维图像特点的基础上,提出了一种新的三维图像分割方案。该方案在改进的主动轮廓模型的基础上融入了预测算法。三维图像中物体的轮廓沿着空间轴或时间轴的位移和形变是连续的,该算法根据这一特性,利用前几幅图的分割结果来预测当前图像中物体轮廓的位置和形状,弥补了主动轮廓模型搜索范围小的缺点。对医学解剖图像的试验结果表明,这种方法能显著提高分割的准确性和速度。     

面向跨模态检索的音频数据库内容匹配方法研究

跨模态检索旨在通过以某一模态的数据为查询词，使人们能够得到与之相关的其他不同模态数据的检索结果的新型检索方法，这已成为多媒体和信息检索领域中一个有趣的研究问题。但是，目前大多数的研究成果集中于文本到图像、文本到视频以及歌词到音频等跨模态相关任务上，而关于如何为特定的视频通过跨模态检索得到合适的音乐这一跨模态的相关研究却很有限。此外，大多现有的关于视频和音频跨模态的研究依赖于元数据（例如关键字，标签或描述）。本文介绍了一种基于音频和视频这两种模态数据内容的跨模态检索的方法，该方法以新型的双流处理网络为框架，并通过神经网络学习两模态数据在公共子空间的特征表达，以计算音频和视频数据之间的相似度。本文所提出的方法的创新点主要在以下三个方面:1）在原有的提取各模态特征的模型基础上引入注意力机制，以此得到了视频和音频的特征选择模型，并筛选出相应的特征表达。2）使用了样本挖掘机制，剔除了无效样本，使得数据的训练更加高效。3）从计算模态间相似性和保持模态内结构不变两方面出发，设计了相应的损失函数进行模型的训练。且所提出的模型在VEGAS数据集和自建数据集上都取得了较高的准确度。      

一种基于自适应预测的医学图像高效无损压缩方法

随着数字化医学图像海量的增长及PACS系统的广泛应用,对医学图像进行高效的无损压缩已成为广泛关注的问题.本文提出一种基于自适应预测的无损压缩方法,该方法利用神经网络模型自学习的能力,自适应的调整预测器的预测系数.实验表明,该方法能有效去除X线医学图像的空间相关性,还能同时去除彩色医学图像的空间和谱间相关性,取得较高的压缩比,且编解码速度较高.     

基于跨模态特征融合的RGB-D显著性目标检测

显著性目标检测(SOD)作为目前计算机视觉以及计算机图形学领域中研究的基本课题之一,是许多其他复杂任务的预处理阶段的任务,对例如图像理解与解释、视觉追踪、语义分割,视频分析等对象级应用的发展起到了极大的推动作用。随着深度传感器的普及,深度图像中蕴含的空间信息线索在显著性检测研究中提供了与RGB图像中蕴含的不同模态的辅助补充特征信息,这对于检测精度的提升来说愈发重要,因此如何有效地融合RGB与深度图像中的不同模态间的特征信息成为了RGB-D显著性目标检测课题中研究的重要问题。针对RGB与Depth模态间的特征融合问题,本文设计了一种基于跨模态特征信息融合的双流RGB-D显著目标检测网络模型,通过使用设计的跨模态特征融合模块去除某些低质量深度图带入的冗余与噪音,随后提取放大被优化改良过后的深度特征线索与RGB特征线索间的相似性与差异性,完成跨模态特征信息的有效融合。除此之外在网络编码结构的顶端增加了改良的非局部模块,通过自注意力机制更好地捕捉了的上下文信息以及像素间的长距离依赖。通过使用的两个数据集上的实验表明,这一模型在4个评价指标上取得了较好的表现。     

基于LMS的图像自适应预测编码

为了提高图像编码预测器的预测性能,提出了一种低复杂度,高效的自适应预测方法。采用LMS(Least MeanSquare)自适应滤波技术进行预测,并对预测值进行减邻域均值的改进,有效克服了图像的非零均值和非平稳性特征,满足LMS算法的要求,使预测性能得以提高。通过对不同图像的仿真结果表明,该方法的预测差值图像的熵比GAP算法和MED算法的差值图像的熵要小0.1 bit/piexl左右,均方误差(MSE)也要小于后两者的均方误差。     

两步双向查找表预测的高光谱图像无损压缩

提出一种基于两步双向查找表预测的高光谱图像无损压缩算法。将谱段内预测和谱间预测有效地结合,去除了高光谱图像强的谱间相关性。根据高光谱图像特点,首先,在光谱线的第1谱段图像采用JPEG-LS中值预测器进行谱段内预测,其它谱段图像采用谱间预测。谱间预测采用两步双向预测算法,第1步预测,采用一种双向四阶预测器,利用该预测器得到参考预测值;第2步预测,采用一种8级查表(LUT)搜索预测算法,得出8个LUT预测值。然后,将参考预测值与其比较得出最终的预测值。最后,将预测差值进行熵编码。实验结果表明,本文算法的平均压缩比达到3.05bpp(bits per pixel),与传统高光谱图像无损压缩算法比较,平均压缩比提高了0.14～2.91bpp,有效提高了高光谱图像无损压缩比低的问题。     

基于卡尔曼滤波的折反射全向图像目标跟踪

由于折反射成像的特点,当目标在空间沿直线运动时,在全向图像上的成像轨迹不是直线而是二次曲线,导致在应用普通透视图像的轨迹预测方法时对目标的下一位置预测误差大.本文采用折反射成像统一的球面投影模型把已知的目标在全向图像上的成像点投影到球面上,然后在球面上建立全向卡尔曼滤波器对目标下一个位置进行预测,预测的结果重投影回全向...     

Rethinking pre-training on medical imaging

Transfer learning from natural image datasets, such as ImageNet, is common for applying deep learning to medical imaging. However, the modalities of natural and medical images differ considerably, and the reason for the latest medical research preferring ImageNet to medical data is questionable. In this study, we investigated the properties of medical pre-training and its transfer effectiveness on various medical tasks. Through an intuitive convolution-based analysis, we determined the modality characteristics of images. Surprisingly, medical pre-training showed exceptional performance for a classification task but not for a segmentation task since medical data are visually homogeneous and lack morphological information. Using data with diverse modalities helped overcome such drawbacks, resulting in medical pre-training achieving performance comparable to pre-training with ImageNet with considerably fewer samples than ImageNet for both aforementioned tasks. Finally, a study of learned representations and realistic scenarios indicated that while ImageNet is the best choice for medical imaging, medical pre-training has significant potential.     

PET/CT图像分割及其发展现状

随着精准医疗技术的快速进步,PET/CT图像中病灶区域分割已在医疗计划制定中显现出重要作用.PET/CT将PET（功能代谢显像）和CT（解剖结构显像）两种先进的影像技术有机地结合在一起,是影像诊断学的一个重要进展.结合当前分割方法,本文详细介绍了PET/CT成像原理以及PET/CT图像的特点,对分割方法进行分类,深入分析各种方法的现状及其在肿瘤学中的应用.最后,进一步阐述了PET/CT图像分割技术的核心问题和发展趋势.     

基于双估计值的查找表高光谱图像无损压缩

提出一种基于双估计值的查找表预测高光谱图像无损压缩算法。首先,在高光谱图像的第1谱段图像采用JPEG-LS中值预测器进行谱段内预测,其他谱段图像采用谱间预测。谱间预测采用以下步骤,利用3个LUT预测值求出第一个估计值;其次用当前谱段内和前一谱段内特定的8个像素点计算出第二个估计值,将谱段内预测和谱间预测有效地结合,去除了高光谱图像的谱间相关性。然后,用3个LUT预测值和最终的预测估计值比较,选出最终的预测值。最后,将预测残差进行算术编码。实验结果表明,针对NASA的AVIRIS高光谱图像,用本文算法比LAIS-LUT的压缩比平均提高了0.03~0.11,针对国内OIMS-I高光谱图像,比LAIS-LUT压缩比平均提高了0.01~0.09,有效的提高了压缩比。     

基于邻近像素的低复杂度预测矢量量化 图像压缩编码算法

针对传统低复杂度预测矢量量化图像编码算法预测准确性的不足,通过分析像素距离对相关性的影响,提出了数种改进的基于邻近像素的预测方案,并提出了一种具有边缘走向自适应性的预测方案.仿真实验表明,采用这些预测方案的预测矢量量化算法能够在保持低计算复杂度的同时,显著提高矢量预测准确度,改善图像编码性能.     

基于灰度指纹图像信噪特征的无损压缩算法

本文提出了一个有效的针对灰度指纹图像的无损压缩算法.该算法通过将指纹图像的信噪特征融于新一代国际无损图像压缩标准的基本算法(基于上下文预测编码)而实现.该算法主要包括三个特色技术:基于纹线局部走向的分类预测、体现指纹微观纹理的扩展上下文以及基于成像仪器的分类熵编码器概率模型初始化.对一组真实数据及ISO标准图像的压缩结果表明该算法的压缩比居于国内外文献中的领先水平.     

基于激光散射图像小麦叶片叶绿素检测研究

为了实现叶绿素含量的无损检测研究,采用激光后向散射图像技术来测量小麦叶片光学特性参量的方法,进行了理论分析和实验验证。利用670nm和970nm的半导体激光器和视频成像系统获得了小麦叶片的激光后向散射图像,通过漫反射理论分析了叶片组织表面的漫射光分布和在这两个波长下绿叶、黄叶、干叶的激光后向散射图像的变化特征,取得了其光学特性参量数据(约化散射系数和吸收系数),并与叶片的叶绿素相对含量值建立对应的函数关系。结果表明,小麦叶片的光学特性参量与叶绿素相对含量值呈现线性相关,其中利用约化散射系数建立的叶绿素相对含量值预测模型中,预测集样本的相关系数为0.9095,预测均方根误差为5.9;利用吸收系数建立的叶绿素相对含量值预测模型中,预测集样本的相关系数为0.8366,预测均方根误差为7.5,说明激光后向散射图像技术测定植物叶绿素含量是可行的。这一结果对激光散射图像实现农作物长势诊断是有帮助的。     

基于双域滤波与引导滤波的快速医学MR图像去噪

针对医学磁共振(Magnetic Resonance,MR)图像 中存在Rician噪声较大以及双域滤波算法对Rician噪声处理不彻底、 运行时间较长的缺点,提出一种双域滤波与引导滤波相结合的快速医学MR 图像去噪算法。 该算法将引导滤波边缘保持后 的图像作为双域滤波算法的原引导图像,减少双域滤波算法的迭代次数,缩短算法运行时间 ;然后通过改进算法权重,结合 原始权重系数和指数核函数,构造新的权重系数,对噪声进行有效处理。实验结果表明,本 文算法能有效去除医学MR图 像噪声,保护图像细节,相比优秀的医学MR图像去噪算法,具有更高的峰值信噪比和结构 相似度;且相比经典双域滤波 算法,改进后的算法能将运行时间减少1/3,相比非局部均值算法, 可减少1/2。