多模态多维信息融合的鼻咽癌MR图像肿瘤深度分割方法

收集421名鼻咽癌患者头颈部水平位T1加权（T1W）、T2加权（T2W）以及T1增强（T1C）三种模态MR图像,并由2名经验丰富的临床医生对图像中的肿瘤区域进行勾画,将其中346位患者的多模态图像及其标签作为训练集,将剩余75位患者的多模态图像及其标签作为独立测试集;分别构建单模态多维信息融合、两模态多维信息融合以及多模态多维信息融合（MMMDF）的卷积神经网络（CNN）,并对模型进行训练和测试;使用Dice、豪斯多夫距离（HD）与面积差占比（PAD）评估3种模型的性能,结果表明,多模态多维融合模型的性能最优,两模态多维信息融合模型性能次之,单模态多维信息融合模型性能最差. 结果证明,多模态二维与三维特征融合的深度卷积网络能够准确有效地分割鼻咽癌MR图像中的肿瘤.     

基于超像素的多模态MRI脑胶质瘤分割

为了提高脑胶质瘤分割的精度和鲁棒性,提出了一种基于超像素的多模态MRI脑胶质瘤分割算法。首先,通过使用带加权距离的局部k-均值聚类算法,把多模态MRI过分割成一系列均匀、紧凑、并精确吻合图像边界的超像素(superpixel)。然后应用基于序贯概率比假设检验的动态区域合并算法对产生的超像素逐步合并,形成几十个具有统计意义的区域。最后对这些区域进行后处理以得到GBM各个组织的分割结果。应用该算法对15个GBM病人的多模态MRI数据进行了分割实验,结果表明,相对于基于FCM算法和归一化割(Ncut)算法,文中提出的分割算法更加精确。     

基于生成对抗模型的可见光-红外图像匹配方法

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题, 基于生成对抗网络转换思想及传统的局部特征提取能力, 提出基于生成对抗模型的可见光-红外图像匹配方法. 依据生成对抗网络（GAN）的风格转换思想, 增加了损失函数计算通路并构建新的损失函数, 改进模型在异源图像上的转换效果. 利用SIFT算法分别提取转换后同源图像的特征信息, 确定待匹配点的位置和尺度. 依据匹配策略间接完成待配准图像的特征匹配及相似性度量. 在实景航拍数据集上进行实验验证. 结果表明, 利用该方法能够有效地处理多模数据, 降低异源图像的匹配难度, 为多模态图像匹配问题提供新的思路.     

基于层次化双重注意力网络的乳腺多模态图像分类

为解决现有多模态图像融合方法忽略临床先验知识的利用,且多模态之间的信息交互不充分等问题,提出基于层次化双重注意力网络的乳腺多模态图像分类方法,引入新的先验学习模块,有效挖掘和利用临床先验,提升单模态特征的区分性。设计层次化的双重注意力模块,利用注意力机制同时增强全局模态间通道特征和局部模态内特征的区分性信息,增强模态间的信息交互,进一步提升多模态融合的分类性能。试验结果表明,与其他方法对比,提出的模型能够取得更好的性能,在受试者工作特征曲线下面积、准确性、特异性和灵敏度分别达到为82.5%、83.3%、80.0%和85.0%。结果证明建立层次化双重注意力网络预测乳腺肿瘤良恶性可行。     

结合PCM和MIE的多模态图像配准方法

针多模态图像配准问题,提出了一种基于相位一致性模型（PCM）和互信息熵（MIE）的配准方法.通过相位一致性模型同时提取多模态图像的角点和边缘特征,在边缘图上取角点的邻域,依据邻域间互信息熵的最小值在估计区域搜索匹配特征,利用RANSAC算法去除错配,进而确定待配准图像间的变换参数.实验表明：该方法达到了像素级配准精度、求解稳定,对多模态引起的非线性灰度变化、光照变化、噪声等都具有较强的鲁棒性;计算精度较基于同类特征的配准方法高,角点、边缘等几何特征综合运用在多模态图像配准中效果良好.     

基于多模态卷积神经网络的脑血管提取方法研究

提出了一种基于多模态的卷积神经网络对脑部CT血管造影图像（CTA）进行分割,从而实现脑血管的单独提取。该方法首先对原始CTA图像进行高斯和拉普拉斯处理, 并将处理后的图像与原始图像共同构成多模态图像作为输入,然后通过多个并行的卷积神经网络对多模态图像进行分割,最终将所有的分割结果通过线性回归进行融合从而提取出脑血管。该文通过一系列的实验不仅证明了卷积神经网络在脑血管分割上的有效性,而且证明了本文所提出方法的分割效果比现有的脑血管分割算法更加出色。     

一种基于MRF与区域合并的图像分割改进算法

针对现有基于马尔科夫随机场的图像分割算法容易出现过分割、分割结果不理想等问题,提出了一种基于马尔科夫随机场与区域合并的图像分割改进算法。该算法首先基于马尔科夫随机场与高斯混合模型理论的图像分割算法得到初始分割结果;然后利用各个区域间的相邻关系、颜色关系以及边界情况等信息,给出各个区域间的距离;最后按照区域间的距离与区域合并前后的颜色散度变化率对初始分割结果进行区域合并,输出最终的分割结果。使用伯克利标准图像库进行实验仿真,采用Dice系数和Jaccard系数作为评价指标。仿真结果表明,相比于现有基于MRF理论的算法,本文算法具有更好的分割效果。     

基于RAPNet的脑肿瘤MRI图像三维分割

传统深度卷积神经网络方法在全自动脑肿瘤磁共振成像(MRI)图像分割中存在多尺度病变处理能力较弱的问题。对此，使用改进的三维递归残差卷积单元构建特征学习的主干网络，提高了特征学习的空间相关性并缓解因网络模型过于复杂造成的网络退化和梯度弥散。同时，采用具有不同膨胀率的三维空洞卷积和跨模型注意力机制构建分层特征金字塔，结合上下文特征，提高了整体模型对不同大小肿瘤的识别能力。结合多层特征图对肿瘤图像进行辅助预测，获得了最终图像的分割结果。在BraTS 2019数据集上进行实验的结果表明，用残差-空洞金字塔网络(RAPNet)的方法在分割浮肿区域、坏疽区域、增强肿瘤区域的平均Dice相似性系数分别为0.897,0.852和0.823。与现有高效脑肿瘤图像分割方法相比，新方法在学习病变的多尺度特征方面具有更好的效果。     

基于对比度与空间位置特征的显著性区域检测

依据图像区域的对比度以及空间位置等先验视觉显著性知识,进行了自下而上、数据驱动的图像显著性区域检测。首先,提取图像中的前景区域,构造区域的对比度、空间位置特征函数,然后融合这些特征计算显著图。该算法将图像的空间关系与区域关系联系起来,得到了较精确的显著图。通过对国际上现有的公开数据集MSRA-1000的测试结果表明:本文算法可以抑制非显著区域干扰,显著图的一致性较高。同时,将本文算法的显著图应用于分割显著性区域,能够得到较好的分割效果。     

基于人工交互的多模态图像亚像素配准

基于特征点自动匹配的图像配准技术通常无法实现亚像素精度的配准,在多模态图像集上甚至无法完成整像素配准. 为了提高多模态图像配准精度,对亚像素图像配准技术进行研究,提出了一种基于人工交互的适用于多模态图像的亚像素配准算法. 对待配准图像和参考图像输入控制点,利用投影变换和最小线性平方差算法进行粗配准,根据双边平均配准误差对控制点进行亚像素调整,从而达到精确配准. 定性与定量实验结果表明,相比基于尺度不变特征和局部强度不变的特征描述符配准算法,该算法具备更高的配准精度,可显著提高多模态图像配准性能.     

A New Image Segmentation Method Based on Fractional-Varying-Order Differential

In order to solve the problem of image segmentation with intensity inhomogeneity, a new partial differential equation image segmentation model based on fractional-varying-order differential is proposed. This model introduces an adaptive coefficient to set disparate differential order intervals for pixel with different gray values and use fractional-varying-order differential to process the input image combined with the CV model, then use a variety of image segmentation evaluation indicators, such as true positive(TP) rate, false positive(FP) rate, precision(P), Jaccard similarity(JS) rate, and Dice coefficient(DC) rate to measure the pros and cons of our model. The experimental results show that our method is improved on the original basis, which is more conducive to us to obtain more image details and obtain better segmentation results.     

一种基于马尔科夫随机场的脑MR图像分割改进算法

高斯混合模型（GMM）易受噪声影响,马尔科夫随机场（MRF）模型能够很好地刻画空间特性。两者结合适用于对含有噪声的图片进行分割,但MRF模型用于图像分割时,容易出现过分割现象。针对这个问题,提出一种自适应权值系数的图像分割改进算法,从核磁共振成像（MRI）中较好地分割出脑脊液、灰质和白质组织。首先,使用K?means算法得到初始分割结果,通过期望最大化算法（EM）估计GMM参数,进而得到图像像素灰度的联合概率能量函数。然后,利用MRF邻域系统中心像素与邻域像素的灰度值、后验概率和欧式距离得到自适应的权值系数,使用MRF模型得到先验概率能量函数。最后,借助贝叶斯准则得到最终图像分割结果。实验结果表明,该算法具有较强的自适应性,能够较好地克服噪声对图像分割的影响织。与同类算法相比,该算法对含有噪声的脑部MRI图像具有较高的分割精度,可得到较好的图像分割结果。     

基于格式塔认知框架的腹腔CT多目标分割算法

为了解决腹腔软组织电子计算机断层扫描影像难于分割的难题,提出一种基于格式塔认知框架的多目标分割算法.通过借鉴格式塔认知框架中“邻近度、相似度”的思想,引入超像素算法处理电子计算机断层扫描图像处理,生成可视块.进一步地,在可视块粒度描述有向邻接关系,以软组织的相对空间位置约束聚类分割过程.在公开数据库上的实验结果表明,该算法降低了聚类的计算量,其结果比当前流行的算法准确率更高.     

基于水平集的人脑MR图像分割方法

为了更好地对解剖结构和形状复杂的非均匀分布人脑图像进行分割,在水平集Chan-Vese模型的基础上引入Otsu技术,给出了基于水平集的人脑磁共振(magnetic resonance,MR)图像分割方法.该方法利用Heaviside函数描述区域内图像分布信息,通过最大类间方差来反映区域间图像分布方差信息,2部分信息经融合后构建新的能量函数,以引导图像分割过程,最终得到所期望的人脑图像分割结果.采用2个数据集提供的人脑图像数据进行实验,结果表明:所提方法在相似性度量和正误率度量方面,与其他方法相比都有明显的优势,可以很好地实现人脑图像的分割.     

基于PCNN的图像多区域迭代分割

对传统经典的PCNN网络进行改进,提出一种新的基于PCNN的多区域图像分割方法。去掉原模型中的一些次要参数,突出灰度对分割的影响;根据图像中存在不同灰度变化的特性,分2阶段完成对图像的分割:初次分割和二次分割。初次分割是利用灰度直方图谷底灰度作为动态阈值进行,使动态阈值对分割边界的影响达到最小;二次分割则对初次分割的结果进行细分割,点火区域和非点火区域灰度差较小,其动态链接系数通过循环迭代搜索确定。二次分割迭代进行,从而实现了对整幅图像的完整分割。其实验结果表明,该方法的错误率小于常规的聚类分割算法和GBS算法。       

基于Transformer与距离图谱的泛癌细胞核图像分割

肿瘤细胞的密度、核质比和平均尺寸等指标对癌症的分级和预后有重要的意义.在计算病理学中,细胞核分割是肿瘤微环境分析的基础.通过对分割结果进行统计分析,对新的肿瘤标记物的探索有重大的意义.病理图像背景下的细胞核形态不规则,细胞核染色不均匀,且细胞核边缘之间存在黏连的问题,而现有的深度学习算法在细胞核主体分割正确的情况下,边缘的分割错误不会对总体的损失造成太大的影响,黏连的细胞核很容易被当作同一个分割目标.为了解决细胞核重叠问题,本文提出一种基于Transformer与距离图谱的分割模型,将Transformer中的核心多头自注意力机制与距离图谱引导算法相结合,重视细胞核内部,弱化细胞核边界,提升对图像局部和全局上下文信息的学习能力.本文方法在两个公开数据集上的平均Dice系数为0.797 9、精度为0.756 1、AJI系数为0.667 2、Hausdorff距离为10.11.实验结果表明,相较其他分割算法,本文方法的性能更好,能够有效提高细胞核的分割精度,同时较好地解决了细胞核之间的黏连问题.     

基于形状先验与轮廓预定位的目标分割

针对单帧图像中特定目标的分割一直面临着由于背景复杂和光照变化等因素带来的分割精度偏低的问题,提出一种基于轮廓预定位的先验局部二值拟合(local binary fitting,LBF)算法,用于人体上肢图像的分割.首先,利用浅层卷积神经网络对上肢形状模板进行筛选和预定位,得到分割目标的粗轮廓曲线;然后,利用基于先验形状的LBF算法对粗轮廓曲线进行演化,得到分割目标的精确轮廓曲线.实验结果显示算法的成功率在90%以上,表明该方法对于背景复杂和光照变化情况下的特定目标分割具有良好的效果.     

Color image segmentation using mean shift and improved ant clustering

To improve the segmentation quality and efficiency of color image, a novel approach which combines the advantages of the mean shift (MS) segmentation and improved ant clustering method is proposed. The regions which can preserve the discontinuity characteristics of an image are segmented by MS algorithm, and then they are represented by a graph in which every region is represented by a node. In order to solve the graph partition problem, an improved ant clustering algorithm, called similarity carrying ant model (SCAM-ant), is proposed, in which a new similarity calculation method is given. Using SCAM-ant, the maximum number of items that each ant can carry will increase, the clustering time will be effectively reduced, and globally optimized clustering can also be realized. Because the graph is not based on the pixels of original image but on the segmentation result of MS algorithm, the computational complexity is greatly reduced. Experiments show that the proposed method can realize color image segmentation efficiently, and compared with the conventional methods based on the image pixels, it improves the image segmentation quality and the anti-interference ability.     

一种改进的CV水平集图像分割方法

由Chan Vese提出的水平集图像分割模型可以不依赖于图像的边缘信息而对弱边缘以及含有内部轮廓的图像具有良好的分割效果.但对于背景图像灰度包含两个及以上等级分层时,图像分割得不到准确的结果.提出一种新的基于C V模型的改进算法,该算法引入了快速C V方法的思想,融入全局梯度信息以及目标的先验知识.实验结果表明,该方法能够很好地分辨出背景图像复杂灰度包含多个等级分层的目标区域轮廓且具有良好的适应性.