Multimodal magnetic resonance imaging for Alzheimer's disease diagnosis using hybrid features extraction and ensemble support vector machines

Magnetic resonance imaging (MRI) is increasingly used in the diagnosis of Alzheimer's disease (AD) in order to identify abnormalities in the brain. Indeed, cortical atrophy, a powerful biomarker for AD, can be detected using structural MRI (sMRI), but it cannot detect impairment in the integrity of the white matter (WM) preceding cortical atrophy. The early detection of these changes is made possible by the novel MRI modality known as diffusion tensor imaging (DTI). In this study, we integrate DTI and sMRI as complementary imaging modalities for the early detection of AD in order to create an effective computer-assisted diagnosis tool. The fused Bag-of-Features (BoF) with Speeded-Up Robust Features (SURF) and modified AlexNet convolutional neural network (CNN) are utilized to extract local and deep features. This is applied to DTI scalar metrics (fractional anisotropy and diffusivity metric) and segmented gray matter images from T1-weighted MRI images. Then, the classification of local unimodal and deep multimodal features is first performed using support vector machine (SVM) classifiers. Then, the majority voting technique is adopted to predict the final decision from the ensemble SVMs. The study is directed toward the classification of AD versus mild cognitive impairment (MCI) versus cognitively normal (CN) subjects. Our proposed method achieved an accuracy of 98.42% and demonstrated the robustness of multimodality imaging fusion.     

多尺度模态感知在文本指代实例分割中的研究与应用

文本指代实例分割(RIS)任务是解析文本描述所指代的实例,并在对应图像中分割出该实例,是计算机视觉与媒体领域中热门的研究课题。当前,大多数RIS方法基于单尺度文本/图像模态信息的融合,以感知指代实例的位置和语义信息。然而,单一尺度模态信息很难同时涵盖定位不同大小实例所需的语义和结构上下文信息,阻碍了模型对任意大小指代实例的感知,进而影响模型对不同大小指代实例的分割。对此,设计多尺度视觉-语言交互感知模块和多尺度掩膜预测模块：前者增强模型对不同尺度实例语义与文本语义之间的融合与感知;后者通过充分捕捉不同尺度实例的所需语义和结构信息提升指代实例分割的表现。由此,提出了多尺度模态感知的文本指代实例分割模型(MMPN-RIS)。实验结果表明,MMPN-RIS模型在RefCOCO,RefCOCO+和RefCOCOg3个公开数据集的oIoU指标上均达到了前沿性能;针对文本指代不同尺度实例的分割,MMPN-RIS模型有着较好的表现。     

Photodynamic Therapy and Multi-Modality Imaging of Up-Conversion Nanomaterial Doped with AuNPs

Two key concerns exist in contemporary cancer chemotherapy in clinic: limited therapeutic efficiency and substantial side effects in patients. In recent years, researchers have been investigating a revolutionary cancer treatment technique, and photodynamic therapy (PDT) has been proposed by many scholars. A drug for photodynamic cancer treatment was synthesized using the hydrothermal method, which has a high efficiency to release reactive oxygen species (ROS). It may also be utilized as a clear multi-modality bioimaging platform for photoacoustic imaging (PAI) due to its photothermal effect, computed tomography (CT), and magnetic resonance imaging (MRI). When compared to single-modality imaging, multi-modality imaging delivers far more thorough and precise details for cancer diagnosis. Furthermore, Au-doped up-conversion nanoparticles (UCNPs) have an exceptionally high luminous intensity. The Au-doped UCNPs, in particular, are non-toxic to tissues without laser at an 808 nm wavelength, endowing the as-prepared medications with outstanding therapeutic efficacy but exceptionally low side effects. These findings may encourage fresh effective imaging-guided approaches to meet the goal of photodynamic cancer therapy to be created.     

基于互信息的多模态医学图像配准技术研究

分析了互信息配准的物理基础和配准原理，提出了利用差图像熵的互信息测度，对多种具有代表性的互信息测度进行了比较，并用邻域信息对差图像互信息进行了改进。试验结果表明，与空域信息相结合的互信息测度具有更好的抗噪性。     

工业场景下基于深度学习的时序预测方法及应用

以大模型在材料科学中的应用为着眼点,首先综述了大模型,介绍了大模型的基本概念、发展过程、技术分类与特点等内容;其次从通用领域大模型和垂直领域大模型两个角度,总结了大模型的应用,列举分析了不同种类大模型的应用场景和功能. 再次,结合材料科学领域中的具体需求研究现状,调研并综述了语言大模型、视觉大模型和多模态大模型在材料科学中的应用情况,以自然语言处理和计算机视觉中的具体任务为切入,参考典型应用案例,综合提示工程策略和零样本知识迁移学习,厘清了当前将大模型应用至材料科学的研究范式和制约因素,并利用改进SAM视觉大模型在四种材料显微图像数据上进行了验证性图像分割与关键结构提取实验,结果表明SAM带来的零样本分割能力对于材料微结构的精准高效表征具有巨大应用潜力. 最后,提出了大模型相关技术、方法在材料科学中的未来研究机遇,从单模态到综合性多模态的大模型研发与调优,评估了可行性及技术难点.

     

基于分块互信息的图像配准

针对传统互信息缺乏利用空间信息而容易导致误配的缺点,提出了基于分块互信息的多模图像配准方法,并运用于可见光与红外图像之间的配准。该方法首先将可见光与红外图像分块,求得每个可见光与红外图像块对的互信息,并由块对中可见光与红外图像的质心间的距离为参数,确定块对的配准系数,求得每个块对的互信息与配准系数的乘积的和,定义为分块互信息,并以此为配准准则。实验表明,该方法运用与可见光与红外光配准,在配准精度上优于传统互信息方法。     

基于差分的动态加权SVDD在多模态过程故障检测中的应用

传统SVDD作为一种单模态静态故障检测算法,对多模态动态过程故障的检测难以保证其检测的准确性和实时性。为了解决这一问题,提出一种基于近邻差分加权动态SVDD检测方法（NND-DWSVDD）。首先利用NND剔除数据多模态结构,保证过程数据服从单峰分布;对差分处理后的数据引入动态方法并加入权值将有用的信息凸显出来;最后利用SVDD方法建立监测模型实现在线监测。NND-DWSVDD提高了多模态动态过程故障检测率,对于多模态动态过程故障检测,NND-DWSVDD不要求多模型建模,只需单独的一个模型,符合单模态故障检测要求。通过多模态数值例子和半导体生产过程数据对该方法的有效性进行了验证。     

基于GHM多小波的多模态医学图像融合算法研究

本文研究了基于多小波的多模态医学图像融合。在分析结构成像和功能成像特性的基础上,提出了分层融合的理念。详细阐述了预滤波后,如何使用GHM多小波分解二维医学图像、具体融合规则和多小波重构。与单小波分解相比,多小波要经过分解前的预滤波和重构后的后滤波。实验结果分析证实,该算法融合效果良好,各项指标有一定的提升。     

基于倒金字塔深度学习网络的三维医学图像分割

基于深度学习的医学图像分割对医学研究和临床疾病诊断具有重要意义。然而,现有三维脑图像分割网络仅依赖单一模态信息,且最后一层网络的特征表达不准确,导致分割精度降低。引入注意力机制,提出一种基于深度学习的多模态交叉重构的倒金字塔网络MCRAIP-Net。以多模态磁共振图像作为输入,通过三个独立的编码器结构提取各模态的特征信息,并将提取的特征信息在同一分辨率级进行初步融合。利用双通道交叉重构注意力模块实现多模态特征的细化与融合。在此基础上,采用倒金字塔解码器对解码器各阶段不同分辨率的特征进行整合,完成脑组织的分割任务。在MRBrainS13和IBSR18数据集上的实验结果表明,相比3D U-Net、MMAN、SW-3D-Unet等网络,MCRAIP-Net能够充分利用多模态图像的互补信息,获取更准确丰富的细节特征且具有较优的分割精度,白质、灰质、脑脊液的Dice系数分别达到91.67%、88.95%、84.79%。     

利用高维互信息的多模态医学图像配准

互信息相似性测度在多模态医学图像配准中获得了广泛的应用,然而其不足之处在于没用充分利用图像固有的空间信息。针对这一不足,提出了利用图像邻域信息的高维互信息配准方法。首先用图像像素及其邻域构成高维向量的集合,然后利用基于最近邻的熵估计法来估计集合的高维熵,并采用近似最近邻搜索算法来加快高维熵的计算。实验结果验证了新的相似性测度的有效性。