| 基于多模态图像融合的早期蕈样肉芽肿识别 |
| |
| 引用本文： | 谢凤英,赵丹培,王可,刘兆睿,王煜坤,张漪澜,刘洁.基于多模态图像融合的早期蕈样肉芽肿识别[J].数据采集与处理,2023,38(4):792-801. |
| |
| 作者姓名： | 谢凤英 赵丹培 王可 刘兆睿 王煜坤 张漪澜 刘洁 |
| |
| 作者单位： | 1.北京航空航天大学宇航学院图像处理中心，北京 100191;2.北京协和医院皮肤科，北京100730;3.中国医学科学院北京协和医学院，北京 100730 |
| |
| 基金项目： | 国家自然科学基金（61871011，62071011，61971443，82173449）；中国医学科学院中央级公益性科研院所基本科研业务费专项资金（2019XK320024）；北京市自然科学基金（4192032）。 |
| |
| 摘 要： | 早期蕈样肉芽肿（Mycosis fungoid， MF）可表现为红斑鳞屑性皮损，很难从银屑病及慢性湿疹等良性炎症性皮肤病中鉴别出来。本文提出了一种基于多模态图像融合的早期蕈样肉芽肿识别方法。该方法基于皮肤镜图像和临床图像，采用ResNet18网络提取单模态图像的特征；设计跨模态的注意力模块，实现两种模态图像的特征融合；并且设计自注意力模块提取融合特征中的关键信息，改善信息冗余，从而提高蕈样肉芽肿智能识别的准确度。实验结果表明，本文所提出的智能诊断模型优于对比算法。将本文模型应用于皮肤科医生的实际临床诊断，通过实验组医生和对照组医生平均诊断准确率的变化证实了本文模型能够有效提升临床诊断水平。
|
| 关 键 词： | 皮肤镜图像 临床图像 多模态图像融合 临床应用 辅助诊断 |
| 收稿时间： | 2022/7/30 0:00:00 |
| 修稿时间： | 2022/9/10 0:00:00 |
Early Mycosis Fungoides Recognition Based on Multimodal Image Fusion |
| |
| XIE Fengying,ZHAO Danpei,WANG Ke,LIU Zhaorui,WANG Yukun,ZHANG Yilan,LIU Jie.Early Mycosis Fungoides Recognition Based on Multimodal Image Fusion[J].Journal of Data Acquisition & Processing,2023,38(4):792-801. |
| |
| Authors: | XIE Fengying ZHAO Danpei WANG Ke LIU Zhaorui WANG Yukun ZHANG Yilan LIU Jie |
| |
| Affiliation: | 1.Image Processing Center, School of Astronautics, Beihang University, Beijing 100191, China;2.Department of Dermatology, Peking Union Medical College Hospital, Beijing 100730, China;3.Peking Union Medical College,Chinese Academy of Medical Science,Beijing 100730, China |
| |
| Abstract: | |
| |
| Keywords: | dermoscopic image clinical image multimodal image fusion clinical application computer aided diagnosis |
|
| 点击此处可从《数据采集与处理》浏览原始摘要信息 |
|
点击此处可从《数据采集与处理》下载全文 |
|
