应用于人体关节缺损修复的建模与可视化方法研究

关节缺损疾病治疗目前存在的主要问题是缺乏精确的关节模型以及个体化的修复方案。通过建模与可视化技术能够从关节CT或MRI影像中构建和恢复缺损关节的空间立体结构,能够为关节缺损信息提供量化参数和三维模型,从而帮助医生快速准确地对关节缺损疾病进行诊疗。该方法在关节盂或肱骨结构等疾病的诊疗方面具有重要的临床意义。本文深入研究了基于CT、MRI影像的关节结构建模与可视化的核心关键技术,针对骨骼图像预处理、结构分割与测量、建模与可视化等技术进行了深入探讨与分析,并对关节缺损修复建模技术的发展及应用进行了展望。     

普通话发音过程中的舌3维运动控制模型

目的 言语发音过程中发音器官及其运动形态的精确可视化对发音机制的理解、言语疾病的诊断和治疗以及人机言语交互研究都具有重要意义。舌作为言语产生的重要器官,因其运动速度快、变形复杂、发音过程中不可见等原因,可视化比较困难。为此,提出一种基于统计模型法研究汉语普通话元辅音发音时舌的3维动态控制模型。方法 首先采集普通话元辅音发音过程中讲话人的磁共振图像（MRI）,采用手动标记法提取舌轮廓并建立静态3维网格模型;其次以模型顶点为变量,通过线性主成分分析法提取控制参数并建立舌运动控制方程;最后对发音过程中舌运动控制仿真效果进行评估。结果 共提取含舌尖、舌体、舌背和下颌在内的6个3维模型运动控制参数,下颌参数控制下颌张合引起的舌旋转运动,舌体和舌背参数分别控制舌前后、拱起和凹陷运动,舌尖参数分别控制舌尖上下、前后和上翘运动,所提取的6个参数可以表达87.4%的舌3维运动变化,仿真效果优于其他语言的运动控制结果。结论 本文方法可以有效应用于汉语普通话发音的舌建模与3维运动控制,降低舌3维运动建模的复杂性,研究结果可以为汉语普通话发音过程中的器官可视化提供有用信息。     

应用图像块和全卷积神经网络的肩关节MRI自动分割

目的 MRI正逐步代替CT进行骨头与关节的检查,肩关节MRI中骨结构的精确自动分割对于骨损伤和疾病的度量与诊断至关重要,现有骨头分割算法无法做到不用任何先验知识进行自动分割,且通用性和精准度相对较低,为此提出一种基于图像块和全卷积神经网络（PCNN和FCN）相结合的自动分割算法。方法 首先建立4个分割模型,包括3个基于U-Net的骨头分割模型（肱骨分割模型、关节骨分割模型、肱骨头和关节骨作为整体的分割模型）和一个基于块的AlexNet分割模型;然后使用4个分割模型来获取候选的骨头区域,并通过投票的方式准确检测到肱骨和关节骨的位置区域;最后在检测到的骨头区域内进一步使用AlexNet分割模型,从而分割出精确度在像素级别的骨头边缘。结果 实验数据来自美国哈佛医学院/麻省总医院骨科的8组病人,每组扫描序列包括100片左右图像,都已经分割标注。5组病人用于训练和进行五倍的交叉验证,3组病人用于测试实际的分割效果,其中Dice Coefficient、Positive Predicted Value（PPV）和Sensitivity平均准确率分别达到0.92±0.02、0.96±0.03和0.94±0.02。结论 本文方法针对小样本的病人数据集,仅通过2维医学图像上的深度学习,可以得到非常精确的肩关节分割结果。所提算法已经集成到我们开发的医学图像度量分析平台"3DQI",通过该平台可以展示肩关节骨头3D分割效果,给骨科医生提供临床的诊断指导作用。同时,所提算法框架具有一定的通用性,适应于小样本数据下CT和MRI中特定器官和组织的精确分割。     

面向浏览器的医学影像可视化系统

目的 当前各大商业公司和开源社区所提供的医学影像可视化系统依赖于各类平台以及与平台相关的插件,难以实现跨平台访问.为此提出并实现了基于HTML5的面向现代浏览器的医学影像可视化系统.方法 基于B/S(browers/server)模式进行系统整体架构与设计,设计自定义的传输协议提供各种定制的图像可视化服务.对于2维影像,采用HTML的canvas技术和WebGL技术进行浏览器端硬件加速.对于3维医学影像,采用前后端异步操作的策略以提供渐进式可视化.算法构造原始数据的多分辨率采样,并在用户交互过程中实现自适应可视化.结果 在不同的浏览器、多组临床医学影像肝脏数据上测试了系统,表明系统支持跨浏览器的可视化.测试2维和3维可视化的结果表明,系统支持2维影像的实时可视化(25帧/s),支持3维影像的交互可视化.对于512×512×154的医学体数据,低精度绘制模式的可视化效率可以达到60帧/s,高精度绘制模式的可视化效率可达到 1帧/s 的绘制效率.结论 本文面向浏览器的医学影像可视化系统利用当下新兴的WEB技术实现了跨浏览器、跨平台地对用户提供服务,为远程及移动医疗影像可视化系统提供了机会.     

肺部CT图像中的解剖结构分割方法综述

目的 高分辨率多层螺旋CT是临床医生研究肺部解剖结构功能、评估生理状态、检测和诊断病变的主要影像学工具。鉴于肺部各解剖结构间特殊的关联关系和图像成像缺陷、组织病变等干扰因素对分割效果的影响,学术界已在经典图像处理方法基础上针对CT图像中的肺部解剖结构分割进行了大量研究。方法 通过对相关领域有代表性或前沿性文献的归纳总结,系统性地梳理了现有肺组织、肺气管、肺血管、肺裂纹、肺叶或肺段等解剖结构CT图像分割方法的主要流程、方法理论、关键技术和优缺点,讨论了各解剖结构分割的参考数据获取、实验设计方法和结果评价指标。结果 分析了现有研究在结果精度和鲁棒性方面所面临的挑战性问题,以及基于分割结果在定位病变、定量测量、提取其他结构等方面展开的热点应用,特别详述了当前被重点关注的深度学习方法在本领域的工作进展,同时展望了本领域在分割理论方法和后续处理等步骤的发展趋势,并探索了如何在实践中根据分割结果发现新的临床生物标志。结论 快速精确地从CT图像中分割肺部各解剖结构可以获取清晰直观的3维可视化结构影像,展开解剖结构内部的定量参数测量或结构之间的关联关系分析能提供客观、有效的肺部组织疾病辅助诊断依据信息,可以大大减轻临床医生的阅片负担、提高工作效率,具有重要的理论研究意义和临床应用价值。     

个性化编辑的轻量化3维树木模型构建

目的 3维树木几何结构和拓扑结构的复杂性,不仅使得真实感3维树木模型的构建过程十分复杂,而且构建的模型文件包含大量的几何数据。针对3维树木模型的构建过程复杂和模型数据量大的问题,提出一种支持骨架个性化编辑的轻量化3维树木模型构建方法。方法 该方法在提取树木模型骨架结构的基础上,通过交互方式对3维树木模型的骨架进行个性化编辑以生成3维树木模型的全新骨架结构,并采用枝干和树冠模型的简化方法实现轻量化3维树木模型的构建。结果 该方法不仅能快速创建轻量化的3维树木模型,减少3维树木可视化时的模型绘制时间;而且能通过骨架个性化编辑来设计树木的拓扑结构,有助于增加同一品种树木外部表现形态的多样性。结论 通过应用表明,本文轻量化3维树木模型构建方法不仅可以构建具有不同表现形态的3维树木模型,而且简化后的3维树木模型可以在无线网络、移动终端等资源有限情况下进行3维树木可视化。     

水平集活动轮廓模型的3维牙齿重建

目的 建立患者口腔每颗牙齿独立的3维模型对于计算机口腔修复的精确定位和量化评估具有十分重要的意义。针对口腔CT图像序列的牙齿形态变化和排列特点,提出一种新颖的基于水平集活动轮廓模型的3维牙齿重建方法。方法 基于层间映射机制,对不同部位牙层切片采用不同的分割模型：利用先验形状约束能量、基于Flux模型的边缘梯度能量、基于先验灰度的局部区域能量相结合构造的单相混合水平集模型分割牙根层切片轮廓;利用结合区域竞争约束的双相混合水平集模型分割牙冠层切片轮廓;最后利用这些层间轮廓重建出牙齿3维模型。结果 对不同位置的牙齿CT图像进行分割实验,结果表明,与现有的方法相比,本文方法具有较好的分割效果和较高的准确率,平均分割相似系数达到96%。结论 本文的混合水平集模型能有效克服牙髓腔和牙槽骨的干扰以及图像灰度不均匀等问题,较准确地重建出每颗牙齿独立的3维模型,从而为制定口腔修复规划、生物力学分析等奠定坚实的基础。     

结合暗通道原理和双边滤波的遥感图像增强

目的 在遥感应用如目视解译等任务中,需要提高遥感影像的视觉质量,为此提出一种基于暗通道原理和双边滤波的遥感图像增强算法。方法 由于暗通道模型的softmatting过程计算复杂性高,故使用双边滤波估计大气光幕,进而获得优化透射图,代替He算法中softmatting过程,提高了计算效率。针对将暗通道原理应用于遥感图像增强时所产生的色彩失真现象,提出透射图的改进算法,提高景深图像的取值,同时约束其最大值不大于1。最后,基于景深图像和暗通道原理获得增强后的遥感图像。结果 实验结果表明,本文算法能够有效地增加图像的对比度。与基于双边滤波单尺度Retinex图像增强、四尺度Retinex增强、直方图均衡化及MSRCR增强的结果进行了比较,实验结果验证了算法的有效性。结论 本文模型能够使处理后的遥感图像更符合视觉特性,以便于目视解译与分析。该算法适用于遥感图像的可视化增强。     

行为理解的认知推理方法

目的 人类行为理解是机器智能研究中最富有挑战性的领域。其根本问题是语义获取,即从动作推理得到人的行为,需要跨越两者之间的语义鸿沟,为此提出一种人关于日常行为知识与人体动作行为、环境信息之间的建模方法,以及可扩展的开放式结构环境—行为关系模型,基于该模型提出一种新的行为理解的渐进式认知推理方法。方法 首先根据知识,建立多种特征、复合特征和行为之间的关系模型。系统根据当前的输入流,处理得到当前的特征与复合特征集,推理得到当前的可能行为集。该行为集指导处理模块,更新特征集,得到新的行为集。结果 应用本文渐进式连续推理方法,系统可以把人关于日常行为的知识与人体运动、环境变化等传感器数据处理获取到的信息动态绑定,实现知识辅助的行为理解。结论 提出的推理方法能连续处理长时间、同时发生的行为。     

混合本征模型的多视SAR影像海冰密度检测

目的 SAR影像中像素光谱测度的空间相关性蕴含着海洋表面和海冰更加丰富的空间特性及其变化信息,因此合理建模这种相关性是高分辨率SAR影像海冰精准解译的关键。提出一种利用随机模型及空间统计学测度刻画海冰空间结构的方法。方法 本文首先,在空间统计学框架下,SAR影像被表示为多值Gamma模型和泊松线Mosaic模型线性加权构建的混合模型,其中多值Gamma模型用于描述海洋表面雷达信号背向散射变化的连续性,而泊松线Mosaic模型则用于表征不同类型海冰表面雷达信号背向散射变化的区域性。利用上述混合模型的一阶、二阶变异函数,建模蕴含在SAR影像中海冰空间结构的变化。结果 对RADARSAT-1影像海冰结构建模并反演其密度。实验区域真实海冰密度分别为20%,80%等,运用本文方法反演所得海冰密度与真实海冰密度误差正负不超过10%。结论 本文提出混合本征模型用以刻画SAR强度影像中海冰像素强度变化的空间关系,能够较好地反演Ungava湾海冰密度分布。为利用遥感影像检测空间机构提供一种全新的方法。     

虚拟手术中肝脏体实时切割系统

在检测二维医学图像的过程中利用医学图像的三维可视化技术有利于医生更加全面地分析图像数据,从而对病情做出准确的应对措施.以肝脏为例,首先提取可视人体数据集中连续横断面图像,采用区域生长的图像分割算法从连续的横断面图像中提取出肝脏轮廓的区域.然后对肝脏轮廓进行层间插值,利用VTK工具包结合面绘制方法构建出肝脏的三维模型.接着对初始模型进行一定程度的网格削减,降低数据冗余度,完成虚拟肝脏体的三维重建.采用CUDA架构进行肝脏体纹理的合成与映射工作,兼顾了体纹理的真实感和虚拟手术系统的实时性,对虚拟肝脏手术的发展有着重要的促进作用.     

3维灰度矩阵的钢板缺陷图像识别

目的 钢板表面缺陷的种类多样、灰度结构复杂,现有的图像分割技术运用在灰度结构复杂、目标边缘模糊的钢板缺陷图像中仍然存在识别效率低、过分割现象明显等问题,本文结合图像灰度矩阵的空间特征,提出一种基于3维灰度矩阵的钢板表面缺陷识别算法。方法 首先根据灰度图像构建3维灰度矩阵;然后引入半类间方差改进克里金插值算法,绘制3维灰度矩阵的等值线图;接着构建等值线的拓扑关系树;最后根据自定义的全局搜索策略和局部搜索策略相结合,寻找局部凹凸区域,从而定位缺陷区域,达到分割钢板表面缺陷的目的。结果 本文方法能有效地识别钢板表面缺陷区域,对光照变化不敏感,在保证低误差率的前提下,提高了有效分割率。通过对氧化、辊印、结疤和气泡四类钢板缺陷图像进行测试,从分割效果和评价指标两方面对比其他钢板缺陷分割算法。与Fisher阈值分割法、经典的活动轮廓模型CV模型、基于半局部区域描述符的活动轮廓模型HTB模型和改进背景差分法进行分割效果对比,本文方法对四类钢板表面缺陷的识别更精确,分割结果更细致,一定程度上抑制了过分割现象。与大津法Ostu、1维最大模糊熵法1DMFE、最大模糊超熵法MFEE进行评价指标对比,得出对于分割孔洞和辊印图像,本文方法在误分割率均保持在2.0%以下的前提下,将有效信息率分别提升了1.6%和2.1%;对于夹杂图像,本文方法在3.4%的误分割率的前提下,具有85%以上的有效信息率。结论 提出的基于3维灰度矩阵的钢板缺陷图像识别算法可以有效地识别多种类型的钢板缺陷,即使在缺陷结构复杂的图像识别中仍具有较高的识别率。     

小邻域统计信息核磁共振医学图像分割模型

目的 提出局部统计信息测地线活动轮廓图像分割方法。方法 该方法采用高斯分布拟合图像局部灰度统计特征信息,构造了方向性驱动项。在此基础上,建立了局部统计信息测地线能量泛函。通过极小化该泛函,来驱动演化曲线有序地向目标边界逼近,最后,整个分割过程采用二值水平集方法实现。结果 本文方法降低了灰度不均匀信息影响,达到提取感兴趣区域轮廓目的,提高算法效率和稳定性。结论 实验结果表明,该方法可以快速准确地分割医学感兴趣目标边界。     

钢板表面低对比度微小缺陷图像增强和分割

目的 环境干扰及光学元件不稳定等因素往往会造成钢板表面图像照度不均,钢板表面的微小缺陷具有图像灰度不均、对比度低、形态微小等特点,给后续图像分析和缺陷识别带来因难。为此,提出一种钢板表面低对比度微小缺陷图像增强和分割算法,以消除照度不均并突出缺陷信息,从而有效分割缺陷目标。方法 采用小波-同态滤波算法进行图像增强处理,即先利用小波变换对图像进行分解,再基于同态滤波对小波低频系数进行图像灰度修正,同时对高频系数进行高通滤波,然后将处理后的小波低频系数和高频系数进行重构得到增强的图像,从而达到消除照度不均、增强缺陷细节信息的目的。最后利用最大类间方差法（Otsu法）确定自适应阈值提供给Canny算子进行边缘检测。结果 采用本文算法对钢板表面多类型低对比度表面微小缺陷进行研究,有效消除了光照不均;单一的Otsu阈值分割和Canny算子难以有效检测这些缺陷,而本文Otsu-Canny算法的正确检测率达96%。结论 采用小波-同态滤波进行图像增强处理后,再利用Otsu-Canny算法对钢板表面多类型、低对比度的微小缺陷进行边缘检测取得了良好效果。     

医学影像计算机辅助检测与诊断系统综述

计算机辅助检测/诊断（Computer-aided Detection/Diagnosis, CAD）能提高诊断准确性,减少假阳性的产生,为医生提供有效的诊断决策支持.本文的主要目的是分析计算机辅助诊断工具的最新发展.文章以CAD研究较多的四大致命性癌症的发病医学部位为主线,按不同的成像技术和病类,对目前CAD在不同医学图像领域的应用进行了较为详尽的综述,从图像数据集、算法和评估方法等方面作多维度梳理.最后分析了医学图像CAD系统研究领域目前存在的问题并对此领域的研究趋势和发展方向进行展望.     

Faster R-CNN在工业CT图像缺陷检测中的应用

目的 传统的缺陷图像识别算法需要手工构建、选择目标的主要特征,并选取合适的分类器进行识别,局限性较大。为此研究了一种基于Faster R-CNN （faster Regions with convolutional neural networks features）的缺陷检测方法,该方法采用卷积网络自动提取目标的特征,避免了缺陷检测依赖手工设计缺陷特征的问题。方法 该方法基于卷积神经网络。首先,确定缺陷检测任务：选择工业CT （computed tomography）图像中主要存在的3种类型的缺陷：夹渣、气泡、裂纹为检测目标;其次,人工对缺陷图像采用矩形框（GT box）进行标注,生成坐标文件,并依据矩形框的长宽比选定42种类型的锚窗（anchor）;在训练之前采用同态滤波对数据集做增强处理,增强后的图片经过卷积层与池化层后获得卷积特征图,并送入区域建议网络RPN （region proposal networks）中进行初次的目标（不区分具体类别）和背景判断,同时粗略地回归目标边框;最后经过RoI （region of interest） pooling层后输出固定大小的建议框,利用分类网络对建议区域进行具体的类别判断,并精确回归目标的边框。结果 待检测数据集的图片大小在150×150到350×250之间,每张图片含有若干个不同类别的气泡、夹渣和裂纹。利用训练出来的模型对缺陷图片进行检测,可以有效识别到不同类别的缺陷目标,其中可以检测到面积最小的缺陷区域为9×9 piexl,并快速、准确地标出气泡、夹渣和裂纹的位置,检测准确率高达96%,平均每张图片的检测时间为86 ms。结论 所提出的Faster R-CNN工业CT图像缺陷检测方法,避免了传统缺陷检测需要手动选取目标特征的问题,缺陷的识别与定位过程的自动化程度更高;该方法检测效果良好,如果需要检测更多种类的缺陷,只需要对网络进行微调训练即可获得新的检测模型。本文为工业CT图像缺陷检测提供了一种更高效的方法。     

改进NSCT和IHS变换相结合的遥感影像融合

目的 目的为了增强多光谱和全色影像融合质量,提出基于脉冲耦合神经网络（PCNN）的非下采样Contoulet变换（NSCT）和IHS变换相结合的融合方法。方法 先对多光谱图像进行IHS变换提取亮度I分量,采用主成分分析增强I分量得到新的I⁺分量;然后通过NSCT变换分别对I⁺分量和全色图像进行分解,并采用边缘梯度信息激励的PCNN得到融合图像的低频和高频分量;最后进行NSCT逆变换、IHS逆变换得到融合图像。结果 利用资源一号02C卫星数据进行实验,结果表明该算法在保留光谱信息的同时提高了图像空间分辨率,获得了较好的融合效果。结论 结合NSCT和IHS变换的融合方法在视觉效果和客观评价指标上都优于常用的图像融合方法。     

Fabric defect detection using local contrast deviations

Defect inspection is a vital step for quality assurance in fabric production. The development of a fully automated fabric defect detection system requires robust and efficient fabric defect detection algorithms. The inspection of real fabric defects is particularly challenging due to delicate features of defects complicated by variations in weave textures and changes in environmental factors (e.g., illumination, noise, etc.). Based on characteristics of fabric structure, an approach of using local contrast deviation (LCD) is proposed for fabric defect detection in this paper. LCD is a parameter used to describe features of the contrast difference in four directions between the analyzed image and a defect-free image of the same fabric, and is used with a bilevel threshold function for defect segmentation. The validation tests on the developed algorithms were performed with fabric images from TILDA’s Textile Texture Database and captured by a line-scan camera on an inspection machine. The experimental results show that the proposed method has robustness and simplicity as opposed to the approach of using modified local binary patterns (LBP).