高光谱图像在生物医学中的应用

高光谱成像（hyperspectral imaging,HSI）作为生物医学可视化的一种新兴技术,在生物医学领域的研究正逐渐受到关注。随着高光谱成像技术以及精准医学的迅速发展,将高光谱成像技术应用于近距离的医学诊断成为新的研究趋势。高光谱成像技术能同时获取生物组织的2维空间信息和1维光谱信息,覆盖可见光、红外和紫外等光谱范围,具有较高的光谱分辨率,可提供有关组织生理、形态和生化成分的诊断信息,为生物组织学研究提供更精细的光谱特征,进而为医学病理诊断提供更多辅助信息。本文介绍了高光谱成像技术的基本原理、高光谱显微成像系统的基本构成及特点。基于此,总结并阐述了高光谱成像技术在疾病诊断和手术指导中的应用进展,涉及其在癌症、心脏病、视网膜疾病、糖尿病足、休克、组织病理学和图像引导手术等方面的应用。综合分析了高光谱成像技术在生物医学领域应用的局限性,并提出了生物医学研究领域中该技术的未来发展方向。     

海天背景下三维目标红外成像仿真方法研究

通过建立的目标三维模型和场景数学模型,利用光线跟踪技术与图像融合算法,实现了海天背景下指定场景信息的目标红外成像仿真.首先,介绍仿真的主要流程,然后对建立三维目标信息、实现光线跟踪算法、目标红外图像与背景红外图像融合三部分分别进行了讨论,最后给出了实验生成的海天背景下指定位置的三维目标的仿真红外图像.     

基于计算机三维立体视差映射的双目立体成像研究

基于计算机三维立体视差映射的双目立体成像涉及计算机视觉、模式识别、计算机图形学等领域中许多具有挑战性的研究问题。主要存在的问题是所成的立体图像仍不够逼真和自然,人们对人眼的功能以及双目立体成像模型的了解还不够彻底,立体图像对的获取还有一些难题没有得到较好的解决。该文提出了一种已建三维模型的情况下立体图像生成方法。介绍了三维软件中如何利用摄像机对象生成双目立体图像,研究了影响立体效果的几个重要因素,包括目标摄像机与三维模型的位置关系、镜头距离、成像位置的控制等内容。这些工作基于计算机三维立体视差映射的双目立体成像推向深入,也为双目立体成像在可视化立体展示中的应用提供了理论和技术上的支撑。     

开放式的高分辨率超声成像系统

在医学和生物学研究当中,对活体组织进行无创性成像具有重要意义。高分辨率超声成像技术,可以对细微组 织实现高空间分辨率的成像,已被广泛应用于皮肤、眼睛、心血管和小动物成像等生物医学领域。目前领域内的相关研 究需要不同的成像系统参数,例如要求不同的探头性能、数据采集策略、信号处理以及图像重建、显示和保存方法。因 此需要一种灵活和开放的超声成像系统,能让用户根据各种研究需求实现个性化设置并能全面获取原始实验数据。文章 提出了一种实时的、便携式设计的开放式超声成像系统,可支持定制的高分辨率超声成像研究。系统基于高速现场可 编程逻辑门阵列(FPGA)实现灵活多样的超声成像。用户可以轻松地根据个性化应用需求来调整系统结构。测试结果表 明,本系统能实现 B 超成像、编码激励成像、多普勒成像、血管内成像、多模态组合成像等,为高分辨率生物医学应用 研究提供了非常灵活的成像工具。     

卷积神经网络在生物医学图像上的应用进展

生物医学成像领域的迅速发展引起相关图像信息的爆炸式增长,对其图像进行人工智能辅助分析日益成为科学研究、临床应用、即时诊断等领域的迫切需求。近年来深度学习,尤其是卷积神经网络在生物医学图像分析领域取得广泛应用,在生物医学图像的信息提取,包括细胞分类、检测,生理及病理图像的分割、检测等领域发挥日益重要的作用。介绍了深度学习及卷积神经网络相关技术的发展;重点针对近几年卷积神经网络在细胞生物学图像、医学图像领域的应用进展进行了梳理;对卷积神经网络在生物医学图像分析领域研究目前存在的问题及可能的发展方向进行了展望。     

快速在体光声计算层析图像重建方法

针对超声阵列式光声计算层析成像技术数据采集量大、成像速度慢的问题,为拓展该技术在血流动力学等领域的应用,提出一种基于主成分分析(PCA)的快速光声计算层析图像重建方法。该方法首先通过部分全采样数据,构建样本图像矩阵;然后,通过矩阵分解运算构建信号投影矩阵;最后,基于该投影矩阵在三倍欠采样条件下快速重建出高质量三维光声图像。在体小鼠背部血管成像实验表明:与传统反投影光声图像重建方法相比,基于主成分分析的光声图像重建方法可将数据采集规模降低约35%,三维图像重建速度提高约40%,实现了三倍欠采样条件下高精度光声图像的快速采集与重建。     

舰船目标三维转动 SAR 成像仿真研究

机载合成孔径雷达(SAR)对海面舰船目标侧视成像时,雷达与目标间的相对运动既包含载机与舰船的平移运动,也包含舰船在复杂海况下的横滚、俯仰和偏航等三维转动,运动形式会造成图像模糊.为了解决三维转动引起的成像散焦不清晰问题和提高系统的稳定性,在短时远距的典型条件假设下建立了舰船目标成像的距离-多普勒模型,并重点分析舰船横滚...     

成像光谱仪图像数据特征和实时处理系统

一、引言本文通过分析成像光谱仪图像数据的特征,提出减少和压缩成像光谱仪数据率的可能性和实施方案,并研制了一套成像光谱仪图像实时处理系统。成像光谱仪以它高光谱分辨率的强大优势而将成为90年代新型的遥感仪器。它把传统的二维空间遥感技术与光谱仪的技术有机地相结合发展成“图谱合一”的三维遥感技术。为了探测到地物光谱的吸收和反射特征,目前的成像     

基于OpenGL的空间目标图像生成方法

空间目标监视系统设计与目标识别算法开发需要有充足的图像源,为解决空间目标识别问题,在无法采用真实空间目标进行试验,开展仿真成像研究尤为重要,为使仿真图像体现真实空间目标成像探测系统且有探测能力,在分析OpenGL透视投影成像模型与真实成像系统的针孔成像模型之间的关系的基础上,提出了在OpenGL平台生成空间目标图像的方法与流程,通过合理设置有关参数生成目标和成像系统信息在内的仿真图像.经仿真实验证实,提高了仿真图像的真实感和可信度,并具有图像处理算法稳定性和可靠性,为空间目标成像探测系统设计和目标识别算法研究提供了数据基础.     

基于虚拟仪器的扁钢内部缺陷超声三维成像方法研究

超声三维成像技术因其能够提供人体结构的立体信息,而被广泛的应用于医学诊断领域;然而,由于计算量大、成本高、速度慢,工业构件的超声三维成像技术却鲜见报道;弹簧扁钢是国民经济建设的重要钢材品种之一,通过超声三维成像技术测量扁钢内部缺陷的三维分布对于提高扁钢质量控制能力具有重要作用;为提高三维成像效率及降低成像系统的研发周期,提出高效的数据采集及三维图像重构方法,并基于虚拟仪器技术开发了三维图像重构软件;研究结果显示,基于超声水浸聚焦分层C扫描的数据提取方法能够满足三维成像的要求,所提出的数据重构方法及基于虚拟仪器的三维成像软件能够准确重构扁钢内部层片状缺陷的三维分布,是弹簧扁钢内部缺陷评价的有效方法。     

A review on biomedical image processing and future trends

The last two decades have witnessed a revolutionary development in the field of biomedical and diagnostic imaging. Imaging procedures and modalities which were only in the experimental research phase in the early part of the last two decades, have now become universally accepted clinical procedures. They include computerized tomography (CT), magnetic resonance imaging, ultrasound imaging, nuclear medicine imaging, computerized hematological cell analysis, etc. In the past, the conventional and relatively simple image processing techniques such as image enhancement, gray-level mapping, spectral analysis, region extraction, etc. have been modified for biomedical images and successfully applied for processing and analysis. The role of image enhancement, gray-level mapping, and image reconstruction from projections algorithms in CT and other radiological imaging modalities is well evident. Recently, many advances in biomedical image processing, analysis, and understanding algorithms have shown a great potential for enhancing and interpreting useful diagnostic information from these images more accurately. This paper presents a review on the current state-of-the-art techniques in biomedical image processing and comments on future trends.     

A theoretical 2D image model for locating 3D targets

To construct a water quality monitoring system, challenging issues need to be addressed regarding the acquisition of target information (e.g. 3D location and occlusion) as well as the behavioural analysis of aquatic organisms. This paper presents a novel 3D information acquisition and location method, by means of an information acquisition platform consisting of a monitoring terminal, frame grabbers, a single camera and a single mirror. Using this platform, we propose a theoretical 2D image model for locating 3D targets and then validate it using data obtained from both real and artificial fish. The proposed model is based on the principles of light refraction, plane mirror imaging, underwater objects and camera imaging as well as the technologies of digital to analog conversion and object segmentation. In contrast with existing methods, our method can accurately reflect 3D information of aquatic organisms, thus providing critical technical support for the development of water quality monitoring systems in the future.     

Minimum reliable scale selection in 3D

Multiscale analysis is often required in image processing applications because image features are optimally detected at different levels of resolution. With the advance of high-resolution 3D imaging, the extension of multiscale analysis to higher dimensions is necessary. This paper extends an existing 2D scale selection method, known as the minimum reliable scale, to 3D volumetric images. The method is applied to 3D boundary detection and is illustrated in examples from biomedical imaging. The experimental results show that the 3D scale selection improves the detection of edges over single scale operators using as few as three different scales.     

光学分子影像关键技术及应用研究

光学分子影像成为近年来医学影像学研究中的新兴热点之一,其以靶向性的分子影像探针为先决条件,以新兴成像模态为发展特色,以多模态分子影像技术为核心内容,以分子影像手术导航为应用出口,在预临床和临床应用方面都取得了突出的进展。在分子影像探针方面,靶向性的光学分子影像探针在疾病的诊断和治疗研究与应用中得到越来越多的关注。契伦科夫成像作为一种新型的光学分子成像模态,可以实现肿瘤的高灵敏早期检测与精准定位。在多模态分子影像方面,以光学为核心有机融合结构与代谢信息的多模态分子成像技术成为医学影像技术发展的前沿,研发实现结构、功能和分子影像数据的同机获取的光学多模态分子影像成像设备,为生物医学领域的研究提供更精细、更全面的生理病理信息。在分子影像手术导航方面,光学分子影像作为一种非入侵式的成像技术,实现手术过程中对肿瘤及病灶组织边界的实时、精准定位,有效的为外科医生提供辅助,从而提高患者的生存率。总之,光学分子影像技术的不断发展,为疾病的精确诊断与个性化治疗提供新的手段。     

生物组织光声成像技术综述

光声成像是一种低功率、非电离的成像方式,既具有声学方法对深层组织成像分辨率高的优点,又具有光学方法在功能成像、分子成像方面具有高对比度的优势。本文回顾了近年来,光声成像技术在生物医学领域的研究进展,介绍了光声成像的基本成像原理。以此为基础,本文介绍了光声成像的两种主要成像方案：光声断层成像和光声显微镜,并且讨论了光声成像在获取生物组织化学成分信息和微结构信息方面的优越性;最后,本文对光声成像技术的优点和应用前景进行了总结。     

基于单幅图像的三维信息提取

针对单幅图像提取三维信息困难,设计了一种基于单幅图像的三维信息提取算法。该算法首先需要标定摄像机,得到摄像机从三维到二维的成像矩阵M3×4,并计算M3×4的伪逆矩阵M+4×3,其本质是通过最小二乘法求解矛盾方程组;利用M+4×3提取二维单幅图像中的三维信息,再把这些三维信息投影到一个平面上显示出来。实验表明,单幅图像目标物体必须满足共面等约束条件,从而可以对目标物体的三维信息做定性分析(定性视觉)。此外,还对三维空间投影到二维图像的过程进行了理论推导,得出了如果没有足够的先验知识,成像过程不可逆的结论。     

机器学习在术中光学成像技术中的应用研究

术中光学成像技术的兴起为临床手术提供了更加便捷和直观的观察手段。传统的术中光学成像方法包括开放式光学成像和术中腔镜、内镜成像等,这些方法保障了临床手术的顺利进行,同时也促进了微创手术的发展。随后发展起来的术中光学成像技术还有窄带腔镜成像、术中激光共聚焦显微成像和近红外激发荧光成像等。术中光学成像技术可以辅助医生精准定位肿瘤、快速区分良恶性组织和检测微小病灶等,在诸多临床应用领域表现出了较好的应用效果。但术中光学成像技术也存在成像质量受限、缺乏有力的成像分析工具,以及只能成像表浅组织的问题。机器学习的加入,有望突破瓶颈,进一步推动术中光学成像技术的发展。本文针对术中光学成像技术,对机器学习在这一领域的应用研究展开调研,具体包括：机器学习对术中光学成像质量的优化、辅助术中光学成像的智能分析,以及辅助基于术中光学影像的3维建模等内容。本文对机器学习在术中光学成像领域的应用进行总结和分析,特别叙述了深度学习方法在该领域的应用前景,为后续的研究提供更宽泛的思路。     

Corneal Imaging System: Environment from Eyes

This paper provides a comprehensive analysis of exactly what visual information about the world is embedded within a single image of an eye. It turns out that the cornea of an eye and a camera viewing the eye form a catadioptric imaging system. We refer to this as a corneal imaging system. Unlike a typical catadioptric system, a corneal one is flexible in that the reflector (cornea) is not rigidly attached to the camera. Using a geometric model of the cornea based on anatomical studies, its 3D location and orientation can be estimated from a single image of the eye. Once this is done, a wide-angle view of the environment of the person can be obtained from the image. In addition, we can compute the projection of the environment onto the retina with its center aligned with the gaze direction. This foveated retinal image reveals what the person is looking at. We present a detailed analysis of the characteristics of the corneal imaging system including field of view, resolution and locus of viewpoints. When both eyes of a person are captured in an image, we have a stereo corneal imaging system. We analyze the epipolar geometry of this stereo system and show how it can be used to compute 3D structure. The framework we present in this paper for interpreting eye images is passive and non-invasive. It has direct implications for several fields including visual recognition, human-machine interfaces, computer graphics and human affect studies. This research was conducted while the first author was affiliated with Columbia University. A shorter version of this paper appeared in (Nishino and Nayar, 2004).     

计算成像前沿进展

计算成像是融合光学硬件、图像传感器和算法软件于一体的新一代成像技术,突破了传统成像技术信息获取深度(高动态范围、低照度)、广度(光谱、光场、3维)的瓶颈。本文以计算成像的新设计方法、新算法和应用场景为主线,通过综合国内外文献和相关报道来梳理该领域的主要进展。从端到端光学算法联合设计、高动态范围成像、光场成像、光谱成像、无透镜成像、低照度成像、3维成像和计算摄影等研究方向,重点论述计算成像领域的发展现状、前沿动态、热点问题和趋势。端到端光学算法联合设计包括了可微的衍射光学模型、折射光学模型以及基于可微光线追踪的复杂透镜的模型。高动态范围光学成像从原理到光学调制、多次曝光、多传感器融合以及算法等层面阐述不同方法的优点与缺点以及产业应用。光场成像阐述了基于光场的3维重建技术在超分辨、深度估计和3维尺寸测量等方面国内外的研究进展和产业应用,以及光场在粒子测速及3维火焰重构领域的研究进展。光谱成像阐述了当前多通道滤光片,基于深度学习和波长响应曲线求逆问题,以及衍射光栅、多路复用和超表面等优化实现高光谱的获取。无透镜成像包括平面光学元件的设计和优化,以及图像的高质量重建算法。低照度成像包括低照度情况下基于单帧、多帧、闪光灯和新型传感器的图像噪声去除等。3维成像主要包括针对基于主动方法的深度获取的困难的最新的解决方案,这些困难包括强的环境光干扰(如太阳光)、强的非直接光干扰(如凹面的互反射、雾天的散射)等。计算摄影学是计算成像的一个分支学科,从传统摄影学发展而来,更侧重于使用数字计算的方式进行图像拍摄。在光学镜片的物理尺寸、图像质量受限的情况下,如何使用合理的计算资源,绘制出用户最满意的图像是其主要研究和应用方向。