基于机器学习的肺部CT图像非刚性配准误差预测方法

配准误差评估通常由人工完成,耗时费力;常用的Dice测度只关注组织边缘的配准误差,难以评估组织内部配准结果。针对以上问题,提出一种基于机器学习的肺部CT图像非刚性配准误差预测方法(PREML)。该方法首先构建形变场统计特征、形变场物理保真度特征和图像相似性特征三类特征,然后通过池化方法扩充特征数量,最后使用随机森林回归方法预测非刚性配准误差,并且使用自适应随机扰动方法模拟肺部配准误差空间分布,进一步提升形变场统计特征的配准误差表征能力。在三个肺部CT图像数据集上进行训练与测试,其配准误差预测结果与金标准之间的平均绝对差异为1.245±2.500 mm,预测性能优于基线方法。结果表明,PREML方法具有预测精度高、鲁棒性强的特点,可提升配准算法在临床应用的有效性和安全性。     

Multimodal Pre-training Method for Vision-language Understanding and Generation

Most existing vision-language pre-training methods focus on understanding tasks and use BERT-like loss functions (masked language modeling and image-text matching) during pre-training. Despite their good performance in the understanding of downstream tasks, such as visual question answering, image-text retrieval, and visual entailment, these methods cannot generate information. To tackle this problem, this study proposes Unified multimodal pre-training for Vision-Language understanding and generation (UniVL). The proposed UniVL is capable of handling both understanding tasks and generation tasks. It expands existing pre-training paradigms and uses random masks and causal masks simultaneously, where causal masks are triangular masks that mask future tokens, and such pre-trained models can have autoregressive generation abilities. Moreover, several vision-language understanding tasks are turned into text generation tasks according to specifications, and the prompt-based method is employed for fine-tuning of different downstream tasks. The experiments show that there is a trade-off between understanding tasks and generation tasks when the same model is used, and a feasible way to improve both tasks is to use more data. The proposed UniVL framework attains comparable performance to recent vision-language pre-training methods in both understanding tasks and generation tasks. Moreover, the prompt-based generation method is more effective and even outperforms discriminative methods in few-shot scenarios.     

基于谱对称的形状配准方法

针对现有三维形状配准方法中存在左右翻转的错误匹配问题,提出了基于内蕴对称特征检测的高效形状配准算法。首先,通过热核与几何约束构建模型的内蕴自对称点对;其次,基于谱嵌入特征空间分析提取模型的内蕴对称平面,并依据模型表面法向量有效识别模型的左右结构属性;然后,根据内蕴对称点对获得模型的一致性谱对称结构描述;最后,引入一致性点漂移算法(CPD),实现基于谱对称的非刚性模型的形状配准,有效避免了模型配准中的左右结构翻转问题。实验进一步论证了这种方法不仅有效提高了模型匹配的效率,而且能有效识别同类模型的结构特征,对于非刚性模型的配准具有较强的鲁棒性。     

基于不可分小波分解的图像配准方法

张量积小波强调的是图像中水平和垂直方向的高频信息,而不可分小波具有各向同性,可以提取图像中各个方向的边缘,能获得比较完整的图像轮廓,将这种特点应用于图像配准时,能准确定位图像仿射不变点的位置。为此,提出一种通过求取不可分小波分解后的高频子图像配准参数来配准原图像的方法,把图像的配准问题转化为其不可分小波分解后的高频子图像配准问题。从不可分小波分解的快速算法理论出发,证明该配准方法的正确性。构造一组四通道不可分小波滤波器组,在此基础上给出配准的方法和步骤。实验结果表明,该方法具有较好的配准效果,其求取图像配准参数的运算量比直接求取原图像配准参数运算量的1/4还少,与基于张量积小波分解的图像配准方法相比,具有较高的配准精度。     

基于自旋图和ICP算法的3D实体签名算法

针对已有的3D实体真实性认证方法中实体的标识不与实体自身绑定且难以验证的问题,提出了一种面向3D实体的签名算法。给出了3D实体签名算法的设计思想、签名产生算法以及签名验证算法。在粗配准和精匹配阶段分别通过自旋图(Spin Image)和ICP(Iterative Closest Point)算法对签名表面和待测表面进行匹配,从而提高了验证的准确率。对所设计的签名算法进行了实验仿真,所获得的迭代误差和匹配率表明该算法可以区分原始和伪造的签名表面,进而证明了算法的有效性。     

基于曲面形变的三维人脸样本配准

三维人脸样本是人脸识别、人脸动画等领域进行模型训练、算法设计及性能比较的重要数据平台。为了提高三维人脸样本的配准效果和配准速度,提出一种基于曲面变形的三维人脸样本配准方法。该方法通过对标准化样本实施一系列的变形操作来建立原始样本与标准样本之间的对应关系。然后基于该对应关系对原始样本进行配准处理,在处理过程中使用统计方法对样本上的毛刺点和空洞进行修补。实验结果表明,使用该方法可以快速、有效地对不同格式的原始样本进行配准。     

基于Mexican hat函数的图像特征提取和配准算法

使用Mexican hat函数作为特征检测算子,对图像进行局部区域提取和特征点提取,在此基础上,提出了一种结合局部区域和特征点的图像配准算法。使用Mexican hat检测算子和零交汇点检测的方法获得局部区域特征并进行初步匹配,然后使用基于不同尺度空间的Mexican hat检测算子进行特征点提取。将特征点按照局部区域进行分组,再对每一组内的特征点进行匹配操作。最后使用基于分组的随机采样一致性检验进行变换矩阵求解。算法使用Mexican hat特征检测算子进行两种图像特征的提取,对两种特征分别进行匹配,完成图像配准操作。实验结果表明,给出的Mexican hat特征检测算子在配准精度上不亚于当前主流检测方法,配准算法具有复现率高和运算速度快的优点。     

Image Mosaic Techniques OptimizationUsing Wavelet

This essay concentrates on two key procedures of image mosaic--image registration and imagefusion.Becauseof the character of geometric transformation invariance of edge points, wecalculate the angle difference of the direction vector ofedge points in different images anddraw an angle difference histogramto adjust the rotationproblem. Through this way, algorithm based on gray information is expandedandcan be used in images withdisplacementand rotation. Inthe term of image fusion, wavelet multi-scale analysis is used to fuse spliced images. In order to choose the best method of imagefusion,weevaluate the results of different methods of image fusion by cross entropy.     

亚像素级模糊图像配准算法

针对目前的特征点匹配算法不能有效配准边缘模糊的图像,提出一种灰度偏移极值特征。将局部像素灰度偏移均值最明显的点作为特征点,利用最小二乘拟合曲线,通过曲线导函数将偏移极值点精确定位于亚像素级,最后采用分块的NMI为特征点分配32维特征向量,再对比向量间距离以实现配准。该特征易于提取、运算简单,而且能在阶跃边缘不清晰的图像中稳定存在。经实验验证,算法应用于模糊图像配准具有较高的匹配精度。     

结合图像特征的多视拼接数据的消冗处理

在不丢失非重叠区域数据的情况下, 对多视拼接重合区域的三维点云数据进行消冗处理是三维拼接中的一个难题。针对这一难题, 提出了一种结合二维图像信息查找和消除冗余数据的新方法。算法首先查找位于拼接重叠区域的三维点云数据, 结合三维点的K近邻约束和对应像素特征描述的相似度, 对重叠区域的点云数据进行冗余查找和消除。实验表明, 该方法能够准确判断并消除冗余点, 没有造成更改或丢失非重叠区域三维数据点的不良效果, 消冗速度也有所提高。