Multi-scale tensor voting for feature extraction from unstructured point clouds

Identifying sharp features in a 3D model is essential for shape analysis, matching and a wide range of geometry processing applications. This paper presents a new method based on the tensor voting theory to extract sharp features from an unstructured point cloud which may contain random noise, outliers and artifacts. Our method first takes the voting tensors at every point using the corresponding neighborhoods and computes the feature weight to infer the local structure via eigenvalue analysis of the tensor. The optimal scale for a point is automatically determined by observing the feature weight variation in order to deal with both a noisy smooth region and a sharp edge. We finally extract the points at sharp features using adaptive thresholding of the feature weight and the feature completion process. The multi-scale tensor voting of a given point set improves noise sensitivity and scale dependency of an input model. We demonstrate the strength of the proposed method in terms of efficiency and robustness by comparing it with other feature detection algorithms.     

注意力残差多尺度特征增强的显著性实例分割

显著性实例分割是指分割出图像中最引人注目的实例对象。现有的显著性实例分割方法中存在 较小显著性实例不易检测分割,以及较大显著性实例分割精度不足等问题。针对这 2 个问题,提出了一种新的 显著性实例分割模型,即注意力残差多尺度特征增强网络(ARMFE)。模型 ARMFE 主要包括 2 个模块：注意力 残差网络模块和多尺度特征增强模块,注意力残差网络模块是在残差网络基础上引入注意力机制,分别从通道 和空间对特征进行选择增强;多尺度特征增强模块则是在特征金字塔基础上进一步增强尺度跨度较大的特征信 息融合。因此,ARMFE 模型通过注意力残差多尺度特征增强,充分利用多个尺度特征的互补信息,同时提升 较大显著性实例对象和较小显著性实例对象的分割效果。ARMFE 模型在显著性实例分割数据集 Salient Instance Saliency-1K (SIS-1K)上进行了实验,分割精度和速度都得到了提升,优于现有的显著性实例分割算法 MSRNet 和 S4Net。     

Robust multi-modal medical image fusion via anisotropic heat diffusion guided low-rank structural analysis

This paper proposes a novel and robust multi-modal medical image fusion method, which is built upon a novel framework comprising multi-scale image decomposition based on anisotropic heat kernel design, scale-aware salient information extraction based on low-rank analysis, and scale-specific fusion rules. Our framework respects multi-scale structure features, while being robust to complex noise perturbation. First, anisotropic heat kernel is computed by constructing an image pyramid and embedding multi-level image properties into 2D manifolds in a divide-and-conquer way, consequently, multi-scale structure-preserving image decomposition can be accommodated. Second, to extract meaningfully scale-aware salient information, we conduct low-rank analysis over the image layer groups obtained in the first step, and employ the low-rank components to form the scale space of the salient features, wherein the underlying noise can be synchronously decoupled in a natural way. Third, to better fuse the complementary salient information extracted from multi-modal images, we design an S-shaped weighting function to fuse the large-scale layers, and employ the maximum selection principle to handle the small-scale layers. Moreover, we have conducted extensive experiments on MRI and PET/SPECT images. The comprehensive and quantitative comparisons with state-of-the-art methods demonstrate the informativeness, accuracy, robustness, and versatility of our novel approach.     

结合语义辅助和边缘特征的显著对象检测

目的 现有的显著对象检测模型能够很好地定位显著对象,但是在获得完整均匀的对象和保留清晰边缘的任务上存在不足。为了得到整体均匀和边缘清晰的显著对象,本文提出了结合语义辅助和边缘特征的显著对象检测模型。方法 模型利用设计的语义辅助特征融合模块优化骨干网的侧向输出特征,每层特征通过语义辅助选择性融合相邻的低层特征,获得足够的结构信息并增强显著区域的特征强度,进而检测出整体均匀的显著对象。通过设计的边缘分支网络以及显著对象特征得到精确的边缘特征,将边缘特征融合到显著对象特征中,加强特征中显著对象边缘区域的可区分性,以便检测出清晰的边缘。同时,本文设计了一个双向多尺度模块来提取网络中的多尺度信息。结果 在4种常用的数据集ECSSD （extended complex scene saliency dataset）、DUT-O （Dalian University of Technology and OMRON Corporation）、HKU-IS和DUTS上与12种较流行的显著模型进行比较,本文模型的最大F值度量（max F-measure,MaxF）和平均绝对误差（mean absolution error,MAE）分别是0.940、0.795、0.929、0.870和0.041、0.057、0.034、0.043。从实验结果看,本文方法得到的显著图更接近真值图,在MaxF和MAE上取得最佳性能的次数多于其他12种方法。结论 本文提出的结合语义辅助和边缘特征的显著对象检测模型十分有效。语义辅助特征融合和边缘特征的引入使检测出的显著对象更为完整均匀,对象的边缘区分性也更强,多尺度特征提取进一步改善了显著对象的检测效果。     

结合区域和边界信息的图像显著度检测

目的 图像显著度检测是许多图像应用的核心问题,为了能够在复杂背景下准确提取图像中前景对象的位置和尺度信息,提出一种结合区域和边界信息的图像显著度检测方法。方法 对于图像区域信息,提出一种基于图像等照度线的方法检测显著区域信息。该方法针对不同的特征(颜色、亮度和方向)提出统一的计算方法,使得不同特征下获得的显著信息具有一致的度量标准,从而方便后续多特征显著度图的融合。对于图像边界信息,采用一种结合多尺度Beltrami过滤器的全局方法检测显著边界信息。多尺度Beltrami过滤器可以显著增强图像中的边界信息。利用全局显著度检测方法对经过过滤器处理过的图像可以准确地获取图像中最为显著的边界信息。最后,由于区域和边界分别代表图像中的不同类型信息,可以直接采用线性融合方式构建最终的图像显著度图。结果 与其他9种流行图像显著度检测算法相比,本文算法无论在简单还是复杂背景下均能够较为准确地检测出图像中的显著度信息(Precision、Recall、F测试中获得的平均值为0.5905,0.6554,0.7470的最高测试结果)。结论 提出一种结合区域和边界信息的图像显著度检测算法,通过区域和边界信息相结合的方式实现图像中显著对象的准确检测。实验结果表明本文算法具有良好的适用性和鲁棒性,为图像中复杂背景下对象检测打下坚实基础。     

结合可变形卷积与双边网格的立体匹配网络

双目立体匹配被广泛应用于无人驾驶、机器人导航、增强现实等三维重建领域。在基于深度学习的立体匹配网络中采用多尺度2D卷积进行代价聚合,存在对目标边缘处的视差预测鲁棒性较差以及特征提取性能较低的问题。提出将可变形卷积与双边网格相结合的立体匹配网络。通过改进的特征金字塔网络进行特征提取,并将注意力特征增强、注意力机制、Meta-ACON激活函数引入到改进的特征金字塔网络中,以充分提取图像特征并减少语义信息丢失,从而提升特征提取性能。利用互相关层进行匹配计算,获得多尺度3D代价卷,采用2D可变形卷积代价聚合结构对多尺度3D代价卷进行聚合,以解决边缘膨胀问题,使用双边网格对聚合后的低分辨率代价卷进行上采样,经过视差回归得到视差图。实验结果表明,该网络在Scene Flow数据集中的端点误差为0.75,相比AANet降低13.8%,在KITTI2012数据集中3px的非遮挡区域误差率为1.81%,能准确预测目标边缘及小区域处的视差。     

3D fingerprint reconstruction system using feature correspondences and prior estimated finger model

The paper studies a 3D fingerprint reconstruction technique based on multi-view touchless fingerprint images. This technique offers a solution for 3D fingerprint image generation and application when only multi-view 2D images are available. However, the difficulties and stresses of 3D fingerprint reconstruction are the establishment of feature correspondences based on 2D touchless fingerprint images and the estimation of the finger shape model. In this paper, several popular used features, such as scale invariant feature transformation (SIFT) feature, ridge feature and minutiae, are employed for correspondences establishment. To extract these fingerprint features accurately, an improved fingerprint enhancement method has been proposed by polishing orientation and ridge frequency maps according to the characteristics of 2D touchless fingerprint images. Therefore, correspondences can be established by adopting hierarchical fingerprint matching approaches. Through an analysis of 440 3D point cloud finger data (220 fingers, 2 pictures each) collected by a 3D scanning technique, i.e., the structured light illumination (SLI) method, the finger shape model is estimated. It is found that the binary quadratic function is more suitable for the finger shape model than the other mixed model tested in this paper. In our experiments, the reconstruction accuracy is illustrated by constructing a cylinder. Furthermore, results obtained from different fingerprint feature correspondences are analyzed and compared to show which features are more suitable for 3D fingerprint images generation.     

多尺度Transformer与层次化边界引导的显著性目标检测

针对显著性目标检测算法中全局和局部信息难以联合表征和目标边界难以细化的问题,提出了一种多尺度Transformer与层次化边界引导的显著性目标检测算法。首先,构建Transformer模型提取全局信息,同时通过自注意力机制获取有判别性的浅层局部特征,对全局和局部信息进行联合表征。然后,引入Tokens-to-Token方法提取多尺度特征,使模型实现尺度变换平滑的编解码。进一步,提出了一种层次化的边界学习策略,引导模型在每个解码特征层提取精细化的显著性目标边界特征,提升显著性目标边界的预测准确性。实验结果表明,提出的算法在四个公开显著性目标检测数据集上均优于八种主流的显著性目标检测算法,并且通过消融实验验证了提出模型和边界学习策略的有效性。     

多尺度特征深度复用的显著性目标检测算法

针对传统显著性目标检测方法在检测不同尺度的多个显著性目标方面的不足,提出了一种多尺度特征深度复用的显著性目标检测算法,网络模型由垂直堆叠的双向密集特征聚合模块和水平堆叠的多分辨率语义互补模块组成。首先,双向密集特征聚合模块基于ResNet骨干网络提取不同分辨率语义特征;然后,依次在top-down和bottom-up两条通路上进行自适应融合,以获取不同层次多尺度表征特征;最后,通过多分辨率语义互补模块对两个相邻层次的多尺度特征进行融合,以消除不同层次上特征之间的相互串扰来增强预测结果的一致性。在五个基准数据集上进行的实验结果表明,该方法在Fmax、Sm、MAE最高能达到0.939、0.921、0.028,且检测速率可达74.6 fps,与其他对比算法相比有着更好的检测性能。     

综合颜色特征与形状特征的图像检索算法

由于小波变换具有良好的局部特性与多尺度特性,能多尺度逼近边缘,这使得它在图像奇异性检测和特征提取方面得到了广泛的应用。采用二次样条二进小波变换进行边缘检测,用边缘梯度方向直方图表示图像形状特征,用颜色直方图表示图像颜色特征,提出了综合颜色特征和形状特征的图像检索算法。实验结果表明,该算法不仅具有较好的检索性能,而且对图像中存在的光照变化和几何变化（尺度、平移、旋转等）具有较强的鲁棒性。     

On the Repeatability and Quality of Keypoints for Local Feature-based 3D Object Retrieval from Cluttered Scenes

3D object recognition from local features is robust to occlusions and clutter. However, local features must be extracted from a small set of feature rich keypoints to avoid computational complexity and ambiguous features. We present an algorithm for the detection of such keypoints on 3D models and partial views of objects. The keypoints are highly repeatable between partial views of an object and its complete 3D model. We also propose a quality measure to rank the keypoints and select the best ones for extracting local features. Keypoints are identified at locations where a unique local 3D coordinate basis can be derived from the underlying surface in order to extract invariant features. We also propose an automatic scale selection technique for extracting multi-scale and scale invariant features to match objects at different unknown scales. Features are projected to a PCA subspace and matched to find correspondences between a database and query object. Each pair of matching features gives a transformation that aligns the query and database object. These transformations are clustered and the biggest cluster is used to identify the query object. Experiments on a public database revealed that the proposed quality measure relates correctly to the repeatability of keypoints and the multi-scale features have a recognition rate of over 95% for up to 80% occluded objects.     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

基于正则化一维卷积神经网络的网格模型显著性检测

三维形状的显著性在形状分析与处理中有不可忽视的作用.现有的三角网格显著性检测方法大多依赖某种人工设计的几何特征,缺乏灵活性.为此,提出一种基于特征融合学习的显著区域检测方法,以适应不同类别的形状.首先计算形状的多种几何特征,然后把多尺度的低层次特征输入到一维卷积神经网络中;通过优化中心正则化损失函数,得到高层次、可判别的特征向量,同时也得到显著区域检测结果.在普林斯顿网格数据集上的实验结果表明,该方法适用于不同形状的显著性检测,检测结果具有一致性,并且相比对照算法具有更好的视觉效果和定量化指标评价.     

结合多尺度与可变形卷积的自监督图像特征点提取网络

特征点提取是图像处理领域的一个重要方向,在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法,但由于传统卷积层的感受野大小不变、采样区域的几何结构固定,在尺度、视角和光照变化较大的情况下,特征点提取的精度和鲁棒性较差。为解决以上问题提出了一种结合多尺度与可变形卷积的自监督特征点提取网络。本文以L2-NET为网络骨干,在深层网络中引入多尺度卷积核,增强网络的多尺度特征提取能力,获得细粒度尺度信息的特征图;使用单应矩阵约束的可变形卷积以提取不规则的特征区域,同时降低运算量,并采用归一化约束单应矩阵的求解,均衡不同采样点对结果的影响,配合在网络中增加的卷积注意力机制和坐标注意力机制,提升网络的特征提取能力。文章在HPatches数据集上进行了对比试验和消融实验,与R2D2等7种主流方法进行对比,本文方法的特征点提取效果最好,相比于次优数据,特征点重复度指标（Rep）提升了约1%,匹配分数（M.s.）提升了约1.3%,平均匹配精度（MMA）提高了约0.4%。本文提出的方法充分利用了可变形卷积提供的深层信息,融合了不同尺度的特征,使特征点提取结果更加准确和鲁棒。     

全局信息引导的多尺度显著物体检测模型

目前方法不能有效提取图像的多尺度特征并完全利用全局信息,对此提出一种新的全局信息引导的多尺度显著物体检测模型.设计了多尺度特征提升模块,提升了各个侧输出特征的多尺度表征能力;利用空洞空间卷积池化金字塔模块提取图像的全局特征;将全局特征直接与各个侧边输出的多尺度特征相融合,利用全局特征引导侧边特征聚焦于目标区域中有用的中...