非局部注意力双分支网络的跨模态赤足足迹检索

目的 针对目前足迹检索中存在的采集设备种类多样化、有效的足迹特征难以提取等问题,本文以赤足足迹图像为研究对象,提出一种基于非局部(non-local)注意力双分支网络的跨模态赤足足迹检索算法。方法 该网络由特征提取、特征嵌入以及双约束损失模块构成,其中特征提取模块采用双分支结构,各分支均以Res Net50作为基础网络分别提取光学和压力赤足图像的有效特征;同时在特征嵌入模块中通过参数共享学习一个多模态的共享空间,并引入非局部注意力机制快速捕获长范围依赖,获得更大感受野,专注足迹图像整体压力分布,在增强每个模态有用特征的同时突出了跨模态之间的共性特征;为了增大赤足足迹图像类间特征差异和减小类内特征差异,利用交叉熵损失LCE(cross-entropy loss)和三元组损失LTRI(triplet loss)对整个网络进行约束,以更好地学习跨模态共享特征,减小模态间的差异。结果 本文将采集的138人的光学赤足图像和压力赤足图像作为实验数据集,并将本文算法与细粒度跨模态检索方法 FGC(fine-grained cross-model)和跨模态行人重识别方法 HC(hetero-cente...     

赤足足迹识别研究综述

赤足足迹识别技术是图像识别技术的一个分支，在刑侦、医疗以及安全领域发挥着重要作用，有望成为一种新的进行人身识别的手段。但是该技术尚未形成较为统一的框架，也没有一个规范化的流程。为了给今后的研究人员提供指导，需要规范不同足迹图像的识别流程，并对赤足足迹识别技术相关研究进行归纳与总结。首先对赤足足迹识别研究的背景和意义进行阐述，然后回顾该技术的发展脉络，并根据采集方式的不同将赤足足迹图像分为油墨捺印足迹图像、足底扫描图像、光学足迹采集设备采集的足迹图像以及足迹压力采集系统采集的足压图像四类，并指出后两种图像是目前赤足足迹识别研究的热点。之后分别从赤足足迹数据集、图像预处理、识别方法三个方面分析赤足足迹识别技术的研究现状。其中，识别方法分为传统方法和基于深度学习的方法，后者又进一步划分为网络结构创新方法和损失函数优化方法。在给出识别方法的评价指标后，从多个方面对各种方法进行对比。最后指出该技术目前面临的问题，并对其今后的发展方向进行展望。     

基于非周期性提取像素的全景图像三维重构

图像深度信息提取是三维图像重建的关键,利用匹配算法可以达到对全景成像可控处理的目的,因此在非周期性提取像素基础上完成全景图像三维重构.首先采用非周期性像素提取解决成像过程中出现的失真问题,构建无失真图像;通过立体视图系统和独立立体视图系统对全景图像重建处理,利用SSD计分准则的块匹配算法,对微透镜记录的两幅图像计算提取,同时运用邻域限制与放松方法深度提取全景图像;并依据最佳视差值及多基线立体匹配算法过滤出更准确信息,以采用差值算法实现更高精度的三维重建.仿真结果表明,所提方法具有较高适用性,计算过程简便、图像特征采集快.     

赤脚平面足迹自动识别定位算法研究

赤脚平面足迹定位是足迹特征提取、测量及比对的重要基础性工作,它不但影响足迹图像形态特征比对的配准工作以及特征参数提取算法的规则,更主要的是会影响到后续足迹自动识别的一致性定位准确性或精度。文中提出了一种新的赤脚平面足迹定位方法并且给出了相应的程序,从而为赤脚平面足迹自动识别算法研究和程序实现奠定了基础。     

基于多尺度自注意卷积的足迹压力图像检索算法

为了提高足迹压力图像检索的精度,提出基于多尺度自注意卷积的足迹压力图像检索算法.首先,对足迹压力图像进行角度校正、对齐、擦除等预处理操作,减小图像角度等因素对特征提取的影响.再由多个并行分支的空洞卷积和自适应注意模块构成的多尺度自注意卷积模块自适应地提取可判别特征.最后,由全局特征分支、残缺性评分掩模分支构成残缺性评分模块,得到共同残缺性评分矩阵,利用该评分矩阵对可判别特征进行加权组合,提高网络对残缺足迹共同可见区域的关注程度.实验表明,在构建的FootPrintImage数据集上,文中算法具有较高的首中准确率和平均检索精度.     

基于嵌入式Linux的双目测距系统研究

根据嵌入式系统的特点,设计了以ARM为核心的双目立体视觉测距系统。系统使用双目立体摄像头采集图像数据,可设置图像的多种属性。利用开源计算机视觉库Open CV对采集的图像数据进行处理,分别完成了两台摄像机标定、匹配、重建等工作,最后实现摄像机测距功能。实验结果表明,该系统测量结果合理,工作稳定,同时可用Qt/Embedded实时显示图像和数据,具有良好的人机交互功能和跨平台移植性。     

基于特征自动提取的足迹图像聚类方法

足迹图像是公安在串并案的侦破过程中最为重要的线索,且每年各处公安都会收集很多犯罪现场的足迹,如何自动化地整理和归类这些足迹图像成为当前公安信息化的一个难点.面向公安实战需求,文中结合卷积神经网络和DBSCAN算法,提出了一种对足迹图像聚类的方法.首先,对足迹图像进行预处理以便满足模型训练要求;接着,通过模型预训练改进了Resnnet50和Densenet121两类卷积神经网络模型结构,提取足迹图像特征并建立特征向量库;随后,基于DBSCAN聚类算法,利用上述特征向量库实现对足迹图像的整理归类.实验结果表明,该方法具有良好的实用性和有效性.     

数据挖掘在油田储层准确建模中的应用研究

研究油田储层的准确建模.利用地震资料进行油田储层建模研究时,由于地震资料覆盖面广、横向采集密度大的特点,使得储层特征数据分布较分散,储层特征不易被提取,传统的建模方法处理大量的地震资料时无法有效提取分散的储层特征数据,造成油田储层建模准确度不高的问题.为此,提出数据挖掘技术应用在油田储层建模中.利用数据挖掘技术处理大量的地震资料,分析数据内在联系以解决储层特征分布分散不易提取的问题,并通过贝叶斯学习方法提取出隐藏的储层特征,根据储层特征数据参数完成储层的准确建模,并进行仿真.仿真结果表明,改进方法能够克服储层特征分布分散不易提取的问题,有效提取出储层特征数据并准确完成储层的建模,为油田储层勘探提供了参考.     

航磁图像梯度特征的提取

针对在航磁等值线图上标定地球磁场梯度特征的问题,提出立体阴影处理和梯度特征线条化的处理力法。从磁场数据提取原始位置关系,利用立体光照处理技术以及方向滤波,获得航磁数据的梯度分布图。阴影和细化后的方向滤波实验结果表明图像地表特征显示充分,且对于叠加分析具有重要价值。     

水平集曲线演化快速提取足迹轮廓

提出空间多分辨分析方法,通过分析图像行列方向能量投影的分布,将图像划分为大小不均匀的子块,根据图像的总体结构特征和局部细节特征自适应地调整子块大小,并以各子块的灰度均值作为新图像基元像素的灰度值,实现图像压缩.水平集曲线演化方法在压缩图像上进行,使得被处理的数据量大大减少,从而缩短了轮廓提取的时间,提高了算法的实用性.与边缘检测方法或直接水平集曲线演化方法相比较表明,该方法能够以较少的运算量获取较高的足迹轮廓提取准确度.     

基于图像的异常步态二次特征提取算法仿真

针对传统特征提取算法容易忽略对数据的降维处理,未能较好的提取出图像异常步态特征,导致提取准确率不高的问题,提出一种基于图像的异常步态二次特征提取算法。根据不同姿态下足底的压力变化数值,完成异常步态图像的一次特征提取;根据一次特征提取后正常步态定义的特征变量数据,构建目标个体行走轮廓的步态能量图,同时结合KPCA核方法,对一次特征提取后的步态轮廓数据进行降维处理,完成异常步态的二次特征提取。仿真结果表明,在正常步态下和异常步态下,所提算法都能够有效地提取出图像的异常步态,具有较高的特征提取准确率,表明所提算法具有较强的实用性。     

多粒度融合的模糊规则系统图像特征学习

当前最流行的图像特征学习方法是深度神经网络,该类方法无需人工参与即可自动地通过特征学习提取高效的特征,用于分类识别等任务。然而,深度神经网络图像特征抽取方法目前也面临着诸多挑战,其有效性严重依赖大规模的数据,且通常被视为黑盒模型,解释性较差。针对上述挑战,以基于模糊规则推理的TSK模糊系统(TSK-FS)为基础,提出了一种适用于不同规模数据集且易于理解的特征学习方法——多粒度融合的模糊规则系统图像特征学习算法。该方法通过基于规则的TSK-FS抽取图像特征,因而特征学习过程是可以利用规则进行解释的。其次,多粒度扫描也使得其特征学习能力进一步提升。在不同规模的图像数据集上进行了充分的实验,实验结果表明该方法在图像数据集上具有较好的有效性。     

多媒体图象数据的查询与检索

介绍了多媒体图象数据查询和检索的系统结构;阐述了图象数据查询和检索的基本过程和相关技术;提出了图象分割、特征提取、相似匹配、快速存取的具体算法,并对它们进行了详细分析。     

一种全自动稳健的图像拼接融合算法

提出了一种全自动稳健的图像拼接融合算法。此算法采用Harris角检测算子进行特征点提取，使提取的精度达到了亚像素级，然后以特征点邻域灰度互相关法进行特征点匹配得到了初步的伪匹配集合，并运用稳健的RANSAC算法将伪匹配点集合划分为内点和外点，在内点域上运用LM优化算法精确地估计出了图像间的点变换关系，最后采用颜色插值对交接处进行颜色过渡。整个算法自动完成，它对有较大误差或错误的特征点数据迭代过滤，并用提纯后的数据来做模型估计，因而对图像噪声和特征点提取不准确有强健的承受能力。在参数估计时，以特征点的坐标位置误差而不是亮度误差来构造优化函数，克服了以往算法对光照的敏感性，使算法更具有实用性。实验结果表明，该算法融合效果比较理想，鲁棒性强，具有较高的使用价值。     

基于Zynq的图像角点及边缘检测系统的设计与实现

以Zynq芯片为基础,采用软硬件协同设计的方法设计并实现整个系统。Zynq芯片内部采用ARM+FPGA的异构架构,既具备ARM处理器的灵活性,又拥有FPGA并行处理的能力。本系统的设计充分发挥了Zynq芯片的优势,在软硬件划分上, 通过ARM处理器来实现图像的采集;图像角点及边缘检测用FPGA来完成,即通过硬件加速提升系统的整体性能。ARM处理器与FPGA通过AXI4总线进行数据交互,在Zynq上实现集图像采集、图像特征提取、图像显示为一体的片上系统。最终系统测试结果表明,采用硬件加速实现图像特征提取的相关算法比在ARM处理器软件上实现的算法的速度提高了6～8倍。     

基于FPGA的深度卷积神经网络优化压缩算法研究

针对现有海量数字图像信息落后,提出了新型的压缩算法,设计出基于FPGA的视频图像采集系统.应用深度卷积神经网络优化视频图像编码算法和聚类算法实现数据特征提取,将图像与距离信息作为深度卷积神经网络的输入与输出,并利用其特征提取能力学习图像特征的距离信息,提取深度卷积神经网络中的全连接层作为编码,通过迭代调整确定图像编码,完成图像压缩.应用测试结果显示,该算法具有较高效率优势,且图像压缩解码后质量较好.     

基于图像分割的无人机遥感影像目标提取技术

为全面增强遥感影像上地物波谱的反射特性能力,实现对无人机目标的无误提取,提出基于图像分割的无人机遥感影像目标提取技术;在类哈尔滤波器结构的支持下,按照区域环境中地物目标的颜色特征,完成低层影像特征的量化处理,实现基于图像分割技术的无人机遥感深度图获取;定义与无人机遥感影像相关的基本名词,通过原始特征选择的方式,判定地物波谱的平均反射特性水平,得到准确的特征元素相关性测度数值,完成无人机遥感影像的目标融合处理;在此基础上,分割多分辨率条件下的影像目标,在定义图像纹理与尺度条件的同时,得到最终的地物提取结果,实现基于图像分割无人机遥感影像目标提取技术的应用;对比实验结果表明,在初始采集相位条件及亚像素条件下,目标地物的波谱宽度均超过7.0μm,遥感影像的反射特性能力大幅提升,满足对无人机目标无误提取的实用需求。     

英文字符特征提取系统

英文字符识别是模式识别的一个重要分支,具有广泛的应用领域.字符识别主要包括文档切分、单词切分、字符识别及后处理几部分.文中描述的是英文字符识别系统实现了从图像扫描到得到识别结果的全过程, 而字符特征提取是文本的重点内容.以五十二个英文字符为研究对象,具体包括了图像预处理、特征提取、建立模板、分类器设计、后处理等步骤.文章对OCR领域中应用比较广泛的网格特征、外围特征、穿越特征等特征和几种距离分类器分别进行比较分析,并进行大量的实验.实验结果表明识别准确率和识别处理时间方面具有良好性能.     

Cross-Modal Hashing Retrieval Based on Deep Residual Network

In the era of big data rich in We Media, the single mode retrieval system has been unable to meet people’s demand for information retrieval. This paper proposes a new solution to the problem of feature extraction and unified mapping of different modes: A Cross-Modal Hashing retrieval algorithm based on Deep Residual Network (CMHR-DRN). The model construction is divided into two stages: The first stage is the feature extraction of different modal data, including the use of Deep Residual Network (DRN) to extract the image features, using the method of combining TF-IDF with the full connection network to extract the text features, and the obtained image and text features used as the input of the second stage. In the second stage, the image and text features are mapped into Hash functions by supervised learning, and the image and text features are mapped to the common binary Hamming space. In the process of mapping, the distance measurement of the original distance measurement and the common feature space are kept unchanged as far as possible to improve the accuracy of Cross-Modal Retrieval. In training the model, adaptive moment estimation (Adam) is used to calculate the adaptive learning rate of each parameter, and the stochastic gradient descent (SGD) is calculated to obtain the minimum loss function. The whole training process is completed on Caffe deep learning framework. Experiments show that the proposed algorithm CMHR-DRN based on Deep Residual Network has better retrieval performance and stronger advantages than other Cross-Modal algorithms CMFH, CMDN and CMSSH.     

基于加权MFCC的音频检索

通过研究音频特征值提取和特征匹配算法,给出了一个完整的音频数据检索系统框架。该系统框架主要分析了音频特征提取和特征匹配。在音频特征提取部分对经典的MFCC系数进行了分析,提出了基于熵值法加权的MFCC系数,提高了检索的识别率。音频匹配部分根据特征参数矩阵表征音频信息的性质,引入了矩阵相似度的匹配方法,提高了检索效率。实验结果表明系统识别效率提高1.2%,用时降低22%,系统的性能得到明显改善。