融合全局和局部特征的单幅图像去雨方法

针对基于卷积神经网络的去雨方法感受野受限的问题，结合Swin Transformer和卷积神经网络各自的优势，提出了一种融合全局和局部特征的单幅图像去雨方法。首先通过卷积神经网络对图像的局部特征进行初步提取；其次通过基于Swin Transformer的多支路网络对不同特征空间内的全局信息进行学习；最后将提取出的多支路全局特征与局部特征进行融合，实现无雨图像的恢复。在多个数据集上与多种主流单幅图像去雨方法进行了对比实验。结果表明，所提方法生成的结果在峰值信噪比和结构相似性指标上都具有一定优势，验证了所提方法在图像去雨任务上的有效性。     

基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。     

基于联合注意力机制的单幅图像去雨算法

现有的单幅图像去雨算法难以充分发掘不同维度注意力机制的相互作用,因此提出一种基于联合注意力机制的单幅图像去雨算法。该算法包含通道注意力机制和空间注意力机制：通道注意力机制检测各通道雨线特征的分布,并差异化各个特征通道的重要程度;空间注意力机制则针对通道内雨线分布的空间关系,以局部到全局的方式积累上下文信息,从而高效准确地去雨。此外,引入深度残差收缩网络,以利用残差模块中嵌入的软阈值非线性变换子网络来通过软阈值函数将冗余信息置零,从而提升CNN在噪声中保留图像细节的能力。在公开降雨数据集与自构建的降雨数据集上进行实验,相较于单一空间注意力算法,联合注意力去雨算法的峰值信噪比（PSNR）提升4.5%,结构相似性（SSIM）提升0.3%。实验结果表明,所提算法可以有效地进行单幅图像去雨和图像细节的信息保留,在目视效果和定量指标上均优于对比算法。     

基于多尺度生成对抗网络的大气湍流图像复原

大气湍流会导致图像发生畸变和模糊,为对单幅大气湍流退化图像进行复原,提出一种基于多尺度生成对抗网络（GAN）的图像复原方法。采用GAN框架,在生成器网络中添加多尺度注意力特征提取单元与多层次特征动态融合单元,从而提升模型的感受野范围。在此基础上,引入特征融合机制以实现湍流退化图像复原。实验结果表明,相比标准GAN、SIU-Net模型,多尺度GAN能显著提高图像的视觉质量,有效降低图像的模糊和几何畸变程度。     

基于注意力机制与特征融合的图像超分辨率重建

目前多数利用卷积神经网络进行图像超分辨率重建的方法忽视对自然图像固有属性的捕捉,并且仅在单一尺度下提取特征。针对该问题,提出一种基于注意力机制和多尺度特征融合的网络结构。利用注意力机制融合图像的非局部信息和二阶特征,提高网络的特征表达能力,同时使用不同尺度的卷积核提取图像的不同尺度信息,以保存多尺度完整的信息特征。实验结果表明,该方法重建图像的客观评价指标和视觉效果均优于Bicubic、SRCNN、SCN和LapSRN方法。     

基于归一化方差的退化图像融合研究

针对退化图像空间分辨率较低的问题,提出了一种基于归一化方差的多分辨率图像融合方法。该方法首先对图像进行二层小波分解,然后根据小波系数的统计特征来定义归一化方差,并以此作为图像融合测度来对退化图像进行多分辨率特征融合,从而得到包含更多信息和有效特征的融合图像。试验结果表明,融合后的图像在保留细节信息和光谱信息上均能获得较好的效果。     

基于图像多特征模糊融合的火灾检测

针对单一信息火灾检测方法精度低、鲁棒性差的问题，提出一种模糊融合图像多特征信息的火灾检测方法。以圆形度、轮廓粗糙度和火焰面积增长率等火焰图像特征值为模糊输入量，构建多信息模糊融合系统，降低误判率，提高火灾检测的鲁棒性。通过合理设计输入量的模糊化等级，使得模糊推理规则仅18条，减小算法计算量，提高火灾检测的实时性。室内环境下的火灾检测实验结果验证了该方法的有效性。     

一种基于IHS和NSST的多光谱图像融合方法

文中针对丛林环境背景下的迷彩人员检测效果差的问题,提出一种基于多光谱图像融合的迷彩人员检测方法.以可见光图像和特征波段图像为数据源,首先将可见光图像变换到相关性最小的IHS颜色空间,提取出亮度分量I;然后对于特征波段图像和亮度分量I进行多级NSST分解变换图像融合,其中特征波段之间采用局部能量取大值融合规则低频分量融合,与亮度分量之间采用自适应模糊逻辑原则进行低频分量融合.高频分量均使用模值取大的融合规则.最后进行NSST逆变换和IHS逆变换得到融合结果.经实验表明,与其他经典和主流多尺度变换图像融合算法相比,该方法具备较好的图像质量评价指标,并且在迷彩人员检测实验中,与可见光图像结果相比,具有较好的检测结果.     

基于多特征融合与CELM的场景分类算法

场景分类对于场景图像的语义解译至关重要,是遥感领域近期的主要研究课题之一。针对大部分图像分类方法中提取的特征结构单一,依赖于大量人工标记的数据以及分类器的训练过程缓慢等问题,提出了一种基于多特征融合与约束极限学习机（constrained extreme learning machines,CELM）的场景图像分类方法。该方法采用三种不同结构的预训练卷积神经网络,利用特定数据集对其进行微调,将微调后网络提取到的三种特征进行融合并送入CELM分类器进行分类,最终得到图像的类别标签。以SIRI-WHU、WHU-RS19与UC-Merced数据集作为实验数据集,在预训练卷积神经网络、单一特征和传统分类器上进行的对比实验表明,基于多特征融合与CELM相结合的方法产生了较好的分类效果,三种数据集上的总分类精度分别高达99.25%、98.26%与97.70%。     

基于太赫兹图像融合与深度学习的芯片缺陷检测方法

由于太赫兹(THz)时域光谱技术能够有效获取半导体芯片内部结构的时域和频域信息,从而为半导体芯片产品内部结构成像和缺陷检测提供了可能。但由于单一频点的太赫兹图像特征表达能力不足,无法直接应用于工业领域。为此,充分利用不同频点的太赫兹光谱数据所蕴含的芯片不同特征信息,并开展图像融合方法的研究,采用多尺度变换将图像分离为低频和高频分量,并对低频分量和全通分量分别采用基于稀疏表示的融合算法和多尺度变换进行融合,建立了多尺度变换和稀疏表示的图像融合框架和重构算法,实现了对芯片特征信息的增强和图像成像精度的提高。同时,针对半导体芯片内部缺陷在线实时检测网络训练过拟合、效率低以及工业图像具有稀疏性、缺陷不明显等问题,通过构建半导体芯片缺陷检测数据集,研究了小样本状态下轻量级神经网络缺陷检测模型(LiCNN),并优化模型参数,实现精简的参数规模,实验验证LiCNN对小样本数据集缺陷检测的有效性,从而为半导体芯片内部缺陷的无损检测和质量控制提供理论方法指导。     

基于数据融合的多特征遥感图像分类

以多光谱图像为研究对象，综合利用遥感图像的光谱、纹理和数学变换特征，提出了一种基于数据融合的多特征遥感地物分类方法。该方法针对不同的特征分别构造了神经网络分类器和K-均值聚类器，并对前者利用Adaboost算法进行提升，然后再将各特征的分类结果利用证据理论合成公式融合得到最终结果。实验结果表明，该方法的分类效果要优于单特征的分类结果。     

乳腺X线影像钙化病灶检索技术研究

为帮助医生进行乳腺X影像辅助诊断。针对乳腺X影像微钙化簇相似病灶检索问题,在分别研究单一特征和利用单距离相似性度量的特征融合的检索算法的基础上,提出一种 基于多距离特征融合和相关反馈的乳腺X线影像钙化病灶检索方法,该方法针对不同特征采用多距离度量方法计算相似性,并结合用户的反馈信息动态调整各个特征分量的权值来完 成查询。实验建立在由250幅包含微钙化簇的乳腺X线影像构成的数据库基础上,通过单一特征,特征融合及相关反馈图像检索的查准率-查全率（PVR）曲线验证该方法的检索性能 。实验结果表明,该方法比传统的基于单一特征检索方法以及运用单一距离度量的基于特征融合的检索方法有更好的检索效果。     

基于四元数多特征并行融合的JPEG隐写检测

针对串行特征融合方法易出现“维数灾难”以及并行复矢量特征融合方法只能融合两类特征的弱点,提出一种基于四元数多特征并行融合的JPEG隐写检测方法。方法利用四元数有4个分量能融合4种特征的性质,首先提取4种经典特征,然后用主成分分析(PCA)进行数据降维,去除冗余信息,最后将4种特征组合为四元数矢量,实现多特征的并行融合。实验结果表明,和传统特征融合方法相比,所提方法不仅有效提高了JPEG隐写图像检测率,而且具有较强的鲁棒性。     

基于多特征融合的云平台异常检测方法

为了充分利用云平台不同子系统的多特征信息,进一步提升云平台异常检测精度,提出基于距离约束与解空间优化的多特征融合模型.在特征距离约束前提下,利用迭代法求解,使单一子系统训练误差之和最小,实现多特征自动融合并获得最优输出解,并引入高次幂系数避免模型退化.同时,该模型进一步拓展为增量模型,保证云平台数据实时计算.提出的特征融合模型可在降低高维特征信息间冗余的同时挖掘云平台多子系统互补、潜在知识,提升异常识别效果.基于开源框架OpenStack构建私有云平台,实时采集运行数据,验证提出异常检测模型的可行性,并对比现有方法获得更高的异常检测精度.     

基于主成分分析的多源特征融合故障诊断方法

目前故障诊断的实际应用中,因噪声的千扰,基于单传感器的故障诊断稳定性较差,很难达到满意的诊断精确度。提出了一种多传感器多特征数据融合的故障诊断方法。该方法利用多传感器从不同部位获取同一部件的运行状况,并通过构建多源特征融合模型,提高特征信息的抗干扰性,最后通过融合特征信息来完成部件的故障诊断。在将新方法应用于滚动轴承故障诊断的试验中,可以看到新方法能够获得较好的性能,比基于单传感器故障诊断的精确度更高。     

基于多特征融合的前向车辆检测方法

针对传统车辆检测方法定位精度不高的问题,提出一种基于多特征融合的前向车辆检测方法。采用基于直方图分析和自适应双阈值的方法分别实现阴影和边缘特征的准确分割,并通过阴影和边缘特征的综合分析,生成车辆假设区域。利用对称性、纹理和轮廓匹配度3个特征融合得到的综合特征对获得的车辆假设区域进行验证,剔除其中的误检区域。实验结果证明,该方法能在不同光照条件下自适应地进行车辆检测,检测率可达92%以上,且在检测率和误检率2项指标上均优于传统基于学习的方法。     

多特征融合的图文微博情感分析

现有的微博情感分析方法已经注意到了微博文本与图片之间的互补作用,但较少注意用户情感表达的差异和微博内容中除文字之外的特征,为此提出一种多特征融合的图文微博情感分析方法。首先构建文本情感分类模型,将对情感具有很好指示作用的内容特征和用户特征与微博句子进行融合, 然后构造了基于参数迁移和微调的图片情感分类模型。最后设计特征层和决策层融合的方法,将文本和图片情感分类模型进行融合。实验结果表明,内容特征和用户特征有效增强了模型捕捉情感语义的能力,并在多项性能指标上都取得了很好的效果, 构建的图文情感分类模型和融合方法可获得更好的性能。     

一种多特征融合的外观设计专利图像检索方法

提出一种多特征融合的外观设计专利图像检索方法。采用Hu不变矩和高斯描绘子两种算法描述图像形状特征;采用加权法融合形状特征和Gabor小波提取的纹理特征;用Adaboost算法进行相关性反馈。实验结果表明,提出的方法可以有效地实现外观设计专利图像的检索。     

基于卷积神经网络的遥感图像分类研究

遥感图像分类是模式识别技术在遥感领域的具体应用,针对遥感图像处理中的分类问题,提出了一种基于卷积神经网络(convolutional neural networks,CNN)的遥感图像分类方法,并针对单源特征无法提供有效信息的问题,设计了一种多源多特征融合的方法,将遥感图像的光谱特征、纹理特征、空间结构特征等按空间维度以向量或矩阵的形式进行有效融合,以此训练CNN模型。实验表明,多源多特征相融合能够加快模型收敛速度,有效提高遥感图像的分类精度;与其他分类方法相比,CNN能够取得更高的分类精度,获得更优的分类效果。     

基于多特征融合的中医舌像检索研究

以中医舌像为研究对象,针对单一特征无法很好表述舌像的缺点,提出了基于多特征融合的中医舌像检索方法以提高中医舌像的识别率。由于检索结果的排序直接关系到整个系统的性能,重点研究了在训练集上学习一组合理的多特征融合参数来提高排序性能,从而达到提高中医舌像识别率的目的。该算法以最小化预测排序与目标排序之间的反序对为优化目标,最终得出一个有效的排序学习算法。在该舌图像数据集上的实验结果验证了该算法的有效性。