特征融合AlexNet模型的古代壁画分类

目的 针对古代壁画图像自身特征提取存在的主观单一性和客观不充分性等问题,以经典AlexNet网络模型为基础,提出了一种结合特征融合思想的卷积神经网络模型,用于古代壁画图像的自动分类。方法 首先,由于大型壁画数据集较为缺乏,通过对壁画样本使用缩放、亮度变换、加噪和翻转等图像增强算法来扩大数据集,并提取壁画图像第1阶段的边缘等底层特征;其次,采用结构不同的双通道网络对提取的第1阶段特征进行第2阶段的深层抽象,得到两个通道的特征;最后,融合两个通道的特征,共同构建损失函数得到分类结果,从而提高模型的鲁棒性和特征表达能力。结果 实验结果表明,在构造的壁画图像数据集上,该模型最终达到了85.39%的准确率。与AlexNet模型以及一些改进的卷积神经网络模型相比,各项评价指标均有大约5%的提高;与未进行预训练的经典模型相比,本文网络结构不易产生过拟合现象;与结合预训练的经典模型相比,准确率大致上有1%~5%的提升,从硬件条件、网络结构和内存消耗上来说代价更小。由此验证了本文模型对于壁画图像自动分类的合理性和有效性。结论 本文提出的壁画分类模型,综合考虑网络宽度和深度的影响,能从多局部的角度提取壁画图像丰富的细节特征,具有一定的优势和使用价值,可进一步结合到与壁画图像分类的相关模型中。     

适应性增强胶囊网络的古壁画朝代识别算法

针对壁画图像自身存在多义性、不同朝代的壁画绘画风格存在差异性和传统的人工直接参考壁 画文本或历史文献识别壁画朝代存在费时、费力等问题,提出了适应性增强胶囊网络(AEC)的古壁画朝代识别 算法,对莫高窟壁画自动进行朝代识别。在原生胶囊网络基础上,首先引入预先卷积结构对壁画图像进行高层 特征提取;其次增加均层激活增强模型的拟合性能;最后对胶囊网络进行适应性增强,在提高梯度平滑度的基 础上利用自适应学习率进行优化提高模型的分类精度。实验结果表明在所构造的 DH1926 壁画数据集上,AEC 模型准确率为 84.44%、平均精确度(MAP)为 82.36%、平均召回率(MAR)为 83.75%、综合评价指标为 83.96%。 与改进的卷积神经网络(CNN)和原生胶囊网络等其他网络结构相比,各项评价指标均有 3%以上的提升,有较 强的拟合性能,能够多层次提取壁画的丰富特征,表达图像更细节的语义信息,在莫高窟壁画朝代识别中具有 更高的准确度和更好的鲁棒性,有一定的应用价值与研究意义。     

基于SURF和全局特征融合的图像分类研究

针对SURF对图像局部特征具有极好的描述能力,但对于全局特征描述能力不强的缺点,提出将SURF和全局颜色特征相融合的图像分类算法,提取图像的SURF特征向量集,并利用随机直方图算法将该向量集进行数据归约成单一高维特征向量;提取图像HSV颜色直方图;分别利用支持向量机（SVM）对这两种特征进行分类;将两个分类结果进行高层特征融合得到最终分类结果。实验结果表明,该算法显著提高了图像分类的准确率。     

基于卷积神经网络的小样本图像识别方法

为提高仅包含少量训练样本的图像识别准确率,利用卷积神经网络作为图像的特征提取器,提出一种基于卷积神经网络的小样本图像识别方法。在原始小数据集中引入数据增强变换,扩充数据样本的范围;在此基础上将大规模数据集上的源预训练模型在目标小数据集上进行迁移训练,提取除最后全连接层之外的模型权重和图像特征;结合源预训练模型提取的特征,采用层冻结方法,微调目标小规模数据集上的卷积模型,得到最终分类识别结果。实验结果表明,该方法在小规模图像数据集的识别问题中具有较高的准确率和鲁棒性。     

基于神经网络与特征融合的胶囊内镜图像识别模型

当前消化道胶囊内镜图像识别算法存在两个局限,一是要对有差别的病灶设计具体的特征检测算法;二是通过深度学习开展迁移学习时,原训练数据与胶囊内镜图像存在较大差异.因此,提出一种小型通用的基于神经网络与特征融合的胶囊内镜图像识别模型.对图像分离G通道、Log变换和直方图均衡化预处理;采用三个相同卷积神经网络分别对三种预处理后的图像提取特征;采用Bagging算法进行特征融合与识别.对Kvasir数据集的实验表明,该模型准确率为96.89％,比RGB输入、传统机器视觉和经典神经网络模型高出2.05百分点以上,其AUC均值达到0.99,灵敏度达到98.55％,特异度达到96.51％.该模型能为医生诊断提供辅助作用.     

基于深度模型迁移的细粒度图像分类方法

针对细粒度图像分类方法中存在模型复杂度较高、难以利用较深模型等问题,提出深度模型迁移（DMT）分类方法。首先,在粗粒度图像数据集上进行深度模型预训练;然后,使用细粒度图像数据集对预训练模型logits层进行不确切监督学习,使其特征分布向新数据集特征分布方向迁移;最后,将迁移模型导出,在对应的测试集上进行测试。实验结果表明,在STANFORD DOGS、CUB-200-2011、OXFORD FLOWER-102细粒度图像数据集上,DMT分类方法的分类准确率分别达到72.23%、73.33%和96.27%,验证了深度模型迁移方法在细粒度图像分类领域的有效性。     

改进残差网络结合迁移学习的SAR目标识别

合成孔径雷达(SAR)图像的目标识别对地面和海面目标获取具有重大意义。实现SAR图像目标自动解释,提高图像目标识别的准确率成为SAR图像研究的热点问题。为准确获取SAR图像中的目标信息,解决深度神经网络训练小样本SAR图像过程中细节特征丢失严重,网络易出现过拟合等问题,该研究提出一种基于RCF(ResNet101-CBAM-FPN)神经网络模型来提取SAR图像特征。将ResNet101作为主干网络模型用于特征提取,在主干网络模型中加入卷积注意力模块引导神经网络有针对性地提取SAR图像关键特征信息。然后结合特征金字塔网络,实现神经网络高层特征与底层特征融合,丰富特征信息。最后融合迁移学习思想,通过数据相对充足的仿真SAR图像对RCF网络模型进行预训练。将预训练获取的模型参数迁移至目标网络,作为目标网络的初始化参数,并使用目标网络对SAR图像进行迭代训练。实验结果表明,该方法能有效提升小样本数据SAR图像的识别精度,在MSTAR数据集上达到99.60%的识别率。     

基于迁移学习的指静脉与指关节纹分数级融合的识别研究

针对手指静脉与手指关节纹的数据样本小且识别准确率易受各自固有属性限制以及非注册用户对系统识别准确率影响较大等问题,提出一种基于迁移学习的带拒绝识别阈值的手指静脉与手指关节纹共同决策同一主体的双模态分数级融合识别方法。对二者数据集进行数据扩充和图像尺寸调整;使用经ImageNet海量数据集训练后的Vgg19、Inceptionv3、Xception以及Resnet分别在二者数据集上进行参数调优;应用调优后的新模型进行分类识别,得到各自的匹配分数,再进行分数级融合,融合后的匹配分数与拒绝识别阈值比较,再进行最终的决策。该方法在公开数据集中识别准确率均可达99%,较各自单模态在各个网络中的识别准确率提高0.33%～15%不等。实验结果表明,采用迁移学习方法对指静脉与指关节纹进行分数级融合能够有效提高系统的识别准确率。     

基于特征融合的小样本抽象画图像情感预测

绘画图像情感预测是目前情感计算中的一个研究热点。目前抽象画来源少,样本量小,其情感分析大多数采用的是图像低层特征,而且准确率不高。为此,提出一种基于特征融合的小样本抽象画图像情感预测方法。首先,分析了抽象艺术理论中组成绘抽象画的基本元素（点、线、面和颜色）与人类情感的关系,依据这些理论量化出抽象画图像的低层特征;然后,采用迁移学习算法,基于大样本数据在预训练网络上得到参数,并迁移至目标模型,再在小样本数据上对目标模型进行微调,得到图像高层特征;最后,将低层与高层特征进行线性融合,采用多分类支持向量机（SVM）实现抽象画图像的情感预测。在3个小样本抽象画数据集上进行实验,结果表明,与直接采用低层特征的方法相比,所提方法的分类准确率有所提高,证实了它在小样本抽象画的情感研究中的有效性。     

基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

基于类比的壁画色彩虚拟复原

文中以敦煌莫高窟为应用背景,介绍了基于类比的计算机辅助古代壁画色彩方法,将色彩保持相对完好的壁画图像以及描述壁画属性的特征参数作为壁画色彩恢复的类比源存入数据库,根据决定和影响壁画色彩的不同因素,特征参数分为３个层次,以便于图像数据库的类比检索,为了在处理图像过程中与人的视觉保持一致,除ＲＧＢ颜色空间外,又选择了ＳＨＩ颜色空间,结合图像色彩区域提取,基于直方图的色彩转换等技术实现了壁画图像的色彩复     

改进DeepLabV3+模型在壁画分割中的应用

针对古代壁画图像分割过程中出现的目标边界模糊、图像分割效率低等问题,提出一种融合轻量级卷积神经网络的多分类图像分割模型MC-DM,该模型将DeepLabV3+结构和MobileNetV2相结合,利用DeepLabV3+特有的空间金字塔结构对壁画的卷积特征进行多尺度融合,从而减少壁画分割时的图像细节损失.首先,通过Mob...     

基于多通道可分离网络的古代壁画分类方法

古代壁画艺术价值高、内容丰富,对壁画种类进行准确分类是研究者的难题之一.传统的壁画分类任务繁重且需要有经验的研究者完成;现有的图像分类算法已不适于分类含有较强背景噪声的壁画图像.针对以上问题提出了一种新的多通道可分离网络模型(multi-channel separable network model,MCSN)的解决方案.以GoogLeNet网络模型为基本框架,用小卷积核对壁画背景特征进行浅层提取,然后将7×7、3×3等较大卷积核十字分离成7×1、1×7和3×1、1×3等较小的卷积核提取壁画重要的深层次特征信息;使用软阈值化激活缩放策略(activation scaling)增加网络训练时的稳定性,最后通过softmax对壁画分类;使用小批量随机梯度下降(min-batch SGD)算法更新参数.精确率、召回率和F1值分别为88.16％、90.01％和90.38％.与主流分类算法相比,分类准确率、泛化能力、稳定性有了一定的提升,提高了壁画分类效率.     

基于生成模型的古壁画非规则破损部分修复方法

为了更好地保存和修复珍贵的古代壁画艺术,在现有的人工修复技术之上,结合 数字虚拟修复方法,使用深度学习中生成网络的方法自动生成壁画缺失部分,可以有效地提高 修复效率,降低修复成本。用于修复的网络整体上是一个自编码器结构,编码器将待处理壁画 图像和破损部分对应的掩膜作为输入,进行特征提取。解码器将编码器得到的特征图通过反卷 积的方法恢复到原来尺寸,完成修复,自动将破损区域进行补全。同时,通过对待修复壁画进 行分块修复再拼接的方法实现了对任意尺寸壁画的修复。与其他数字壁画修复方法相比,该方 法更加通用,不受壁画种类和破损情况的限制。在一般破损的壁画上可以得到超过目前先进水 平的修复效果,并且在人眼无法辨识有效信息的大面积破损的壁画上,仍可以恢复得到有完整 语义的图像。     

基于兴趣边缘优化的壁画影像与激光扫描数据非刚性配准

将壁画影像与激光扫描数据配准,并进行定位和纠正在壁画的数字化保护中有非常重要的意义.本文以激光扫描数据强度信息为中介,提出了一种基于兴趣边缘优化的壁画影像与激光扫描数据的非刚性配准方法:由激光扫描数据生成强度影像,以壁画彩色影像的兴趣边缘和强度影像的梯度场作为配准基元,在影像刚性配准基础上,对每条兴趣边缘进行优化配准,然后以优化后边缘的特征点为控制点,构造影像之间的非刚性变换模型,完成壁画影像与激光扫描数据的配准.实验结果表明本方法在不同数据中都能获得较高的配准精度.     

Fair relay selection in decode-and-forward cooperation based on outage priority

The opportunistic cooperation schemes,where only the "best" relay is selected to forward the message,have been widely investigated recently for their good performance in terms of outage probability.However,the unfair selections of relays may cause unbalance power consumptions among relays,which reduces the lifetime of energy constrained networks.In this paper,we introduce a novel concept of outage priority based fairness(OPF),aiming at improving the selection fairness among relays appropriately without outage performance deterioration.Then,a cooperation scheme is proposed to meet this concept,and corresponding theoretical analysis is also provided.Afterward,based on OPF,the achievable upper bound of the fairness is derived,and an optimal cross-layer designed scheme is also provided to achieve the bound.Numerical simulations are carried out finally,which not only validate the theoretical analysis,but also show that taking advantages of the proposed schemes,the fairness among all relays,as well as the network lifetime,can be greatly improved without any loss of outage performance,especially in high SNR regime.     

Using hybrid knowledge engineering and image processing in color virtual restoration of ancient murals

This paper proposes a novel scheme to virtually restore the colors of ancient murals. Our approach integrates artificial intelligence techniques with digital image processing methods. The knowledge related to the mural colors is first categorized into four types. A hybrid frame and rule-based approach is then developed to represent knowledge and to inter colors. An algorithm that takes into account color similarity and spatial proximity is developed to segment mural images. A novel color transformation method based on color histograms is finally proposed to restore the colors of murals. A number of experiments based on real images have demonstrated the validity of the proposed scheme for color restoration.     

改进Inception-v3网络的手势图像识别

鉴于Inception-v3网络参数量过大的问题,本文提出了一种有效的手势图像识别方法,能够满足在模型参数量较少的情况下高精度手势识别的需求.本文利用Inception-v3的结构,对原Inception-v3的Inception模块重新进行设计,降低学习的参数量和难度,结合残差连接,保护信息的完整性,防止网络退化,引入注意力机制模块,让模型聚焦于有用的信息而淡化无用信息,在一定程度上也防止了模型的过拟合,并且在模型中进行上采样与低层特征进行特征融合,融合后的特征比原输入特征更具有判别能力,进一步提高模型的准确率.实验结果表明改进的Inception-v3网络的参数量仅为1.65 M,而且拥有更高的准确率和更快的收敛速度.将ASL手语数据集与孟加拉手语数据集分别打乱,然后按照4:1的比例单独划分出训练集和验证集.改进的Inception-v3在ASL手语数据集与孟加拉手语数据集上的识别率分别达到了100%和95.33%.