基于联邦学习与改进CBAM-ResNet18的脑肿瘤分类

针对联邦学习框架下,基于卷积注意力模块的多客户端脑肿瘤分类方法对于MRI图像中肿瘤区域细节提取能力不足、通道注意力与空间注意力相互干扰的问题,以及针对多点医疗肿瘤数据分类准确性低的问题,提出了一种融合联邦学习框架和改进的CBAM-ResNet18网络的脑肿瘤分类方法.利用联邦学习特性联合多点脑肿瘤数据,采用Leaky ReLU激活函数代替ReLU激活函数以减轻神经元死亡,将卷积注意力模块中的通道注意力模块由先降维再升维改成先升维再降维,充分提高网络对图像细节的提取能力,将卷积注意力模块中的通道注意力模块与空间注意力模块由级联结构改为并联结构,使得网络的特征提取能力不会受到二者先后顺序的影响.通过在Kaggle公开的脑肿瘤MRI数据集上的进行实验,该方法的准确率、精准度、召回率与F1值分别为97.78%、97.68%、97.61%与97.63%,比基准模型分别高6.54%、4.78%、6.80%、7.00%.实验结果证明,该方法不仅能够打破数据孤岛,实现多点数据融合,而且比多数现有主流模型的性能更好.     

面向问题复述识别的定向数据增强方法

问题复述识别旨在召回“同质异构”的问句对子(语义相同表述迥异的问句)和摒弃语义无关的噪声问句,对输入的问句对进行“是复述”和“非复述”的二相判别。现有预训练语言模型(如BERT、RoBERTa和MacBERT)被广泛应用于自然语言的语义编码,并取得了显著的性能优势。然而,其优势并未在问句复述问题的求解中得到充分的体现,原因在于: ①预训练语言模型对特定任务中精细的语义表示需求并不敏感; ②复述样本的“是与非”往往取决于极为微妙的语义差异。微调预训练语言模型成为提高其任务适应性的关键步骤,但其极大地依赖训练数据的数量(多样性)与质量(可靠性)。为此,该文提出一种基于生成模型的定向数据增强方法(DDA)。该方法能够利用诱导标签对神经生成网络进行引导,借以自动生成多样的复述和非复述的增强样本(即高迷惑性的异构样本),促进训练数据的自动扩展。此外,该文设计了一种多模型集成的标签投票机制,并用其修正增强样本的潜在标签错误,以此提高扩展数据的可靠性。在中文问题复述数据集LCQMC上的实验结果证明,与传统数据增强方法相比,该文方法生成的样本质量更高,且语义表达更加多元化。     

Music Genre Classification Using DenseNet and Data Augmentation

It can be said that the automatic classification of musical genres plays a very important role in the current digital technology world in which the creation, distribution, and enjoyment of musical works have undergone huge changes. As the number of music products increases daily and the music genres are extremely rich, storing, classifying, and searching these works manually becomes difficult, if not impossible. Automatic classification of musical genres will contribute to making this possible. The research presented in this paper proposes an appropriate deep learning model along with an effective data augmentation method to achieve high classification accuracy for music genre classification using Small Free Music Archive (FMA) data set. For Small FMA, it is more efficient to augment the data by generating an echo rather than pitch shifting. The research results show that the DenseNet121 model and data augmentation methods, such as noise addition and echo generation, have a classification accuracy of 98.97% for the Small FMA data set, while this data set lowered the sampling frequency to 16000 Hz. The classification accuracy of this study outperforms that of the majority of the previous results on the same Small FMA data set.     

融合多策略数据增强的低资源依存句法分析方法

依存句法分析旨在识别句子中词与词之间的句法依赖关系。依存句法能为信息抽取、自动问答和机器翻译等任务提供句法特征,提高模型性能。训练数据规模对依存句法分析模型的性能具有重要影响,训练数据的缺乏会带来严重的未知词问题和模型过拟合问题。文中针对低资源依存句法分析问题,提出了多种数据增强策略。所提方法通过同义词替换有效扩充了训练数据,缓解了未知词问题。通过多种Mixup的数据增强策略,有效缓解了模型过拟合问题,提高了模型的泛化能力。在(Universal Dependencies treebanks, UD treebanks)数据集上的实验结果表明,所提方法有效提升了小规模训练语料条件下泰语、越南语和英语依存句法分析的性能。     

基于混合样本自动数据增强技术的半监督学习方法

基于一致性的半监督学习方法通常使用简单的数据增强方法来实现对原始输入和扰动输入的一致性预测.在有标签数据的比例较低的情况下,该方法的效果难以得到保证.将监督学习中一些先进的数据增强方法扩展到半监督学习环境中,是解决该问题的思路之一.基于一致性的半监督学习方法MixMatch,提出了基于混合样本自动数据增强技术的半监督学...     

道路传感器监测数据异常辨识方法

足尺加速加载试验场具有复杂的路面结构,其中埋设了多种传感器用于监测路面性能的各项指标.由于传感器采集的数据具有高频海量的特点,使用传统方法进行异常数据的辨识效率低且精度差.针对该问题,本文通过特定软件将原始高频采集数据进行可视化,再将得到的可视化后数据进行类别标注,以此作为原始数据集;接下来针对可视化后的数据形状特征突...     

基于对抗生成网络的缺陷定位模型域数据增强方法

缺陷定位获取并分析测试用例集的运行信息, 从而度量出各个语句为缺陷的可疑性. 测试用例集由输入域数据构建, 包含成功测试用例和失败测试用例两种类型. 由于失败测试用例在输入域分布不规律且比例很低, 失败测试用例数量往往远少于成功测试用例数量. 已有研究表明, 少量失败测试用例会导致测试用例集出现类别不平衡问题, 严重影响着缺陷定位有效性. 为了解决这个问题, 提出基于对抗生成网络的缺陷定位模型域数据增强方法. 该方法基于模型域(即缺陷定位频谱信息)而非传统输入域(即程序输入), 利用对抗生成网络合成覆盖最小可疑集合的模型域失败测试用例, 从模型域上解决类别不平衡的问题. 实验结果表明, 所提方法大幅提升了11种典型缺陷定位方法的效能.     

融合数据增强与半监督学习的药物不良反应检测

目前药物不良反应（ADR）研究使用的数据主要来源于英文语料,较少选用存在标注数据稀缺问题的中文医疗社交媒体数据集,导致对中文医疗社交媒体的研究有限。为解决标注数据稀缺的问题,提出一种新型的ADR检测方法。采用ERNIE预训练模型获取文本的词向量,利用BiLSTM模型和注意力机制学习文本的向量表示,并通过全连接层和softmax函数得到文本的分类标签。对未标注数据进行文本增强,使用分类模型获取低熵标签,此标签被作为原始未标注样本及其增强样本的伪标签。此外,将带有伪标签的数据与人工标注数据进行混合,在分类模型的编码层和分类层间加入Mixup层,并在文本向量空间中使用Mixup增强方法插值混合样本,从而扩增样本数量。通过将数据增强和半监督学习相结合,充分利用标注数据与未标注数据,实现ADR的检测。实验结果表明,该方法无需大量的标注数据,缓解了标注数据不足对检测结果的影响,有效提升了药物不良反应检测模型的性能。     

多尺度非局部自注意力MRI脑肿瘤分割网络

针对U-Net模型在MRI脑肿瘤分割上存在的感受野受限和全局信息捕获不足问题, 通过引入非局部自注意力机制与多尺度的金字塔卷积提出一种改进U-Net模型—PyCSAU-Net. 该模型以三维U-Net作为基础网络, 在第4层横向连接位置引入扩展的三维非局部注意力模块, 通过改善网络因卷积核大小受限导致的长距离建模能力不足问题来提升脑肿瘤分割精度; 此外, 在网络下采样阶段将普通卷积替换为具有多尺度特点的三维金字塔卷积, 在多级别和分辨率下来提取更具判别性的脑肿瘤深度特征. 在公开的BraTS 2019和BraTS 2020验证集上在完全肿瘤、增强肿瘤和肿瘤核心分割上分别取得了0.904/0.901、0.781/0.774和0.825/0.824的分割精度, 表明所提出PyCSAU-Net方法在脑肿瘤分割任务上的有效性和竞争力.     

基于DCNN和数据增强的固体发动机烧蚀预示方法

针对固体发动机烧蚀率的预示,现有传统建模方法存在复杂度高、计算需求大、试验数据少、样本不平衡等问题,提出了一种基于深度卷积神经网络和数据增强的固体发动机烧蚀率预示方法。将传感器数据处理为长度相同、特征相近的序列数据,并使用自适应高斯噪声和随机漂移这2种数据增强方法扩充数据样本,再将扩充后的试验样本和伪样本作为深度卷积神经网络的输入进行训练,将训练得到的模型与传统方法计算得到的烧蚀率预示值进行对比。结果表明,该方法下烧蚀率预示值误差低至0.013 5 m/s,预示精度可达95%。     

面向小样本意图识别的分步式阶段性数据增强

文本意图识别任务中常面临训练数据不足的问题,且由于文本数据离散性导致在标签不变的条件下进行数据增强并提高原模型性能具有一定困难,为解决小样本意图识别任务中的上述问题,提出一种分步式数据增强与阶段性训练策略相结合的方法.该方法从全局和局部两个角度将原始数据在全体语句和同类别中的样本对上进行递进式增强,并在模型训练期间根据递进层次的不同划分阶段进行学习,最后在多个意图识别数据集上进行实验以评估其有效性.实验结果表明,该方法可以有效提高小样本环境中意图识别模型的准确率,同时模型的稳定性也得到了提升.     

一种基于超像素和改进U-net的多模态脑部肿瘤图像分割方法

针对多模态脑部肿瘤图像分割难度较大和对脑部肿瘤边缘区域的分割不足等问题,本文将多模态脑部肿瘤图像分割任务分成两部分解决.第一部分是对脑部肿瘤轮廓区域的分割,先用超像素分割算法对图像进行预处理简化图像的表示形式,再提取每个超像素区域的灰度直方图,通过皮尔逊相关系数计算每个超像素区域的相似度,最后用均值漂移算法对剩余的直方...     

结合双语义数据增强与目标定位的细粒度图像分类

细粒度图像分类旨在对属于同一基础类别的图像进行更细致的子类划分,其较大的类内差异和较小的类间差异使得提取局部关键特征成为关键所在。提出一种结合双语义数据增强与目标定位的细粒度图像分类算法。为充分提取具有区分度的局部关键特征,在训练阶段基于双线性注意力池化和卷积块注意模块构建注意力学习模块和信息增益模块,分别获取目标局部细节信息和目标重要轮廓这2类不同语义层次的数据,以双语义数据增强的方式提高模型准确率。同时,在测试阶段构建目标定位模块,使模型聚焦于分类目标整体,从而进一步提高分类准确率。实验结果表明,该算法在CUB-200-2011、FGVC Aircraft和Stanford Cars数据集中分别达到89.5%、93.6%和94.7%的分类准确率,较基准网络Inception-V3、双线性注意力池化特征聚合方式以及B-CNN、RA-CNN、MA-CNN等算法具有更好的分类性能。     

用于脑电数据增强和情绪识别的自注意力GAN

针对脑电信号（electroencephalogram,EEG）情绪识别中数据稀缺及由此导致的情感分类精度不高的问题,提出了一个引入自注意力机制的条件Wasserstein生成对抗网络（SA-cWGAN）,通过自注意力模块从训练数据学习长时上下文相关的全局特征,采用Wasserstein距离和梯度惩罚的Lipschitz约束对网络的损失函数进行优化,进而生成高质量的EEG数据对原有训练集进行增强。所提方法分别在DEAP和SEED数据集上进行了大量的二分类和三分类对比实验,生成了与EEG训练数据分布接近的微分熵（DE）和功率谱密度（PSD）特征,以此来增强EEG训练数据集,采用SVM分类器对增强后的EEG特征进行情绪分类。实验结果表明,在DEAP数据集上的唤醒度和效价维度下,增强后的DE、PSD特征较原有DE、PSD特征二分类准确率分别提高了16.63、17.55个百分点和6.48、8.34个百分点;在SEED数据集下,三分类准确率分别提高了4.64、5.18个百分点,证明所提方法生成的特征具有良好的鲁棒性,也表明通过对GAN网络引入自注意力机制生成的特征增强原有训练数据集能够有效提高E...     

融合高斯混合模型的测地线脑肿瘤分割方法

脑肿瘤分割是计算机辅助脑病诊断的基础。为提高脑肿瘤分割精度,提出一种融合高斯混合模型的测地线脑肿瘤分割方法。根据相邻2个像素点间互相到达时间构造离散且带有权重的网格图,通过高斯混合模型估计每个像素点属于目标物体的罚度,并融合高斯混合模型的概率密度差异表示区域属性与边缘属性构成能量函数,利用快速最短路径算法求解前景与背景间的测地线距离,并根据该距离最小化能量函数,得到脑肿瘤的分割结果。利用10组脑部核磁共振图像数据对算法进行评估,结果表明,该算法分割结果与金标准的重叠率在0.60~0.85之间,可有效避免局部最优解的情况,对非匀质区域具有较好的分割效果。     

基于特征选择和数据增强的电池荷电状态预测

现有基于神经网络的电池荷电状态(state of charge, SOC)预测研究大多把重点放在模型结构和相关参数的优化上,却忽略了训练数据的重要作用.针对该问题,文中提出了一种基于特征选择和数据增强的电池SOC预测方法.首先,方法根据原始电池充放电数据进行特征工程,并使用排列重要性(permutation importance, PI)方法选出对模型预测最有帮助的7个特征;其次,通过加入高斯噪声来扩大训练数据样本总量,达到数据增强的目的.实验使用双向长短时记忆网络(bidirectional long short-term memory, Bi-LSTM)作为预测模型,使用Panasonic 18650PF数据集作为训练数据.使用标准Bi-LSTM进行预测时,平均绝对误差(mean absolute error, MAE)和最大误差(max error,MaxE)分别为0.65%和3.92%,而在进行特征选择和数据增强后,模型预测的MAE和MaxE分别为0.47%和2.62%,表明PI特征工程与高斯数据增强方法可以进一步提升电池荷电状态预测模型的精度.     

基于深度残差网络与迁移学习的毒蕈图像识别

我国毒蕈种类繁多且分布广泛,经常有人因无法鉴别毒蕈和可食用菌而误食毒蕈,导致身体健康甚至生命安全受到严重威胁。为了减少毒蕈中毒事件的发生,本文以中国常见毒蕈为研究对象,提出基于深度残差网络与迁移学习的毒蕈图像识别方法。首先通过互联网途径获取常见种类的毒蕈和非毒蕈的图像,经筛选后得到18种毒蕈和5种非毒蕈共14669张图像,使用数据增强扩充数据量,建立中国常见毒蕈图像数据集。然后以ResNet-152为预训练网络模型,采用基于模型的迁移学习方法,构建出毒蕈图像识别的模型结构,以Adam算法为模型优化方法,最后通过k折交叉验证进行模型训练。试验结果表明,毒蕈图像识别模型Top-1和Top-5准确率分别为92.17%和97.35%,对于常见毒蕈图像具有较高的识别率,可以有效的帮助人们避免误食毒蕈,为毒蕈识别研究提供新的方法。     

海量磁共振全脑影像数据的深度挖掘分析

磁共振成像是开展脑科学研究最重要的现代影像方法之一。随着近几年各国脑计划的陆续展开如美国人类连接组计划 (Human Connectome Project) 和 2013 年美国奥巴马政府制定的“脑计划” (BRAIN Initiative),磁共振技术已被广泛应用于探索大脑结构和功能网络连接图谱。使用脑网络联接图谱研究情绪障碍类疾病,一般是通过统计性比较正常人和病患的脑网络,寻找有意义的差异特征,为疾病的诊断和治疗提供指导。但是,高分辨的全脑磁共振成像经常产生大量的结构和功能联接图谱数据,因此需要非常有效的计算技术来实现这一过程。我们计划首先建立人-猴相对应的脑疾病影像数据集合,发展适用于神经信息分析的机器学习算法,模拟分析脑网络大数据,并结合模式动物和人类临床实验的证据,探索疾病机理,发展有效的治疗手段。     

Short-Term Mosques Load Forecast Using Machine Learning and Meteorological Data

The tendency toward achieving more sustainable and green buildings turned several passive buildings into more dynamic ones. Mosques are the type of buildings that have a unique energy usage pattern. Nevertheless, these types of buildings have minimal consideration in the ongoing energy efficiency applications. This is due to the unpredictability in the electrical consumption of the mosques affecting the stability of the distribution networks. Therefore, this study addresses this issue by developing a framework for a short-term electricity load forecast for a mosque load located in Riyadh, Saudi Arabia. In this study, and by harvesting the load consumption of the mosque and meteorological datasets, the performance of four forecasting algorithms is investigated, namely Artificial Neural Network and Support Vector Regression (SVR) based on three kernel functions: Radial Basis (RB), Polynomial, and Linear. In addition, this research work examines the impact of 13 different combinations of input attributes since selecting the optimal features has a major influence on yielding precise forecasting outcomes. For the mosque load, the (SVR-RB) with eleven features appeared to be the best forecasting model with the lowest forecasting errors metrics giving RMSE, nRMSE, MAE, and nMAE values of 4.207 kW, 2.522%, 2.938 kW, and 1.761%, respectively