基于CBAM-CGRU-SVM的Android恶意软件检测方法

随着Android恶意软件的种类和数量不断增多,检测恶意软件以保护系统安全和用户隐私变得越来越重要。针对传统的恶意软件检测模型分类准确率较低的问题,提出一种基于卷积神经网络(CNN)、门控循环单元(GRU)和支持向量机(SVM)的模型CBAM-CGRU-SVM。首先,在CNN中添加卷积块注意力模块(CBAM)以学习更多恶意软件的关键特征;其次,利用GRU进一步提取特征;最后,为了解决图像分类时模型泛化能力不足的问题,使用SVM代替softmax激活函数作为模型的分类函数。实验使用了Malimg公开数据集,该数据集将恶意软件数据图像化作为模型输入。实验结果表明,CBAM-CGRU-SVM模型分类准确率达到94.73%,能够更有效地对恶意软件家族进行分类。     

基于深度学习的鱼类分类算法研究

回顾近年来国内外对鱼类分类的研究进展,指出传统方法存在的缺陷。深度学习是目前图像分类的主流方法。研究基于卷积神经网络CNN(Convolutional Neural Network)的鱼类分类模型,并以该模型为基础,进一步提出利用迁移学习,以预训练网络的特征结合SVM算法(Pre CNN+SVM)的混合分类模型。实验以Fish4-Knowledge(F4 K)作为数据集,使用Tensor Flow训练网络模型。实验结果表明,利用Pre CNN+SVM算法,取得了98.6%的准确率,较传统方法有显著提高。对于小规模数据集,有效解决了需要人工提取特征的不可迁移性。     

改进的卷积神经网络在行人检测中的应用

针对当前行人检测方法计算量大,行人特征提取复杂,检测结果易受复杂背景影响等问题,提出一种改进的卷积神经网络(convolutional neural network,CNN)模型。该模型在传统CNN基础上加入选择性注意层,模拟人眼的选择性注意功能,过滤复杂背景,突出行人特征。分别采用LBP(local binary pattern)纹理处理和梯度处理对选择性注意层进行训练,对比训练结果得到最优模型。分别在INRIA、NICTA和Daimler行人数据集上进行实验,结果表明,该模型在行人检测中准确率明显优于传统CNN、HOG+SVM、Haar+SVM、PCA+SVM,在INRIA、NICTA和Daimler行人数据集上的准确率分别达到了96.14%、96.64%和99.78%。     

基于CNN-BiLSTM模型的日志异常检测方法

目前日志异常检测领域存在数据量大、故障和攻击威胁隐蔽性高、传统方法特征工程复杂等困难,研究卷积神经网络（CNN）、循环神经网络等迅速发展的深度学习技术,能够为解决这些问题提供新的思路。提出结合CNN和双向长短时记忆循环神经网络（Bi-LSTM）优势的CNN-BiLSTM深度学习模型,在考虑日志键显著时间序列特征基础上,兼顾日志参数的空间位置特征,通过拼接映射方法进行最大程度避免特征淹没的融合处理。在此基础上,分析模型复杂度,同时在Hadoop日志HDFS数据集上进行实验,对比支持向量机（SVM）、CNN和Bi-LSTM验证CNN-BiLSTM模型的分类效果。分析和实验结果表明,CNN-BiLSTM达到平均91%的日志异常检测准确度,并在WC98_day网络日志数据集上达到94%检测准确度,验证了模型良好的泛化能力,与SVM CNN和Bi-LSTM相比具有更优的检测性能。此外,通过消融实验表明,词嵌入和全连接层结构对于提升模型准确率具有重要作用。     

基于改进卷积神经网络与支持向量机结合的面部表情识别算法

针对当前卷积神经网络（CNN）利用端层特征进行面部表情识别存在模型结构繁琐、训练参数过多、识别不够理想的问题,提出一种基于改进CNN与支持向量机（SVM）相结合的优化算法。首先,利用连续卷积的思想设计网络模型,以获取更多非线性激活;然后,采用自适应全局平均池化（GAP）层取代传统CNN中的全连接层,以减少网络参数量;最后,用SVM分类器代替传统Softmax函数实现表情识别,以提高模型泛化能力。实验结果表明,所提算法在Fer2013和CK+数据集上分别取得了73.4%和98.06%的识别准确率,与传统LeNet-5算法相比,在Fer2013数据集上提升了2.2个百分点,且该网络模型结构简单、参数量较少,具有良好的鲁棒性。     

基于多头注意力机制的端到端语音情感识别

针对语音情感数据集规模小且数据维度高的特点,为解决传统循环神经网络（RNN）长程依赖消失和卷积神经网络（CNN）关注局部信息导致输入序列内部各帧之间潜在关系没有被充分挖掘的问题,提出一个基于多头注意力（MHA）和支持向量机（SVM）的神经网络MHA-SVM用于语音情感识别（SER）。首先将原始音频数据输入MHA网络来训练MHA的参数并得到MHA的分类结果;然后将原始音频数据再次输入到预训练好的MHA中用于提取特征;最后通过全连接层后使用SVM对得到的特征进行分类获得MHA-SVM的分类结果。充分评估MHA模块中头数和层数对实验结果的影响后,发现MHA-SVM在IEMOCAP数据集上的识别准确率最高达到69.6%。实验结果表明同基于RNN和CNN的模型相比,基于MHA机制的端到端模型更适合处理SER任务。     

医院病案首页数据质量的调研及提高

随着移动医疗的发展和医疗服务模式的不断改革,随访成为许多医院与患者沟通的方式,肿瘤随访是医院针对肿瘤患者的窗口。病案首页是病人疾病发生、发展及结局的原始记录,记载着疾病的宝贵信息,病案随访是科研资料的来源和医患沟通的平台。然而,许多医院的病案首页数据存在着不同程度的数据质量问题,通过从医院管理和数据清洗来提高病案首页数据质量。     

改进的SVM解决背景知识数据中的类不平衡*

针对背景知识数据集中存在的类不平衡对分类器的影响,根据背景知识数据集样本量小、数据维数高的特性分析了目前各种方法在解决背景知识数据中的类不平衡问题时的缺陷,提出了一种基于分类后处理的改进SVM算法。改进算法引入权重参数调整SVM的分类决策函数,提高少类样本对分类器的贡献,使分类平面向多类样本倾斜,从而解决类不平衡对SVM造成的影响。在MAROB数据集上的实验表明,改进算法对少类的预测效果要优于传统的机器学习算法。     

一种基于概率校正和集成学习的肠癌肝转移预测模型

提出一种基于概率校正和集成学习的机器学习模型,用来预测患者肠癌肝转移的概率。首先将AdaBoost和Class-bal-anced SVM的概率结果进行校正,再将其结果和Logistic回归的预测结果进行集成,获得最终的预测结果。预测模型在复旦大学附属肿瘤医院的肠癌患者数据集上与其他算法如AdaBoost、Class-balanced SVM、Logistic回归算法进行了比较,结果显示该模型具有更好的AUC性能,更适合于医生的临床辅助诊断。模型的AUC性能在UCI数据集上进一步得到了验证。     

基于CNN-SVM的护理不良事件文本分类研究

针对当前医院护理不良事件上报的内容多为非结构化文本数据,缺乏合理明确的分类,人工分析难度大、人为因素多、存在漏报瞒报、人为降低事件级别等问题,提出一种基于字符卷积神经网络CNN与支持向量机SVM的中文护理不良事件文本分类模型。该模型通过构建字符级文本词汇表对文本进行向量化,利用CNN对文本进行抽象的特征提取,并用SVM分类器实现中文文本分类。与传统基于TF-IDF的SVM、随机森林等多组分类模型进行对比实验,来验证该模型在中文护理不良事件文本分类中的分类效果。     

基于SVM的大样本数据回归预测改进算法

针对支持向量机回归预测精度与训练样本尺寸不成正比的问题,结合支持向量机分类与回归算法,提出一种大样本数据分类回归预测改进算法。设计训练样本尺寸寻优算法,根据先验知识对样本数据进行人为分类,训练分类模型,基于支持向量机得到各类别样本的回归预测模型,并对数据进行预测。使用上证指数的数据进行实验,结果表明,支持向量机先分类再回归算法预测得到的均方误差达到12.4,低于人工神经网络预测得到的47.8,更远低于支持向量机直接回归预测得到的436.9,验证了该方法的有效性和可行性。     

融合知识图谱与深度学习的疾病诊断方法研究

针对现有深度学习疾病诊断方法在辅助诊断过程中大规模依赖标注数据,且缺乏医生或专家经验知识的问题,提出一种融合医学知识图谱与深度学习的疾病诊断方法。该方法的核心是一个知识驱动的卷积神经网络(CNN)模型,通过实体链接消歧与知识图谱嵌入抽取得到医学知识图谱中的结构化疾病知识,并将病情描述文本中的疾病特征词向量与相应知识实体向量作为CNN的多通道输入。在卷积过程中从语义和知识两个层面表示不同类型疾病。通过在多类病情描述文本数据集上进行训练和测试,实验结果表明该方法的诊断性能要优于单一CNN模型与其他疾病诊断方法,并验证了这种知识与数据联合训练的方法更适用于初步诊断病情描述的疾病类型。     

基于改进CNN的串联型故障电弧识别方法研究

针对串联型故障电弧影响供电系统安全且不易测量的问题,提出改进卷积神经网络对串联型故障电弧的识别方法.由于SVM学习的超平面是距离各个样本最远的平面,相比于Softmax,具有更强的泛化推广能力和更高的识别准确率,故采用SVM损失函数(hinge loss)替换原有的Softmax损失函数并在CNN模型中添加三层Ince...     

医学影像疾病诊断的残差神经网络优化算法研究进展

残差神经网络（residual neural network,ResNet）及其优化是深度学习研究的热点之一,在医学图像领域应用广泛,在肿瘤、心脑血管和神经系统疾病等重大疾病的临床诊断、分期、转移、治疗决策和靶区勾画方面取得良好效果。本文对残差神经网络的学习优化进行了总结：阐述了残差神经网络学习算法优化,从激活函数、损失函数、参数优化算法、学习衰减率、归一化和正则化技术等6方面进行总结,其中激活函数的改进方法主要有Sigmoid、tanh、ReLU、PReLU（parameteric ReLU）、随机化ReLU（randomized leaky ReLU,RReLU）、ELU（exponential linear units）、Softplus函数、NoisySoftplus函数以及Maxout共9种;损失函数主要有交叉熵损失、均方损失、欧氏距离损失、对比损失、合页损失、Softmax-Loss、L-Softmax Loss、A-Softmax Loss、L2 Softmax Loss、Cosine Loss、Center Loss和焦点损失共12种;学习率衰减总结了8种,即分段常数衰减、多项式衰减、指数衰减、反时限衰减、自然指数衰减、余弦衰减、线性余弦衰减和噪声线性余弦衰减;归一化算法有批量归一化和提出批量重归一化算法;正则化方法主要有增加输入数据、数据增强、早停法、L1正则化、L2正则化、Dropout和Dropout Connect共7种。综述了残差网络模型在医学图像疾病诊断中的应用研究,梳理了残差神经网络在肺部肿瘤、皮肤疾病、乳腺癌、大脑疾病、糖尿病和血液病等6种疾病诊断中的应用研究;对深度学习在医学图像未来发展进行了总结和展望。     

基于CNN深度学习的径流预判方法及应用

为快速预判流量等级,将复杂洪水预报过程简化为径流预判任务,借鉴卷积神经网络（CNN）在图像识别领域的应用思路,研究 CNN 径流预判模型搭建过程,深入分析样本处理、网络搭建、参数率定、性能测试、精度检验、知识训练等关键环节,提出基于 CNN 深度学习的径流预判方法。根据某水库 2008—2017 年的历史运行资料,构建其入库径流等级预测 CNN 模型实例,采用 61 362 个样本进行参数训练,17 532 个样本进行模型测试,8 766 个样本进行成果检验,预测准确率为 92.94%。研究结果表明,CNN 径流预判方法可作为防汛形势分析及会商决策的重要依据。     

基于k近邻的多尺度超球卷积神经网络学习

以卷积神经网络（CNN）为代表的深度学习模型主要面向图像、语音等均匀采样的同质欧氏空间数据,通常不适用于大量存在于工业等领域的异质、非均匀稀疏采样的结构化数据。针对异质、非均匀稀疏采样结构化数据集的预测任务,提出一种基于k近邻（kNN）算法和CNN的超球卷积神经网络学习模型。通过kNN预处理建立各样本在高维属性空间中的结构关系,将样本邻域内各样本的标记作为其属性重构样本集合,实现数据属性集从异质到同质的转化,进而通过合理设计CNN的卷积窗,有效提取和利用各样本的邻域空间中样本的标记分布特征,完成对未知样本的预测。在不同邻域尺度、软硬标记以及混淆非混淆等条件下进行实验,结果表明,该模型预测准确率达到98.04%,其准确率和召回率较FC-CNN、CNN、kNN和Radar-CNN算法分别提升0.28%~1.66%和4.78%~31.92%。     

基于标签噪声鲁棒学习的疾病风险预测

疾病风险预测能够筛查易患人群, 并在早期进行预防干预措施以降低疾病的发生率及死亡率. 随着机器学习技术的快速发展, 基于机器学习的疾病风险预测得到了广泛应用. 然而, 机器学习十分依赖于高质量的标注信息, 医疗数据中存在的标签噪声会给构建高性能的疾病风险预测算法带来严峻挑战. 针对这一问题, 本文提出了一种基于深度神经网络和动态截断损失函数的噪声鲁棒学习方法用于疾病风险预测. 该方法引入动态截断损失函数, 融合了传统交叉熵函数的隐式加权特性和均方差损失函数的标签噪声鲁棒性; 通过构造训练损失下界, 并引入样本动态加权机制减小可疑样本的梯度, 限制可能的带噪样本在训练过程中的权重, 进一步增强模型的鲁棒性. 以脑卒中筛查数据集为例进行实验, 结果表明本文算法在各个标签噪声比例下均能取得良好的预测性能, 可降低疾病风险预测中标签噪声的负面影响, 实现了带有标签噪声数据的鲁棒学习.     

基于卷积神经网络的青海湖区域遥感影像分类

科学准确的获取青海湖区域土地覆盖分类对于研究该区域生态环境变化有着重要的意义.本文使用30米分辨率的LandSat 8 OLI青海湖区域遥感影像数据展开相关研究,30米分辨率属于中等分辨率,当前中分遥感影像的分类方法尚存在特征提取困难、分类精度不高等问题.本文借鉴GoogLeNet Inception结构,设计并提出了一种卷积神经网络模型进行特征提取及分类,分析了用于样本生成的邻域窗口尺寸对分类结果的影响,并与最大似然分类和SVM分类方法进行比较.结果表明,在窗口尺寸为9×9时,CNN模型的总体分类效果最好,且CNN的分类结果明显优于最大似然分类方法和SVM.     

卷积神经网络的短文本分类方法

短文本分类是自然语言处理的一个研究热点.为提高文本分类精度和解决文本表示稀疏问题,提出了一种全新的文本表示（N-of-DOC）方法.采用Word2Vec分布式表示一个短语,将其转换成的向量作为卷积神经网络模型的输入,经过卷积层和池化层提取高层特征,输出层接分类器得出分类结果.实验结果表明,与传统机器学习（K近邻,支持向量机,逻辑斯特回归,朴素贝叶斯）相比,提出的方法不仅能解决中文文本向量的维数灾难和稀疏问题,而且在分类精度上也比传统方法提高了4.23%.