基于深度学习的智能骨龄分类器

通用深度学习算法提取的医学手骨图像特征不能很好地区分相近年龄图像的差异, 这导致骨龄分类器的预测精度较低. 根据基于深度学习的轻量级神经网络MobileNet设计了一种改进的骨龄分类器RIL-MobileNetV3 Large, 通过改进LBP处理层得到了具有细致纹理特征的手骨数据集并引入注意力机制进行自动定位, 通过学习处理层处理后的手骨X光片中的深层区域特征完成识别和骨龄的分类, 在公共数据集上进行实验并对该分类器进行多次训练调优, 结果表明改进设计的分类器在骨龄预测中具有高达94.204%的准确率和0.350岁的均值误差, 而且改进的轻量级网络为可移动智能便携预测骨龄奠定基础.     

融合双重注意力网络的儿童骨龄评估方法

骨龄评估是一种检测儿童内分泌与生长发育异常的常用方法,但深度学习方法中低质量手部X射线图像降低最终评估精度。针对该问题,提出一种增加手部X射线图像感兴趣区域面积的对齐网络,该网络以Swin Transformer结构作为主干网络学习图像手部相似性并取得仿射系数,且在训练过程中无须进行大规模手部标注。在骨龄评估网络中,针对高效通道注意力和空间注意力机制改进,提出双池化高效通道注意力和非对称卷积空间注意力方法,将这两种方法以双重注意力形式与Xception网络相结合提出DA-Xception。在RSNA数据集上进行测试,该骨龄评估方法达到5.37个月的平均绝对误差,相较于其他深度学习方法可更充分提取特征,优化评估结果。     

基于迁移学习的伤口图像分割

图像分割是计算机辅助阅片的基础,伤口图像分割的准确率直接影响伤口分析的结果.传统方法进行伤口分割步骤繁琐,准确率低.目前已有少部分人利用深度学习进行伤口图像分割,但是他们都是基于小型数据集,难以发挥深度神经网络的优势,准确率难以进一步提高.充分发挥深度学习在图像分割领域的优势需要大型数据集,目前还没有关于伤口图像的大型公共数据集,而制作大型伤口图像数据集需要人工标记,耗费大量时间和精力.本文提出基于迁移学习的伤口图像分割方法,首先利用大型公共数据集训练ResNet50网络作为特征提取器,再利用该特征提取器连接上两个并行的注意力机制后在利用小型伤口图像数据集进行再训练.实验表明本方法的分割结果在平均交并比上有较大提高,在某种程度上解决了缺乏大型伤口图像数据集而导致伤口图像分割准确率低的问题.     

基于机器学习的铆钉缺陷检测技术

针对传统铆钉缺陷检测中由于人工操作使得检测速度慢，并且结果会引入人为误差的问题，设计出一套基于Faster-RCNN为目标检测算法，以TensorFlow为深度学习框架的铆钉缺陷检测系统。利用LabelImage标注工具进行标注，将数据集转换为Pascial VOC 2012格式。迭代4万次的VGG-16训练模型在1 008幅测试集进行测试，实验结果表明：平均准确率为97.37%,平均精确率为93.9%,平均召回率86.48%。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

基于深度学习的COVID-19智能诊断系统

本研究旨在探索运用深度学习的方法辅助医生利用胸部X光片进行COVID-19诊断的可行性和准确性。首先利用公开的COVID-QU-Ex Dataset训练集训练一个UNet分割模型,实现肺部ROI区域的自动分割。其次完成对该公共数据集肺部区域的自动提取预处理。再次利用预处理后的三分类影像数据（新冠肺炎、其它肺炎、正常）采用迁移学习的方式训练了一个分类模型MBCA-COVIDNET,该模型以MobileNetV2作为骨干网络,并在其中加入坐标注意力机制（CA）。最后利用训练好的模型和Hugging Face开源软件搭建了一套方便医生使用的COVID-19智能辅助诊断系统。该模型在COVID-QU-Ex Dataset测试集上取得了高达97.98%的准确率,而该模型的参数量和MACs仅有2.23M和0.33G,易于在硬件设备上进行部署。该智能诊断系统能够很好的辅助医生进行基于胸片的COVID-19诊断,提升诊断的准确率以及诊断效率。     

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

基于深度置信网络的风电机组主轴承故障诊断方法研究

为解决目前传统风电机组主轴故障诊断过程中因主轴结构复杂、信号非线性变化和机械大数据等因素引起的故障诊断困难问题,提出了一种高效、准确的风电机组主轴承故障诊断方法。利用深度置信网络强大的特征分层提取和泛化能力优势,结合Python语言基于Tensor Flow学习框架,实现了高效准确的风电机组主轴承故障诊断。采集风电机组主轴轴转动频率,内、外圈故障频率,滚动体频率和保持架频率,对数据预处理并划分测试集和训练集,同时进行归一化处理。构建深度置信网络DBN诊断网络模型,确定网络层数、学习率、各层节点数等参数。输入训练样本逐层无监督训练达到局部参数最优,反向微调使整体性能最优并用测试集数据进行验证。试验结果表明:在网络参数合适且训练集和测试集相同的情况下,采用深度置信网络的风电机组主轴承故障诊断方法的准确率高达86.18%,同比优于传统支持向量机、人工神经网络故障诊断方法。     

面向人机交互的通道注意力位移图神经网络

在人机交互动作识别领域中,基于深度学习的动作识别方法比传统的手工特征提取方法准确率更高.为了解决基于深度学习的动作识别方法在实时人机交互的实际应用问题,本文设计并创建了交互动作数据集(IA RGB-D),用于深度学习方法的人体动作识别研究.将IA RGB-D用于多种神经网络的训练和测试,测试结果准确率均在95％以上,验...     

基于深度模型迁移的细粒度图像分类方法

针对细粒度图像分类方法中存在模型复杂度较高、难以利用较深模型等问题,提出深度模型迁移（DMT）分类方法。首先,在粗粒度图像数据集上进行深度模型预训练;然后,使用细粒度图像数据集对预训练模型logits层进行不确切监督学习,使其特征分布向新数据集特征分布方向迁移;最后,将迁移模型导出,在对应的测试集上进行测试。实验结果表明,在STANFORD DOGS、CUB-200-2011、OXFORD FLOWER-102细粒度图像数据集上,DMT分类方法的分类准确率分别达到72.23%、73.33%和96.27%,验证了深度模型迁移方法在细粒度图像分类领域的有效性。     

Secure decentralized peer-to-peer training of deep neural networks based on distributed ledger technology

The accuracy and performance of deep neural network models become important issues as the applications of deep learning increase. For example, the navigation system of autonomous self-driving vehicles requires very accurate deep learning models. If a self-driving car fails to detect a pedestrian in bad weather, the result can be devastating. If we can increase the model accuracy by increasing the training data, the probability of avoiding such scenarios increases significantly. However, the problem of privacy for consumers and lack of enthusiasm for sharing their personal data, e.g., the recordings of their self-driving car, is an obstacle for using this valuable data. In Blockchain technology, many entities which cannot trust each other in normal conditions can join together to achieve a mutual goal. In this paper, a secure decentralized peer-to-peer framework for training the deep neural network models based on the distributed ledger technology in Blockchain ecosystem is proposed. The proposed framework anonymizes the identity of data providers and therefore can be used as an incentive for consumers to share their private data for training deep learning models. The proposed framework uses the Stellar Blockchain infrastructure for secure decentralized training of the deep models. A deep learning coin is proposed for Blockchain compensation.

     

基于孪生网络结构的单样本图例检测方法

针对现有深度学习方法训练难、检测慢、训练数据难以获取等问题,在图例检测问题上,提出一种新的解决方法。以高效的卷积神经网络为骨干网络,并根据图例宽高比固定、具有个体独立性等特点,使用一种新的SiameseSSD检测框架进行目标检测。该框架包含了用于特征提取的孪生网络结构子网和用于分类和回归的改良SSD子网。同时利用数据增强技术和特殊的图片配对算法训练模型,通过解决单样本问题、调整网络结构和检测方法以检测大分辨率施工图。该方法在施工图数据集上的实验结果表明,该图例检测方法是一种新的解决单样本学习任务的方法,准确率达到91.3%,检测速度达到61帧/s,相比于其他现有的目标检测方式有一定的优势,几乎能够满足实际工程的工作需求。     

基于深度学习的手骨X射线图像骨龄评估

骨龄评估是研究儿童内分泌、遗传因子和生长障碍的常用临床手段,传统骨龄评估方法耗时较长,易受评估者主观因素影响产生误差,而现有自动提取临床特征的骨龄评估方法精度低且泛化能力差。提出一种基于深度学习的端到端手骨X射线图像自动骨龄评估方法。去除Inception ResNet V2网络的Softmax层优化结构,在Inception模块中增加非对称卷积核提高特征图分类精度,引入残差连接结构避免梯度消失或爆炸问题,同时采用均方误差损失函数对骨龄评估回归性能进行评价,并使用分层K折交叉验证法保证数据集样本分类均衡。实验结果表明,与采用BoNet网络的骨龄评估方法相比,该方法评估的骨龄与真实骨龄平均绝对误差减少0.4230岁,骨龄预测精度更高。     

基于ASM模型的骨龄评价系统研究

为了能够对骨龄进行简单、快速有效的检测 ,研究了一种基于活动形状模型 ASM(Active Shape Models)的骨龄评价系统实现方法 .该方法通过对手骨 X射线图象中显示的骨骼进行定位、边缘检测 ,首先得到用于骨龄评价的骨骼边缘 ,然后根据“中国人手腕骨发育标准 CHN法”对骨骼按等级进行分类 ,最后综合各个骨骼的等级来评价骨龄 .实验表明 ,应用基于先验知识的 ASM模型来检测骨骼边缘和利用模型参数来量化 CHN法中骨骼等级的抽象描述 ,不仅改善了边缘检测的效果 ,并得到了有效的骨骼分类方法 ,也证明了基于 ASM模型的骨龄评价系统具有满意的正确率和稳定性 .     

基于代码属性图及注意力双向LSTM的漏洞挖掘方法

当前基于深度学习的源代码漏洞检测是一种效率较高的漏洞分析方式,但其面临2个挑战：容量较大的数据集和有效的学习方式. 针对这2个挑战做了2方面的研究工作：首先基于SARD数据集构建了样本容量为280793的多漏洞数据集,包含150种CWE漏洞类型. 其次提出基于比较学习的深度学习方法. 其核心思想是为深度学习训练集中每一个样本构建1个类型相同的样本集合,以及1个类型不相同的样本集合,形成一种比较学习的氛围. 基于该思想创建的训练数据集,深度学习模型在训练的过程中,不但可以学习同类型样本大量的、细微的特征,还可以提取不同类型样本中区分性较强的特征. 经过实验验证,基于所创建的数据集和提出的学习方法训练的深度学习模型可以识别150种CWE漏洞类型,准确率可以达到92.0%,平均PR值可以达到0.85,平均ROC-AUC值可以达到0.96. 此外,也对基于深度学习的漏洞分析技术中普遍使用的代码符号化技术进行分析与讨论. 实验表明,深度学习训练过程中,是否对代码进行符号化,并不会影响深度学习模型的漏洞识别准确率.

     

基于半监督深度信念网络的图像分类算法研究

近年来,深度学习在图像、语音、视频等非结构化数据中获得了成功的应用,已成为机器学习和数据挖掘领域的研究热点。作为一种监督学习模型,成功的深度学习应用往往要求较大的高质量的训练集。基于此,研究了多个受限波尔兹曼机组成的深度信念网络,结合半监督学习的思想,使用较小的训练集提高深度网络模型的分类准确性。分别采用了Knn,SVM和pHash 3种方法来学习非标示数据集,实验结果表明半监督深度信念网络比传统多层受限波尔兹曼机在图像分类准确率方面提高了约3%。     

Bone age estimation from carpal radiography images using deep learning

Bone age estimation has been used in medicine to verify whether the bone structure development degree of a person corresponds to their chronological age. Such estimate is useful for prognosis about the development of children and adolescents, as well as for the diagnosis of endocrinological diseases. This work proposes a fully automated methodology for bone age estimation from carpal radiography images. The methodology comprises two steps, the preprocessing of the image and the classification using a convolutional neural network. The system accuracy for different types of preprocessing is evaluated. We compare the accuracy achieved using the full radiography image as input for the neural network and using only parts of the image corresponding to the Phalangeal region, the Epiphyseal region, and the concatenation of these parts with a crop around the wrist. Digital image processing techniques are employed to segment these regions. Experiments are performed using radiography images from the California University Database. The impact of using different pre-trained neural networks for transfer learning is evaluated.     

A feed forward deep neural network model using feature selection for cloud intrusion detection system

The rapid advancement and growth of technology have rendered cloud computing services indispensable to our activities. Threats and intrusions have since multiplied exponentially across a range of industries. In such a scenario, the intrusion detection system, or simply the IDS, is deployed on the network to monitor and detect any attacks. The paper proposes a feed-forward deep neural network (FFDNN) method based on deep learning methodology using a filter-based feature selection model. The feature selection strategy aims to determine and select the most highly relevant subset of attributes from the feature importance score for training the deep learning model. Three benchmark data sets were used to assess the experiment: CIC-IDS 2017, UNSW-NB15, and NSL-KDD. In order to justify the proposed technique, a comparison was done using other learning algorithms ranging from classical machine learning to ensemble learning methods that can detect various attacks. The experiments showed that the FFDNN model with reduced feature subsets gave the highest accuracy of 99.53% and 94.45% in the NSL-KDD and UNSW-NB15 data sets, while the ensemble-based XGBoost model performed better in the CIC-IDS 2017 data set. In addition, the results show that the overall accuracy, recall, and F1 score of the deep learning algorithm are generally better for all the data sets.     

基于条件生成对抗网络的侧信道攻击技术研究

近年来,深度学习技术广泛应用于侧信道攻击(side channel attack,SCA)领域.针对在基于深度学习的侧信道攻击中训练集数量不足的问题,提出了一种用于侧信道攻击的功耗轨迹扩充技术,使用条件生成对抗网络(conditional generate against network,CGAN)实现对原始功耗轨迹的...     

基于深度学习的小样本声目标识别方法

声目标分类识别是声源识别领域的核心问题,然而,在应用深层神经网络进行声目标分类识别时,从少量样本中学习(样本复杂度较低)是一个具有挑战性的问题;针对此问题,提出了一种基于深度学习的小样本声目标识别方法,该方法将手工设计特征和对数梅尔声谱特征结合到一起,扩充了深度学习模型的可利用特征量,提高了声信号识别效率和精度;在实验验证中,该方法在测试集上实现了87.6%的识别精度;更进一步地,用较少量的训练样本对该方法和其它几种主流的深度学习模型的性能进行了比较验证,结果表明,该方法只需要更少量的数据即可实现同样的识别精度,在声源探测领域具有一定应用价值。