基于手绘轮廓图的移动端图像检索

针对传统利用图像特征信息进行图像检索中难以从语义层次上理解图像相似性的问题,基于深度学习框架,提出一种结合类别分类和精确特征匹配的基于手绘轮廓图的移动端图像检索方法.首先在预处理阶段建立具有输入层、隐藏层以及Softmax输出层的神经网络分类模型,并利用训练数据集对模型进行训练,使其不断优化网络结构权值,实现输入图像的分类预测并提取分类图像标签;然后利用VGG16模型与ResNet50模型分别提取各个分类图像集下的精确特征,得到精确特征向量;最后将归一化并经组合后的特征向量与各个分类图像标签建立映射关系,实现移动端图像检索.采用移动端-服务器架构,用户在移动端输入手绘轮廓图后,系统进行自动预处理并与图像服务器实现交互,图像服务器进行分类预测和精确特征匹配得到检索结果,移动端展示最终检索结果.基于Keras深度学习开发框架,结合VGG16模型与ResNet50模型,实验结果表明,该方法能够根据手绘轮廓图高效、便捷地检索得到目标图像.     

基于序列输入的量子神经网络模型及算法

为提高神经网络的逼近能力,提出一种各维输入为离散序列的量子神经网络模型及算法.该模型为3层结构,隐层为量子神经元,输出层为普通神经元.量子神经元由量子旋转门和多位受控非门组成,利用多位受控非门中目标量子位的输出向输入端的反馈,实现对输入序列的整体记忆,利用受控非门输出中多位量子比特的纠缠获得量子神经元的输出.基于量子计算理论设计该模型的学习算法.该模型可从宽度和深度两方面获取输入序列的特征.仿真结果表明,当输入节点数和序列长度满足一定关系时,该模型明显优于普通神经网络.     

量子门Elman神经网络及其梯度扩展的量子反向传播学习算法

针对Elman神经网络的学习速度和泛化性能, 提出一种具有量子门结构的新型Elman神经网络模型及其梯度扩展反向传播(Back-propagation)学习算法, 新模型由量子比特神经元和经典神经元构成. 新网络结构采用量子映射层以确保来自上下文单元的局部反馈与隐藏层输入之间的模式一致; 通过量子比特神经元输出与相关量子门参数的修正互补关系以提高网络更新动力. 新学习算法采用搜索然后收敛的策略自适应地调整学习率参数以提高网络学习速度; 通过将上下文单元的权值扩展到隐藏层的权值矩阵, 使其在与隐藏层权值同步更新过程中获取时间序列的额外信息, 从而提高网络上下文单元输出与隐藏层输入之间的匹配程度. 以峰值检波为例的数值实验结果显示, 在量子反向传播学习过程中, 量子门Elman神经网络具有较快的学习速度和良好的泛化性能.     

基于序列输入的神经网络模型算法及应用

为提高神经网络的逼近能力,提出一种基于序列输入的神经网络模型及算法。模型隐层为序列神经元,输出层为普通神经元。输入为多维离散序列,输出为普通实值向量。先将各维离散输入序列值按序逐点加权映射,再将这些映射结果加权聚合之后映射为隐层序列神经元的输出,最后计算网络输出。采用Levenberg-Marquardt算法设计了该模型学习算法。仿真结果表明,当输入节点和序列长度比较接近时,模型的逼近能力明显优于普通神经网络。     

基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

基于深度残差网络的采煤机摇臂齿轮故障诊断

针对传统的采煤机摇臂齿轮故障诊断方法不能自主提取特征,导致齿轮故障诊断精度和效率不佳等问题,构建了基于深度残差网络(ResNet)的采煤机摇臂齿轮故障诊断模型。通过预激活残差单元模块降低模型的复杂度,使模型收敛速度更快;通过对振动信号进行数据重组,优化数据输入方式,提高模型对采煤机摇臂齿轮故障的识别能力。在采煤机摇臂加载实验台上进行模型验证实验,采集摇臂直齿轮正常、磨损、断裂、点蚀和裂纹5种状态下的振动信号,得出其特征具有明显差异;对测试集的混淆矩阵进行可视化分析,验证了ResNet模型能够很好地实现采煤机摇臂齿轮故障分类;与DNN模型和LeNet-5模型对比结果表明,ResNet模型具有更高的故障诊断精度和效率,综合识别率和F-score分别达到99.19%和99.05%;采用t-SNE技术对ResNet模型的最大池化层、预激活残差单元模块和全连接层输出的高维特征进行降维和可视化,验证了ResNet模型具有较强的特征提取能力。     

一种量子衍生神经网络模型

为提高神经网络的逼近能力,通过在普通BP网络中引入量子旋转门,提出了一种新颖的量子衍生神经网络模型. 该模型隐层由量子神经元组成,每个量子神经元携带一组量子旋转门,用于更新隐层的量子权值,输入层和输出层均为普通神经元. 基于误差反传播算法设计了该模型的学习算法. 模式识别和函数逼近的实验结果验证了提出模型及算法的有效性.     

一种量子神经网络模型学习算法及应用

提出一种量子神经网络模型及学习算法. 首先基于生物神经元信息处理机制和量子计算原理构造出一种量子神经元, 该神经元由加权、聚合、活化、激励四部分组成. 然后由量子神经元构造出三层量子神经网络模型, 其输入和输出为实值向量, 权值和活性值为量子比特. 基于梯度下降法构造了该模型的超线性收敛学习算法. 通过模式识别和函数逼近两种仿真结果表明该模型及算法是有效的.     

基于受控Hadamard门的量子神经网络模型及算法

为提高神经网络的逼近能力,提出一种基于受控Hadamard门设计的量子神经网络模型及算法.该模型输入为多维离散序列,可用矩阵描述,行数为输入节点数,列数为序列长度.模型为3层结构,隐层为量子神经元,输出层为普通神经元.量子神经元由量子旋转门和多位受控Hadamard门组成,利用多位受控Hadamard门中目标量子位的输出向输入端的反馈,实现对输入序列的整体记忆,利用受控Hadamard门中控制位和目标位之间的受控关系获得量子神经元的输出.基于量子计算理论设计了该模型的学习算法.该模型可高效地获取输入序列的特征.实验结果表明,当输入节点数和序列长度满足一定关系时,该模型明显优于普通BP神经网络.     

基于深度学习的个性化网吧游戏推荐

与传统推荐模型相比,深度学习可以更好地理解用户需求、项目特征及用户与项目之间的互动性,从而更有效地发现用户和项目之间的匹配关系。将深度神经网络应用于网吧游戏推荐场景,分析用户的个人偏好,根据时间推移兴趣的变化,对用户历史游戏行为记录进行建模训练,为用户提供个性化Top-N游戏推荐。基于深度神经网络设计训练模型,输入层采用对用户历史行为数据处理后的用户偏好向量,隐藏层运用ReLU激活函数的多层网络,输出层则采用逻辑回归的Softmax结构,最终运用带L2规范项的代价函数评估学习到的模型可靠性。在真实数据集下的实验结果表明,随着隐藏层的增加,该方法能明显降低均方根误差,且能提高召回率。     

Shallow and deep learning for image classification

The paper is focused on the idea to demonstrate the advantages of deep learning approaches over ordinary shallow neural network on their comparative applications to image classifying from such popular benchmark databases as FERET and MNIST. An autoassociative neural network is used as a standalone program realized the nonlinear principal component analysis for prior extracting the most informative features of input data for neural networks to be compared further as classifiers. A special study of the optimal choice of activation function and the normalization transformation of input data allows to improve efficiency of the autoassociative program. One more study devoted to denoising properties of this program demonstrates its high efficiency even on noisy data. Three types of neural networks are compared: feed-forward neural net with one hidden layer, deep network with several hidden layers and deep belief network with several pretraining layers realized restricted Boltzmann machine. The number of hidden layer and the number of hidden neurons in them were chosen by cross-validation procedure to keep balance between number of layers and hidden neurons and classification efficiency. Results of our comparative study demonstrate the undoubted advantage of deep networks, as well as denoising power of autoencoders. In our work we use both multiprocessor graphic card and cloud services to speed up our calculations. The paper is oriented to specialists in concrete fields of scientific or experimental applications, who have already some knowledge about artificial neural networks, probability theory and numerical methods.     

Research on Transfer Learning Methods for Classification of Typhoon Cloud Image

Aiming at the complexity of traditional methods for feature extraction about satellite cloud images, and the difficulty of developing deep convolutional neural network from scratch, a parameter-based transfer learning method for classifying typhoon intensity is proposed. Take typhoon satellite cloud images published by Japan Meteorological Agency, which includes 10 000 scenes among nearly 40 years to construct training and test typhoon datasets. Three deep convolutional neural networks, VGG16, InceptionV3 and ResNet50 are trained as source models on the large-scale ImageNet datasets. Considering the discrepancy between low-level features and high-level semantic features of typhoon cloud images, adapt the optimal number of transferable layers in neural networks and freeze weights of low-level network. Meanwhile, fine-tune surplus weights on typhoon dataset adaptively. Finally, a transferred prediction model which is suitable for small sample typhoon datasets, called T-typCNNs is proposed. Experimental results show that the T-typCNNs can achieve training accuracy of 95.081% and testing accuracy of 91.134%, 18.571% higher than using shallow convolutional neural network, 9.819% higher than training with source models from scratch.     

基于迁移学习及气象卫星云图的台风等级分类研究

针对传统卫星云图特征提取方法复杂且深度卷积神经网络（Deep Convolutional Neural Network, DCNN）模型开发困难的问题,提出一种基于参数迁移的台风等级分类方法。利用日本气象厅发布的近40 a 10 000多景台风云图数据,构建了适应于迁移学习的台风云图训练集和测试集。在大规模ImageNet源数据集上训练出3种源模型VGG16,InceptionV3和ResNet50,依据台风云图低层特征与高层语义特征的差异,适配网络最佳迁移层数并冻结低层权重,高层权重采用自适应微调策略,构建出了适用于台风小样本数据集的迁移预报模型T-typCNNs。实验结果表明:T-typCNNs模型在自建台风数据集上的训练精度为95.081%,验证精度可达91.134%,比利用浅层卷积神经网络训练出的精度高18.571%,相比于直接用源模型训练最多提高9.819%。     

基于多粒度特征蒸馏的遥感图像场景分类研究

深度神经网络广泛应用于遥感图像场景分类任务中并能大幅提高分类精度,但隐藏层数较少的神经网络在标记数据不足的遥感场景分类中泛化能力较低,而隐层较多的网络往往需要较大的计算量和模型存储空间,限制了其在嵌入式设备上的应用.提出一种针对遥感图像场景分类的多粒度特征蒸馏方法,将深度网络不同阶段的特征与最终的类别概率同时作为浅层模...     

TopoAct: Visually Exploring the Shape of Activations in Deep Learning

Deep neural networks such as GoogLeNet, ResNet, and BERT have achieved impressive performance in tasks such as image and text classification. To understand how such performance is achieved, we probe a trained deep neural network by studying neuron activations, i.e.combinations of neuron firings, at various layers of the network in response to a particular input. With a large number of inputs, we aim to obtain a global view of what neurons detect by studying their activations. In particular, we develop visualizations that show the shape of the activation space, the organizational principle behind neuron activations, and the relationships of these activations within a layer. Applying tools from topological data analysis, we present TopoAct , a visual exploration system to study topological summaries of activation vectors. We present exploration scenarios using TopoAct that provide valuable insights into learned representations of neural networks. We expect TopoAct to give a topological perspective that enriches the current toolbox of neural network analysis, and to provide a basis for network architecture diagnosis and data anomaly detection.     

多感知兴趣区域特征融合的图像识别方法

针对自然图像识别过程中不同深度学习模型关注兴趣区域不同的现象,本文引入深度卷积神经网络融合机制,结合深度迁移学习方法,给出了一种基于多感知兴趣区域特征融合的图像识别方法.本文将迁移学习方法引入牛津大学视觉组网络模型(visual geometry group network,VGGNet)和残差网络模型(residua...     

基于蚁群算法优化回声状态网络的研究

针对输出权值采用最小二乘法的回声状态网络(ESN),在随机选取输入权值和隐层神经元阈值时,存在收敛速度慢、预测精度不稳定等问题,提出了基于蚁群算法优化回声状态网络(ACO-ESN)的算法。该算法将优化回声状态网络的初始输入权值、隐层神经元阈值问题转化为蚁群算法中蚂蚁寻找最佳路径的问题,输出权值采用最小二乘法计算,通过蚁群算法的更新、变异、遗传等操作训练回声状态网络,选择出使回声状态网络预测误差最小的输入权值和阈值,从而提高其预测性能。将ACO-ESN与ELM、I-ELM、OS-ELM、B-ELM等神经网络的仿真结果进行对比,结果验证经过蚁群算法优化的回声状态网络加快了其收敛速度,改善了其预测性能,并增强了隐层神经元的敏感度。     

一类反馈过程神经元网络模型及其学校算法

提出了一种基于权函数基展开的反馈过程神经元网络模型．该模型为三层结构，由输入层、过程神经元隐层和过程神经元输出层组成．输入层完成系统时变过程信号的输入及隐层过程神经元输出信号向系统的反馈；过程神经元隐层用于完成输入信号的空间加权聚合和激励运算，同时将输出信号传输到输出层并加权反馈到输入层；输出层完成隐层输出信号的空间加权聚集和对时间的聚合运算以及系统输出．文中给出了学习算法，并以旋转机械故障自动诊断问题为例验证了模型和算法的有效性．