基于粒子群优化的深度神经网络分类算法

针对神经网络分类算法中节点函数不可导,分类精度不够高等问题,提出了一种基于粒子群优化(PSO)算法的深度神经网络分类算法.使用深度学习中的自动编码机,结合PSO算法优化权值,利用自动编码机对输入样本数据进行编解码,为提高网络分类精度,以编码机本身的误差函数和Softmax分类器的代价函数加权求和共同作为PSO算法的评价函数,使编码后的数据更加适应分类器.实验结果证明:与其他传统的神经网络相比,在邮件分类问题上,此分类算法有更高的分类精度.     

基于主题和关键词特征的比较文本分类方法

比较文本对于企业竞争产品分析至关重要，但目前面向问答领域的比较文本分类研究较少。针对问答文本中比较信息丰富、主题集中的特点，提出了基于主题特征和关键词特征扩展的比较文本分类方法。通过预训练主题模型，推断问答文本的主题概率分布作为其主题特征；针对向量拼接、求和导致关键词信息流失的问题，设计GRU自编码器实现关键词向量特征提取。综合文本主题信息和关键词语义，从语言、产品、情感、社交、主题、关键词角度构建比较文本分类特征，最后使用多种分类器对问答文本进行分类。实验结果表明，构建的特征行之有效，比较文本分类效果较好。     

特征聚类自适应变组稀疏自编码网络及图像识别

由于缺乏先验信息，组Lasso模型在训练时仅是基于组数参数对单元进行均匀、连续、固定的分组，缺乏分组依据，容易造成变量组结构的有偏估计。为此，提出特征聚类自适应变组稀疏自编码网络模型，在迭代过程中使用特征聚类法来改变隐层单元的分组，使得分组能够随着特征的收敛而自适应地发生改变，从而更好地实现变量组结构的估计。实验表明，该模型能够很好地捕捉训练过程中出现的组相关信息，并在一定程度上提高图像的分类识别率。     

Network Intrusion Detection in Internet of Blended Environment Using Ensemble of Heterogeneous Autoencoders (E-HAE)

Contemporary attackers, mainly motivated by financial gain, consistently devise sophisticated penetration techniques to access important information or data. The growing use of Internet of Things (IoT) technology in the contemporary convergence environment to connect to corporate networks and cloud-based applications only worsens this situation, as it facilitates multiple new attack vectors to emerge effortlessly. As such, existing intrusion detection systems suffer from performance degradation mainly because of insufficient considerations and poorly modeled detection systems. To address this problem, we designed a blended threat detection approach, considering the possible impact and dimensionality of new attack surfaces due to the aforementioned convergence. We collectively refer to the convergence of different technology sectors as the internet of blended environment. The proposed approach encompasses an ensemble of heterogeneous probabilistic autoencoders that leverage the corresponding advantages of a convolutional variational autoencoder and long short-term memory variational autoencoder. An extensive experimental analysis conducted on the TON_IoT dataset demonstrated 96.02% detection accuracy. Furthermore, performance of the proposed approach was compared with various single model (autoencoder)-based network intrusion detection approaches: autoencoder, variational autoencoder, convolutional variational autoencoder, and long short-term memory variational autoencoder. The proposed model outperformed all compared models, demonstrating F1-score improvements of 4.99%, 2.25%, 1.92%, and 3.69%, respectively.     

基于重建误差的任务型对话未知意图检测

现有未知意图检测模型通常将语句映射到向量空间，并使用局部异常因子算法定义密度较小的特征点为未知意图，但经交叉熵损失训练的已知意图特征簇更加狭长，簇内的整体间距、密度和分散情况不均匀，进而增加了检测难度。针对上述问题，提出一种基于自动编码器重建误差的未知意图检测模型。在训练阶段，使用融入标签知识的联合损失函数训练已知意图分类器，使已知意图特征类间距离大且类内距离小，并利用这些特征训练一个仅能获取已知意图信息的自动编码器。在测试阶段，利用自动编码器将重建误差较大的样本视为未知意图，其余样本视为已知意图正常分类。在SNIPS数据集上的实验结果表明，在已知意图占比为25%、50%、75%时，该模型的Macro F1得分相比于表现最优的增强语义的高斯混合损失基线模型分别提升了16.93%、1.14%和2.37%，能够检测到更多的未知意图样本，同时在类别分布极不平衡的ATIS数据集上也有较好的性能表现。     

基于姿态编码器的2D/3D脊椎医学图像实时配准方法

2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术，然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算，无法满足医生在手术过程中对于实时配准的要求。针对该问题，提出一种基于自编码器的姿态回归网络来通过隐空间解码捕获几何姿态信息，从而快速地回归出术中X射线图像对应的术前脊椎位置的3D姿态，并经过重新投影生成最终的配准图像。通过引入新的损失函数，以“粗细”结合配准的方式对模型进行约束，保证了姿态回归的精确度。在CTSpine1K脊椎数据集中抽取100组CT扫描图像进行10折交叉验证，实验结果表明：所提出的模型所生成的配准结果图像与X射线图像的平均绝对误差（MAE）为0.04，平均目标配准误差（mTRE）为1.16 mm，单帧耗时1.7 s。与基于传统优化的方法相比，该模型配准时间大幅缩短。相较于基于学习的方法，该模型在快速配准的同时，保证了较高的配准精度。可见，所提模型可以满足术中实时高精配准的要求。     

基于自编码器的冷轧带材板形数据降维方法

 为实现板带轧制过程的智能制造,对智能化的内涵进行了深入探索。针对具体问题,将无监督学习与强化学习理论用于生产实践具有重要意义。以板带轧制过程中的板形检测数据为研究对象,通过无监督学习理论中的自编码器进行板形基本模式的自动学习,从而降低板形数据的存储与传输量,实现板形分布的抽象表示,为后续板形异常检测、智能预报和智能控制奠定基础。与基于勒让德多项式模式的传统板形数据降维方法相比,此方法可显著提高板形重构精度,实现板形数据的近似无损压缩。     

Imbalanced fault diagnosis of rotating machinery using autoencoder-based SuperGraph feature learning

Existing fault diagnosis methods usually assume that there are balanced training data for every machine health state. However, the collection of fault signals is very difficult and expensive, resulting in the problem of imbalanced training dataset. It will degrade the performance of fault diagnosis methods significantly. To address this problem, an imbalanced fault diagnosis of rotating machinery using autoencoder-based SuperGraph feature learning is proposed in this paper. Unsupervised autoencoder is firstly used to compress every monitoring signal into a low-dimensional vector as the node attribute in the SuperGraph. And the edge connections in the graph depend on the relationship between signals. On the basis, graph convolution is performed on the constructed SuperGraph to achieve imbalanced training dataset fault diagnosis for rotating machinery. Comprehensive experiments are conducted on a benchmarking publicized dataset and a practical experimental platform, and the results show that the proposed method can effectively achieve rotating machinery fault diagnosis towards imbalanced training dataset through graph feature learning.     

结合马氏距离与自编码器的网络流量异常检测方法

当前网络流量数据规模较大且分布不均衡，传统网络流量异常检测方法检测准确率较低。提出一种结合马氏距离和自编码器的检测方法，使用马氏距离倒数及判别阈值快速检测部分正常数据以减少训练数据量，同时，在自编码器代价函数中添加马氏距离度量项以增强自编码器的特征提取能力。在此基础上，将自编码器与分类器相结合以解决网络参数初始化问题，并通过调整自编码神经网络交叉熵损失函数中各项的权重，提高自编码神经网络对数据分布不均衡数据集的训练效果。实验结果表明，该方法在CICIDS2017数据集、NSL-KDD数据集上的异常检测准确率分别高达97.60%、99.84%，在CICIDS2017数据集上的F1值为0.941 3，高于DNN、LSTM、C-LSTM等方法。     

融合自动权重学习的深度子空间聚类

子空间聚类算法是一种面向高维数据的聚类方法，具有独特的数据自表示方式和较高的聚类精度。传统子空间聚类算法聚焦于对输入数据构建最优相似图再进行分割，导致聚类效果高度依赖于相似图学习。自适应近邻聚类（CAN）算法改进了相似图学习过程，根据数据间的距离自适应地分配最优邻居以构建相似图和聚类结构。然而，现有CAN算法在进行高维数据非线性聚类时，难以很好地捕获局部数据结构，从而导致聚类准确性及算法泛化能力有限。提出一种融合自动权重学习与结构化信息的深度子空间聚类算法。通过自编码器将数据映射到非线性潜在空间并降维，自适应地赋予潜在特征不同的权重从而处理噪声特征，最小化自编码器的重构误差以保留数据的局部结构信息。通过CAN方法学习相似图，在潜在表示下迭代地增强各特征间的相关性，从而保留数据的全局结构信息。实验结果表明，在ORL、COIL-20、UMIST数据集上该算法的准确率分别达到0.780 1、0.874 3、0.742 1，聚类性能优于LRR、LRSC、SSC、KSSC等算法。