面向神经机器翻译的模型存储压缩方法分析

模型存储压缩,旨在在不改变模型性能的同时,大幅度降低神经网络中过多的模型参数带来的存储空间浪费。研究人员对于模型存储压缩方法的研究大多数在计算机视觉任务上,缺乏对机器翻译模型压缩方法的研究。该文在机器翻译任务上通过实验对比剪枝、量化、低精度三种模型压缩方法在Transformer和RNN(recurrent neural network)两种模型上的模型压缩效果,最终使用剪枝、量化、低精度三种方法的组合方法可在不损失原有模型性能的前提下在Transformer和RNN模型上分别达到5.8×和11.7×的压缩率。同时,该文还针对三种模型压缩方法在不同模型上的优缺点进行了分析。     

一种改进的短文本流主题演化模型

在线主题模型基于先时间离散后主题建模的思想,存在文本流切分带来的模型无法平滑过渡的问题,同时时间片大小的选择对在线话题的抽取质量影响显著。提出了一种新的在线短文本流主题演化模型Online-BTOT。模型在遗传计算方法上进行了改良,不仅考虑时间片上的总体主题强度对遗传权重的影响,也将时间片上主题强度的变化纳入先验参数的计算中。同时,为了得到主题强度在时间片上的连续变化和克服短文本的稀疏性,在单时间片上结合了TOT模型和BTM模型。通过在微博短文本语料上与OLDA模型和OBTM模型的对比实验,证明Online-BTOT模型能够有效地分析在线短文本流的主题演化。     

基于正则线性模型的马尔科夫边学习算法

已被证明修改的岭回归模型(MRRLM)在满足一定条件下可以发现目标变量的马尔科夫边的子集。但由于该模型引入协方差矩阵,导致在有变量共线的数据集上无法求解。为克服MRRLM缺陷寻找合适的替代模型,以实证的方式结合置换检验方法研究MRRLM与其他正则线性模型马尔科夫边发现效率之间的关系,并研究新的变种岭回岭模型(NVRRLM)在数据集上的适用性规律。实验结果表明:在低维连续数据集上,MRRLM马尔科夫边子集的发现效率远高于岭回归模型,但与拉索模型和弹性网络模型基本相近;在低维二值离散数据集上,MRRLM与岭回归模型、拉索模型和弹性网络模型的马尔科夫边的子集发现效率基本相近;NVRRLM完全可以用于变量共线数据集上马尔科夫边的子集发现。实验结果为解决低维变量共线数据集上选择合适的MRRLM替代模型提供了依据。     

BLP模型的改进及在Linux系统中的实现

对BLP模型的完整性进行了改进,通过在主体安全标签上增加了一个动态完整性评估标记．根据该标记将用户的“上写”区域进行限制．对于可信性高的用户进程给予“完全上写”权限,对于可信性一般的用户进程给予“就近上写”权限．对于可信性差的用户进程剥夺其“上写”权限。对于改进模型的安全性和可用性．一方面对其机密性和完整性进行了理论上的分析,另一方面,将改进模型的主要策略放在Linux的LSM安全框架中进行了简单的实现和验证。经过对改进模型的安全性分析和模型策略在Linux系统的简单实现和验证．证明该模型具有很好的安全性和可用性。     

基于循环神经网络的计算机辅助翻译系统设计

深度学习算法使得多语言智能翻译成为可能。但现有神经网络机器翻译模型使用了定长切分方式处理长句，这使得语义信息容易遗漏。为此，研究基于多层注意力机制和多跳注意力机制以及动态词向量和动态掩膜注意力机制对现有BiLSTM模型进行优化，旨在建立一种有效且准确的机器翻译模型。结果显示，研究所提模型在BLEU指标上比没有引入注意力机制的模型提高了3.4,比引入多头注意力机制的模型提高了1.5,比引入多跳注意力机制的模型提高了2.2。在P-BLEU指标最大值上，研究所提模型比基于静态掩码注意力机制的模型提高了0.71。此外，研究所提模型在正确匹配率上，比改进RNN和TermMind分别提高了9.66%和3.92%。因此，这表明优化后的模型在翻译准确性以及多样性上具备优势。     

结合Transformer的轻量化中文语音识别

近年来,深度神经网络模型在语音识别领域成为热门研究对象。然而,深层神经网络的构建依赖庞大的参数和计算开销,过大的模型体积也增加了其在边缘设备上部署的难度。针对上述问题,提出了基于Transformer的轻量化语音识别模型。首先使用深度可分离卷积获得音频特征信息;其次构建了双半步剩余权重前馈神经网络,即Macaron-Net结构,并引入低秩矩阵分解,实现了模型压缩;最后使用稀疏注意力机制,提升了模型的训练速度和解码速度。为了验证模型,在Aishell-1和aidatatang_200zh数据集上进行了测试。实验结果显示,所提模型与Open-Transformer相比,所提模型在字错误率上相对下降了19.8%,在实时率上相对下降了32.1%。     

主题模型在短文本上的应用研究

针对短文本上以LDA为主的传统主题模型易受特征稀疏、噪声以及冗余影响的问题,首先梳理了文本特征表示法的变化以及短文本上主题模型的发展现状,并系统地总结了LDA模型和狄利克雷多项混合模型(DMM)各自的生成过程和相应的吉布斯采样参数推导。关于主题模型最优主题数,选取常见的4种优化指标进行了详细的对比说明。最后分析了近2年主题模型的扩展研究和其在网络舆情上的简单应用,并以此指明了未来主题模型的研究方向和侧重点。     

一个基于模式的XML存储模型

XML基于半结构化数据模型,而半结构化数据很难统一存储和管理。文章提出了一个基于模式的XML存储模型SBSM,并定义了如何在该模型上进行相关的操作,该模型克服了对象-关系映射模型的局限性,并支持直接在模型上进行查询操作。     

基于RBF 神经网络集成的三维模型分类和检索

针对单个神经网络难以对复杂的三维模型特征空间有足够的优化能力和泛 化能力的问题,用Boosting 方法变种和基于粒子群训练的RBF 神经网络,形成特征空间对 应的多个神经网络,然后将神经网络集成,给出三维模型的分类信息。在三维模型检索时, 将神经网络集成输出的分类信息和特征空间上的距离信息进行加权计算,得到三维模型之间 的相似度。实验结果表明,基于RBF 神经网络集成的分类方法能有效提高三维模型的分类 准确率;同时,考虑特征空间上模型间的距离和语义分类层次上模型间的距离,能够大大提 高三维模型的检索精度。     

基于上下文无关文法的可逆变换模型

可逆变换和双向变换等数据转换问题一直是近年来的研究热点,研究人员针对该问题提出了大量相关的语言和模型。但是,这些实现往往建立在一种新的计算模型上,从而导致需要花费较大的学习成本去了解计算模型。另一方面,作为语法解析的基本工具,上下文无关文法对于绝大多数程序员来说都是不陌生的。提出了一种基于上下文无关文法的计算模型,用来构造字符串上的可逆变换,并对其性质和表达能力进行了探讨。采用Scheme语言实现了该计算模型,并通过在MIPS指令集上进行汇编和反汇编开发验证了该模型。验证结果表明,该模型具有较强的表达能力,在添加小型的公共数值变换模块后,可以完整地实现MIPS指令集上的汇编和反汇编。     

基于覆盖的粗糙集模型比较

通过分别比较各模型的上近似、下近似以及近似精度,系统地分析了6种基于覆盖的粗糙集模型。得到3条结论:首先,在6种覆盖上近似之间,第2种覆盖上近似最大,并且除了第3种和第4种覆盖上近似之间是不可比较的之外,前5种覆盖上近似集间均有包含关系;其次,两种覆盖下近似间存在包含关系;第三,在6种模型的近似精度之间,第2种模型是最低的,而第5种模型除了和第6种模型不可比较之外其具有最高的近似精度。通过多个实例,验证了所有结论的正确性。这种对不同粗糙集模型的对比研究为深入理解这些模型提供了帮助,并且为不同应用场合模型的选择提供了参考依据。     

基于MapReduce的并行石漠化CA模型

针对石漠化演化模拟预测CA模型在单机上训练和运行时间较长的问题。给出了MapReduce编程模型实现的并行化石漠化CA模型,并在用普通PC搭建的Hadoop集群上进行研究实验。实验结果表明,在Hadoop集群上实现的MapReduce并行化石漠化CA模型具有较好的加速比。     

对传过程神经元网络及其应用研究

基于传统对传神经元网络在时域上推广,构造出对传过程神经元网络模型,并对对传过程神经元网络模型及其学习算法进行研究。最后将对传过程神经元网络模型应用到油层水淹识别实例上,模拟仿真结果表明了模型和算法的有效性。     

两个域上的覆盖粗糙集模型

两个域上的覆盖粗糙集模型推广了一般关系下的粗糙集模型,定义了两个域上的覆盖二元关系,给出了最小子覆盖新的描述,进而得到两个域上基于最小子覆盖的粗糙集近似算子;给出了若干性质和定理的证明;通过与两个域上的粗糙集模型进行实例对比得出了两个域上的覆盖粗糙集模型的优点。     

混合PLS特征提取和CVM的异常入侵检测研究

为提高异常入侵检测的效率,提出一种混合偏最小二乘特征提取和核心向量机算法的入侵检测模型。模型使用偏最小二乘算法在入侵数据集上进行主成分提取,在此基础上构建特征集,引入适用于解决大规模样本训练问题的核心向量机算法,在特征集上建立入侵检测模型,使用该模型对异常入侵行为进行检测和判断。通过基于KDD99数据集上的入侵检测实验,验证了混合模型的可行性和有效性。     

基于深度卷积神经网络的脑电信号情感识别

为了点对点自动学习脑电信号（Electroencephalogram,EEG）空间与时间维度上的情感相关特征,提高脑电信号情感识别的准确率,基于DEAP数据集中EEG信号的时域、频域特征及其组合特征,提出一种基于卷积神经网络（Convolution Neural Network,CNN）模型的EEG情感特征学习与分类算法。采用包括集成决策树、支持向量机、线性判别分析和贝叶斯线性判别分析算法在内的浅层机器学习模型与CNN深度学习模型对DEAP数据集进行效价和唤醒度两个维度上的情感分类实验。实验结果表明,在效价和唤醒度两个维度上,深度CNN模型在时域和频域组合特征上均取得了目前最好的两类识别性能,在效价维度上比最佳的传统分类器集成决策树模型提高了3.58%,在唤醒度上比集成决策树模型的最好性能提高了3.29%。     

基于序列标注的中文分词、词性标注模型比较分析

该文对三种不同的分词词性标注模型进行了比较。这三种模型分别为一个序列标注串行模型,一个基于字分类的联合模型和一个将这两种模型使用Stacked Learning框架进行集成的融合模型。通过在《人民日报》、CoNLL09、CTB5.0和CTB7.0四个数据集上进行比较分析,最终实验结果表明分类联合模型能取得比较好的速度,融合模型能取得比较好的准确率,而普通串行模型处于速度和准确率的平衡位置。最后该文将准确率最好的融合模型和相关前沿工作在CTB5.0和CTB7.0上进行了对比, 该融合模型均取得了最好的结果。     

面向不完备信息系统的基于上α优势关系的粗集模型

在属性具有偏好关系的不完备目标信息系统中,在对已有模型的两种优势关系分析研究的基础上,提出一种上α优势关系。引入抗噪因子β,建立序不完备目标系统中基于上α优势关系的粗糙集模型,同时对构造的上α模型进行相关的性质分析和证明,结果显示了模型的可用性与实用性。     

实体驱动的双向LSTM篇章连贯性建模

篇章连贯性建模是自然语言处理研究领域的一个基础问题。主流的篇章连贯性模型分为两大类,分别是基于实体网格的连贯性模型和基于神经网络的篇章连贯性模型。其中,基于实体网格的篇章连贯性模型需要进行特征提取,而基于深度学习的模型没有充分考虑篇章中句子间的实体链接对连贯性建模的重要作用。基于此,该文首先抽取篇章中相邻句子的实体信息,将其进行分布式表示,然后将此信息通过多种简单且有效的向量操作融合至句子级的双向LSTM深度学习模型之中。在汉语和英语篇章语料上的句子排序和中英文机器翻译连贯性检测两种任务上的实验表明该文提出的模型性能和现有模型相比有所提升,尤其在中文上有显著提升。     

一种新型的编程模型——CAR事件编程模型

“和欣”操作系统是一个新型的面向构件的操作系统,其上的运行时环境被称之为CAR(CarefreeApplicationRuntime)。在CAR上开创了一种新型的事件编程模型。该文详细介绍了这种事件编程模型,并与传统的Windows消息模型和现有的其他几种事件模型作了比较,指出CAR事件编程模型在现代大型网络应用中的优势。