神经网络与领域知识结合的纳税评估预警模型

纳税评估是一项重要而复杂的工作。针对目前尚无十分有效的纳税评估预警模型的情况,提出了将神经网络和领域知识结合建立纳税评估预警模型的方法,利用基于神经网络的方法选出有涉税疑点的企业,在领域知识的指导下结合统计分析方法,解决了预警模型无疑点指向性的问题。通过建立行业的纳税评估预警模型,并进行验证分析,表明该方法是可行的。     

基于知识蒸馏的目标检测模型增量深度学习方法

随着万物互联时代的到来,具备目标检测能力的物联网设备数量呈爆炸式增长。基于此,网络边缘产生了海量的实时数据,具有低时延、低带宽成本和高安全性特点的边缘计算随之成为一种新兴的计算模式。传统的深度学习方法通常假定在模型训练前所有数据已完全具备,然而实际的边缘计算场景中大量的新数据及类别往往随时间逐渐产生和获得。为了在训练数据成批积累和更新的条件下在资源有限的边缘设备上高效率地完成目标检测任务,本文提出了基于多中间层知识蒸馏的增量学习方法（Incremental Learning method based on knowledge distillation of Multiple Intermediate Layers,ILMIL）。首先为了能够适当地保留原有数据中的知识,提出了包含多个网络中间层知识的蒸馏指标（Multi-layer Feature map、RPN and RCN Knowledge,MFRRK）。ILMIL将教师模型和学生模型的中间层特征的差异加入模型训练,相比于现有的基于知识蒸馏方法的增量学习,采用ILMIL方法训练的学生模型可以从教师模型的中间层学习到更多的旧类信息来缓解遗忘;其次ILMIL利用MFRRK蒸馏知识完成现有模型的增量训练,避免训练使用多个独立模型带来的资源开销;为进一步降低模型复杂度以高效地在边缘设备上部署推理,可在知识蒸馏前进行剪枝操作来压缩现有模型。通过在不同场景和条件下的实验对比,本文方法可在有效降低模型计算和存储开销的前提下,缓解已有知识的灾难性遗忘现象,并维持可接受的推理精度。     

忘得少，数得好：一种域增量式自蒸馏终身人群计数基准（英文）

人群计数在公共安全和流行病控制方面具有重要应用。一个鲁棒且实用的人群计数系统须能够在真实场景中不断学习持续到来的新域数据,而非仅仅拟合某一单域的数据分布。现有方法在处理多个域的数据时有一些不足之处：（1）由于来自不同域的固有数据分布之间的差异,模型在训练来自新域的图像数据后在旧域中的性能可能会变得十分有限（甚至急剧下降）,这种现象被称为灾难性遗忘;（2）由于域分布的偏移,在某一特定域数据中训练好的模型在其他未见域中通常表现不佳;（3）处理多个域的数据通常会导致存储开销的线性增长,例如混合来自所有域的数据进行训练,或者是简单地为每一个域的数据单独训练一个模型。为克服这些问题,我们探索了在域增量式训练设置下一种新的人群计数任务,即终身人群计数。它的目标是通过使用单个模型持续不断地学习新域数据以减轻灾难性遗忘并提高泛化能力。具体来说,提出一种自蒸馏学习框架作为终身人群计数的基准模型（forget less,count better,FLCB）,这有助于模型可持续地利用之前学到的有意义的知识来更好地对人数进行估计,以减少训练新数据后对旧数据的遗忘。此外,设计了一种新的定量评价指标,即归一化后向...     

组合导航软件可靠性的评估

在大规模导航软件系统中,软件评估的主要任务就是要精确地估测程序模块中存在的缺陷数.介绍了组合导航软件的评估方法和步骤,着重介绍了 JM 模型和 G-O 模型,并提出了神经网络评估软件可靠性的具体方法.对组合导航软件的特点及测试方法进行了讨论.根据软件模块测试报告,分别用 JM 模型、G-O 模型和神经网络对软件模块的缺陷数进行预测,并给出了组合导航软件3种模型的评估质量的比较.结果表明:神经网络方法优于传统模型方法.     

基于RBF网络的二手房价格评估

为了反映评估过程的非线性,合理确定二手房价格,通过分析传统评估方法的不足,提出了基于径向基函数(RBF)神经网络的二手房价格评估模型.模型包括数据库、输入、筛选、学习、测试、评估、输出、知识库8个模块.利用该模型对杭州市二手房市场进行了实证分析,网络测试取得了良好的结果,证明了基于RBF网络的二手房价格评估方法的实用性和有效性.     

基于空间信息格网与 BP神经网络的灾损快速评估系统

针对传统洪灾损失评估中存在的问题,建立了基于空间信息格网与BP神经网络的灾损快速评估系统.首先,利用Arc GIS空间分析技术提取洪灾区域,用信息格网技术将受灾区域格网化,分类提取不同受灾地类的受灾面积、淹没深度;其次,实地采集数据,构建受灾样本数据库;然后,建立基于空间信息格网与BP神经网络的灾损快速评估模型,并将评估模型使用程序编码的方式实现;最后,利用基于模型开发的评估系统针对某县受灾区域进行了洪灾经济损失的评估计算,结果表明,基于该模型方法计算结果与洪灾损失统计值相差不大,说明基于空间信息格网与BP神经网络的灾损快速评估系统具有一定的可靠性.     

基于任务类知识需求模板和用户模型的知识需求研究

为了解决企业知识共享和再利用过程中遇到的困难,首先利用ontology将异构知识源进行有效的集成,给出了基于ontology的异构知识源集成框架.然后利用任务类知识需求模板和用户模型的相互作用,建立了用户知识需求模型,实现知识的自动供给,为企业员工提供个性化服务.还给出了任务类知识需求模板和用户模型的自学习算法.最后给出了一个验证实例.     

基于知识增强的图卷积神经网络的文本分类

针对文本分类问题,提出新的基于知识增强的图卷积神经网络（KEGCN）分类模型. KEGCN模型在整个文本集上构建了一个包含单词节点、文档节点、外部实体节点的文本图,不同类型节点之间使用不同的相似性计算方法;在文本图构建完成后将其输入到2层图卷积网络中学习节点的表示并进行分类. KEGCN模型引入外部知识进行构图,捕获长距离不连续的全局语义信息,是第1个将知识信息引入图卷积网络进行分类任务的工作. 在4个大规模真实数据集20NG、OHSUMED、R52、R8上进行文本分类实验,结果表明,KEGCN模型的分类准确率优于所有的基线模型. 将知识信息融入图卷积神经网络有利于学习到更精准的文本表示,提高文本分类的准确率.     

基于Agent的e-learning评估导学系统

在e-learning研究中,如何评估学生的学习状况并提供相应的学习指导是一个重要的问题.目前,已提出了很多评估策略.本文提出了基于贝叶斯网络的学生模型,以此来评估学生的知识水平.该学生模型是基于知识点中的各种依赖关系构建的.同时,本文利用agent的智能性,实现了基于agent的智能评估,通过评估agent和跟踪agent对学生信息进行分析,由指导者agent给出学生的个性化学习指导.     

基于改进的LSTM深度神经网络语音识别研究

当前基于LSTM结构的神经网络语言模型中,在隐藏层引入了LSTM结构单元,这种结构单元包含一个信息储存较久的存储单元,对历史信息有良好的记忆功能.但LSTM中当前输入信息的状态不能影响到输出门最后的输出信息,对历史信息的获取较少.针对以上问题,笔者提出了基于改进的LSTM(long short-term memory)网络模型建模方法,该模型增加从当前输入门到输出门的连接,同时将遗忘门和输入门合成一个单一的更新门.信息通过输入门和遗忘门将过去与现在的记忆进行合并,可以选择遗忘之前累积的信息,使得改进的LSTM模型可以学到长时期的历史信息,解决了标准LSTM方法的缺点,具有更强的鲁棒性.采用基于改进的LSTM结构的神经网络语言模型,在TIMIT数据集上进行模型测试,结果表明,改进的LSTM识别错误率较标准的LSTM识别错误率降低了5%.