基于BERT模型的多任务法律案件智能判决方法

近年来以深度学习和自然语言处理为代表的人工智能技术取得巨大突破,推动了司法智能化方法的发展。目前深度神经网络技术在法律审判领域应用受到广泛关注和发展.本文以BERT模型为基础,采用自然语言处理技术对于法律陈述事实文本进行学习,实现模型对于法律案例的智能分析能力.在模型中充分利用多层次的多头自注意力机制,从多个特征维度进一步理解了法律文本的语义信息,完成了罪名预测、法律条款推荐、刑期预测多个司法智能预测功能.通过智能司法判决的多任务学习,深入挖掘了各个子任务之间的相关性,提升了法律文本特征的提取能力,从而模型能够实现更好的泛化效果.使用公开数据集进行对比实验,验证了该方法的优异性能.     

基于注意力机制和双通道神经网络的文本情感分析

深度学习网络对文本情感分析具有重要意义,通过神经网络可以深层次挖掘文本信息,捕获文本情感。针对单模型神经网络结构单一、无法充分提取文本特征的问题,首先提出一种融合注意力机制的双通道复合神经网络(Attention-DRNN),在嵌入层利用word2vec方法进行层嵌入,融入注意力机制对输入词向量进行动态加权。其次,采用双通道结构,利用Text-CNN提取文本局部特征、Bi-LSTM提取文本全局特征,并进行特征融合。然后,通过softmax分类器进行分类。最后,在两个标准数据集上进行测试,通过与LSTM、Bi-LSTM、RNN、Text-CNN单模型神经网络进行对比实验。实验表明Attention-DRNN网络在情感分类任务上具有较好的效果。     

基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题.采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度.该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神经网络(CNN)模型的优势获取多领域文本间的相关性、文本长期依赖关系、提取文本的局部特征.基于多领域文本分类数据集进行丰富的实验,该文提出的循环卷积多任务学习模型(MTL-LC)不同领域的文本分类平均准确率达到90.1％,比单任务学习模型循环卷积单任务学习模型(STL-LC)提升了6.5％,与当前热门的多任务学习模型完全共享多任务学习模型(FS-MTL)、对抗多任务学习模型(ASP-MTL)、间接交流多任务学习框架(IC-MTL)相比分别提升了5.4％,?4％和2.8％.     

基于深度卷积神经网络的交通流量预测数学模型设计

精确的交通流量预测是实现未来智能交通的关键技术。神经网络模型在该领域的预测方面具有一定的优势。因此,为了提高预测精度,设计一种基于深度卷积神经网络的交通流量预测数学模型。首先,对交通流量数据的预处理方法进行分析,然后结合特征训练过程和卷积神经网络构建深度神经网络结构,并给出深度神经网络的配置参数。利用美国明尼苏达大学UMD分校的交通流数据集进行仿真实验,结果表明,提出的模型可以对短时交通全局趋势进行预测,并具有较好的稳定性和预测精度。     

基于语义融合的文本相似度算法研究

针对在传统语义融合的文本相似度算法设计与实现中由于汉语语义复杂存在容易形成局部极小值而得不到全局最优、训练次数较多、学习效率降低、隐节点的选取缺乏理论依据等问题,提出一种改进算法。首先在把握文本相似度算法内涵和分类情况的基础上,通过调整数字识别方向、选取合适的数据来源,依据图像识别技术和算法深度学习的共性需求,从语义融合角度提出以核心词为节点进行文本相似度计算;然后通过多特征融合向量空间模型对特征项的类间分布问题进行分析,最终通过加权计算得到文本相似度。从算法实现效果来看,相较于传统算法能够获得更高文本分类准确度,改进基于文本相似度算法的语言处理技术更加高效、准确。     

基于改进的BERT-CNN模型的新闻文本分类研究

语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等.为了区分出在新闻文本领域处理效果最佳的文本分类模型,基于新闻文本任务数据对来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)进行微调,再将BERT作为embedding输入到其他深度学习模型中,最后对比目前几个深度学习模型的训练效果.实验结果表明,BERT-CNN模型分类效果最佳,其准确率比原BERT模型的准确率多了0.31％,且更为稳定.     

基于深度学习的银行卡交易反欺诈技术研究

银行卡交易的反欺诈技术旨在检测出欺诈风险较高的交易,通常采用神经网络进行反欺诈预防.传统神经网络只有一层隐藏层节点,对复杂多变的欺诈特征泛化能力较差.为提高欺诈交易预测的准确度,将深度信念网络模型应用到银行卡交易反欺诈中.构建了一个五层的深度信念网络模型,逐层训练并反向调优后获取到欺诈交易的特征,并通过分类器对交易进行分类.实验表明深度学习模型在银行卡交易欺诈预测方面比传统神经网络具有更高的准确性.     

融合注意力机制与神经网络的三维点云分类算法

为了提高三维点云格式的样本分类准确率,将注意力机制与改进后的Pointnet网络相融合,对提取到的局部特征和全局特征进行加权获得对分类任务更加有效的特征,抑制相对无效的特征.该模型首先使用Pointnet网络作为基础架构对点云样本中每一个点进行全局特征的获取,使用k近邻方法为均匀采样得到的中心点选取k个相邻点,对该点到其他相邻点的关系进行建模,作为区域的局部特征.其次,使用squeeze＿excitation＿network中的SE＿block模块完成特征通道间的权重分配,为改进后的Pointnet网络加入注意力机制,使其能够提取出更加精细且更具有分辨能力的特征.最后,通过混合池化层进行聚合,混合池化由最大池化和平均池化按照不同的比例融合,文章实验部分对于比例系数的影响进行了展示.在保证与Pointnet实验环境设置相同的情况下,该模型在Modelnet40数据集上的三维物体分类结果相比Pointnet取得了4.1%的准确率的提升.实验表明,文章提出的融合注意力与神经网络结合的模型能够得到更有区分度的样本特征,从而有效的提高了三维点云物体的分类准确率.     

结合局部二值模式和卷积神经网络的人脸美丽预测

卷积神经网络(Convolution Neural Network,CNN)用于人脸美丽预测,能学习到深层次的特征表达,但提取的是全局特征,忽略了人脸的局部信息,因此,泛化能力不强。为此,本文提出一种结合局部二值模式(Local binary pattern , LBP)和卷积神经网络的人脸美丽预测算法。首先,利用数据增强技术扩大数据库规模;其次,将LBP纹理图像和原始灰度图像进行通道融合;再采用1×1卷积操作进行通道特征图的线性组合,从而实现网络跨通道的信息整合,提升人脸美丽预测精度。基于大规模亚洲女性人脸美丽数据库(Large Scale Asian Female Beauty Database, LSAFBD)的实验结果表明,该算法在分类和回归预测中均取得了较好效果,优于其他模型的人脸美丽预测算法;表明在卷积神经网络中加入纹理图像能有效提升人脸美丽预测精度。      

深度学习在城市交通流预测中的实践研究

短时交通流状态预测对于实现城市智能交通系统至关重要。在过去,很多神经网络模型被提出来用以预测交通流,但是效果并不是很显著。究其原因,是因为大多数都是利用浅层模型在学习,浅层模型由于容易陷入局部极值而且不能模拟更复杂的数学运算,所以并不适合于模拟现实的交通状况。深度学习作为机器学习的新兴学科,在语音与图像处理方面取得了显著的成效,它能够非监督地从数据中学习出有效的特征用以预测,故在此利用深度学习进行建模用以城市主干道交通流预测。实验表明,模型取得了不错的交通流预测效果。