融合法律文本结构信息的刑事案件判决预测

近年来,法律领域的智能化引起了学界的广泛关注。选取法律领域中十分重要的法律判决预测任务作为研究重点,法律判决预测包含推荐相关法条、定罪和刑期预测等三个子任务。随着深度学习在各个领域的广泛应用,一些研究者将深度学习方法引入法律判决预测任务并取得了较好的效果。现有基于深度学习的法律判决预测方法通常是通过构建案情描述和法条之间的注意力来提升模型预测能力,或者利用三个法律判决预测子任务间的关系来提升整体的性能。但是这些工作未考虑法律文本中的多层层次化信息,如刑法第三百九十七条包含职务侵占罪和玩忽职守罪,其法条大类是渎职罪,并且每个罪行有不同的刑期。针对该问题,考虑引入法律文本的多层层次化信息用于法律判决预测任务。具体来说,对法律文本的多层结构信息进行预处理,并利用协同注意力机制将法条的多层信息融入到案情描述中,得到每个子任务的融合不同层次的法律信息的案情描述表示,从而提升司法判决预测任务的性能。在真实的法律判决预测任务公开的数据集上进行了实验,结果显示提出的融合法律文本多层结构信息的模型在法律判决预测任务上优于当前最好的模型。对法律智能化的未来和发展进行了展望。     

基于改进MobileNetV2的恶意代码分类方法

针对传统恶意代码分类方法存在的精度不足、预测时间成本高和抗混淆能力弱等问题，提出一种基于改进MobileNetV2的恶意代码分类方法。首先，针对恶意代码加密和混淆等问题，使用坐标注意力（CA）方法引入更大范围的空间位置来增强恶意代码图像的特征；然后，针对从头开始训练导致的训练成本过高的问题，使用迁移学习（TL）来改进MobileNetV2的学习方式以提升抗混淆能力；最后，针对传统深度学习网络计算量大和收敛慢的问题，使用MobileNetV2轻量化卷积网络模型，并结合Ranger21改进训练方式以促进网络迅速收敛。实验结果表明：上述方法对Malimg数据集和DataCon数据集的准确率分别达到了99.26%和96.98%。在malimg数据集相较于AlexNet方法在准确率上平均提升了1.49%，检测效率上平均提升了45.31%；在DataCon数据集相较于集成学习方法准确率平均提升了1.14%。可见，基于改进MobileNetV2的恶意代码分类方法可以提升模型的泛化能力、抗混淆能力与分类效率。     

基于多任务学习的多模态命名实体识别方法

针对传统多模态命名实体识别方法无法有效融合图文模态信息且不能区分易混淆实体等问题，提出一种基于多任务学习的多模态命名实体识别方法，通过对比融合辅助任务促进图文模态信息的融合，通过实体聚类辅助任务提升模型对易混淆实体的判断能力。利用BERT预训练语言模型和ResNet模型分别对原始文本和图片进行特征映射获得相应的特征向量，并利用跨模态Transformer结构融合图文模态信息。在多模态命名实体识别任务基础上，增加对比融合辅助任务促进图文模态信息融合，增加实体聚类辅助任务学习实体类别之间的差异，提升模型对易混淆实体的区分能力。最后，利用条件随机场层学习上下文转移概率，并输出最优预测结果。实验结果显示，在国际公开数据集Twitter-2017上，所提方法相较于基线方法取得了更高的准确率、召回率和F1值，其中F1值可达85.59%，表明对比融合辅助任务和实体聚类辅助任务能够促进模型对实体的识别效果。     

基于分层数据筛选的跨项目缺陷预测方法

跨项目缺陷预测旨在解决传统的项目内缺陷预测的历史数据缺失,新项目初期缺乏训练数据等实际问题。然而,在跨项目缺陷预测中,不同项目之间以及实例之间的数据分布差异降低了其预测性能。针对这一问题,提出了基于分层数据筛选的跨项目缺陷预测方法。该方法将训练数据的筛选过程分为项目层筛选和实例层筛选,从源数据集中选出与目标项目数据分布最接近的候选项目集,在候选项目集中选出与目标项目中实例相似度较高的训练数据集,最后在训练数据集上训练朴素贝叶斯模型。在PROMISE数据集进行实验对比。结果表明,与项目内缺陷预测比较,提出的分层数据筛选方法优于项目内缺陷预测,并且有效降低了训练数据和目标项目数据之间的差异性。     

基于混合注意力神经网络的表情识别

针对人脸表情识别研究中存在的表情类间差异小而导致的表情易混淆的问题,提出了一种改进模型。通过在残差网络的基础上引入混合注意力机制,强化模型对表情局部特征的关注,通过引入Focal Loss强化模型对复杂表情的学习,引入Center Loss帮助模型过滤出显著特征。实验表明,该方法在公开人脸表情数据集RER2013上的识别准确率为73.74%。     

基于k近邻的多尺度超球卷积神经网络学习

以卷积神经网络（CNN）为代表的深度学习模型主要面向图像、语音等均匀采样的同质欧氏空间数据,通常不适用于大量存在于工业等领域的异质、非均匀稀疏采样的结构化数据。针对异质、非均匀稀疏采样结构化数据集的预测任务,提出一种基于k近邻（kNN）算法和CNN的超球卷积神经网络学习模型。通过kNN预处理建立各样本在高维属性空间中的结构关系,将样本邻域内各样本的标记作为其属性重构样本集合,实现数据属性集从异质到同质的转化,进而通过合理设计CNN的卷积窗,有效提取和利用各样本的邻域空间中样本的标记分布特征,完成对未知样本的预测。在不同邻域尺度、软硬标记以及混淆非混淆等条件下进行实验,结果表明,该模型预测准确率达到98.04%,其准确率和召回率较FC-CNN、CNN、kNN和Radar-CNN算法分别提升0.28%~1.66%和4.78%~31.92%。     

基于多任务学习的机票价格预测模型

针对现有机票销售模型忽视不同票价等级需求问题，考虑到机票需求的影响，提出一种多任务学习模型预测机票价格。在机票价格预测中引入辅助任务机票需求预测，建立多任务学习网络，通过共享相关任务在日、周、半月、月等水平上的多尺度需求特征，分析不同周期需求特征的影响。在六千万条记录的真实数据集上的实验结果表明，较之基准算法，该模型在准确率和F1分数方面提高了将近6%,验证了多任务学习模型的有效性。     

基于深度自编码网络的软件缺陷预测方法

软件缺陷预测是提升软件质量的有效方法,而软件缺陷预测方法的预测效果与数据集自身的特点有着密切的相关性。针对软件缺陷预测中数据集特征信息冗余、维度过大的问题,结合深度学习对数据特征强大的学习能力,提出了一种基于深度自编码网络的软件缺陷预测方法。该方法首先使用一种基于无监督学习的采样方法对6个开源项目数据集进行采样,解决了数据集中类不平衡问题;然后训练出一个深度自编码网络模型。该模型能对数据集进行特征降维,模型的最后使用了三种分类器进行连接,该模型使用降维后的训练集训练分类器,最后用测试集进行预测。实验结果表明,该方法在维数较大、特征信息冗余的数据集上的预测性能要优于基准的软件缺陷预测模型和基于现有的特征提取方法的软件缺陷预测模型,并且适用于不同分类算法。     

基于时空残差网络的区域客流量预测方法

针对区域客流量波动性强、复杂非线性的特征,易受到季节性影响,并且单一神经网络模型无法同时学习时间与空间相关性问题,通过对区域客流量影响因素分析,结合残差网络和全连接网络,提出了用于区域客流量预测的改进Quad-ResNet模型。Quad-ResNet模型融合了四个残差网络和一个全连接网络,该模型通过深层次的卷积学习空间相关性,结合四个残差网络学习时间邻近性、相似性、周期性、趋势性,使用全连接网络学习季节性影响。将Quad-ResNet模型与LSTM、CNN、ST-ResNet模型在同一数据集上进行区域客流量预测对比实验,实验结果表明,Quad-ResNet模型误差小于其他对比模型,而且在训练和预测的操作上明显比LSTM模型更简便,更适用于区域客流量预测。     

改进动态分层资源索引自主混淆云计算模型

在多媒体资源索引中,需要构建云计算模型实现资源索引优化调配和共享,由于多媒体资源云计算索引中进行梯度边缘匹配引起自主混淆,影响多媒体图像的索引准确度。在传统的连续纹理虚化反混淆云计算模型的基础上,进行改进,在资源索引模板匹配过程中引入动态分层策略,提出一种改进的动态分层资源索引自主混淆云计算模型,设计优化的量子群多媒体资源动态分层预测算法,计算多媒体资源信息索引序列的平局动态分层互信息量,通过搜索图像微细特征点的非零特征值计算,得到动态分层云计算模型统云数据在资源信息索引时的量子群聚类响应系统,实现动态分层资源索引与自主混淆云计算模型构建。仿真实验表明,有效实现对多媒体资源的动态分层特征提取,去除在云计算中产生的混淆特征,提高云计算多媒体图像资源索引的准确度,执行效率优越传统的云计算方法。     

基于深度学习和迁移学习的领域自适应中文分词

为了提高专业领域中文分词性能,以及弥补专业领域大规模标注语料难以获取的不足,该文提出基于深度学习以及迁移学习的领域自适应分词方法。首先,构建包含词典特征的基于深度学习的双向长短期记忆条件随机场(BI-LSTM-CRF)分词模型,在通用领域分词语料上训练得到模型参数;接着,以建设工程法律领域文本作为小规模分词训练语料,对通用领域语料的BI-LSTM-CRF分词模型进行参数微调,同时在模型的词典特征中加入领域词典。实验结果表明,迁移学习减少领域分词模型的迭代次数,同时,与通用领域的BI-LSTM-CRF模型相比,该文提出的分词方法在工程法律领域的分词结果F1值提高了7.02%,与预测时加入领域词典的BI-LSTM-CRF模型相比,分词结果的F1值提高了4.22%。该文提出的分词模型可以减少分词的领域训练语料的标注,同时实现分词模型跨领域的迁移。     

Anticipation-Based Temporal Sequences Learning in Hierarchical Structure

Temporal sequence learning is one of the most critical components for human intelligence. In this paper, a novel hierarchical structure for complex temporal sequence learning is proposed. Hierarchical organization, a prediction mechanism, and one-shot learning characterize the model. In the lowest level of the hierarchy, we use a modified Hebbian learning mechanism for pattern recognition. Our model employs both active 0 and active 1 sensory inputs. A winner-take-all (WTA) mechanism is used to select active neurons that become the input for sequence learning at higher hierarchical levels. Prediction is an essential element of our temporal sequence learning model. By correct prediction, the machine indicates it knows the current sequence and does not require additional learning. When the prediction is incorrect, one-shot learning is executed and the machine learns the new input sequence as soon as the sequence is completed. A four-level hierarchical structure that isolates letters, words, sentences, and strophes is used in this paper to illustrate the model     

一种HRG模型初始化算法及在链路预测中的应用

在利用层次随机图（HRG）模型对真实网络进行链路预测的过程中,需要构造一个初始层次随机图来初始化马尔科夫链以运行马尔科夫链蒙特卡洛抽样算法。针对现有的层次随机图初始化方案效率不高的问题,本文对初始层次随机图模型进行重建,提出一种新的层次随机图模型初始化算法。该算法分为2个阶段,第一阶段引入相似性指标（LHN-I指标）为网络中的边进行排序;第二阶段利用排序好的边对层次随机图模型进行构造。在该过程中,设计一种将网络顶点插入到层次随机图模型中的方法。通过3个实例网络对提出的算法与现有算法的性能进行比较,实验结果表明,利用提出的初始化算法构造出的初始层次随机图不仅有着较高的似然值,而且使得马尔科夫链蒙特卡洛算法能够更快地收敛,进而降低链路预测的时间消耗。除此之外,在链路预测实验中,改进的基于层次随机图模型的链路预测算法相比一些基于相似性指标的链路预测算法有着较好的预测精度。     

融入案件辅助句的低频和易混淆罪名预测

由于低频罪名数据量较少和易混淆罪名案情描述相似等原因，导致低频和易混淆罪名预测效果不佳.为了解决此类问题，通过构建案件辅助句，提出一种基于双向互注意力机制的案件辅助句融合方法，实现罪名预测.主要包括以下3部分：首先，基于司法领域知识构建案件辅助句，将案件辅助句作为案情描述和罪名之间的映射知识；然后，基于词级和字符级表征分别提取案情描述与案件辅助句多粒度特征；同时，借助案件辅助句与案情描述双向注意机制，获得具有辅助句倾向性的案情描述表征，并最终实现低频和易混淆罪名的预测.基于中国刑事案件公共数据集的实验结果表明：所提方法在F1值最大提升13.2%，准确率最大提升4.5%，低频罪名预测F1值提升4.3%，易混淆罪名预测F1值提升8.2%，所提算法显著地提升了低频和易混淆罪名的预测性能.     

分层特征模板筛选的维吾尔语韵律边界预测

韵律边界的正确预测是连续语音合成系统中首要解决的关键问题。针对维吾尔语分层韵律结构,通过基于条件随机场（CRF）的分层自底向上方法预测了维吾尔语的韵律词和韵律短语边界,并将维吾尔语形态特征作为韵律边界预测模型的重要特征。根据不同韵律边界层次的特点,对分层韵律边界预测方法进行了改进,针对分层方法的不同层次进行独立特征模板筛选,从而进一步提高韵律边界预测性能。通过对不同的特征模板和不同韵律边界预测模型进行反复实验,得到了最好的预测性能。实验结果表明,该方法明显提高了韵律边界预测结果。     

MSML-BERT模型的层级多标签文本分类方法研究

层级多标签文本分类相比普通的多标签文本分类更具有挑战性,因为文本的多个标签组织成树状的层次结构。当前方法使用相同的模型结构来预测不同层级的标签,忽略了它们之间的差异性和多样性。并且没有充分地建模层级依赖关系,造成各层级标签尤其是下层长尾标签的预测性能差,且会导致标签不一致性问题。为了解决以上问题,将多任务学习架构引入,提出了MSML-BERT模型。该模型将标签结构中每一层的标签分类网络视为一个学习任务,通过任务间知识的共享和传递,提高各层级任务的性能。基于此,设计了多尺度特征抽取模块,用于捕捉不同尺度和粒度的特征以形成不同层级需要的各种知识。进一步,设计了多层级信息传播模块,用于充分建模层级依赖,在不同层级之间传递知识,以帮助下层任务。在该模块中,设计了层次化门控机制,为了过滤不同层级任务之间的知识流动。在RCV1-V2、NYT和WOS数据集上进行了充分的实验,结果显示该模型的总体表现尤其是在下层长尾标签上的表现超过了其他主流模型,并且能维持较低的标签不一致比率。     

一种预测流程剩余时间的可解释特征分层方法

流程剩余时间预测对于业务异常的预防和干预有着重要的价值和意义.现有的剩余时间预测方法通过深度学习技术达到了更高的准确率,然而大多数深度模型结构复杂难以解释预测结果,即不可解释问题.此外,剩余时间预测除了活动这一关键属性还会根据领域知识选择若干其他属性作为预测模型的输入特征,缺少通用的特征选择方法,对于预测的准确率和模型的可解释性存在一定的影响.针对上述问题,提出基于可解释特征分层模型(explainable feature-based hierarchical model,EFH model)的流程剩余时间预测框架.具体而言,首先提出特征自选择策略,通过基于优先级的后向特征删除和基于特征重要性值的前向特征选择,得到对预测任务具有积极影响的属性作为模型输入.然后提出可解释特征分层模型架构,通过逐层加入不同特征得到每层的预测结果,解释特征值与预测结果的内在联系.采用LightGBM (light gradient boosting machine)和LSTM (long short-term memory)算法实例化所提方法,框架是通用的,不限于选用算法.最后在8个真实事件日志上与最新方法进行比较.实验结果表明所提方法能够选取出有效特征,提高预测的准确率,并解释预测结果.     

具有幂指数律重合性的GM(1,1) 幂模型

针对传统GM(1,1) 幂模型不具备幂指数律重合性的问题, 分别从灰导数和背景值两个方面改进GM(1,1) 幂 模型的灰色微分方程, 提出了两种具有幂指数律重合性的GM(1,1) 幂模型并从理论上加以证明. 通过变换将两个具 有幂指数律的灰色微分方程转化成完全一致的形式, 在此基础上进行参数估计. 数值模拟和应用实例表明, 具有幂指 数律重合性的GM(1,1) 幂模型能够有效地提高模型的模拟和预测精度.

     

Multi-granularity Inter-class Correlation Based Contrastive Learning for Open Set Recognition

In recent years, deep neural networks have continuously achieved breakthroughs in the classification task. However, they will mistakenly give a wrong known class prediction when faced with unknown samples in the testing phase. The open set recognition is a possible way to solve the problem, which requires the model to not only classify the known classes but also distinguish the unknown samples accurately. Most of the existing methods are designed heuristically on the basis of certain assumptions. Despite keeping the performance increasing, they have not analyzed the key factors that affect the task. In this paper, we analyze the commonalities of existing methods by designing a new decision variable experiment and find that the ability of the model to learn representations of known classes is an important factor. Then an open set recognition method is proposed based on the representation learning ability enhancement of the model. Firstly, due to the powerful representation learning capabilities demonstrated by the contrastive learning and the label information contained in the open set recognition task, supervised contrastive learning is introduced to improve the modeling ability of the model for known classes. Secondly, considering that the inter-class correlation is the representation learning at the class level, and the hierarchical structure relationship among the classes is often presented, a loss function of the multi-granularity inter-class correlation is designed. In the way of building the hierarchical structure in the label semantic space and measuring the multi-granularity inter-class correlation, the loss function of multi-granularity inter-class correlation constrains the model to learn the correlation among different known classes to further improve the representation learning ability of the model. Finally, experimental results on multiple standard datasets verify the effectiveness of the proposed method in open set recognition.