基于F1值的非极大值抑制阈值自动选取方法

传统的NMS算法的过滤阈值是人为设定的,由于阈值的选取不当可能会造成漏检和误检。在应用NMS算法时,所有图像的最佳阈值不是完全相同的,根据图像自身信息的不同而发生变化。针对上述问题,提出基于F1值的非极大值抑制阈值自动选取方法,综合考虑检测算法的准确率与召回率,选取使F1值最高的最佳过滤阈值,构建映射关系。测试阶段,利用映射关系和图像信息自动选取对应的过滤阈值。实验结果表明,本文提出的改进版本NMS算法将检测精度mAP值提高了1.1%。与现有的先进算法做对比,证明了本文算法的有效性。     

基于链接关系的网页分类优化算法

针对基于链接关系的网页分类算法中存在噪声邻域网页干扰分类结果的问题,提出利用网页间的相似度进行优化的方法。为不同关系的满足相似度阈值的邻域网页分别设置不同的权值,同时结合支持向量机对网页的分类结果,计算得到网页的类别。实验表明,本文算法准确率、召回率和F1值均有所提高。      

基于CVAE-CatBoost的工业控制网络异常流量检测研究

为解决工业控制网络异常流量检测中存在的数据分布不均衡、现有模型检测率低的问题，提出一种基于条件变分自编码器（CVAE）和CatBoost算法的异常流量检测模型。CVAE引入标签信息作为约束条件，控制生成样本的类别。CatBoost算法通过引入无偏估计克服梯度偏差，提高预测的准确性，同时采用多种树的生长方式降低过拟合的风险。使用CVAE进行数据增强，扩充稀有攻击样本，构建分布均匀的平衡数据集。将CatBoost算法作为异常流量检测模型，对Dos、Fuzzers等攻击样本进行精确识别并输出分类结果。实验结果表明：在UNSW-NB15数据集上，利用CVAE进行数据增强后，CatBoost算法对少数类样本的F1值平均提升了25.16个百分点，整体精确率、召回率和F1值分别达到87.85%、87.87%和87.86%；在ZYELL＿NCTU NetTraffic＿1.0数据集上，利用CVAE进行数据增强后，CatBoost算法对少数类样本的F1值平均提升了16.32%，整体精确率、召回率和F1值均达到99.85%。该模型能够有效避免数据不均衡问题，相较K近邻、随机森林、卷积神经网络等机器学习和深...     

中文文本事件检测技术

随着深度学习的发展,神经网络在文本检测方面得到了更深入的研究和更广泛的应用。在此基础上,为了提升中文文本事件检各项性能,提出了一种基于改进神经网络的中文文本事件检测方法,研究利用FPA算法优化传统BP神经网络的权值和阈值。为了验证基于改进神经网络的中文文本事件检测方法的效果,将其与自然场景文本检测方法在召回率、准确率和耗时性等方面进行了比较。结果表明：自然场景文本检测方法的准确率为88%,召回率为73%;基于改进神经网络的文本检测方法准确率为95%,召回率为86%;中文文本事件检测测试中自然场景文本检测方法的F值为0.79,耗时4.56s;基于改进神经网络的文本检测方法的F值为0.90,耗时0.64s。可见,基于改进的神经网络的中文文本事件检测方法具有更好的性能。     

基于蚁群算法优化反向传播神经网络的软件质量预测

针对基于反向传播神经网络（BPNN）的软件质量预测模型存在收敛慢、模型精度不高的问题,提出一种基于蚁群算法优化BPNN的软件质量预测（SQP-ACO-BPNN）方法。首先,选择软件质量评价指标,确立软件质量评价体系;其次,采用BPNN构建初始软件质量预测模型,并利用蚁群优化（ACO）算法确定若干网络结构、网络初始连接权值和阈值;再次,给出网络结构评价函数,选择神经网络模型的最佳结构、网络初始连接权值和阈值;最后,通过BP算法训练该网络,得到最终的软件质量预测模型。在机载嵌入式软件质量预测数据上的实验结果表明,优化后的BPNN模型有效提高了预测的准确率、精确率、召回率和F1值,并且模型能够更快收敛,验证了SQP-ACO-BPNN方法的有效性。     

基于TAKE的中文关键短语提取算法研究

针对传统的中文关键短语提取算法所提取关键短语准确率低、歧义性强和涵盖信息量少等问题,在英文关键短语提取算法TAKE（Totally Automated Keyword Extraction）的启发下,加入基于多领域特异性的新词识别技术,并改进了原有算法的文本分词、词语过滤和特征计算方法,提出了一种改进的TAKE算法,并应用于中文文本关键短语挖掘中。与多种传统关键短语提取算法的对比实验结果表明,该算法提取的精确率、召回率和[F]值指标的量化结果相比于传统算法有比较明显的提升。     

一种基于改进TF-IDF的SQL注入攻击检测算法

由于传统的TF-IDF算法没有很好地分配特征词的权重,从而会出现特征提取不充分并且效率低等问题,导致结果不符合实际情况。为了解决该方法在SQL注入攻击检测时所产生的局限性,本文通过在传统的TF-IDF算法里面加入文本数量比因子和卡方统计量CHI来改进TF-IDF,能够很好地改善一些重要词汇的权重问题。通过选择不同的分类器实现SQL注入攻击的检测,从而获得不同的分类结果。实验结果表明,Boosted Decision Tree和改进的TF-IDF相结合的方法与其它同类方法相比,具有更高的准确率、召回率和F1值。此外,本文算法相较于传统的TF-IDF算法对SQL注入攻击检测的正确率、准确率、召回率、F1值均提高5%左右,具有一定的实际应用前景。     

Simhash算法在文本去重中的应用

为了提升Simhash算法的文本去重效果、准确率,解决Simhash算法无法体现分布信息的缺点,提出了基于信息熵加权的Simhash算法(简称E-Simhash)。该算法引入TF-IDF和信息熵,通过优化Simhash算法中的权重及阈值计算,增加文本分布信息,使得最终生成的指纹更能体现关键信息的比重,并对指纹信息与权重的关联性进行了分析。仿真实验表明:优化权重计算能有效地提升Simhash算法的性能,E-Simhash算法在去重率、召回率、F值等方面均优于传统Simhash算法,并且在文本去重方面取得了良好的效果。     

基于冗余分组的轨迹摘要算法

为了对视频监控设备采集到的轨迹数据进行聚类和异常检测,提出了一种新的轨迹摘要算法。使用了Jensen-Shannon Divergence（JSD）度量方法实现了轨迹数据的重采样,使得计算轨迹间相似度的准确性有所提高,并为后续滤波过程提供了必要的等采样点个数的轨迹数据;自适应地确定轨迹相似性的阈值,并采用非局部的思想,将轨迹数据进行冗余分组,同时识别出异常轨迹数据;从信号处理的角度对分组后的轨迹数据进行硬阈值滤波,经过合并得到摘要轨迹;此外,不受轨迹输入顺序的影响,并且提供了可视化的多尺度轨迹摘要结果。与具有噪声的基于密度的聚类（DBSCAN）算法的异常检测效果进行对比,所提算法在准确率（Precision）、召回率（Recall）以及F1指标上均有所提升。     

一种基于TF-IDF的朴素贝叶斯算法改进

目前对以朴素贝叶斯算法为代表的文本分类算法,普遍存在特征权重一致,考虑指标单一等问题。为了解决这个问题,提出了一种基于TF-IDF的朴素贝叶斯改进算法TF-IDF-DL朴素贝叶斯算法。该算法以TF-IDF为基础,引入去中心化词频因子和特征词位置因子以加强特征权重的准确性。为了验证该算法的效果,采用了搜狗实验室的搜狗新闻数据集进行实验,实验结果表明,在朴素贝叶斯分类算法中引入TF-IDF-DL算法,能够使该算法在进行文本分类中的准确率、召回率和F 1值都有较好的表现,相比国内同类研究TF-IDF-dist贝叶斯方案,分类准确率提高8.6%,召回率提高11.7%,F 1值提高7.4%。因此该算法能较好地提高分类性能,并且对不易区分的类别也能在一定程度上达到良好的分类效果。     

文本相似性度量中参数相关性与优化配置研究

针对文本相似性度量中的相似度阈值、准确率、召回率、shingle滑动窗口大小、shingle权重系数和文本属性等参数相互影响、关系复杂的问题,研究了这些参数之间的相关性,并结合实际应用需求,提出各参数可优化配置的建议,分析与设计了相似度阈值可适应文本篇幅属性的相似性度量算法.通过某基金2009年的7378个项目申请书的比对分析,结果表明:提出的算法不但适用于大规模的文本集合,而且在短小的文本集合中进行相似性度量也具有很高的应用价值,其准确率和召回率均可高达95%以上.     

基于深度学习的网络流量异常识别与检测

针对传统的工控网络流量数据在复杂网络环境下特征维度高,特征处理复杂度高,模型检测效率低等问题,本文使用了一种基于随机森林(random forest, RF)和长短期记忆网络(long short-term memory, LSTM)结合的流量异常识别与检测方法.首先使用随机森林算法计算流量特征的重要度评分,筛选出重要特征,剔除冗余特征,然后使用LSTM进行异常流量的识别与检测.为了评估模型的有效性与优越性,本文使用准确率、精确率、召回率和F1-score进行模型评价,并与传统的机器学习方法 Naive Bayes、QDA、KNN算法进行对比.实验结果表明,在公开数据集CIC-IDS-2017中,异常流量识别的总体准确率达99%.与传统的机器学习算法相比,该方法有效地提高了复杂网络环境下异常检测的准确性和效率,在工业控制网络安全和异常检测方面具有实际应用价值.     

基于差异频度的类别空间模型的二值分类

针对目前文本分类中对向量空间模型的依赖以及文档频率（DF）特征提取方法在二值分类方面的不足,提出了基于差异频度的类别空间模型的二值分类方法,该方法突破了向量空间模型的限制,采用改进DF的差异频度方法进行特征提取,实现了二值分类功能。实验结果表明,改进的方法是有效的,其分类结果中精确率、召回率、F1测试值均有改善,提高了分类的准确率。并且本文的方法在其他领域的二值分类中同样值得借鉴。     

基于C-LSTM的传感器数据流半监督在线异常检测算法

在传感器网络中,有监督的异常数据检测算法的检测准确率以及鲁棒性受限于有标注数据集的构建,无监督异常数据检测算法往往导致较高的误报率(FPR).为解决上述问题,针对到达服务器端的传感器数据流提出了一种基于卷积神经网络(CNN)和长短时记忆网络(LSTM)的半监督在线异常检测算法.本算法利用K-means判别检测误差,并在检测中利用新数据重新训练机器学习模型,从而提高模型在长时间范围内的异常检测准确度.为了评估本算法的性能,使用因特尔伯克利实验室数据集IBRL(Intel Berkeley Research Lab)完成仿真实验,并与同类算法进行对比.实验结果表明,与同类算法相比,本算法对各个数据集都具有较高的召回率和F1-Score;应用K-means聚类的半监督模型,其异常检测结果更稳定.     

基于贝叶斯理论的自适应显著性检测

针对传统基于贝叶斯的显著性算法通常采用固定窗口的形式,适应性较差的特点,提出了一种基于贝叶斯理论的自适应显著性检测算法,该算法能够考虑到不同图像显著物体大小不同。首先采用Canny算法提取图像边缘,并利用阈值算法确定图像的自适应窗口,然后采用基于贝叶斯的滑动窗口算法计算显著图。给定的自适应窗口能够更好地契合显著物体,实验结果表明相比其他传统贝叶斯算法与经典算法,该算法具有更高的精确率和更好的召回率。     

基于迁移成分分析和支持向量机的肝移植并发症预测方法

已有很多机器学习算法能够很好地应对预测分类问题,但这些方法在用于小样本、大特征空间的医疗数据集时存在着预测准确率和F1值不高的问题。为改善肝移植并发症预测的准确率和F1值,提出一种基于迁移成分分析（TCA）和支持向量机（SVM）的肝移植并发症预测分类方法。该方法采用TCA进行特征空间的映射和降维,将源领域和目标领域映射到同一再生核希尔伯特空间,从而实现边缘分布自适应;迁移完成之后在源领域上训练SVM,训练完成后在目标领域上实现并发症的预测分析。在肝移植并发症预测实验中,针对并发症Ⅰ、并发症Ⅱ、并发症Ⅲa、并发症Ⅲb、并发症Ⅳ进行预测,与传统机器学习和渐进式对齐异构域适应（HDA）相比,所提方法的准确率提升了7.8%~42.8%,F1值达到85.0%~99.0%,而传统机器学习和HDA由于正负样本不均衡出现了精确率很高而召回率很低的情况。实验结果表明TCA结合SVM能够有效提高肝移植并发症预测的准确率和F1值。     

基于改进HOG特征的建筑物识别方法

随着机器学习方法的广泛应用,建筑物识别技术得到了快速的发展,识别的准确性一直是人们关注的重点。梯度方向直方图（HOG）特征提取方法中的梯度求解方式不能有效提取建筑物的边界特征,直接影响了识别的准确性,提出基于方向可控滤波器的HOG算法,利用支持向量机学习方法实现建筑物的识别。实验结果表明,该方法在平均准确率、TP、FP、召回率、精确率和F1值等指标上优于基于方向可控滤波器的建筑物识别方法,证明了该方法可以有效识别建筑物。     

基于优化长短期记忆网络的数字资源关系抽取研究

数字资源存在内容繁杂、结构混乱等问题影响了信息的快速抽取。为了提高其有效利用率，此次实验改进了数据预处理方法来降低误差累积，然后选择长短时记忆算法来提取特征，引入注意力机制来优化并建立关系抽取模型。结果显示在ACE-05和Sem Eval-2010Task-8数据集中，输入WF特征的改进算法F1值分别为55.3%和74.7%,输入特征为WF+PF+EI+DEP的F1值为64.4%和84.2%。在Sem Eval-2010Task-8数据集中，改进算法对CC关系的特征提取精确率最高为91.7%,对ED关系的特征提取F1值最高为90.5%,ED关系的特征提取召回率最高为88.8%。可以看出改进后的资源抽取算法具有较好的性能优势，可以应用于数据资源的关系抽取中。     

融合注意力机制与联合优化的表面缺陷检测

两段式缺陷检测模型中分割和分类网络的优化目标不一致,导致二者耦合性较差,且分割模块误差的积累可能进一步弱化分类模块的性能.针对上述问题,提出一种基于注意力机制的缺陷检测联合优化算法.首先基于混合注意力特征融合模块的分割网络融合浅层特征和深层特征,提取更全面的缺陷位置信息;然后基于多感受野空间注意力模块的分类网络挖掘更具判别性的缺陷类别特征;最后通过联合优化目标实现分割和分类网络的学习优化,提升整个算法的耦合性以及性能.基于PyTorch框架,在公开工业缺陷检测数据集DAGM 2007, MAGNETIC-TILE和KolektorSDD2数据集上进行实验,并引入分段式算法及类U-Net算法进行横向对比的结果表明,所提算法的准确率相比分段式算法最高提升28.02%,相比类U-Net算法最高提升8.3%,且精确率、召回率、F1值均优于同类算法,具有更好的检测性能.     

融合自注意力机制的诈骗电话分类模型

提出一种基于融合自注意力机制和卷积神经网络的诈骗电话识别模型CNN-SA(CNN-Self Attention Mechanism),采用卷积神经网络捕捉序列的局部特征,自注意力机制为每个单词分配一个权重,进一步获取句子的内部依赖关系,提高分类准确率。在电话文本数据集上的实验结果表明,所提模型的准确率可达92%,与单一的TextCNN模型相比,在精确率、召回率、F1值指标上分别有1.52%、1.75%、1.77%的提升。