逻辑回归算法在通信GPRS业务中的应用

为了对通信GPRS业务用户的流失情况进行有效的预测,对预测中常用三种算法的优劣势进行了比较,选取能很好处理0/1分类问题的逻辑回归算法,并基于逻辑回归算法建立了GPRS业务流失预测模型.提取了广东省移动公司GPRS业务用户流失概率最高的前5%和10%用户,通过查准率、查全率和提升率这三个指标对该模型进行检验,发现该模型定位流失用户的准确率和确定流失用户的覆盖率都是相当高的,说明其能对GPRS套餐使用客户的流失情况进行有效地预测.另外,通过把利用逻辑回归算法与利用决策树算法建立的预测模型的应用效果进行了对比,结果充分说明了利用逻辑回归算法建立的GPRS业务流失预测模型在实际应用中更具优越性.最后,根据该模型解在决实际预测问题中的效果,进一步验证了其具有很强的实用性.     

基于特征分布函数的分组密码算法差异性分析

基于密文的密码体制识别是分组密码分析领域的重要研究方向之一,也是实际背景下展开密码分析的前提保证。建立高效准确的密码体制识别方案,能够为破译密文及恢复密钥提供正确的指导等。以机器学习方法中的特征工程和统计学中的特征分布函数相似度指标为手段和研究方法,证明了在随机情况下一种SPN结构与一种Feistel结构之间存在密文特征分布上的差异性,并加以应用。提出在一般随机条件下区分两种不同结构密码算法的依据与方法,即提取密文相关特征并拟合其分布函数及计算相似度指标的方法,解决了在随机密钥的条件下如何寻找两种不同结构类型密码算法的差异之处。将统计学方法与密码学问题结合起来,为解决随机密钥下唯密文加密算法识别问题提供新的思路。     

一种基于操作码N-gram特征的代码混淆技术识别模型

针对代码混淆领域忽略代码混淆技术隐蔽性的安全问题，提出一种基于操作码n-gram特征的代码混淆技术识别模型。通过提取反编译二进制文件程序操作码，生成程序n-gram特征并筛选后输入机器学习分类算法训练，构建识别混淆程序的二分类模型与识别混淆技术的多分类模型。基于多来源第三方数据集与两种先进混淆工具验证该识别模型，使用10维特征识别两类混淆工具的混淆程序，平均识别准确率分别为100%、99.6%;使用30维特征识别5层以上混淆组合技术，平均识别准确率为98.8%。实验结果表明提出的代码混淆技术识别模型相较其他识别模型准确率更高，且对不同混淆工具有一定泛化能力，揭示了当前主流代码混淆技术的隐蔽性风险。     

恶意PDF检测中的特征工程研究与改进

在基于机器学习的恶意PDF检测中,现有特征容易引起混淆或逃逸。为了提高特征的准确性和鲁棒性,在现有方法的基础上研究和改进特征提取方法,结合内容特征、结构特征以及逻辑树的间接结构特征,通过分析特征重要性进行特征选择,最后应用分类算法实现恶意PDF检测。结构特征包括多个高频次叶子节点数量;内容特征包括元数据特征、字节熵值、流字节比例等特征。收集实验数据集,提取特征并分析,最终选择出58维特征,使用LightGBM算法训练梯度提升决策树模型,测试准确率为99.9%,优于其他方法。另外,模拟攻击部分样本的特征,生成对抗样本,检测准确率同样达到99.2%。     

基于特征融合的随机森林飞机尾流识别

为提高民航运输的高效性和安全性,利用随机森林模型,结合多普勒激光雷达技术,提出一种基于径向速度极差特征和边缘轮廓特征融合的方法,实现对飞机尾流的准确识别。将在双流机场采集的数据样本进行速度极差特征提取,同时将样本数据映射成灰度图,通过形态学梯度提取图像轮廓特征,再将二者融合,并以此构建随机森林尾流识别模型,最后进行对比实验。实验结果表明,特征融合后随机森林模型的分类准确率、精确率、召回率、F1-score分别为95.8%、87.3%、89.4%、88.4%,高于单一特征方式和决策树模型识别结果。本文提出的方法能够对具有复杂背景风场中的尾涡进行检测。     

基于多空间注意力的小儿肺炎辅助诊断算法

为提高计算机辅助小儿肺炎诊断质量,提出一种基于多维空间特征提取及跳连接的小儿肺炎X光片多空间注意力网络(multi-space attention network, MSA-Net)。将输入特征进行分组映射,并融合多维空间特征,以充分提取小儿肺炎X光片细粒度特征;特征提取过程中,采用空间注意力和通道注意力,保留特征之间关联信息,有效提高小儿肺炎X光片图像的分类准确率。在小儿肺炎X光片公开数据集Chest X-ray Images上的试验研究表明,该算法二分类(正常、肺炎)准确率可达到97.21%,三分类(正常、细菌性肺炎、病毒性肺炎)准确率可达86.24%,分类识别性能较为突出,具有潜在的临床应用价值。     

基于多模态生理信号的驾驶人脑力负荷评估

准确评估驾驶人脑力负荷状态对降低因驾驶人脑力负荷过载导致的交通事故具有重要意义．基于典型驾驶场景,结合N-back认知负荷次任务,设计不同难度的驾驶任务实验,研究驾驶人脑力负荷．实验收集驾驶人在任务完成过程中的多种模态生理信号（脑电、心电和皮电信号）及美国航空航天局任务负荷指数量表主观脑力负荷数据,提出基于多模态生理信号特征分析和模式识别的驾驶人脑力负荷分类模型,并比较不同模态生理信号及其组合在3种典型机器学习算法（随机森林、决策树和k最近邻模型）中的脑力负荷分类识别效果．研究表明,基于不同模态生理信号组合的脑力负荷分类模型具有不同的分类准确率．单一模态生理信号的分类模型中,基于皮电、心电和脑电信号的分类模型准确率依次增加;基于多模态生理信号的分类模型准确率普遍优于单一模态分类模型;基于脑电、心电及皮电3模态生理信号的随机森林分类模型具有最高的分类准确率．     

基于LSTM与随机森林混合构架的钓鱼网站识别研究

针对传统的钓鱼站点攻击检测模型时延高、效率低、特征提取复杂的问题,提出一种使用长短期记忆网络(long short term memory,LSTM)和随机森林的混合算法模型。该模型主要包括网址上下文特征提取和混合特征分类两部分。首先,根据循环神经网络特点建立128步长的深度网络结构。实验数据参考开源社区提供的钓鱼网站网址和正常网址情报。利用自然语言处理技术对网址数据进行编码得到具有局部特征的网址序列。通过构建的LSTM网络对网址序列进行字符上下文特征提取,结合传统检测方法中的非字符序列特征,共同构成实验特征集。随后,利用随机森林获取每一个特征的最佳分裂点,构建混合特征分类模型。该模型以网址数据为检测源,一方面降低了随机森林的字符序列特征维度,另一方面结合传统钓鱼网址检测中的非序列特征,弥补了LSTM算法检测特征单一的问题。为验证该模型的有效性,设计了本文模型与随机森林算法、LSTM算法的对比实验,并进一步对不同LSTM训练规模的时间成本进行分析。从实验中发现,基于LSTM与随机森林的混合模型大幅度提高了钓鱼网站的识别准确率,模型准确率达到98.52%,比相同训练规模的LSTM准确率高3%,比实验中的单一随机森林准确率高7%。同时,相比于LSTM算法同等幅度的准确率提升,该混合算法具有更小的时间代价。实验结果表明,作者提出的混合模型克服了传统识别模型在特征提取、识别效率上的问题,适合于海量钓鱼网站攻击的快速识别。     

基于云流量混淆的Tor匿名通信识别方法

针对采用云流量混淆Meek机制的Tor匿名通信流量与其他普通云流量难于区分识别的问题,提出了基于流静态特征的Tor匿名通信识别方法和基于支持向量机SVM分类算法的Tor匿名通信识别方法。本文首先从连接特征分析、数据包静态特征分析以及数据流动态特征分析出发,通过对大量Tor-Meek通信流量以及非Tor-Meek通信流量的对比实验研究,确定了7个具有特异性和较强区分度的Tor-Meek通信流量的静态和动态流量征,然后在此基础之上提出了基于特征匹配算法的Tor-Meek匿名通信识别方法,该方法能够快速识别Tor-Meek通信流量,对于包含大于200个包的流识别准确率大于90%。为了进一步适应Tor的版本变化带来的特征改变,基于Meek流分片机制的数据流统计特征分析,分别从长度及个数、长度方差、长度熵、接收发送序列等4个方面,提出了识别Tor-Meek流的16种Tor-Meek流量统计特征,采用SVM分类算法对Tor-Meek流量进行识别,通过系统的实验研究不同特征组合、不同算法参数选择的算法识别准确率和召回率,筛选出最优的特征组合和参数。在实验室环境中搭建实验数据采集平台并采集Tor-Meek通信和其他通信数据进行实验,该算法对长度大于40个包Tor-Meek流的识别准确率大于97%,召回率大于99%,且具有较高的识别效率。实验结果表明,采用特征匹配可以实现对云流量混淆Tor匿名通信的快速识别,而基于流分片统计特征的分类算法对不同Tor通信软件版本的变化具有更高的稳定性和识别准确率。     

基于层次化BoF模型和Spectral-HIK过滤的手势识别算法

为了解决基于计算机视觉的人类手势识别问题,提出一种名为层次化Bag-of-Features(BoF)的模型.该模型通过对人手区域进行划分和对图像特征分别向水平和垂直轴投影来提取图像特征的空间分布信息.为了准确快速地实现手势识别,构建一种基于直方图交叉核的手势识别分类算法.该算法结构简单、运行效率高,而且充分利用层次化BoF模型的结构特点.为了进一步提高在复杂背景下手势识别准确率和运行效率,采用一种基于谱和直方图交叉核的背景特征点过滤算法.实验结果显示,所提算法对于简单背景下的手势识别准确率可达99.79%,而对于复杂背景下的识别准确率为80.01%.     

在线学习社区发帖质量评价的回归模型研究

在线学习社区中,多样化教学情境下基于开放话题的发帖使学生能够阐述自我知识更新的进展,但也伴随着越来越高的阅读评价解析成本. 为此,可应用机器学习理论构建发帖质量评价回归模型来实现文本自动评价. 首先构建文本质量评价指标及其计算所依赖的概念关系图,然后结合专家评分标准与评分结果选用多种拟合回归算法对文本质量进行预测评价,最后以拟合优度、交叉验证精度方差和均方误差为指标评估算法效果模型,测试以倡导知识建构学习理念的“数课”平台《网络安全与维护》课程的575条发帖为数据集,实现了网络安全领域的概念关系图存取和发帖质量的特征提取与预测评价. 实验表明,梯度树上升回归算法的准确性、稳定性均优于其他算法模型. 该回归模型能够从5个与文本质量显著相关的特征维度,即可读性、相关度、内聚度、专业度和探究度,有效地实现文本质量自动评价,从而为教师减负和学生自我诊断提供帮助.     

引入新特征的短期电力负荷预测

为了提高短期负荷预测的精度,综合分析了气象、日期等因素,并计算各特征与被预测负荷之间的相关系数,根据各特征与负荷之间的相关性,提出了一种将预测日前几天的负荷作为新特征进行负荷预测的方法。为了验证算法的普适性,采用支持向量回归、随机森林和梯度提升决策树3种机器学习算法,在2016-2018年我国北方某地的真实电力负荷和欧洲智能技术网络（EUNITE）竞赛负荷预测样本数据两个数据集上进行验证,并将预测结果与采用传统特征的算法进行了对比。预测结果显示,相较于传统方法,采用新特征后的短期负荷预测具有更高的预测精度。     

一种改进的基于梯度提升回归算法的 O2O 电子商务推荐模型

位置属性对于线下消费的用户具有重要影响。为了有效提高个性化推荐精度,在对O2O电子商务特点进行用户特征分析的基础上,在推荐算法中引入当前时间参数和位置参数,提出了一种改进的基于梯度提升回归算法的O2O电子商务推荐模型。实验结果表明,改进的基于梯度提升回归算法的O2O电子商务推荐模型在实时性和准确性方面明显优于传统的推荐算法。     

Machine learning-based classification of rock discontinuity trace: SMOTE oversampling integrated with GBT ensemble learning

This paper presents a hybrid ensemble classifier combined synthetic minority oversampling technique (SMOTE), random search (RS) hyper-parameters optimization algorithm and gradient boosting tree (GBT) to achieve efficient and accurate rock trace identification. A thirteen-dimensional database consisting of basic, vector, and discontinuity features is established from image samples. All data points are classified as either “trace” or “non-trace” to divide the ultimate results into candidate trace samples. It is found that the SMOTE technology can effectively improve classification performance by recommending an optimized imbalance ratio of 1:5 to 1:4. Then, sixteen classifiers generated from four basic machine learning (ML) models are applied for performance comparison. The results reveal that the proposed RS-SMOTE-GBT classifier outperforms the other fifteen hybrid ML algorithms for both trace and non-trace classifications. Finally, discussions on feature importance, generalization ability and classification error are conducted for the proposed classifier. The experimental results indicate that more critical features affecting the trace classification are primarily from the discontinuity features. Besides, cleaning up the sedimentary pumice and reducing the area of fractured rock contribute to improving the overall classification performance. The proposed method provides a new alternative approach for the identification of 3D rock trace.     

基于并行架构和时空注意力机制的心电分类方法

为了有效提取心电信号 (ECG) 的时空特征和提高分类准确性,提出基于深度学习的并行架构心电分类模型. 该模型采用基于GCA Block和GTSA Block模块实现多路特征融合的时空注意力机制. 使用双向长短时记忆网络和卷积神经网络作为基特征提取器,分别捕捉心电信号序列数据的前后依赖关系和不同尺度上的局部相关特征,实现对5种不同类型的心电信号的自动分类. 在MIT-BIH数据集上验证的结果表明,该方法对5种不同心电信号的总体分类准确率、特异性、敏感度、精确度和Macro-F1分别为99.50%、99.61%、96.20%、98.02%和97.08%. 相较于其他心电分类模型,该模型不仅能够有效地缩短网络模型深度,防止模型过拟合,而且能够更准确地提取心电信号的时空特征,获得更好的分类性能.     

基于梯度提升回归树的城市道路行程时间预测

为了提高行程时间的预测精度,在考虑时间序列相关性的同时,分析相邻路段的空间相关性对于行程时间的影响,并提出基于梯度提升回归树模型的城市道路行程时间预测方法.对车牌识别设备获取的实际数据进行预处理,并提出相应的补全算法以解决数据缺失问题,建立完整的历史数据集.通过分析各影响因素与行程时间的相关性,构建特征向量.为了能更好地理解模型,通过梯度提升回归树模型输出各变量对于预测结果的重要度.利用实际数据对模型进行评估,预测行程时间的平均绝对误差百分比,约为10.0%.与SVM、ARIMA等方法相比,所提方法具有较高的精度.     

密码算法在智能卡上的应用发展综述

本文论述了近年来与智能卡应用相关的各种密码算法的发展情况,主要内容包括：消息认证码、各种分组密码和流密码的发展概述,以及RSA算法的发展和椭圆曲线密码的发展现状。     

Radar emitter identification algorithm based on deep learning

Aimed at the deficiency of traditional techniques of radar emitter feature extraction which rely heavily on artificial experience, a novel emitter identification algorithm based on joint deep time-frequency features is proposed. Time-domain signals are transformed into the 2-D time-frequency domain, and dimensionality reduction is implemented with random projection and principal component analysis with respect to sustaining subspace and energy. In the phase of pre-training, the deep model is layer-wise trained with unlabelled samples and network parameters are fine-tuned with label information. Finally the identification task is achieved with a logistic regression classifier. 6 types of emitter signals are adopted in simulation experiments to validate the effectiveness of the proposed algorithm, the experimental results indicating that the joint deep features help to obtain higher identification accuracy and that the algorithm is more efficient.     

基于极端梯度提升树算法的图像属性标注

提出基于极端梯度提升树(eXtreme gradient boosting,XGBoost)算法的图像属性标注模型,以改善标注性能：提取图像局部二值模式(local binary patterns,LBP)、灰度纹理空间包络特征(Gist)、尺度不变特征变换(scale invariant feature transform,SIFT)、视觉几何组(visual geometry group,VGG)等特征,以准确刻画图像视觉内容;基于图像特征,采用XGBoost算法集成弱分类器为强分类器,完成图像属性标注;深入挖掘图像属性蕴含的深层语义,构建全新的、层次化的属性表示体系,以贴近人类客观认知;设计迁移学习策略并合理组合分类模型,进一步改善标注性能。试验表明：Gist特征能真实刻画图像视觉内容;执行基础迁移学习后,标注精准度比迁移学习前最优指标提升8.69%;执行混合型迁移学习后,合理组合分类模型,标注精准度比基础迁移学习的最优指标提升17.55%。模型有效地改善图像属性标注精度。