基于高速通行数据的脱敏管理研究

随着交通部推动取消高速公路省界收费站工作的进行,需要针对大量的通行数据由路网中心统一管理。在对这些数据统一管理的过程中,需要对数据进行脱敏处理,以满足国家相关法律法规的要求。文章针对数据脱敏的管理进行研究,针对动态脱敏与静态脱敏的区别与特点、数据脱敏算法的选型区别、数据分级分类管理思路进行针对性的研究。文章对数据脱敏管理的研究,对交通部路网中心的业务流程与数据安全应用有重要意义,同时对交通数据的应用拓展也具备借鉴价值。     

基于电力大数据的电力用户用电特征识别模型研究

采用目前方法对电力用户用电特征进行识别时,存在识别准确率低、F₁分数低和识别结果易受用电数据分帧长度影响的问题。为此提出基于电力大数据的电力用户用电特征识别模型,利用电力数据采集系统采集用户用电数据,并调节用电数据负荷曲线、数据标准化和数据降维,再利用K-means聚类算法提取预处理后优化用电数据的特征,将用电特征带入支持向量机中,根据分类结果实现电力用户用电特征的识别。实验结果表明,所提方法识别准确率高、F₁分数高、识别结果不受用电数据分帧长度的影响。     

面向电力大数据的用电负荷分类及用户用电行为分析

针对大数据应用背景下因电网规模急剧扩大和电力系统结构更加复杂而造成的用户用电行为分析困难的问题,提出一种基于改进K均值算法—K-means++的电力负荷分类方法,并展开用户用电行为分析。首先导入负荷历史数据进行清洗,再将其导入模型进行聚类,同时得到每类用户用电的特征,最后进行用户用电行为分析。经过负荷聚类,可更直观地展现用户用电的特征,以方便供电公司给用户提供更合理的套餐服务,提高系统的能源利用率。     

基于电力大数据的用户用电感知研究

在基于电力大数据对用户提供多元化服务的研究中,发现电网在不同时刻停电,不同用户的停电感受不一样以及在调度计划制定时,由于不同线路所带用户不同需进行差异化服务。为此,提出基于电力大数据的用户用电感知研究。首先通过电网内部系统及外部系统进行数据采集,然后基于大数据从多维度进行数据处理和分析,建立了用电需求模型和用户用电感知模型并进行了深入应用;通过该模型可以实现有限投资供电可靠性提升最快,最大限度满足用户需求;可最大限度实现不同行业、类别的用户用电互补,提高设备利用率;可实现用电感知最低时段停电,停电涉及用户更精准。该模型的引用实现了电网规划、用户接入、调度运行的智能决策,使电网规划投资更精准,固定投资提升可靠性最快,提高设备利用效率和用户满意度。     

基于人工智能的非结构化数据脱敏方法研究

介绍了数据脱敏技术的相关信息,提出了利用BERT预训练语言模型结合Transformer编码器和条件随机场等人工智能技术处理文字、音频、图像、视频中敏感信息的方法,为解决数据安全和数据共享之间的矛盾提供了思路。     

电力计量装置运行数据自适应整合算法设计

以往的电力计量装置运行数据自适应整合算法未考虑数据的特征加权值,导致整合精度不高。因此,本文设计了电力计量装置运行数据自适应整合算法,将电力计量装置在运行过程中产生的数据进行聚类。在此基础上,依据概率分布密度的方法,对聚类中心的数据进行特征重组。随后,以特征重组过的数据为基础,计算数据的特征加权值,生成自适应整合算法,完成对电力装置运行数据自适应整合算法的设计。在仿真实验中,与以往的电力计量装置运行数据自适应整合算法相比,设计的电力计量装置运行数据自适应整合算法具有更高的整合精度。     

无偏KL散度算法对时空异常区间检测的优化研究

通过对多变量时空时间序列中异常的度量,可以从大量时空事件数据中检测出异常的数据部分.与孤立异常数据点检测采用的技术不同,提出了无偏KL散度算法(UKLD).首先定义了时空时间序列中的异常区间,嵌入时间延迟后用高斯分布来估计检测区间和剩余区间的分布并通过累计和来加快高斯分布的参数估计过程,最后使用无偏KL散度计算区间之间...     

基于改进保留格式加密的民航旅客数据脱敏方法

文章提出逆推检验法和瑕疵度指标,以量化和检验脱敏后数据的关联性.同时提出消除基于保留格式加密的数据关联性敏感子段模型,通过计算各个子段之间的关联性并设置阈值消除关联性,筛选合理的脱敏子段.理论分析和实验结果表明,改进后保留格式加密方法脱敏的数据的瑕疵度降低,在有效降低数据泄露风险的同时保证了数据的可用性.     

基于多业务场景的大数据脱敏技术研究及其在电力用户隐私信息保护中的应用

数据流转过程中,保证数据安全使用的最有效方法即数据脱敏,通过将数据中的敏感信息标识化处理,确保隐私信息在使用过程中的安全可靠。本文首先对数据脱敏技术进行介绍,包括脱敏概念、脱敏原则和脱敏方法等;之后对电力企业数据特点进行分析,梳理形成用户隐私信息类别;进一步对电力系统中用户隐私信息的实际应用场景进行提取划分;在此基础上,应用不可逆的数据脱敏方法,制定形成数据脱敏规则,并根据数据使用的不同业务环境,提出动/静态大数据脱敏技术方案。该方案紧密结合电力企业实际业务需求,在应用过程中,无论是对现有系统进行改造,或是部署新的设备,都最大限度的保证了投入成本与实际产出间的合理配比,使得数据价值得到充分挖掘的同时,保障用户隐私信息安全。     

一种基于改进支持度的节能型WSNs数据融合算法

无线传感器网络(WSNs)内有大量的冗余数据,它们消耗了过多的网络能量;目前的数据融合算法对数据彼此间的联系考虑得不够充分,融合精度有待提高.针对上述问题,提出了一种基于改进支持度的节能型数据融合算法.该算法在网络的感知节点根据设定的阈值对采集到的数据进行初次融合,并引入自支持度的概念,与灰色接近度理论相结合改进支持度函数,将改进的支持度函数应用到汇聚节点计算最终的数据融合估计值.使用Matlab进行仿真的结果表明:该算法可节能27.87％,数据融合的温度绝对误差均值约为0.98℃,达到了节能和提高融合精度的目的.     

互联网商业模式下大数据脱敏方法的探讨与研究

针对互联网形式下大数据剧增,敏感、隐私数据容易丢失的问题,提出一种大数据脱敏技术方案,构建出包含资源层、数据层、服务层以及应用层的B/S的管理架构,能够在用户进行信息交互时,保护用户的敏感隐私信息,并对大数据脱敏方法进行了介绍,本文设计的方案能够有效地不同数据库中的敏感数据识别出来,并针对营销数据库、人工智能数据库、门...     

融合Jensen-Shannon散度的推荐算法

为 充分利用所有评分,缓解数据稀疏性问题,将概率统计领域的Jensen-Shannon(JS)散度引入相似性度量中,提出了一种新的项目相似性度量算法。该 算法将项目的评分信息转化为评分值密度,并依据评分值的密度分布来计算项目相似性。同时,引入评分数量因子,进一步提升了基于JS的相似性度量方法的性能。最后,以基于JS的相似性度量方法为基础,设计了相应的协同过滤算法。在MovieLens数据集上的实验结果表明,所提算法在预测误差和推荐准确性方面均有良好的表现。因此,该算法在推荐系统中具有很好的应用潜力。     

基于概率相似度的不完备信息系统数据补齐算法

在决策属性已知、条件属性值分布不确定的情况下,用基于概率相似度原理和按决策属性划分系统的原则,对缺损数据进行填补,可使不完备决策信息系统的完备化具有较高可信度。     

基于孤立森林算法的电力数据异常检测方法设计

由于电力数据异常检测时的电力数据特征提取效果较差,导致电力数据异常检测准确性较低,对此,提出基于孤立森林算法的电力数据异常检测方法。采用总线传输控制协议进行短期负荷电力数据参数采集,通过堆叠多层神经网络来执行机器学习,得到电力数据有最小值,构建电力数据采样模型。基于采集到的短期负荷电力数据,利用相邻子模块融合方法对短期负荷电力数据进行融合处理,基于上述融合处理后的短期负荷电力数据,对其进行数据特征提取。根据数据特征提取结果,使用孤立森林学习算法进行短期负荷电力数据异常检测。实验结果表明：该方法对电力数据异常检测的聚类性和收敛性较好,且数据异常检测精度最高达97%,检测时长最高为16 s,具有实用性。     

基于自动匹配时间算法的时序数据在甘特图中的应用

甘特图在项目管理涉及到显示任务工期、进度、流程等方面时能够做到简洁直观.然而在同一页面上实时输入数据实时显示甘特图时会遇到显示图形时间段不确定的问题.本文讨论提出一种自动匹配时间算法,通过保存的时间序列数据实时显示在甘特图上,保证所需的数据能够准确的在页面上显示,不会出现图形偏差和时间轴不确定的问题,在多个任务同时显示上有其优势性.     

基于国密SM4及保形加密算法的文件脱敏系统研究

针对政务及金融等领域对于内部文件保密要求高,移动介质上存储的文件数据通过传统脱敏方法面临着数据内容量大、数据类型多样导致的脱敏效率低、脱敏内容不彻底等问题,提出了一种基于SM4与FF1结合的混合数据类型文件脱敏系统,该系统通过内容分割脱敏处理任意类型的数据,提升了文件脱敏的范围、准确性和效率;为了进一步减少脱敏系统代码运行的内存消耗,提出了汉字字典库索引转换算法,该算法通过构建待检测明文与汉字编码库的相对索引关系,优化传统脱敏系统中依赖于构建哈希表的键值映射;通过随机生成1000份测试文件进行脱敏测试,基于混合类型的文本不可识别率达到99.8%,脱敏以及内容复原的准确率达到99.9%;通过随机生成10份总大小约为10MB的测试文件,纯文本类型的脱敏速率平均可达2500字符/秒。     

基于数据模糊化处理的数据脱敏研究

随着大数据产业的飞速发展,数据泄露和信息泄露事件也越来越多,基于这种情况下,如何对数据有力的保护成为我们研究的重点内容,本文利用简单替换加密和维吉尼亚两种传统的算法对数据进行加密,利用模糊集里面的隶属函数的方法,对数据进行简单的模糊化处理,并且运用匹配度公式和模糊量词的方法,对数据信息进行进一步的泛化处理,对单数据源的信息的保护起到了预期的效果。