基于人工智能的非结构化数据脱敏方法研究

介绍了数据脱敏技术的相关信息,提出了利用BERT预训练语言模型结合Transformer编码器和条件随机场等人工智能技术处理文字、音频、图像、视频中敏感信息的方法,为解决数据安全和数据共享之间的矛盾提供了思路。     

基于KL-散度的电力用电数据自动脱敏算法研究

电力数据中包含一些隐私数据,一旦泄漏,就会对个人隐私安全造成隐患。为保证电力数据的安全性,提出了基于KL-散度设计电力用电数据自动脱敏算法。基于KL-散度算法建立敏感数据过滤模型,计算不同变量数据的KL距离,得到其相似性指标,对用户项目评分进行平滑处理,将具备相似性的敏感数据分成不同的批次。敏感数据去身份化处理,将数据匿名转换,计算用户真实路径被泄露的概率。设计数据自动脱敏算法,分别计算概念化数据、元组信息以及信息流的损失程度,以此判定脱敏后的数据是否可用。检验脱敏前后数据一致性,三类电力用电数据的变化率分别为0.43%、0.14%和0.11%,远远小于标准值。且算法在运行过程中单位时间处理数据量和平均延迟时间也较为理想,可见该脱敏算法具备实用性。     

基于国密SM4及保形加密算法的文件脱敏系统研究

针对政务及金融等领域对于内部文件保密要求高,移动介质上存储的文件数据通过传统脱敏方法面临着数据内容量大、数据类型多样导致的脱敏效率低、脱敏内容不彻底等问题,提出了一种基于SM4与FF1结合的混合数据类型文件脱敏系统,该系统通过内容分割脱敏处理任意类型的数据,提升了文件脱敏的范围、准确性和效率;为了进一步减少脱敏系统代码运行的内存消耗,提出了汉字字典库索引转换算法,该算法通过构建待检测明文与汉字编码库的相对索引关系,优化传统脱敏系统中依赖于构建哈希表的键值映射;通过随机生成1000份测试文件进行脱敏测试,基于混合类型的文本不可识别率达到99.8%,脱敏以及内容复原的准确率达到99.9%;通过随机生成10份总大小约为10MB的测试文件,纯文本类型的脱敏速率平均可达2500字符/秒。     

基于数据模糊化处理的数据脱敏研究

随着大数据产业的飞速发展,数据泄露和信息泄露事件也越来越多,基于这种情况下,如何对数据有力的保护成为我们研究的重点内容,本文利用简单替换加密和维吉尼亚两种传统的算法对数据进行加密,利用模糊集里面的隶属函数的方法,对数据进行简单的模糊化处理,并且运用匹配度公式和模糊量词的方法,对数据信息进行进一步的泛化处理,对单数据源的信息的保护起到了预期的效果。     

合规视角下的数据脱敏内涵辨析

随着全球数字经济的发展,数据安全问题日益凸显.在此背景下,数据脱敏逐渐成为数据安全治理的重要环节,是应对大数据环境下数据安全流转要求的重要技术,为保障敏感数据安全、发挥数据价值提供了一种有效方式.论文对数据脱敏及敏感数据概念的内涵、数据脱敏技术的实践应用及其规则、数据脱敏的类型及应用现状进行了分析与探讨,并指出了我国目...     

基于改进保留格式加密的民航旅客数据脱敏方法

文章提出逆推检验法和瑕疵度指标,以量化和检验脱敏后数据的关联性.同时提出消除基于保留格式加密的数据关联性敏感子段模型,通过计算各个子段之间的关联性并设置阈值消除关联性,筛选合理的脱敏子段.理论分析和实验结果表明,改进后保留格式加密方法脱敏的数据的瑕疵度降低,在有效降低数据泄露风险的同时保证了数据的可用性.     

电力数据脱敏安全防护体系

随着电力事业的蓬勃发展,产生的大量电力数据因具有数量庞大、类型繁多、不易于处理等特点,给信息安全带来了巨大风险。针对电力数据开放过程中会牵涉到部分隐私及机密不能直接开放的问题,通过分析主流脱敏算法建立敏感信息分级机制,提出了一种适应性强、可扩展性高的电力数据脱敏安全防护体系。该体系够满足复杂应用场景下的不同脱敏需求,在不破坏所需要的数据信息与数据特征的前提下,对敏感信息进行保护。首先,结合电力大数据中的敏感信息相应特征,对大数据进行初步的分类;然后,按照对敏感数据划分的唯一性原则对数据进行数据脱敏处理,依据数据资源的防泄漏保护层建立了一套以数据防泄漏为核心的数据脱敏安全防护体系。通过192组电力客户信息数据测试情况对所提方案进行验证,实验结果表明,所提方案实现了良好的脱敏效果,有效解决了电力大数据的应用与保护之间的矛盾。     

基于生成对抗网络的文本序列数据集脱敏

基于生成对抗网络和差分隐私提出一种文本序列数据集脱敏模型,即差分隐私文本序列生成网络（DP-SeqGAN）。DP-SeqGAN通过生成对抗网络自动提取数据集的重要特征并生成与原数据分布接近的新数据集,基于差分隐私对模型做随机加扰以提高生成数据集的隐私性,并进一步降低鉴别器过拟合。DP-SeqGAN 具有直观通用性,无须对具体数据集设计针对性脱敏规则和对模型做适应性调整。实验表明,数据集经DP-SeqGAN脱敏后其隐私性和可用性明显提升,成员推断攻击成功率明显降低。     

基于DSM架构下数据脱敏系统的应用及实践

随着《中华人民共和国数据安全法》与2021年6月11日开始实施,信息化数据安全保护变得越来越重要。数据安全防护存在敏感数据量大、数据种类多样、攻击手段多样化等特点。基于DSM的数据脱敏系统通过静态脱敏,动态脱敏及风险评估管理的方式能够对数据传输过程中的数据进行脱敏,很好的解决了对业务系统中重要敏感数据的防护。     

互联网商业模式下大数据脱敏方法的探讨与研究

针对互联网形式下大数据剧增,敏感、隐私数据容易丢失的问题,提出一种大数据脱敏技术方案,构建出包含资源层、数据层、服务层以及应用层的B/S的管理架构,能够在用户进行信息交互时,保护用户的敏感隐私信息,并对大数据脱敏方法进行了介绍,本文设计的方案能够有效地不同数据库中的敏感数据识别出来,并针对营销数据库、人工智能数据库、门...     

高速道路交通视频中车辆目标提取研究

为了能够从监控视频中快速、准确地分析车辆目标,提出了基于感兴趣区域(ROI)的车辆目标提取方法.针对高速公路监控视频,利用混合高斯背景建模,在视频中划定ROI,以排除逆向车道车辆目标的影响,应用图像形态学进行干扰点排除与前景图像轮廓空洞填充,对运动车辆目标进行检测后,用最小矩形方框法自动截取目标,最终,通过图像尺度归一化建立车辆样本数据库,为车型分类和识别提供目标图像.实验结果表明:该方法对车辆目标提取准确率高,且图像数据库样本丰富.     

基于ZigBee的车量数据采集器的研究

针对现有机动车性能检测仪器的不足,利用各向异性磁阻传感器和ZigBee技术,设计了一款无线交通量数据采集器,并对该传感器节点的硬件结构和软件设计分别作了详细介绍。该传感器将所采集到的交通量数据通过ZigBee无线网络发送至上位机,由上位机对相关信息进行处理,实现对车辆进行分类的功能。     

基于Hadoop的城市交通碳排放数据挖掘研究*

针对交通数据大吞吐量及时效性等特点,为了更高效地处理该类型数据,探索了一种基于云计算服务模式的、利用Hadoop技术架构可扩展的交通数据处理、发布、服务实现方法,并实现了原型系统。该方法的主要思想是利用Hadoop所提供的分布式文件处理能力对海量的交通数据进行并行处理,该过程效率较高,且运行可靠性强,与传统方法相比具有较为突出的优势。相关实验测试结果显示,该方法大大提高了该类型数据处理时效,取得了较为理想的实验效果,进一步论证了此方法对于处理该类数据的可靠性和有效性。     

基于数据报指纹关系的未知协议识别与发现

目前,关于窃密防范措施基本上只针对已知协议,为了保证网络的安全运行以及对攻击与危害行为的预警,迫切需要在当前结构复杂的网络环境下为决策者准确提供一种能高效地对未知协议进行识别的方法。为此,在整合已有的网络安全和数据挖掘技术的基础上,设计了基于数据报指纹关系的未知协议识别发现的解决方案。     

基于ArcSDE的空间数据版本管理问题研究

首先指出多用户编辑下ArcSDE版本管理的优势,提出概念层、中间层和物理层的概念,指出版本、状态和表分别是这三个层次上的核心概念,并分别从各个层次上深入分析了ArcSDE版本管理机制的实现原理。然后提出了一种新的ArcSDE版本管理中多用户编辑后空间数据访问方法,阐述了其思想和具体实现算法,最后以试验证实了其可行性和实用性。     

基于DSP的USB数据传输方法研究与实现

数字信号处理器(DSP)的高速运算性能使它在数字信号的处理上有着独一无二的优势,但是通常数字信号的数据量非常庞大,需要一种非常方便、高速的接口来实现与计算机的接插.而通用串行总线(USB)接口具有许多其它总线无法比拟的优点.在阐述系统硬件、软件实现方案的基础上,针对固件和驱动程序开发中的关键技术进行了深入的分析.     

无人机高速数据链中LDPC-OFDM技术研究

未来无人机的发展要求数据链能够满足高速数据传输能力,同时要求在高速数据传输的前提下保证信息传输的质量.本文主要对LDPC编码和OFDM技术在无人机高速数据可靠传输中的应用进行可行性研究,并进一步给出基于LDPCOFDM的无人机数据链系统传输模型.     

基于RDBMS的XML数据管理技术研究

XML是一种专门为Internet所设计的标记语言,但是它已逐渐成为Internet上数据表示以及数据交换的标准,是一种发展势头良好的新兴数据管理手段.关系数据库管理系统(RDBMS)是一种技术成熟、应用十分广泛的系统.在数据管理上,XML技术和数据库技术各有优势和不足,XML和数据库结合技术成为学术界的研究热点.在对XML和数据库结合技术进行了研究的基础上一个基于RDBMS的XML数据管理的实现框架(XRM)被提出,该框架依据不同的映射策略,解析Schema文件或DTD,生成对应的关系模式,利用RDBMS存储中间件,使用户能透明地通过RDBMS来管理XML数据.该框架充分考虑了结构的灵活性和扩展性.     

基于数据流的加密流量分类方法

针对当前网络中加密流量的快速分类和准确识别的问题,提出了一种新的数据流特征提取方法.依据序列型数据特点和SSL握手协议规律,采用了端到端的一维卷积神经网络模型,并利用五元组来标记数据流;通过对数据流表示方式、数据包个数和特征字节长度的选择,更准确地定位了样本分类的关键字段位置,去除了对样本分类影响较小的特征,从而把原始...     

基于网络流量特性分析的高速入侵检测分流算法*

通过分析高速网络流量的宏流特性和Hash突发性,提出了基于自适应宏流的HASLF分流算法。模拟验证表明该算法具有流破坏率低、负载均衡度小、丢包率极小的特点,符合高速入侵检测的分流要求,具有较高的应用价值。