大规模网络安全数据协同可视分析方法研究

网络安全可视化是近年来网络安全研究的热点,它通过提供有效的信息可视化工具,提升网络安全分析师在解决网络安全问题过程中的感知和认知能力,从而发现模式、识别异常和掌握趋势。为了应对大规模、多数据源的网络安全协同可视分析需求,研究了基于统一格式的事件元组和统计元组的数据融合模型,并提出了擅长事件关联分析的雷达图和擅长统计时序对比分析的对比堆叠流图的设计方法。最后使用该原型系统对2013国际可视分析挑战赛（visual analytics science and technology challenge,VAST Challenge）中网络安全数据可视分析竞赛提供的数据集进行了分析,通过实验和讨论验证了该网络安全数据协同可视分析方法的有效性。     

多视图合作的网络流量时序数据可视分析

网络安全可视化作为一个交叉应用研究领域,为传统网络安全数据分析方法注入了新的活力.但已有研究过于注重网络安全数据的可视表达,而忽视了对分析流程的支持.抽象了网络安全分析人员用网络流量时序数据检测网络异常的过程,提出了一个自顶向下的网络流量时序分析流程模型.以该模型为指导,设计并实现了一个多视图合作的网络流量时序数据可视分析原型系统.在分析端口扫描和DDoS攻击等常见网络异常的案例中,该系统中的4个协同交互、简单易用的可视视图,可以较好地支撑分析人员由整体到个体、由点到面以及由历史到未来的网络流量时序数据分析过程.     

基于Netflow的网络安全大数据可视化分析

近年来网络安全日志数据呈现出爆炸式的增长,但现有的可视化技术难以支持高维度、多粒度的Netflow日志实现完善的可视化分析.因此本文提出了一种全新的网络安全可视化框架设计方案,采用三维柱状图展示Netflow日志的流量时序图,以帮助用户快速了解和掌握网络中的异常时刻.引用信息熵算法针对平行坐标轴的维度数据进行处理,便于用户对多维度图形的理解,利用矩阵图、气泡图和流量时序图进行细节分析,最后利用该系统实现了对DDOS攻击和端口扫描攻击的网络异常案例分析.研究证明本系统丰富的可视化图形以及简单易用的协同交互,能较好的支撑网络安全人员从网络整体运行状态分析,到定位异常时刻、监测网络行为细节的全部过程.     

可视化及可视分析专题前言

在大数据时代,从浩瀚复杂的数据中快速而准确地获取相关重要信息,是各行各业发展甚至赖以生存的重要基础.为此,可视化及可视分析的研究在全球正方兴未艾,并密切地融于实际应用中,为社会发展与生产实践的进步发挥了巨大的作用.这方面的工作一般分为科学计算可视化、信息可视化及可视分析,各有侧重.近年来,大数据的多样性、复杂性及其应用的适应性对可视化及可视分析领域的基础理论和技术手段提出了很多新的挑战.本专题选题为可视化及可视分析,反映我国学者在这方面工作的部分近期研究成果. 本专题公开征文,并与IEEE PacificVis 2015和第2届中国可视化与可视分析大会(ChinaVis 2015)合作进行专题组稿,共收到稿件65篇.经过会议筛选,并邀请国内外相关领域专家参与审稿工作,历时6个月,经初审、复审、会商和终审各个阶段,最终遴选出12篇高质量的论文入选本专题. 首先,研究新的更高效、更适用的可视化和可视分析方法是这方面工作的重要基础.以下论文在这方面进行了探讨,特别是研究了层次化多维数据的处理. 《基于密度-距离图的交互式体数据分类方法》依据物质中心密度大且物质中心间距离远这一特性,提出新的体数据分类方法,无需预设物质类别的数量,能够快速地实现较高准确度的分类. 《树比较可视化方法综述》对处理层次数据的树比较可视化方法进行了较为全面的分析和评估,探讨了不同方法对于不同数据分析需求的适用性,并展望了将来的发展. 《一种层次结构中多维属性的可视化方法》为具有层次结构且属性多维的复杂数据提出了有效且实用的可视表达方法,并已应用于全国各地区、各超市、各农产品中农药残留检出和超标情况侦测数据的可视化. 《面向层次化数据的变分圆形树图》提出了优化布局多个圆的快速计算方法,提高了圆形树图的空间利用率,并方便支持层次下行、层次上行与焦点+上下文等自然交互方式,有利于交互可视分析的实施. 《基于层次狄利克雷过程的交互式主题建模》对层次狄利克雷过程进行了改进,使其支持单词约束,由此可基于矩阵视图交互迭代地优化主题模型,提高文本数据分析的主题建模质量. 《基于维度扩展的Radviz可视化聚类分析方法》提出了基于数据概率分布的维度增加方法,提高了RadiViz这种径向投影型多维数据可视化方法的聚类表达效果. 其次,多篇论文探讨了可视化及可视分析在具体应用中的实施和系统构建,相关的应用领域包括气象分析、视频分析、文本阅读、移动日志、网络监控等. 《一种全球尺度三维大气数据可视化系统》完成了一个面向气象预报与气象研究需求的可视化分析系统,能够有效地处理具有时变、多源、多维度、数据量大和多尺度等特征的气象数据,流畅地全方位展现气象数据中的信息. 《运动目标三维轨迹可视化与关联分析方法》研究了视频数据中运动目标的跟踪分析,并进而探讨对象之间关联性获取的方法,以提高视频分析的效率. 《基于文本摘要及引用关系的可视辅助文献阅读》描述了一个基于文本摘要和引用关系的可视辅助文献阅读系统,以帮助读者快速找到最重要、最相关的文献,避免阅读过程中的迷失. 《基于移动终端日志数据的人群特征可视化》提出了移动终端日志数据的深度分析与相应的可视化展示方法,能够更加准确地概括出移动终端用户的特征. 《多视图合作的网络流量时序数据可视分析》提出了一个自顶向下的网络流量时序分析流程模型,并实现了一个多视图合作的网络流量时序数据可视分析原型系统,便于网络安全分析人员使用网络流量时序数据检测网络异常情况. 《一种模型驱动的可视化生成系统》给出了一种可视化描述语言,并由此提出一种模型驱动的可视化生成系统,能够实现所见即所得的可视化系统快速生成. 本专题主要面向数据处理、可视化及可视分析等相关领域的研究人员,反映了我国学者在可视化及可视分析等领域的最新研究进展.在此,我们要特别感谢《软件学报》编委会对本专题工作的指导和帮助,感谢编辑部各位老师从征稿启示发布、审稿专家邀请至评审意见汇总、论文定稿、修改及出版所付出的辛勤工作和汗水,感谢本专题评审专家及时、耐心、细致的评审工作.此外,我们还要感谢向本专题踊跃投稿的作者对《软件学报》的信任. 最后,感谢本专题的读者们,希望本专题能够对相关领域的研究工作有所帮助.     

融合本体理论的电网动态威胁数据模型与可视感知

网络安全威胁可视化,深度融合网络状态和攻击形式,将网络中安全态势感知与可视化技术结合,实现全域网络可信状态下受到威胁的可视化表征.电力数据网络威胁可视化技术仍存在传统数据模型的表征能力受限以及状态特征冗余和离散导致表达可用程度低的问题.本文提出了融合本体理论与态势演变的电网动态威胁网格化可视感知,通过设计实体化的三阶段统一攻击威胁行为模型,有效解决了电力数据网络安全特征表征模糊问题.设计基于本体特征的深度内容检测方法,形成电网安全数据的紧密关系特征集,从而降低了状态特征的冗余程度,精细化处理后的网络威胁数据将通过态势阶梯,实现攻击行为的图形表征平滑渐变.通过贵州省遵义市供电局电网威胁可视化实验,验证本文方法提升网络安全威胁监测错误4%.     

网络安全数据可视化综述

网络安全可视化是一个新兴的交叉研究领域,它通过提供交互式可视化工具,提升网络安全分析人员感知、分析和理解网络安全问题的能力.通过近些年来的研究,该领域的很多研究成果已经在网络监控、异常检测、特征识别、关联分析和态势感知等方面取得了重要进展.文中介绍了网络安全可视化的必要性和发展历史,以及主要的网络安全数据源,并重点从网络安全问题和网络安全可视化方法2个角度对已有研究成果进行了系统的梳理;最后对未来的发展趋势进行了展望.     

降维空间视觉认知增强的多维时变数据可视分析方法

针对多维时序数据可视分析过程中降维算法表现出的局限性,提出一种降维空间视觉认知增强的多维时序数据可视分析方法.在多维标度算法的基础上,通过正交变换使不同时间步投影点的偏移最小化,帮助用户对感兴趣的时间模式进行有效的视觉认知及追踪;为避免投影点之间的相互遮挡,引入六边形对投影空间进行划分,增强用户对降维空间特征的视觉认知和交互;进而引入层次聚类方法对投影点进行聚类分析,帮助用户快速感知多维数据之间的关联关系;最后设计面向聚类特征时序演变的分组动画策略,突出相邻时间聚类特征的演化特点和时序模式.集成上述可视化方法,开发面向多维时序数据可视分析原型系统,通过经济统计数据、空气质量监测数据的实例分析,进一步验证该系统的有效性和实用性.     

可视数据清洗综述

目的 数据清洗是一个长期存在并困扰人们的问题,随着可视化技术的发展,可视数据清洗必将成为数据清洗的重要方法之一.阐述数据的主要质量问题和可视数据清洗的过程,回顾可视数据清洗的研究现状(包括数据质量问题的来源、分类以及可视数据清洗方法),并根据已有文献总结可视数据清洗面临的主要挑战和机遇.方法 由于数据清洗的方法和策略与具体的数据质量问题相关,因此本文以不同的数据质量问题为线索来归纳和评述可视数据清洗的方法和策略.结果 根据数据质量问题的不同,将可视清洗方法归纳为直接可视清洗、可视缺失数据、可视不确定数据、可视数据转换和数据清洗资源共享等,并依据不同的数据质量问题归纳总结出相应问题所面临的挑战和可进一步研究的方向.结论 对可视数据清洗的归纳、总结和展望,并指出在数据清洗领域中可视数据清洗将会是未来最有前景的研究方向之一.     

城市道路交通数据可视分析综述

目的 交通是困扰现代大都市的世界性难题.近年来,可视分析技术在分析和利用交通大数据中扮演了越来越重要的角色,成为一项重要的智能交通技术.本文将全面回顾自信息可视化和可视分析兴起以来城市交通数据可视分析领域的研究现状.方法 从道路交通流量分析和其他交通问题分析两个方面,按照数据的类型及问题的分类探讨交通领域的可视化技术和可视分析系统,简单回顾近年来出现的研究新趋势.结果 早期研究注重对道路流量的可视化展示方案,主要方法有箭头图、马赛克图和轨迹墙等.随着可视分析手段的丰富,对城市道路交通流量的分析层次上升到交通事件层面,但是交通事件的定义仅局限于交通拥堵.应用可视分析的其他交通问题领域包括公共交通、交通事故和人群出行行为等.近年出现了挖掘和利用交通轨迹或交通事件的社会属性或称环境上下文信息的研究新趋势.结论 从对交通流量的可视化到交通事件的可视分析,从面向道路交通状况到与交通相关的其他社会性问题,从单纯反映路况的交通数据到富含社会性语义的多源数据,从传统的PC端可视化和交互范式到新型的可视化展示介质,交通数据可视化领域的研究在深度和广度上都得到大大拓展,未来该领域的研究趋势也体现于其中.     

面向火电控制系统辨识的循环神经网络可视分析

针对火电控制过程产生的数据连续性强、复杂度高,循环神经网络模型行为与实际控制过程难以建立语义关联,不能直观地进行模型的调试、优化和语义上的分析等问题,将可视分析技术引入面向系统辨识的循环神经网络建模过程中,提出可视分析系统iaRNN.首先,通过可视化隐藏单元激活值分布与覆盖范围设计模型评估组合视图,支持内外结合多方面评价模型性能;然后,从时序关系演变和敏感性分析等角度设计可视化视图,以支持探索模型对控制参数的响应行为;最后,基于序列符号化和聚类分析提出了一种用于探索强时序依赖的实值时间序列与隐藏单元关联模式的可视化方法.使用电厂真实数据进行案例分析,验证了iaRNN在辅助用户理解模型工作机理和诊断模型缺陷方面的有效性.     

A survey of visualization systems for network security

Security Visualization is a very young term. It expresses the idea that common visualization techniques have been designed for use cases that are not supportive of security-related data, demanding novel techniques fine tuned for the purpose of thorough analysis. Significant amount of work has been published in this area, but little work has been done to study this emerging visualization discipline. We offer a comprehensive review of network security visualization and provide a taxonomy in the form of five use-case classes encompassing nearly all recent works in this area. We outline the incorporated visualization techniques and data sources and provide an informative table to display our findings. From the analysis of these systems, we examine issues and concerns regarding network security visualization and provide guidelines and directions for future researchers and visual system developers.     

用于脑网络连接加权图比较的可视分析系统设计与实现

人脑功能网络的研究是近十年生物学领域的重要课题,可视化工具作为数据分析的重要手段,在脑科学研究中有着举足轻重的地位;然而现有的脑功能网络可视化工具存在信息获取效率低、功能单一等问题;针对以上问题,设计并实现了一款用于脑网络连接加权图比较的可视分析系统,帮助研究人员探索不同群组间的差异;首次提出并使用一种用于脑网络连接加权图比较的新可视化方法,针对该方法的用户评估表明,改进后的可视方法在做对比分析任务时更有效;此外,系统将数据挖掘与可视化相结合,增强了群组间差异的表现形式;并且提供了多视图协同等一系列交互方式供研究人员自主探索;最后使用了两组公开数据集进行案例分析,验证了系统的有用性和高效性.     

基于信息熵的网络流异常监测和三维可视方法

通过分析网络流量可以反映网络运行情况,挖掘异常行为,感知网络安全态势。为了监测网络运行状况和流量异常情况,提高用户对网络流量态势的感知体验,针对大规模网络流量的数据量大和维度广的特点,提出了一种准实时流量数据报出机制,设计了基于三维可视化的流量监测系统,并结合基于信息熵的流量异常挖掘方法,通过人工监测和数据挖掘,实现了异常流量可视化监测,提高了异常检测成功率。给出了监测系统的设计方案和实现结果,解决了网络数据流从抽象到具象的可视化问题,提供了一种更加直观的态势展现方案,提高了用户对网络态势的感知认识能力。     

网络安全信息关联分析技术研究与应用*

针对当前网络安全信息分析过程中出现的安全描述片面性、信息可视化程度低和误报警、漏报警现象等问题,提出运用关联方法对网络中的报警和日志信息进行综合分析,用于提高网络安全信息分析能力。给出关联分析的定义和模型,对关联分析的分类和实施方法进行了阐述,并结合相应事例说明了关联分析在网络安全信息分析中的作用。     

基于聚类融合的入侵检测

随着互联网的飞速发展,网络安全的问题日趋严重,传统的网络安全技术已难以应对日益繁多的网络攻击。因此入侵检测便应运而生了,而且其重要性日益提高。基于聚类分析的入侵检测已经成为其主要研究方向。聚类分析是一种有效的异常入侵检测方法,可用以在网络数据集中区分正常流量和异常流量。但单一的聚类算法很难达到预期的效果,为了提高入侵检测的效果,文中采用聚类融合技术,提出一种基于Co—assocition的模糊聚类融合算法,通过实验检测能显著提高检测率和降低误报率。     

网络安全可视化综述

随着互联网技术的发展,网络渗入到人们生活的方方面面。一方面,电子商务、社交网络、线上娱乐、信息化办公等各种网络应用为人们的生活带来了诸多便利;另一方面,网络与人们生活的不可分割性为网络攻击和网络犯罪提供了可乘之机。攻击者通过各种各样的网络攻击获取他人隐私,牟取非法利益。近年来,网络攻击的数量越来越多,攻击的规模越来越大,攻击的复杂度也越来越高。因此,网络安全比以往任何时期都显得重要。然而传统的网络安全保障机制,如入侵检测,防御系统,网络防火墙等,因其智能性、动态性、全局性等的缺乏,都不足以应对越发复杂和高强度的网络攻击。因此,网络安全可视化应运而生,成为近年来网络安全研究的一个热点。与传统网络安全保障机制不同,网络安全可视化技术不仅能有效处理海量网络数据信息,捕获网络的全局态势,而且能通过对图形图像模式的分析帮助网络管理人员快速识别潜在的攻击和异常事件,即时预测安全事件,甚至是发现新的攻击类型。可视化技术为网络安全研究方法带来了变革,优秀的网络安全可视化方案层出不穷。网络安全可视化建立在对网络数据分析的基础之上,网络数据对网络安全分析十分重要,而大数据时代的到来进一步凸显了数据的重要性。因此,本文从数据角度出发,根据所处理的网络数据的类型,对网络安全可视化工作进行系统的整理、分类和对比。此外,本文还深入分析网络安全可视化研究面临的挑战并探讨未来该领域的研究方向。     

时变网络异常检测多视图协同可视分析

对于现在复杂多变的网络安全状况,基于可视化的手段来监测网络节点间的通信状态变化,可以帮助分析人员更高效地把握安全事件特征、感知安全态势。但是,现有的可视化研究对于具体主机间的连接关系以及连接关系在时间维度上的变化两个方面缺乏有效的展示方法。同时,常见的可视化方法无法提供一种直观的交互手段,帮助用户管理分析过程中提取出的离散特征,以便总结规律、发现异常。针对以上两点,设计并实现了一个以观察宏观特征的视图为索引,以深入特征展示的视图为核心,以管理和标注的视图为辅助的多视图合作可视分析系统。最后,以包含多起网络异常的网络安全日志数据集作为实验数据集,对可视化结果进行对比分析,验证了设计的有效性。     

浅析多路径传输下计算机的网络安全性

计算机通信网络的安全性目前已受到国内外的极大关注。多路径传输是一种新型的信息传输方法。本文在已有安全方法的基础上,提出了一种新的多路径传输与安全分配表相结合的信息传输方法,极大地提高了网络信息传输的安全性。本文对多路径传输提高网络的安全性,给出了完整的理论分析及严格的证明,提出了一套完整的多路径路由实现的方法,所得到的结论对于实际计算机网络传输信息的安全性有着重要的意义。