网络环境下的大数据采集和处理

在信息媒体技术高速发展的今天,网络信息日新月异,大数据正在世界掀起一股狂热浪潮,成为人类社会的一大生产力。网络环境下的大数据技术不仅仅只是对信息的收集,同时也是对信息的分析和处理,整合信息背后所隐藏的价值。大数据技术将会为人类社会带来新的改革方向,促进人类社会的文明发展。文章主要通过探索网络环境下大数据发展的规律,以及网络环境下大数据存在的特点,针对大数据资源的有效应用途径,进一步研究其数据的采集及处理技术。     

信息隐藏技术在网络行为测量中的应用研究

信息隐藏是信息安全领域一个非常年轻但发展迅速的研究方向.文章介绍了信息隐藏技术的定义、分类和两个关键模型,分析了网络行为测量中信息隐藏的作用,基于网络隐式行为测量平台、结合信息隐藏技术,指出了构建是下一步研究的重点.     

特洛伊木马隐藏技术研究及实践

特洛伊木马作为一种计算机网络病毒,它对网络环境中计算机信息资源所构成的危害远大于其它病毒。深入地研究木马技术,对防范木马攻击,减少网络破坏有重要的意义。隐藏技术是木马的关键技术之一,其直接决定木马的生存能力。文章从本地隐藏、通信隐藏和协同隐藏等方面归纳研究木马的隐藏技术,并对协同隐藏思想作了进一步研究,提出两种基于协同隐藏思想的新型木马结构:多线程结构和多对多结构。通过实验结果分析,其木马原型体现了协同隐藏的思想,提高了木马整体反检测和反查杀能力。     

网络协议过程分析平台及可视化研究

本文研究了网络协过程分析方法以及基于Windows Presentation Foundation（WPF）界面显示技术还原网络协议传送过程。实现了一个基于WPF以及WinPcap的网络协议分析软件。通过网络协议过程分析,能够组织网络数据的上下文,将追溯网络数据的传输过程,了解网络数据的生命周期。将网络数据的语法,语义,语序以及数据之间的关系进行可视化展现。     

信息隐藏技术的理论及应用

当今社会已经步入了信息化时代,计算机互联网的飞速发展使社会各个行业的效率得到提高,但是网络发展作为一把双刃剑,如何有效保护网络作品、信息等,这就涉及到信息隐藏技术的开发和应用。作为保护知产权的重要途径,信息隐藏技术将秘密信息隐匿于普通信息中,使信息更加安全。本文从信息隐藏技术的基本理论出发,探讨了信息隐藏的基本方式以及信息隐藏技术的实际应用。     

基于Oracle数据仓库的水利普查数据展现系统

文章在介绍Oracle数据库服务及相关体系软件结构的基础上,给出了利用Oracle数据仓库建立水利普查数据展现系统的实现技术,解决了因为原始数据库数据量庞大,数据关系复杂,导致数据查询速度慢等性能问题,并从多方面清晰、简洁、直观地展现水利普查数据.     

探析信息加密技术在计算机网络安全中的应用

随着计算机技术的迅猛发展和网络技术的巨大进步,计算机网络日益普及,带来了巨大的经济利益,深入到社会生活的各个方面,推动了社会的进步,但是网络信息安全问题也深深威胁着社会的安定。信息加密技术是计算机网络安全中的技术核心,本文在分析加密技术概况基础上,探讨了对称与非对称加密技术、消息摘要与完整性鉴别技术、数字签名技术、数据隐藏技术在计算机网络安全中的应用。     

网络战中信息隐藏技术的研究

随着网络技术的快速发展,信息隐藏技术在以计算机网络为中心的网络战中发挥重要作用。本文首先综述了信息隐藏的基本原理和模型,进而分析了信息隐藏技术在网络战中的应用,最后重点讨论了信息隐藏的两种关键技术:隐藏技术和检测技术。     

在线式攻击的芯片防御技术

针对在线式攻击给芯片安全带来的威胁,分析了在线式攻击主要过程和基本特点,提出了在增加在线采集全部工作数据难度,增加芯片接口属性判别难度,增加输入数据和输出数据内在关系分析难度3个大的方面来增强芯片的安全.并从芯片设计的角度,在数据采集,接口属性判别和输入数据输出数据关系分析3个方面介绍了一些有效的防范技术.主要介绍了输入数据随机化技术、双向接口技术、信息隐藏技术、状态机和信息隐藏结合技术等.     

从数据中发现信息——数据挖掘技术浅介

随着数据量的急剧增长,现在的用户很难再像从前那样,自已根据数据的分布找出规律,并根据此规律进行分析决策。因此必须借助于相应的数据挖掘工具,自动发现数据中隐藏的规律或模式,为决策提供支持。数据挖掘技术主要用于从大量的数据中发现隐藏于其后的规律或数据间的关系,它通常采用机     

社会化媒体大数据多阶段整群抽样方法

在线社会化媒体大数据是行动者自组织关系的集合,其内部蕴含了多层次的社会实体关系,因此,在线社会化媒体大数据抽样方法的研究对于社会计算这一新兴研究领域具有重要的理论和应用价值.现有抽样方法存在大型马尔可夫链难以并行化、样本局部性陷入、马尔可夫链燃烧预热等问题.针对这些问题,提出了在线社会化媒体大数据整群多阶段抽样方法OSM-MSCS.该方法首先进行整群分解,将总体分解成若干小型凝聚子群;而后,使用动态延迟拒绝方法对凝聚子群内部的关系抽样;最后,使用Gibbs方法完成不同凝聚子群之间相干关系的筛选,从而获得整个样本序列.实验结果表明,OSM-MSCS方法能够有效地对各种结构特征的在线社会化媒体大数据进行抽样,从“个体地位-群体凝聚性-整体结构性”这3个层次进行综合评价,其抽样效果要明显好于MHRW和BFS这两种最主流的抽样方法.     

基于行为特征分析的微博恶意用户识别

近年来,社交网络数据挖掘作为物理网络空间数据挖掘的一大热点,目前在用户行为分析、兴趣识别、产品推荐等方面都取得了令人可喜的成果。随着社交网络商业契机的到来,出现了很多恶意用户及恶意行为,给数据挖掘的效果产生了极大的影响。基于此,提出基于用户行为特征分析的恶意用户识别方法,该方法引入主成分分析方法对微博网络用户行为数据进行挖掘,对各维度特征的权重进行排序,选取前六维主成分特征可以有效识别恶意用户,主成分特征之间拟合出的新特征也能提升系统的识别性能。实验结果表明,引入的方法对微博用户特征进行了有效的排序,很好地识别出了微博社交网络中的恶意用户,为其他方向的社交网络数据挖掘提供了良好的数据清洗技术。     

无线传感器/反应器网络中反应节点优化重定位机制研究

针对无线传感器/反应器网络中因多个反应器失效而造成的反应器网络连通性被破坏问题,以网络流理论为基础,提出了一个基于网络流的多目标规划模型来求解优化的反应器重定位方案。模型将反应器网络看成是一个运输网络,通过流平衡条件来重建反应器网络的连通性。最小化多个参与恢复的反应器总体开销和最小化单个反应器的最大开销是该模型的两个优化目标。仿真实验结果表明,基于该模型的优化重定位方案能够有效地恢复因多反应器节点失效而造成的网络连通性问题。     

社交网络下的不确定图隐私保护算法

社交网络平台的快速普及使得社交网络中的个人隐私泄露问题愈发受到用户的关心,传统的数据隐私保护方法无法满足用户数量巨大、关系复杂的社交网络隐私保护需求.图修改技术是针对社交网络数据的隐私保护所提出的一系列隐私保护措施,其中不确定图是将确定图转化为概率图的一种隐私保护方法.主要研究了不确定图中边概率赋值算法,提出了基于差分隐私的不确定图边概率赋值算法,该算法具有双重隐私保障,适合社交网络隐私保护要求高的场景.同时提出了基于三元闭包的不确定图边概率分配算法,该算法在实现隐私保护的同时保持了较高的数据效用,适合简单的社交网络隐私保护场景.分析与比较表明：与（k,ε）-混淆算法相比,基于差分隐私的不确定图边概率赋值算法可以实现较高的隐私保护效果,基于三元闭包的不确定图边概率分配算法具有较高的数据效用性.最后,为了衡量网络结构的失真程度,提出了基于网络结构熵的数据效用性度量算法,该算法能够度量不确定图与原始图结构的相似程度.     

基于Spark GraphX和社交网络大数据的用户影响力分析

利用社交网络大数据进行用户影响力分析,有助于识别网络环境中影响力强的用户以实现其社会和商业价值。传统方法无法高效处理海量社交网络数据,定量准确地分析用户影响力。为解决该问题,本文提出一种基于PageRank算法的改进的用户影响力评价模型,综合考虑了用户连接程度和活跃程度,并以支持大规模并行图计算的Spark GraphX为工具,快速高效地实现了微博用户影响力的定量分析与评价。实验结果表明,本文所提方法效率更高,得到的用户影响力结果更接近真实情况。     

融合社会标签与信任关系的社会网络推荐方法

针对推荐系统中普遍存在的数据稀疏和冷启动等问题,本文将标签与基于信任的社交推荐方法相结合,提出了一种融合社会标签和信任关系的社会网络推荐方法。该方法利用概率因式分解技术实现了社会信任关系、项目标记信息和用户项目评分矩阵的集成。从不同维度出发,实现了用户和项目潜在特性空间的互连。在此基础上,通过概率矩阵因式分解技术实现降维,从而实现了有效的社会化推荐。在Epinions和Movielens数据集上的实验结果表明本文所提出的方法优于传统的社会化推荐和社会标签推荐算法,特别是当用户评分数据较少时该算法的优越性体现得更好。     

Tracking Dengue on Twitter Using Hybrid Filtration-Polarity and Apache Flume

The world health organization (WHO) terms dengue as a serious illness that impacts almost half of the world’s population and carries no specific treatment. Early and accurate detection of spread in affected regions can save precious lives. Despite the severity of the disease, a few noticeable works can be found that involve sentiment analysis to mine accurate intuitions from the social media text streams. However, the massive data explosion in recent years has led to difficulties in terms of storing and processing large amounts of data, as reliable mechanisms to gather the data and suitable techniques to extract meaningful insights from the data are required. This research study proposes a sentiment analysis polarity approach for collecting data and extracting relevant information about dengue via Apache Hadoop. The method consists of two main parts: the first part collects data from social media using Apache Flume, while the second part focuses on querying and extracting relevant information via the hybrid filtration-polarity algorithm using Apache Hive. To overcome the noisy and unstructured nature of the data, the process of extracting information is characterized by pre and post-filtration phases. As a result, only with the integration of Flume and Hive with filtration and polarity analysis, can a reliable sentiment analysis technique be offered to collect and process large-scale data from the social network. We introduce how the Apache Hadoop ecosystem – Flume and Hive – can provide a sentiment analysis capability by storing and processing large amounts of data. An important finding of this paper is that developing efficient sentiment analysis applications for detecting diseases can be more reliable through the use of the Hadoop ecosystem components than through the use of normal machines.     

A framework for exploring organizational structure in dynamic social networks

Recent research has provided promising results relating to discovering communities within a social network. We find that further representing the organizational structure of a social network is an interesting issue that helps gain better understandings of the social network. In this paper, we define a data structure, named Community Tree, to depict the organizational structure and provide a framework for exploring the organizational structure in a social network. In this framework, an algorithm, which combines a modified PageRank and Random Walk on graph, is developed to derive the community tree from the social network. In the real world, a social network is constantly evolving. In order to explore the organizational structure in a dynamic social network, we develop a tree learning algorithm, which employs tree edit distance as the scoring function, to derive an evolving community tree that enables a smooth transition between two community trees. We also propose an approach to threading communities in community trees to obtain an evolution graph of the organizational structure, by which we can reach new insights from the dynamic social network. The experiments conducted on synthetic and real dataset demonstrate the feasibility and applicability of the framework. Based on the theoretical outcomes, we further apply the proposed framework to explore the evolution of organizational structure with the 2001 Enron dataset, and obtain several interesting findings that match the context of Enron.     

基于亲属关系网络的问卷调查系统

计算机辅助访谈(Computer-Assisted Interviewing, CAI)已广泛应用于社会调查研究. 较之一般的CAI系统, 基于亲属关系网络的问卷调查系统着重于解决复杂问卷设计、亲属关系网络构建和访谈数据分析处理等问题. 本系统采用XML描述并存储问卷及访谈数据, 提供了用于深度访谈的复杂问卷设计工具, 并支持问卷的国际化本地化以适应不同文化区域的研究; 提出了生成亲属关系网络图的迭代算法, 以支持基于亲属关系网络图的可视化访谈过程, 实现便捷、高效、可靠的访谈数据采集; 数据预处理功能将调查数据输出为统计分析软件可读的数据表, 便于后期量化分析. 本系统可应用于家庭人口结构分析以及面向亲友的各种交互行为调查研究, 目前已在国内外多个田野点运用, 满足了相关社会调查研究的需求.     

Upper approximation based privacy preserving in online social networks

With the advent of the online social network and advancement of technology, people get connected and interact on social network. To better understand the behavior of users on social network, we need to mine the interactions of users and their demographic data. Companies with less or no expertise in mining would need to share this data with the companies of expertise for mining purposes. The major challenge in sharing the social network data is maintaining the individual privacy on social network while retaining the implicit knowledge embedded in the social network. Thus, there is a need of anonymizing the social network data before sharing it to the third-party.The current study proposes to use upper approximation concept of rough sets for developing a solution for privacy preserving social network graph publishing. The proposed algorithm is capable of preserving the privacy of graph structure while simultaneously maintaining the utility or value that can be generated from the graph structure. The proposed algorithm is validated by showing its effectiveness on several graph mining tasks like clustering, classification, and PageRank computation. The set of experiments were conducted on four standard datasets, and the results of the study suggest that the proposed algorithm would maintain the both the privacy of individuals and the accuracy of the graph mining tasks.