一种用于降维和盲源分离的主独立元神经网络

经典主元分析和主元神经网络常以主元所能提取总的系统方差来确定主元数目，这隐含假设系统数据是高斯分布，所提取的主元之间相互无关，但不一定相互独立，从而难以实现非高斯系统数据的降雏和信源分量。针对非高斯随机系统数据的降雏和信源分离问题，提出一种基于二阶Renyi近似熵指标的主独立元神经网络，并给出熵的近似计算方法及相应的梯度学习算法。仿真实验证明，该主独立元网络不仅能对数据降维压缩，还能有效地分离出普通主元分析法所不能提取的独立信源信息。     

一种基于分级输入训练神经网络的非线性主元分析

基于输入训练神经网络的非线性主元分析（PCA）能够有效地提取过程变量的非线性主元,但是存在主元的个数不能通过网络训练确定,且各个主元重要程度在神经网络中无法区分等缺点，本文提出一种分级输入自调整神经网络,并进一步提出基于此网络的非线性PCA,通过多级输入自调整神经网络,将主元按顺序找出,且根据主元对过程数据的预测误差定量地确定出主元的个数,克服了上述缺点.     

基于自组织神经网络与核密度估计的非线性MPCA批过程监控（英文）

针对多向主元分析(MPCA)不能提取复杂的非线性系统变量间的非线性特性以及T2统计量置信限的确定是以主元得分呈正态分布为假设前提的情况,提出了一种基于自组织神经网络与核密度估计的非线性MPCA在线故障监测方法。该方法用自组织神经网络去提取变量间的非线性特征信息;用核概率密度函数去估计非线性主元的置信限。将该方法应用到链霉菌补料分批发酵过程的在线故障监测中,应用效果表明用非线性主元比用同样数目的线性主元能够获取更多的变量信息,并且用核密度估计置信限的方法比用参数估计的方法能更准确地对故障进行监测。     

一种新的非线性多向主元分析在线故障监测方法

针对多向主元分析(MPCA)不能提取复杂的非线性系统变量间的非线性特性以及T~2统计量置信限的确定是以主元得分呈正态分布为假设前提的情况,提出了一种基于自组织神经网络与核密度估计的非线性MPCA在线故障监测方法。该方法用自组织神经网络去提取变量间的非线性特征信息；用核概率密度函数去估计非线性主元的置信限。将该方法应用到β-甘露聚糖酶补料分批发酵过程的在线故障监测中,应用效果表明用非线性主元比用同样数目的线性主元能够获取更多的变量信息,并且用核密度估计置信限的方法比用参数估计的方法能更准确地对故障进行监测。     

带参考向量的ICA电子鼻背景干扰消除算法

针对电子鼻伤口感染检测中的背景干扰问题,提出一种带参考向量的独立分量分析(ICA)背景干扰消除算法。利用ICA分解传感器阵列信号并提取独立分量,通过计算独立分量与参考向量的相关性,区分有用信号和背景干扰,采用神经网络分类器进行模式识别。实验结果表明,该算法能消除电子鼻背景干扰,提高伤口感染检测的准确率。     

基于自组织神经网络与核密度估计的非线性MPCA在线故障监测

针对多向主元分析(MPCA)不能提取复杂的非线性系统变量间的非线性特性以及T2统计量置信限的确定是以主元得分呈正态分布为假设前提的情况,提出了一种基于自组织神经网络与核密度估计的非线性MPCA在线故障监测方法.该方法用自组织神经网络去提取变量间的非线性特征信息;用核概率密度函数去估计非线性主元的置信限.将该方法应用到β-甘露聚糖酶补料分批发酵过程的在线故障监测中,应用效果表明用非线性主元比用同样数目的线性主元能够获取更多的变量信息,并且用核密度估计置信限的方法比用参数估计的方法能更准确地对故障进行监测.     

最小残差熵与最小均方差的主元网络及其比较

神经网络与主元分析相结合的主元神经网络提供了一种自适应并行在线的主元及主子空间分析技术,但是对非高斯随机系统的数据,基于最小均方重构误差的主元分析所提取的主元方向不是最大化信息方向.本文先给出一种基于最小均方差的自关联主元网络,分析其最佳的均方差重构性质和非信息最大化特性;然后提出了以最小残差信息熵为学习目标主元的神经网络,并给出了网络输出残差熵的近似计算方法和网络学习方法;最后分析了在高斯随机分布系统下,最小残差熵与最小均方重构误差的分析结果是一致的.     

人脸识别算法在智能手机上的实现

人脸识别技术是近几年在全球范围内迅速发展起来的计算机安全技术。该文以高端智能手机的安全应用为载体,结合主元分析法和多权值函数神经网络在人脸识别中的优势,利用非线性多权值函数神经网络实现多主元提取,以及多权值函数神经网络识别。给出了完成人脸图像的检测、特征向量提取、人脸图像识别相对应的硬件系统架构、人脸识别算法流程和算法实现类图。     

人脸识别算法在智能手机上的实现

人脸识别技术是近几年在全球范围内迅速发展起来的计算机安全技术.该文以高端智能手机的安全应用为载体,结合主元分析法和多权值函数神经网络在人脸识别中的优势, 利用非线性多权值函数神经网络实现多主元提取,以及多权值函数神经网络识别.给出了完成人脸图像的检测、特征向量提取、人脸图像识别相对应的硬件系统架构、人脸识别算法流程和算法实现类图.     

采用神经网络技术获取高抗干扰的传感器系统特性􀀁

目前消除干扰量对主传感器特性影响的研究多限于一个干扰量,本文讨论多个干扰量影响的消除方法．文中提出利用多个传感器检测影响主传感器特性的多个非目标参量,由神经网络实现融合算法．该方法可降低主传感器对非目标参量的交叉灵敏度．使主传感器系统获得高抗干扰、高稳定的输入／输出特性．以环境与供电电源波动两个干扰量为例．实验结果表明,当环境温度波动△Ｔ＝４８．５℃,供电电源波动γ＝±３％,经神经网络融合处理后,主传感器系统在两种干扰状况下的交叉灵敏度下降一个数量级。     

基于GRU+LDA的群聊主题挖掘

社交网络发展迅速,即时消息系统已成为人们日常生活中必不可少的沟通交流工具。在线群聊能使人们迅速交流生活、技术及工作等信息,但是由于群聊信息更新较快,大量的信息导致跟进群聊话题是困难的。传统的主题挖掘模型不能很好地适用于群聊文本的挖掘。通过对群聊文本的特征进行分析,提出一种基于GRU和LDA的群聊会话主题挖掘（GLB-GCTM, GRU and LDA Based Group Chat Topic Mining）模型,解决了传统主题模型不能解决的词语顺序问题。首先,假定每个文档有一个基于高斯分布的主题向量,然后根据GRU原理产生每个词的隐含状态,根据当前词的隐含状态的伯努利分布确定当前词是否为停用词,以决定所使用的语言模型。该方法使用笔者加入的10个QQ群最近3个月的群聊数据集进行试验验证,结合对比实验评估标准,该模型能够有效识别出群聊文本中的主题。     

Extracting news blog hot topics based on the W2T Methodology

Although topic detection and tracking techniques have made great progress, most of the researchers seldom pay more attention to the following two aspects. First, the construction of a topic model does not take the characteristics of different topics into consideration. Second, the factors that determine the formation and development of hot topics are not further analyzed. In order to correctly extract news blog hot topics, the paper views the above problems in a new perspective based on the W2T (Wisdom Web of Things) methodology, in which the characteristics of blog users, context of topic propagation and information granularity are investigated in a unified way. The motivations and features of blog users are first analyzed to understand the characteristics of news blog topics. Then the context of topic propagation is decomposed into the blog community, topic network and opinion network, respectively. Some important factors such as the user behavior pattern, opinion leader and network opinion are identified to track the development trends of news blog topics. Moreover, a blog hot topic detection algorithm is proposed, in which news blog hot topics are identified by measuring the duration, topic novelty, attention degree of users and topic growth. Experimental results show that the proposed method is feasible and effective. These results are also useful for further studying the formation mechanism of opinion leaders in blogspace.     

Analyzing topics and authors in chat logs for crime investigation

Cybercriminals have been using the Internet to accomplish illegitimate activities and to execute catastrophic attacks. Computer-Mediated Communication such as online chat provides an anonymous channel for predators to exploit victims. In order to prosecute criminals in a court of law, an investigator often needs to extract evidence from a large volume of chat messages. Most of the existing search tools are keyword-based, and the search terms are provided by an investigator. The quality of the retrieved results depends on the search terms provided. Due to the large volume of chat messages and the large number of participants in public chat rooms, the process is often time-consuming and error-prone. This paper presents a topic search model to analyze archives of chat logs for segregating crime-relevant logs from others. Specifically, we propose an extension of the Latent Dirichlet Allocation-based model to extract topics, compute the contribution of authors in these topics, and study the transitions of these topics over time. In addition, we present a special model for characterizing authors-topics over time. This is crucial for investigation because it provides a view of the activity in which authors are involved in certain topics. Experiments on two real-life datasets suggest that the proposed approach can discover hidden criminal topics and the distribution of authors to these topics.     

融合PAM和主题偏好TextRank的历史沿革信息抽取

针对从自然标注大数据中抽取历史沿革主题信息的问题,提出了一种融合PAM主题模型与主题偏好TextRank的方法。该方法利用PAM主题模型获取历史沿革主题基于其它相关主题的分布,和不同主题基于词的分布;主题偏好TextRank算法则根据PAM所获得的主题和词的分布,在随机游走的过程中更加偏好于与历史沿革主题相关度大的结点,从而更有利于抽取历史沿革主题信息。因历史沿革主题特征复杂,与其它主题关联度大,词项本身是否表达历史沿革主题信息也并不明确,因此PAM即可以获取基于词空间的分布,又可以获取基于主题分布,对解决这类问题有很大的帮助。利用已获取的主题信息,主题偏好TextRank算法偏向于与历史沿革主题相关的结点进行随机游走,使得抽取结果趋向于历史沿革主题,从而提高了抽取的准确性。实验结果表明,该方法在抽取历史沿革主题信息上更有效。     

短文本分类模型的优化及应用

不同于长文本,短文本信息量缺乏,在研究中通常难以获得丰富的语义特征并且难以提取完整的句法特征,因此短文本分类模型的分类效果有待提升.针对这个问题进行了研究,基于ResLCNN模型进行改进,引入神经主题模型,并融合多个神经网络输出特征进行分类.首先,通过神经主题模型提取主题来丰富短文本的信息;其次,将主题信息储存在记忆网络中,并与序列信息进行融合,丰富文本的表示;最后,将其输入具有残差结构的卷积神经网络以及双向GRU中,提取局部以及全局的语义特征,在特征融合之后进行分类.该模型在Google网页搜索公开数据集中取得了较高的准确率和F1值,表明了改进模型在短文本分类任务中的有效性.     

Social sentiment sensor: a visualization system for topic detection and topic sentiment analysis on microblog

As a new form of social media, microblogging provides platform sharing, wherein users can share their feelings and ideas on certain topics. Bursty topics from microblogs are the results of the emerging issues that instantly attract more followers and more attention online, which provide a unique opportunity to gauge the relation between expressed public sentiment and hot topics. This paper presents a Social Sentiment Sensor (SSS) system on Sina Weibo to detect daily hot topics and analyze the sentiment distributions toward these topics. SSS includes two main techniques, namely, hot topic detection and topic-oriented sentiment analysis. Hot topic detection aims to detect the most popular topics online based on the following steps, topic detection, topic clustering, and topic popularity ranking. We extracted topics from the hashtags using a hashtag filtering model because they can cover almost all the topics. Then, we cluster the topics that describe the same issue, and rank the topic clusters via their popularity to exploit the final hot topics. Topic-oriented sentiment analysis aims to analyze public opinions toward the hot topics. After retrieving the topic-related messages, we recognize sentiment for each message using a state-of-the-art SVM (Support Vector Machine) sentiment classifier. Then, we summarize the sentiments for the hot topic to achieve topic sentiment distribution. Based on the above framework and algorithms, SSS produces a real-time visualization system to monitor social sentiments, which is offering the public a new and timely perspective on the dynamics of the social topics.     

基于LDA模型的论坛热点话题识别和追踪

在当今处于信息数量爆炸式增长的互联网时代,如何分析海量文本中的信息并从而提取出所蕴含的有利用价值的部分,是一个值得关注的问题。然而论坛语料作为网络语料,其结构和内容较一般语料相比更为复杂,文本也更加短小。该文提出的方法利用LDA模型对语料集进行建模,将话题从中抽取出来,根据生成的话题空间找到相应的话题支持文档,计算文档支持率作为话题强度;将话题强度反映在时间轴上,得到话题的强度趋势;通过在不同时间段上对语料重新建模,并结合全局话题,得到话题的内容演化路径。实验结果说明,上述方法是合理和有效的。     

Extracting hot spots of topics from time-stamped documents

Identifying time periods with a burst of activities related to a topic has been an important problem in analyzing time-stamped documents. In this paper, we propose an approach to extract a hot spot of a given topic in a time-stamped document set. Topics can be basic, containing a simple list of keywords, or complex. Logical relationships such as and, or, and not are used to build complex topics from basic topics. A concept of presence measure of a topic based on fuzzy set theory is introduced to compute the amount of information related to the topic in the document set. Each interval in the time period of the document set is associated with a numeric value which we call the discrepancy score. A high discrepancy score indicates that the documents in the time interval are more focused on the topic than those outside of the time interval. A hot spot of a given topic is defined as a time interval with the highest discrepancy score. We first describe a naive implementation for extracting hot spots. We then construct an algorithm called EHE (Efficient Hot Spot Extraction) using several efficient strategies to improve performance. We also introduce the notion of a topic DAG to facilitate an efficient computation of presence measures of complex topics. The proposed approach is illustrated by several experiments on a subset of the TDT-Pilot Corpus and DBLP conference data set. The experiments show that the proposed EHE algorithm significantly outperforms the naive one, and the extracted hot spots of given topics are meaningful.     

基于残差空洞卷积神经网络的网络安全实体识别方法

近年来,网络安全威胁日益增多,数据驱动的安全智能分析成为网络安全领域研究的热点。特别是以知识图谱为代表的人工智能技术可为多源异构威胁情报数据中的复杂网络攻击检测和未知网络攻击检测提供支撑。网络安全实体识别是威胁情报知识图谱构建的基础。开放网络文本数据中的安全实体构成非常复杂,导致传统的深度学习方法难以准确识别。在BERT（pre-training of deep bidirectional transformers）预训练语言模型的基础上,提出一种基于残差空洞卷积神经网络和条件随机场的网络安全实体识别模型 BERT-RDCNN-CRF。通过BERT模型训练字符级特征向量表示,结合残差卷积与空洞神经网络模型有效提取安全实体的重要特征,最后通过CRF获得每一个字符的BIO标注。在所构建的大规模网络安全实体标注数据集上的实验表明,所提方法取得了比LSTM-CRF模型、BiLSTM-CRF模型和传统的实体识别模型更好的效果。     

基于LDA模型的BBS话题演化

BBS(论坛)作为一种新兴的网络媒体,是网民获取信息和发表评论的主要渠道之一。怎样组织BBS上的话题,发现和跟踪新话题以及话题的演化成为了研究的热点。传统的方法更多的是去检测和跟踪话题,而没有考虑话题的演化。提出了基于LDA模型的话题演化方法,表示话题在时间上的演化情况,发现热门话题和冷门话题,能更好地指导网民了解正在发生的事情。实验证明有很好的效果。