数据挖掘在证券业务分析系统中的应用

对数据挖掘在证券业务分析系统中的应用相关理论进行了探讨,重点阐述了通过数据挖掘技术挖掘股票之间的关联规则,使投资者了解各种股票的走势及股票之间的关系,从而作出正确的投资决策。     

数据挖掘:建模、算法、应用和系统

数据挖掘是20世纪末逐渐形成的一个多学科交叉领域，目前已经广泛成功地应用在金融，零售、医药、通讯、电子工程、航空、旅馆等有大量数据和深度分析需求的领域。文中对数据挖掘的建模、算法、应用和软件工具进行了综述，给出了数据挖掘的定义、范畴和特点，以及数据挖掘的数据集的各种实际情况；总结了数据挖掘在实际应用时的基本步骤和过程；对数据挖掘在各种应用问题上的任务和建模进行了讨论；列举了目前数据挖掘领域中主要流行的算法，并对算法设计需要考虑的问题进行了简要的分析；综述了目前数据挖掘算法在一些领域的应用；较全面地叙述了目前数据挖掘软件工具性能及其开发商情况；最后，对数据挖掘的发展前景和方向进行了展望。     

数据挖掘技术综述

随着计算机、网络技术的发展，获得有关资料非常简单易行。但对于数量大、涉及面宽的数据，传统统计方法无法完成这类数据的分析。因此，一种智能化的、综合应用各种统计分析、数据库、智能语言来分析庞大数据资料的“数据挖掘”（DateMining）技术应运而生。本文主要介绍了数据挖掘的基本概念以及数据挖掘的方法；本文对数据挖掘的应用及其发展前景也进行了描述。     

基于数据挖掘聚类技术的信用评分评级

本文提出了一个基于数据挖掘聚类技术的信用评分评级方法。该方法使用数据挖掘的聚类算法，对传统信用评分模型进行了改进，本文给出了方法的理论证明，并在一个信用卡分析系统DMCA中实现了该方法，进行了详细的数据测试。理论证明及实验结果都表明，聚类技术在传统信用评分模型的DM／MTM，分界值，均方差，交叉验证等问题上取得了良好的效果。     

基于Hadoop 平台的聚类K-means算法的研究

针对当前数据规模不断增大，单机的数据挖掘运行效率低下的问题，本文采用Hadoop 平台对聚类K-means 算法进行研究以解决此类问题。首先对Hadoop 平台的架构和搭建进行了详细描述；其次详细分析了K-means 算法；最后给出了算法实现，并对算法进行了实验分析。     

时态神经网络模型及其在股票分类预测上应用

对具有时间属性的数据进行数据挖掘称为时态数据挖掘，用以发现数据在时间上的知识，当数据变化不规律时，如股票交易数据,就很难发现有价值的规律与规则。而神经网络具有并行、容错、可以硬件实现以及自我学习的优点,可作为股票分类预测应用的一种方法。通过将股票数据与时态型相结合，将股票数据转换成时态型股票数据，提出时态神经网络模型的分类方法，对收集的若干上市公司十年内的股票数据进行分析，构建了时态股票数据神经网络分类器对股票进行分类预测。经过实验验证，相比改进前的神经网络和支持向量机方法，该分类器具有更高的分类准确率。结果证明，这种时态数据神经网络模型对于多只股票的分类预测是非常有效的，可以很好地运用到股票市场的分类预测中。     

基于ID3算法的股票指标选择

本文针对股价这样一个随机事件的概率分布进行预测的问题,使用数据挖掘中决策树分类的算法,从股票技术上分析预测股价波动趋势,为其提供一个选择的指标。通过对股票数据的处理,计算信息增益,及各指标信息增益的比较,可以知道"成交量"这一指标更适合做为股票幅度预测的指标,这可以作为实际股票幅度预测与分析问题的参考[1-6]。     

空间聚类研究

聚类算法是数据挖掘中的关键技术,聚类技术在模式识别、图像处理等领域有广泛应用,随着对聚类算法更广泛深入的研究,产生了许多不同的适用于空间数据挖掘的聚类算法.描述了数据挖掘领域中对聚类分析的典型要求,介绍了空间数据挖掘中近几年常用的聚类方法,并通过基于评价聚类算法好坏的标准,从多个方面对这些算法性能进行比较分析,方便人们较容易找到一种适用于特定问题的聚类算法,最后对未来发展进行了展望.     

数据挖掘技术及其在过程监控中的应用

数据挖掘技术作为一个新兴的技术在许多领域都有成功的应用，本文从数据挖掘的定义、数据挖掘技术的分类以及数据挖掘技术的发展和发掘工具三个方面对数据挖掘技术做了概述，并对数据挖掘技术在过程监控中的应用进行了探讨。     

数据挖掘中聚类方法比较研究

数据挖掘是近年来信息产业界非常热门的研究方向，聚类分析是数据挖掘中的核心技术。聚类算法已被广泛深入地研究，其间产生了许多不同的适用于数据挖掘的聚类算法，但这些算法仅适用于特定的问题及用户。为了更好地使用这些算法，文中对数据挖掘领域的聚类分析方法及代表算法进行了分析，提出了数据挖掘对聚类的典型要求，并基于这些要求对数据挖掘中常用的聚类算法作了比较，以便于人们更容易、更快速地选择一种适用于具体问题的聚类算法。     

A novel methodology for stock investment using high utility episode mining and genetic algorithm

In this paper, we present a novel methodology for stock investment using the technique of high utility episode mining and genetic algorithms. Our objective is to devise a profitable episode-based investment model to reveal hidden events that are associated with high utility in the stock market. The time series data of stock price and the derived technical indicators, including moving average, moving average convergence and divergence, random index and bias index, are used for the construction of episode events. We then employ the genetic algorithm for the simultaneous optimization on parameters and selection of subsets of models. The empirical results show that our proposed method significantly outperforms the state-of-the-art methods in terms of annualized returns of investment and precision. We also provide a set of Z-tests to statistically validate the effectiveness of our proposed method. Based upon the promising results obtained, we expect this novel methodology can advance the research in data mining for computational finance and provide an alternative to stock investment in practice.     

关联规则在股票板块联动分析中的应用

Apriori算法是关联规则挖掘中的经典算法,针对Apriori算法的不足进行了一些改进。新算法使用垂直数据格式,并改进了产生候选项的连接方法。为了研究股票板块的联动关系,将改进算法应用于股票板块指数分析中。实验结果表明,改进算法能快速发现板块之间的联动关系,对股市分析和投资决策有一定的指导作用。     

基于数据仓库的证券投资分析系统的分析与设计

以证券公司的交易系统为背景 ,介绍了基于数据仓库技术的投资分析系统的体系框架和实现方法 ,针对“个股”这一主题进行了一些分析 ,对数据进行了提取、转换和挖掘 ,从而提高了系统的安全、可靠和盈利性     

基于web 的股评观点挖掘系统

互联网已经逐渐成为散户投资者获得投资信息的主要渠道．“大盘走势”是散户投资股市主要考虑的因素．这里基于股评文章的特征设计实现了股评观点挖掘系统．该系统利用基于模式的倾向性分析股评的方法,识别并提取预测性观点句并通过倾向性分析最终获得股评的分类．实验表明,基于该方法的观点挖掘系统,查准率达到了91．7％．     

大数据聚类算法综述

随着数据量的迅速增加,如何对大规模数据进行有效的聚类成为挑战性的研究课题。面向大数据的聚类算法对传统金融行业的股票投资分析、互联网金融行业中的客户细分等金融应用领域具有重要价值。对已有的大数据聚类算法进行了详细划分,并比较了每种聚类算法的优缺点,进一步总结了已有研究存在的问题,最后对未来的研究方向进行了展望。     

Data mining investigation of co-movements on the Taiwan and China stock markets for future investment portfolio

On June 29, 2010, Taiwan signed an Economic Cooperation Framework Agreement (ECFA) with China as a major step to open markets between Taiwan and China. Thus, the ECFA will contribute by creating a closer relationship between China and Taiwan through economic and market interactions. Co-movements of the world’s national financial market indexes are a popular research topic in the finance literature. Some studies examine the co-movements and the benefits of international financial market portfolio diversification/integration and economic performance. Thus, this study investigates the co-movement in the Taiwan and China (Hong Kong) stock markets under the ECFA using a data mining approach, including association rules and clustering analysis. Thirty categories of stock indexes are implemented as decision variables to observe the behavior of stock index associations during the periods of ECFA implementation. Patterns, rules, and clusters of data mining results are discussed for future stock market investment portfolio.     

符号化近似SAX在时序数据挖掘中的应用研究

聚类是数据挖掘研究中最常见的一种方法,可以作为规则发现、异常发现等其它数据挖掘操作的基础,一直以来都是数据挖掘的研究热点之一。股票数据是一种典型的时间序列数据,利用股票数据进行时间序列数据挖掘的研究既有一定的实际应用价值,也是国内外的热点问题之一。文章首次将一种新型符号化方法SAX[1]应用到标准普尔500指数的股票数据的聚类研究中,使用传统的欧氏距离和动态时间弯曲两种时间序列相似性度量方法进行实验。实验结果表明将SAX应用到股票数据聚类操作,可以得到更好的趋势聚类效果和更高的效率。     

多源异构数据融合驱动的股票指数预测研究

现代信息技术的广泛应用使得资本市场投资者能够获得更及时、更有价值的信息,也更容易受到金融论坛、专业投资网站的影响。融合资本市场的多源异构数据对股票指数进行预测成为该领域的研究热点。提出了一种基于多源异构数据的长短期神经网络（Long Short-Term Memory,LSTM）模型,通过对融合资本市场交易数据、技术指标数据、投资者情绪三种源数据的量化来预测股票指数的走势。提出了一种可以提取深度情感特征的卷积神经网络（Convolutional Neural Networks,CNN）情感分析模型,构建了投资者情绪特征模型。利用“上证50指数”数据进行实验,结果显示：LSTM模型的预测准确率比传统模型更为优秀,数据源的增加也对模型准确率的提升有较大贡献,验证了该方法的可行性和有效性。     

应用人机交互的遗传算法挖掘股票投资风险规则

介绍了人机交互的遗传算法的基本原理 ,论述了用人机交互的遗传算法挖掘股票投资风险规则的算法思想和关键问题 ,包括规则的表示与编码、适应度函数的定义以及交叉、变异和选择操作 ,提出了基于人机交互遗传算法的股票投资风险规则挖掘算法 .应用该算法从股票交易数据库中挖掘一段时间内股票涨跌与其属性之间的关系 .实验结果表明该算法是可行的和有效的 .人机交互的遗传算法对于挖掘股票投资风险规则以及求解人机合作的“可操作性”问题 ,提供了一种方法和途径     

Discovering public sentiment in social media for predicting stock movement of publicly listed companies

The popularity of many social media sites has prompted both academic and practical research on the possibility of mining social media data for the analysis of public sentiment. Studies have suggested that public emotions shown through Twitter could be well correlated with the Dow Jones Industrial Average. However, it remains unclear how public sentiment, as reflected on social media, can be used to predict stock price movement of a particular publicly-listed company. In this study, we attempt to fill this research void by proposing a technique, called SMeDA-SA, to mine Twitter data for sentiment analysis and then predict the stock movement of specific listed companies. For the purpose of experimentation, we collected 200 million tweets that mentioned one or more of 30 companies that were listed in NASDAQ or the New York Stock Exchange. SMeDA-SA performs its task by first extracting ambiguous textual messages from these tweets to create a list of words that reflects public sentiment. SMeDA-SA then made use of a data mining algorithm to expand the word list by adding emotional phrases so as to better classify sentiments in the tweets. With SMeDA-SA, we discover that the stock movement of many companies can be predicted rather accurately with an average accuracy over 70%. This paper describes how SMeDA-SA can be used to mine social media date for sentiments. It also presents the key implications of our study.