摘要：随着计算机网络的高速发展，股票等金融资产在网络上交易变的十分简单，股票的交易产生的海量的数据对我们研究分析走势及行情显得尤为重要，人们需要准确且高效采集大量数据并从中提取有价值的情报。本文主要是基于Python语言进行网络爬虫与数据分析，使用Python爬虫技术对新浪财经提供的中国A股行情交易股数据进行多进程数据采集，多进程数据采集非常稳定并且提高了程序的采集效率，每个进程都有自己的独立的存储空间能够充分利用多核CPU资源。

数据采集的结果存储到关系型数据库管理系统mysql中进行优化，借用sklearn框架中LinearRegression算法进行数据的分类、回归和预处理，引用sklearn中算法进行聚类降维分析，通过对A股数据的分析得到预定结果集，算法分析后的结果回传到服务器上进行网页可视化展示。

基于数据采集的股票分析预测系统可以理性的预测基本个股的涨跌波动情况，一是可以为相关职能部门监管股票市场提供帮助，发现市场过度的投机行为，二是可以为普通投资者进行理性投资分析，成为辅助投资者参与股市投资的工具。

关键词： 数据采集；数据存储；数据分析；可视化展示；sklearn框架

目录

摘要

ABSTRACT

第1章 前言- 1 -

1.1课题背景- 1 -

1.2课题研究现状- 1 -

1.2.1国外研究现状- 1 -

1.2.2国内研究现状- 2 -

1.3研究的目的和意义- 3 -

1.3.1研究目的- 3 -

1.3.2研究意义- 3 -

1.4本文组织结构- 3 -

第2章 基于数据采集的股票分析预测系统的相关技术- 5 -

2.1数据采集技术简介- 5 -

2.2MySQL数据库存储技术简介- 5 -

2.3Python算法分析技术简介- 6 -

2.4可视化技术简介- 6 -

第3章 基于数据采集的股票分析预测系统的需求分析- 8 -

3.1开发的可行性研究- 8 -

3.1.1技术可行性分析- 8 -

3.1.2运行可行性分析- 9 -

3.1.3操作可行性分析- 9 -

3.2系统的综合需求- 10 -

第4章 基于数据采集的股票分析预测系统的设计- 12 -

4.1系统的结构框架- 12 -

4.2系统的主要结构模型- 13 -

4.2.1数据采集模块- 13 -

4.2.2数据分析模块- 14 -

4.2.3数据存储模块- 14 -

4.2.4可视化模块- 15 -

第5章 基于数据采集的股票分析预测系统的实现- 17 -

5.1数据采集模块- 17 -

5.1.1多进程框架模块- 17 -

5.1.2数据采集模块- 19 -

5.1.3数据写入模块- 20 -

5.2数据分析模块- 21 -

5.2.1 sklearn分析算法- 21 -

5.2.2 算法引用- 22 -

5.3数据存储模块- 22 -

5.3.1数据增删改查操作- 22 -

5.3.2数据库配置- 26 -

5.3.3数据读写模块引用方法- 27 -

5.4可视化展示模块- 27 -

5.4.1Tornado服务器端- 27 -

5.4.2网页端- 28 -

第6章 基于数据采集的股票分析预测系统的测试- 29 -

6.1采集模块测试- 29 -

6.2分析模块测试- 31 -

6.3可视化模块- 31 -

第7章 总结与展望- 32 -

7.1总结- 32 -

7.2展望- 32 -

附  录- 33 -

参考文献- 34 -

致  谢- 36 -