摘要：现今，人们对于金融、理财等相关信息的需求日益增大，而通过传统渠道获取的信息更新慢而庞杂，无用信息较多，在互联网+的大背景下，大家迫切需求一种更加高效，更加智能的信息以及指导的获取方式。

本次设计就针对这一需求，利用大数据生态的思考方式，配合Java，Python，Scala程序语言，Scrapy，Spark，Spring，Echarts，MySQL，Redis等工具、框架，对互联网上的金融股票信息进行获取，使用贝叶斯平均（Bayesian average）、TF-IDF、关联规则等数学工具对这些信息进行整理和计算，对计算结果进行分析，得到对用户有用的、可以展现一些趋势、导向的信息。最后对这些信息进行可视化处理，以网站的方式呈现出来。

关键词：金融；股票；大数据；智能；可视化

目录

摘要

Abstract

1 绪论-1

1.1 研究背景及意义-1

1.2 研究思路-1

2 开发环境及使用技术简介-2

2.1 开发环境的搭建-2

2.2 爬虫技术-3

2.2.1 Jsoup-4

2.2.2 Scrapy-4

2.2.3 Beautiful Soup-4

2.3 Spark-4

2.3.1Spark是什么-4

2.3.2 Spark SQL-5

2.3.3 Spark MLlib-5

2.4 Spring-5

2.4.1 Spring Boot-5

2.4.2 Spring MVC-6

2.4.3 Spring Data JPA-7

2.4.4 Lombok-8

2.4.5 Echarts-8

3 算法介绍-10

3.1 贝叶斯平均-10

3.2 TF-IDF-10

3.3 FP-growth-11

4 总体设计-13

4.1 工作流程设计-13

4.2 数据库设计-13

5 具体实现过程-15

5.1 网络金融股票信息的获取-15

5.1.1 雪球网站组合信息的获取-15

5.1.2 华尔街见闻新闻的获取-15

5.2 数据清洗与计算-16

5.2.1 雪球组合信息的清洗与计算-16

5.2.2 华尔街新闻数据的清洗与计算-18

5.3 数据可视化-22

5.3.1 搭建网站-22

5.3.2 雪球金融股票信息的可视化-23

5.3.3 华尔街新闻的可视化-24

6 关键技术要点-25

6.1 爬虫关键代码：-25

6.1.1 雪球爬虫-25

6.1.2 华尔街见闻爬虫-26

6.2 数据计算关键代码-26

6.2.1 贝叶斯平均-26

6.2.2 分词及TF-IDF-28

6.2.3 FP-Growth-29

结    论-34

参 考 文 献-35

致    谢-36