摘要：本文主要采用python中的scrapy爬虫框架和echart.js相结合的方法来实现基于大数据处理可视化技术的研究与应用。我们正逐步进入DT时代，面对海量的数据信息，我们很难直观地发掘和理解数据所隐含的信息。本课题将海量数据进行处理，以图形图表的形式展示数据，以便于理解和分析。

基于大数据处理可视化技术主要由数据爬取，数据清洗，数据可视化三个部分组成。通过Python中的Scrapy框架来实现网络数据爬虫的功能，然后进行简单的数据清洗，再将清洗后的数据按类别依次存储到Mysql数据库中，最后通过Echarts.js实现数据可视化。本文以爬取拉勾网的数据为样例进行展示，最终的数据通过bootstrap框架搭建的网页来展现

关键词：Scrapy网络爬虫；数据可视化；Echarts.js；bootstrap

目录

摘要

Abstract

1 引言-1

1.1 项目背景及意义-1

1.2 开发目标-1

1.3 技术路线-2

2 系统分析-3

2.1 可行性分析-3

2.1.1 技术可行性-3

2.1.2 社会可行性-3

2.1.3 操作可行性-3

2.2 需求分析-3

3 系统设计与实现-4

3.1 系统开发环境搭建-4

3.1.1 Python环境配置-4

3.1.2 PyCharm的安装与配置-4

3.1.3 Echarts.js的安装与配置-4

3.1.4 MySql数据库的安装-4

3.1.5 Bootstrap的安装与配置-5

3.2 系统流程-5

3.3 展示界面设计-7

3.4 数据库设计-9

3.5 功能的实现-10

3.5.1 文件的结构及其说明-10

3.5.2 各个功能的实现-12

4 系统测试-21

4.1 测试的目的和方法-21

4.2 测试的内容和结果-21

结    论-22

参 考 文 献-23

致    谢-24