摘要：为帮助大学生，社会从业人员了解当前市场的就业环境和社会对人才的需求，也为帮助大学生更好的就业择业，使得大学生在学校中能够及时了解社会的职位情况，以便及时的学习相应的知识为就业提供支撑，但是目前互联网没有一款产品能够实时有效的反映出社会中的职位变化以供参考。因此，基于python分布式爬虫的全国招聘数据分析平台应运而生。

该平台采用B/S模式，基于python开发。借助Python 完成招聘数据的爬取和清洗；依靠Elasticsearch数据搜索分析服务，完成对百万级招聘数据的聚合统计等操作；通过python的Flask框架完成webAPI，使用阿里云服务DataV完成网页的编写及简单的用户交互体验；使用阿里云服务器ECS实例完成云上环境的部署；综合运用各种技术来增强用户体验效果。平台采用python实时爬虫自动解析网页数据入库，自动完成实时数据分析，实时渲染数据可视化大屏，达到一目了然，数据实时有效，视觉冲击力震撼的数据平台效果[123]。

借助浏览器，教师可以了解社会招聘职位需求变化，学生了解社会严峻的就业形势，针对性的补充自己的理论知识和实践能力，对自己的学业一定的知指导作用。系统可以较好,全面的展示社会职位的分布和变化，数据可视化大屏满足基本的数据分析图表。

关键词：python爬虫；数据清洗；Elasticsearch存储分析；数据可视化

目录

摘要

ABSTRACT

第1章 前言-4

1.1课题研究背景-4

1.2国内外研究现状-4

1.3平台开发模式与运行环境-4

1.3.1 B/S模式-4

1.3.2 开发与运行环境-5

1.4课题研究内容-5

1.5课题研究目的与意义-5

1.5.1 研究目的-5

1.5.2 研究意义-5

1.6全文组织结构-6

第2章 招聘数据分析平台的系统分析-7

2.1可行性分析-7

2.2系统需求调研-7

2.3系统架构分析-7

2.3.1 系统瓶颈分析-7

2.3.1 系统架构图-8

2.4系统需求分析-8

2.4.1功能需求分析-8

2.4.2非功能性需求分析-10

第3章 招聘数据分析平台的设计-11

3.1系统架构层次设计-11

3.2数据库设计-11

3.2.1概念设计-11

3.4 代码框架设计-14

3.4.1 爬虫代码设计-14

3.4.2 数据分析及可视化API设计-15

第4章 招聘数据分析平台的实现-17

4.1主要功能模块的实现-17

4.2 数据分析图表解读-20

4.3数据分析不足-20

4.3小结-20

第5章 招聘数据分析平台的测试-21

第6章 总结与展望-25

6.1 总结-25

6.2 展望-25

附-录-26

参 考 文 献-

致  谢