摘要：视频点播系统的实现与管理、主要使用python爬虫技术、为什么我会选择爬虫技术呢？因为爬虫技术可以很大程度上提高管理人员的效率，并且，在数据更新如此之快的今天用了爬虫技术不用再担心本网站电影更新速度不及时的这个问题了，下面我来讲解一下网站具体实现的操作[1]。从豆瓣网上把电影爬取出来，将爬出来的数据放在elasticsearch引擎和数据库里面，然后用视频点播网站通过elasticsearch去查询数据自身舆情和推送功能。系统在研发过程是使用的是SpringBoot框架进行项目构建，我使用了Spring+SpringMVC+Hibernate进行架构设计，后台的数据库我使用的是MySQL5，应用ElasticSearch技术对全文进行检索，增大了数据检索及系统的加载速度。该系统主要是通过互联网时刻监控到周边楼盘的政策和舆情，使相关人员能够根据舆情的数据做出舆情的处理，可以使我自己的网站能够实时拥有豆瓣网站的数据，节省了工作人员的大量时间。

关键词：爬虫技术；ElasticSearch全文检索；elasticsearch

目 录

摘 要

Abstract

1  绪论-1

1.1 课题研究的背景与目的-1

1.2 国内外研究现状-1

1.3 视频点播系统系统的概述-2

2  需求分析及可行性分析-3

2.1 需求分析-3

2.2 可行性分析-3

2.2.1数据来源可行性分析-4

2.2.2开发成本可行性分析-4

2.2.3技术可行性分析-4

3 系统设计-5

3.1 系统总功能描述-5

3.1.1数据来源模块-5

3.1.2搜索引擎模块-6

3.1.3数据的展示模块-6

3.2 系统结构设计-7

3.3 数据库结构设计-8

4  系统实现-9

4.1首页展示-9

4.2 数据同步至elasticseaech-9

4.3 通过web展示数据-10

4.4 系统设计中的困难点-10

4.4.1使用elasticsearch遇到的问题-10

4.4.2使用爬虫技术遇到的问题-11

4.4.3插入数据时的问题-11

5  系统测试-12

5.1 测试概要-12

5.2 软件测试-12

5.2.1爬虫技术的测试-12

5.2.2数据的同步-12

5.2.3数据库中是否成功插入数据-13

5.2.4电影主页分类测试-13

结    论-15

谢    辞-16

参考文献-17