摘要：基于SPARK的电商用户行为分析平台主要实现了包括用户访问Session分析、页面单跳转化率统计、热门商品离线统计和广告流量实时统计这四个业务模块。通过平台的业务模块，可以细化出Session访问步长和访问时长占比统计、随机抽取Session、获取前十热门商品品类、获取前十热门商品品类活跃Session、页面单跳转化率、各区域热门商品统计模块、广告统计用户黑名单、广告点击流量实时统计、实时统计各省的热门广告和最近一小时广告点击趋势等这十个功能。平台通过Spark Core、Spark SQL和Spark Streaming三个框架进行开发。因为Spark技术的底层是使用Scala实现的，因此应用Scala语言进行开发，效率会更高，代码也会更简洁。同样，MySQL数据库是开源和免费的数据库，同时也是应用比较广泛的数据库，因此本平台采用MySQL数据库进行存储最后计算出的分析结果。 

关键词：电商平台；Spark技术；Scala语言

目 录

摘 要

Abstract

1  前言-1

1.1  课题的背景-1

1.2  课题的目的与意义-1

1.3  国内外该课题的发展现状-1

1.4  设计的指导思想和技术-2

1.4.1   SparkCore介绍-2

1.4.2   SparkSQL介绍-2

1.4.3   Spark Streaming介绍-2

1.4.4   MySQL数据库介绍-2

1.5  设计应解决的主要问题-3

2  可行性分析-4

2.1  技术可行性分析-4

2.2  经济可行性分析-4

2.3  操作可行性分析-5

3  平台设计-6

3.1  平台总体介绍-6

3.2  平台功能模块的详细分析与介绍-7

3.3  数据模型-9

4  平台实现-13

4.1  用户访问Session模块-13

4.1.1  Session访问步长和访问时长占比统计表-13

4.1.2  随机抽选Session-13

4.1.3  获取Top10商品热门品类-14

4.1.4  获取Top10商品热门品类的活跃Session-15

4.2  页面单跳转化率模块-15

4.3  各区域热门商品统计模块-16

4.4  广告点击流量实时统计分析模块-17

4.4.1  广告统计用户黑名单-17

4.4.2  广告点击流量实时统计-17

4.4.3  实时统计各省的热门广告-18

4.4.4  最近一个小时广告点击趋势-19

5  平台测试-20

5.1  平台测试的目的-20

5.2  平台测试-20

5.2.1  用户访问Session模块的测试-20

5.2.2  页面单跳转化率模块的测试-20

5.2.3  各个区域热门商品Top3统计模块的测试-20

5.2.4  广告点击流量实时统计分析模块的测试-21

结    论-22

参考文献-23

谢    辞-24