摘要：随着科学技术的进步，电商产业迅速发展起来，很多商家由线下销售转为线上销售。在这样一个竞争激烈的社会背景下，公司能够更好发展的最主要问题就是如何抓住市场机遇。特别是数据呈现爆炸式的增长速率，正确的使用这些数据资源，并对其进行分析变得尤为重要。本文就是在这种情况下，设计了电商用户行为分析系统。这个系统是一个基于Spark的大数据平台。通过Spark技术与其他大数据技术进行比较，最终选择使用Spark组件中最主要的Spark Core、Spark SQL技术来解决电商企业对海量数据的存储与计算分析。系统的目标是通过分析用户在网上的各种行为，计算行为过程中商品页面的跳转率以及得到不同区域热门商品品类。这个系统的设计是非常有研究意义的。随着中国5G时代的到来，中国上网人数将持续增加。为了节省购物时间，更多国民将选择网上购物。这一购物方式更加促进了中国各种电商平台的发展。而像淘宝，京东，苏宁易购等这些电商平台，通过用户的各种网上行为向用户推荐符合需求的商品是发展要解决的最主要问题。本文就是为了解决这一问题进行研究用户分析系统。

关键词：用户行为分析；大数据；Hadoop；Spark

目 录

摘 要

Abstract

1  绪论-1

1.1 研究背景-1

1.1.1 项目开发背景与意义-1

1.1.2 Spark项目背景-1

1.2 项目基本介绍-1

2  技术综述-2

2.1 大数据平台技术-2

2.1.1 Hadoop-2

2.1.2 Hive-2

2.1.3 Spark-2

3  系统分析-4

3.1 系统需求分析-4

3.2 系统可行性分析-4

3.2.1 技术可行性-4

3.2.2 经济可行性-4

3.3 系统开发流程-5

4  电商用户行为分析方法的实现-6

4.1 环境部署-6

4.2 方法实现-6

4.2.1 方法类实现-6

4.3模块实现-7

4.3.1 用户访问分析模块-7

4.3.2 页面单跳转化率模块-8

4.3.3 各区域热门商品统计模块-8

5  系统测试-9

5.1 本地测试-9

5.2 生产环境测试-11

结    论-12

参考文献-13

致    谢-14