基于Python的电商用户行为分析系统

本文介绍了一个基于Python开发的电商用户行为分析系统，采用Django+Vue技术栈，集成Hadoop、Hive等大数据组件。系统实现了用户行为数据采集、存储、分析和可视化全流程，包含商品推荐、订单管理、日志分析等功能模块。通过Hive进行离线数据分析，ECharts展示用户行为分布、商品热度等可视化报表。系统采用前后端分离架构，支持精准营销、库存优化等业务场景。未来可引入实时计算和深度学习模

Sunny Mornings

1070人浏览 · 2025-12-22 08:49:41

Sunny Mornings · 2025-12-22 08:49:41 发布

1. 系统背景

在数字化浪潮下，电商平台积累了海量的用户行为数据。如何从这些碎片化的数据中提取价值，精准洞察用户需求，成为企业提升竞争力的关键。本文将详细介绍一个基于Python开发的电商用户行为分析系统，该系统集成了Django、Vue、Hadoop、Hive等技术栈，实现了从数据采集、存储、分析到可视化的全流程。随着电子商务的飞速发展，用户在平台上的点击、收藏、购买等行为构成了丰富的数据图谱。通过对这些行为的深度分析，可以实现：

精准营销：根据用户偏好推送商品。
库存优化：预测热门商品，合理备货。
用户画像：构建多维度的用户特征模型。
决策支持：为平台运营提供直观的数据支撑。

本系统旨在构建一个高性能、可扩展的分析平台，既能满足日常的业务管理，又能应对大规模数据的离线分析需求。

演示视频详情和代码详情：https://www.bilibili.com/video/BV1VUqSBWEDo/

配套论文

配套PPT

2. 技术架构

系统采用前后端分离的架构模式，并引入了大数据处理组件，整体架构如下：

前端 (Frontend):
- Vue.js: 构建响应式用户界面。
- Element UI: 快速搭建后台管理界面。
- ECharts: 负责多维度数据可视化图表的绘制。
后端 (Backend):
- Django (Python): 提供稳健的RESTful API接口。
- Scrapy (可选): 用于模拟或采集外部电商数据。
数据存储 & 分析 (Data & Big Data):
- MySQL: 存储业务逻辑数据（用户信息、订单、商品信息等）。
- Hadoop (HDFS): 分布式文件存储分析数据。
- Hive: 负责大规模行为日志的离线分析与ETL处理。
- PySpark: 辅助进行复杂的数据清洗与指标计算。

3. 系统设计

3.1 功能模块设计

系统主要分为以下几个核心模块：

用户管理模块：支持用户注册、登录、个人信息维护及余额充值。
商品管理模块：实现商品分类、详情展示、库存管理及智能推荐。
交易流程模块：包含购物车、订单生成、模拟支付及物流追踪。
行为日志采集：记录用户每一次点击（PV）、收藏、加入购物车及购买行为。
大数据分析看板：
- 销售分析：日销量/月销量趋势、各品类销额占比。
- 行为洞察：用户操作类型分布（点击、收藏、下单等）。
- 用户画像：年龄段分布、性别比例等统计。
- 商品热度：基于点赞数、评论数和收藏数的热度排名。

3.2 数据库设计

核心表结构包括：

yonghu (用户表)
shangpinxinxi (商品信息表)
gouwurizhi (购物日志表)：存储 uid, goodsid, userbehavior, shijianchuo 等关键字段。
orders (订单表)

4. 系统实现

4.1 行为日志分析逻辑

系统通过 gouwurizhi 表记录用户行为。在分析阶段，利用 Python 编写的脚本将 MySQL 中的增量数据同步至 Hive。

# Hive 分析核心逻辑片段 (hive_v.py)
def hive_query():
    conn = hive.Connection(host='hadoop1', port=10000, username='root', database='djangodb')
    cursor = conn.cursor()
    # 统计用户行为类型分布
    userbehavior_query = "SELECT COUNT(*) AS total, userbehavior FROM gouwurizhi GROUP BY userbehavior"
    cursor.execute(userbehavior_query)
    # ... 结果处理并转存为 JSON 供前端调用

4.2 智能推荐算法

系统实现了简单的协同过滤思路，基于 clicknum（点击量）和 clicktime（点击时间）进行加权排序，为用户推荐热门商品。

4.3 可视化展示

前端利用 ECharts 与后端 API 对接，动态渲染分析结果。

// ECharts 渲染示例
chartDialog1() {
  this.$http({
    url: "gouwurizhi/group/userbehavior",
    method: "get",
  }).then(({ data }) => {
    // 渲染饼图或柱状图
    let userbehaviorChart = echarts.init(document.getElementById("userbehaviorChart"));
    userbehaviorChart.setOption(option);
  });
}

5. 系统实现

5.1 系统前台功能实现

电商用户行为分析系统的前台功能为用户提供了丰富的购物体验。系统首页展示了个性化推荐的商品信息，方便用户快速找到感兴趣的商品。商品信息页面详细展示了商品详情，便于用户了解产品特性。公告资讯页面发布最新的促销活动和公告，保持用户对平台的关注。购物车功能允许用户查看和管理自己选购的商品。系统首页页面如图5-1所示：

图5-1系统首页页面

个人中心集中了用户的个人信息、订单管理、密码修改、地址管理以及收藏的商品，为用户提供一站式的个人服务。个人中心页面如图5-2所示：

图5-2个人中心页面

5.2 管理员功能实现

管理员主页面作为系统控制中心，提供全面的管理功能。页面通常详细列出所有管理模块，包括系统首页、个人中心、用户、商品信息、商品类型、购物日志、充值记录、系统管理、订单管理等，确保管理员能够高效地进行日常管理工作。整个页面布局清晰，功能模块化，便于管理员快速定位和操作。管理员主页界面如图5-3所示：

图5-3 管理员主页界面

管理员通过用户账号和姓名进行快速查询，实现对用户列表的增删查改。可以添加新用户或删除现有用户，还支持查看用户详细信息，进行必要的信息编辑和删除操作，确保用户数据的准确性和实时更新。用户界面如图5-4所示：

图5-4 用户界面

管理员在商品信息模块中，通过商品名称、价格和类型筛选商品，执行添加、查询或删除操作。可以查看商品销售数据的统计图表，以及商品的详细信息、评论，并进行修改或删除，以维护商品信息的准确性和更新。商品信息界面如图5-5所示：

图5-5 商品信息界面

管理员在购物日志模块中，通过商品ID和商品类目ID进行精确查询，支持添加、删除购物日志。管理员还可以爬取新的购物数据，生成日志信息，并进行查看、修改或删除操作，确保日志信息的完整性和准确性。购物日志界面如图5-6所示：

图5-6 购物日志界面

管理员利用Apache Spark作为爬虫技术的基础，自动化地收集数据，并通过Hadoop框架进行大数据分析。在看板模块，管理员可以直观地查看系统简介、用户总数、商品信息总数、购物日志总数等关键指标的统计图。此外，还能深入查看购物日志的详细数据、商品类型分布、用户行为类型分析、点赞、收藏、评论的统计数据，以及用户年龄分布的统计图。这些统计图为管理员提供了全面的数据视图，帮助他们更好地理解用户行为和业务趋势，从而做出更明智的决策。看板界面如图5-7所示：

图5-7 看板界面

管理员在充值记录模块中，能够通过用户名快速检索充值记录，进行添加或删除操作。管理员还可以查看详细的充值记录，进行必要的信息修改或删除，以维护充值数据的准确性和完整性。充值记录界面如图5-8所示：

图5-8 充值记录界面

在系统管理模块，管理员能够对轮播图进行添加、编辑和删除，确保首页展示的图片内容更新及时。管理员还可以发布和管理公告资讯，设置公告资讯的分类，以及编辑系统简介，全面控制网站的内容展示和信息更新，提升用户体验。系统管理界面如图5-9所示：

图5-9 系统管理界面

管理员在订单管理模块中，能够对不同状态的订单进行细致操作。这包括查看和处理已支付、已完成、已取消、已退款、已发货以及未支付的订单。管理员可以更新订单状态，查看订单详情，包括用户信息、商品详情和支付信息，以及执行必要的操作，如取消、退款或发货，确保订单流程的顺畅和客户满意度。订单管理界面如图5-10所示：