Spark电商用户画像源码解析:RFM标签计算与HBase存储实战
简介:本资源为基于Spark的电商用户画像数据挖掘项目完整源码,面向具备一定大数据基础、希望深入理解用户画像构建流程的开发者与数据挖掘学习者。项目以Scala与Java为主力语言,结合Spark分布式计算框架,围绕用户行为与偏好分析,实现精准营销与个性化推荐所需的数据挖掘链路,适合作为课程设计、毕业项目或技术进阶的实战参考。压缩包共462个文件,约13.45MB,涵盖296个class、70个scala、20个java等核心代码文件,以及properties、xml、json等配置与数据交换文件,另有jar依赖、js/css/html前端展示资源,结构完整。目录按tags-model、tags-web、tags_ml、tags-etl等模块划分,清晰体现从ETL到模型训练再到前端呈现的完整流程。目前已有339人学习下载,读者可借此掌握分布式数据处理、画像标签建模与全栈应用落地的具体实现思路。
1. 从一堆 class 文件说起:这套 Spark 电商用户画像源码到底能跑出什么
拿到一个 453 个文件的 Scala 项目,第一反应往往不是兴奋,而是先找入口。这套基于 Spark 的电商用户画像数据挖掘源码,核心产物是一批编译好的模型类: UsgTagModel 、 RfmTagModel 、 RfmModel 、 UsgModel ,加上 JobModel 、 AbstractModel 、 MLModelTools 、 TagTools 、 HBaseRelation 这些调度和工具类。它要解决的事情很具体——把电商平台里散落的订单、浏览、加购行为,通过 Spark 批处理跑成 RFM 标签和用户统计标签,最终落到 HBase 供上层调用。
适合谁看?如果你正在做用户标签体系、精准营销或者推荐系统的特征工程,又不想从零搭一套标签计算框架,这套源码的模块划分(tags-etl、tags-model、tags-web、tags_ml)能直接当骨架用。Scala 函数式写法配 Spark 分布式算子,处理千万级用户行为日志时比单机 Python 脚本稳得多。但前提是,你得先搞清楚它每个模块在干什么,而不是一股脑丢进 IDE 就点运行。
2. 拆开 tags-etl 到 tags-model:模块职责与数据流转
2.1 四个模块各管哪一段
从文件命名就能看出项目被切成了四块: tags-etl 负责抽取、转换、加载,把原始日志洗成宽表; tags-model 是核心,跑 RFM 和用户统计模型; tags_ml 放机器学习相关逻辑; tags-web 是前端展示层,用 JavaScript、CSS、HTML 把画像结果可视化。这种切法在电商场景里很常见,因为 ETL 和模型计算的资源需求、调度频率完全不同——ETL 可能每小时跑一次,模型一天跑一次就够了。
AbstractModel 和 JobModel 是理解整个调度逻辑的钥匙。 AbstractModel 定义了模型的生命周期:初始化 Spark 上下文、读配置、加载数据、计算、写结果。 JobModel 则负责把具体模型类反射实例化并提交任务。你如果只想跑通 RFM,改 JobModel 里的类名参数就行,不用动其他代码。
2.2 数据从 Hive 到 HBase 的路径
典型的数据流是这样的:原始行为日志落在 Hive 表里, tags-etl 用 Spark SQL 做清洗和聚合,产出用户-商品-行为宽表; tags-model 读取宽表,按用户维度计算 R(最近一次消费)、F(消费频率)、M(消费金额),再叠加用户统计标签(如近 30 天浏览量、加购数);结果通过 HBaseRelation 写入 HBase,rowkey 一般是用户 ID 加标签类型。
这里有个容易忽略的点: TableFieldNames 这个类集中管理了所有表名和字段名。我一般会先把它打开,对照自己的 Hive 表结构改一遍,否则后面所有 SQL 都会因为字段对不上而报错。常见做法是把它做成配置化,但原项目是硬编码的 Scala object,改的时候注意别漏了 HBase 列族名。
2.3 跑通第一个模型的最小步骤
假设你本地已经装好 Spark 和 Hive,想先跑通 RFM 模型,按下面几步走:
# 1. 编译打包,跳过测试
mvn clean package -DskipTests
# 2. 确认 Hive 表存在,字段与 TableFieldNames 一致
hive -e "desc ods_user_behavior"
# 3. 提交 Spark 任务,指定主类和模型参数
spark-submit \
--class com.tags.JobModel \
--master yarn \
--deploy-mode cluster \
--executor-memory 4g \
--num-executors 10 \
tags-model.jar \
RfmTagModel
--executor-memory 给 4g 是因为 RFM 计算要缓存用户宽表,太小会频繁 spill 到磁盘。 --num-executors 根据你 Hive 表的分区数调,一般一个分区一个 executor 比较顺。最后那个 RfmTagModel 参数就是告诉 JobModel 这次实例化哪个模型类。跑完之后去 HBase 里 scan 一下 tags:rfm 表,能看到用户 ID 和对应的 R、F、M 分值就说明通了。
提示:如果
JobModel用的是反射加载类名,包路径必须写全,比如com.tags.model.RfmTagModel,少一层都会报 ClassNotFound。
3. RFM 与用户统计标签的计算逻辑:参数怎么设、代码怎么改
3.1 RFM 打分边界不是拍脑袋定的
RFM 模型看着简单,但 R、F、M 三段的切分点直接决定标签质量。原项目里 RfmModel 大概率用了分位数或者固定阈值。我翻过不少电商项目,常见做法是按业务经验定:R 取近 7 天、30 天、90 天、180 天四档;F 取 1 次、3 次、10 次、20 次;M 取 100、500、2000、5000 元。但更稳的方式是用 Spark 的 approxQuantile 算实际分位数,避免用户行为分布偏移导致标签全挤在一档。
// 用近似分位数动态计算 RFM 切分点
val quantiles = df.stat.approxQuantile(
Array("recency", "frequency", "monetary"),
Array(0.2, 0.4, 0.6, 0.8),
0.01
)
// quantiles(0) 是 recency 的四个切分点,依次类推
approxQuantile 的第三个参数是相对误差,0.01 表示允许 1% 误差,换来计算速度。如果数据量上亿,可以放宽到 0.05。算出切分点后,用 when 和 otherwise 嵌套打分,R 越小分越高,F 和 M 越大分越高,最后拼成 R1F2M3 这样的标签串。
3.2 用户统计标签的聚合维度
UsgTagModel 和 UsgModel 负责的是统计类标签,比如近 7 天浏览量、近 30 天加购数、近 90 天收藏数。这类标签的计算关键是时间窗口和去重。原项目里大概率是按用户 ID 分组,然后用 sum(when(条件, 1).otherwise(0)) 的方式计数。
// 统计近 7 天、30 天、90 天的行为次数
val userStats = behaviorDF
.groupBy("user_id")
.agg(
sum(when(col("dt") >= date_sub(current_date(), 7), 1).otherwise(0)).as("pv_7d"),
sum(when(col("dt") >= date_sub(current_date(), 30), 1).otherwise(0)).as("pv_30d"),
sum(when(col("dt") >= date_sub(current_date(), 90), 1).otherwise(0)).as("pv_90d"),
countDistinct(when(col("action") === "cart", col("item_id"))).as("cart_cnt")
)
date_sub(current_date(), 7) 依赖 Spark 的日期函数,如果 Hive 表里日期是字符串格式,得先 to_date 转一下。 countDistinct 在数据量大时比较吃内存,可以换成 approx_count_distinct ,误差在可接受范围内。我一般会把窗口天数做成参数,方便业务调整,而不是写死在代码里。
3.3 模型结果写 HBase 的 rowkey 设计
HBaseRelation 这个类封装了 Spark 写 HBase 的逻辑。rowkey 设计是血泪经验:如果只用 user_id 做 rowkey,写热点会集中在少数 region,跑批时容易卡住。常见做法是加盐或者反转,比如 user_id.hashCode % 10 + "_" + user_id ,把数据打散到 10 个 region。列族一般用一个 t ,列限定符用标签名,值存标签值。
// 写 HBase 前构造 RDD[(ImmutableBytesWritable, Put)]
val hbaseRDD = tagDF.rdd.map { row =>
val userId = row.getAs[String]("user_id")
val salt = (userId.hashCode % 10).toString
val rowkey = Bytes.toBytes(salt + "_" + userId)
val put = new Put(rowkey)
put.addColumn(Bytes.toBytes("t"), Bytes.toBytes("rfm"), Bytes.toBytes(row.getAs[String]("rfm_tag")))
(new ImmutableBytesWritable(rowkey), put)
}
hbaseRDD.saveAsNewAPIHadoopDataset(job.getConfiguration)
盐值数量根据你的 region 数来定,一般 10 到 20 够用。写完之后记得 flush 一下表,不然 scan 可能看不到数据。
4. 避坑与排查:编译、提交、写 HBase 的五个翻车现场
4.1 编译报错找不到 Scala 类
现象: mvn package 时报 object RfmTagModel is not a member of package com.tags 。原因通常是 Scala 和 Java 混合编译时,Java 代码引用了 Scala 类,但 Maven 的编译顺序没配好。解决:在 pom.xml 里把 scala-maven-plugin 的 compile 目标绑到 process-resources 阶段,确保 Scala 先编译。
4.2 spark-submit 报 ClassNotFound
现象:任务提交后立刻失败,日志里 ClassNotFoundException: com.tags.JobModel 。原因多半是 jar 包没打进去,或者 --class 写错了。解决:用 jar tf tags-model.jar | grep JobModel 确认类在包里,然后检查 --class 后面的全限定名。如果是 JobModel$ 这种带美元符号的,说明是 Scala object,提交时写 com.tags.JobModel 就行,Spark 会自动找。
4.3 写 HBase 时 RegionTooBusy
现象:跑批到写 HBase 阶段卡住,日志刷 RegionTooBusyException 。原因是 rowkey 设计有热点,所有用户都往一个 region 写。解决:按 3.3 节加盐,或者提前 pre-split HBase 表。临时救急可以调大 hbase.hregion.max.filesize ,但治标不治本。
4.4 日期分区读不到数据
现象: tags-etl 跑完没报错,但下游模型读到的数据是空的。原因通常是 Hive 表的分区字段和 Spark 读取路径对不上,比如表按 dt 分区,但代码里写的是 date 。解决:先 show partitions 看分区字段名,再检查 TableFieldNames 里的定义。另外,如果 Hive 元数据没同步,Spark 可能读不到最新分区,跑之前 msck repair table 一下。
4.5 内存溢出导致 executor 被杀
现象:任务跑一半报 Container killed by YARN for exceeding memory limits 。RFM 计算要缓存用户宽表,如果 spark.storage.memoryFraction 设得太高,shuffle 时就没内存了。解决:把 --executor-memory 加到 8g,同时调低 spark.memory.fraction 到 0.6,给 shuffle 留空间。另外检查有没有 collect() 把大表拉到 driver,有的话换成 take 或者写文件。
5. 进阶:把标签模型接进调度系统与验证标签质量
5.1 用 Azkaban 或 DolphinScheduler 串起 ETL 和模型
单次手动 spark-submit 只能验证逻辑,生产环境得靠调度。常见做法是把 tags-etl 和 tags-model 拆成两个任务节点,ETL 产出宽表后触发模型任务。在 DolphinScheduler 里配一个 Shell 节点,内容就是 spark-submit 命令,依赖上一个节点的 dt 分区。注意设置超时告警,RFM 跑超过 2 小时一般就有问题。
# DolphinScheduler Shell 节点示例
export SPARK_HOME=/opt/spark
$SPARK_HOME/bin/spark-submit \
--class com.tags.JobModel \
--master yarn \
--deploy-mode cluster \
--executor-memory 8g \
--conf spark.memory.fraction=0.6 \
/opt/jars/tags-model.jar \
RfmTagModel \
--dt ${bizdate}
${bizdate} 是调度系统传进来的日期参数,模型里用它来限定读取的分区。这样每天跑一次,标签就自动更新了。
5.2 验证标签覆盖率和分布
标签写完不是就完了,得验证。我一般会跑三个检查:覆盖率(有标签的用户占总用户的比例)、分布(R、F、M 各档的人数是否合理)、空值率(标签为 null 的比例)。覆盖率低于 60% 说明 ETL 过滤太狠,分布全挤在一档说明切分点有问题,空值率高说明关联字段没对上。
-- 在 Hive 里检查 RFM 标签分布
select rfm_tag, count(*) as cnt
from tags.rfm_result
where dt = '2025-01-01'
group by rfm_tag
order by cnt desc
limit 20;
如果发现 R1F1M1 这种低价值标签占了 80%,要么是切分点太松,要么是数据里大量僵尸用户。这时候得回去看 RfmModel 里的阈值,或者加一层活跃度过滤。
5.3 标签更新与回溯
用户行为每天在变,标签也得跟着更新。全量重跑成本高,常见做法是增量更新:只重算最近 90 天有行为的用户,其他用户标签保持不变。在 JobModel 里加一个 --mode incremental 参数,读数据时加 where dt >= date_sub(current_date(), 90) 过滤。回溯历史标签时,把 dt 参数传成历史日期,重跑对应分区就行。
从那以后我每次接标签项目,都强制先跑一遍覆盖率检查,再去看分布,最后才提交调度。这套源码的模块划分和类设计能省不少搭框架的时间,但参数和边界条件得按自己的业务数据重新调。希望帮到你。
更多推荐




所有评论(0)