做这个项目之前,运营那边每天发过来的报表已经乱到没法看——同一天三份Excel,订单明细一份,库存快照一份,促销记录一份,同一个SKU在一个表里叫“蕾丝无钢圈文胸_肤色_75B”,在另一个表里就变成“L2271”。我对账对到怀疑人生,于是下定决心用Python把这些数据彻底打通,做一个能看历史、能预测未来的完整销售数据分析系统。

这篇文章就把这个项目的完整思路拆给大家:从数据清洗到可视化看板,再到销量预测模型,最后落地成一套可持续运行的系统。内容偏向实战,代码不是玩具Demo,是能直接接业务的写法。适合正在做电商数据分析、想从Excel手工统计往自动化转型的朋友参考。

1. 项目从哪来:时尚内衣销售的数据痛点与破局路径

1.1 为什么内衣品类的销售数据特别“难搞”

很多人觉得做销售分析嘛,无非拉张订单表算算GMV、数数件数,能有多复杂?但如果你真正接触过时尚内衣这个垂直品类,会发现它和标品完全是两个世界。

第一个痛点是SKU规模呈指数级膨胀。 一件文胸的颜色假设有5种,底围有70/75/80/85/90五档,罩杯有A/B/C/D/E五档,光一个款型就能衍生出125个SKU变体。品牌方为了覆盖不同体型,不会砍尺码矩阵,结果就是全店SKU常常几千个,每个SKU的日均销量却只有一两件甚至挂零。数据极度稀疏,传统统计方式根本看不出规律。

第二个痛点是季节性叠加尺码特殊性。 夏季和冬季的主推款完全是两拨产品,夏季是无钢圈轻薄款,冬季是调整型加厚款,过渡季节的销量曲线还会出现明显的“青黄不接”。再加上内衣属于高退货品类——尺码不合身、上身效果不佳都会成为退货理由,部分款型的退货率能冲到20%以上。你如果不把退款剔除干净,预测模型会被虚假销量严重带偏。

第三个痛点是运营决策完全靠经验。 补货单凭店长对爆款的直觉,结果是爆款断货、冷门款积压。断货意味着白白流失销量,积压意味着资金被死库存锁死。所以这个项目的核心目标非常明确:用历史订单数据构建一套相对可靠的可视化看板,再基于时间序列模型预测未来一段时间的销量趋势,把“凭感觉备货”变成“数据辅助备货”。

1.2 系统的整体定位和技术选型路线

在动手之前,我先给这个项目定了三条技术边界,这也是后续所有选型的基础:

  • 数据量级别 :单店或中小规模品牌店铺,日均订单量几百到几千单,月度订单记录在几十万条量级。这个量级不需要上Hadoop和Spark,单机Pandas就能扛住。
  • 部署环境 :公司内网一台Linux服务器,或者开发机直接跑,不具备分布式资源,所以必须轻量。
  • 使用人群 :运营和商品管理同事,不具备编程能力,所有分析结果必须以图形化页面的形式输出。

在这个边界下,我的选型非常直接:数据处理用Pandas,可视化用PyECharts,Web框架用Flask,预测模型先用Prophet搭基线、再用XGBoost做优化。整套东西跑在一台服务器上,不引额外重依赖,逻辑清晰,拆解和维护都很容易。

另外要说一句:网上很多项目喜欢一上来就铺Hadoop生态,显得“大数据”味儿十足。但实际上对于大多数零售场景,单机数据处理+合理的建模方法,已经完全能产生业务价值。做项目要解决实际问题,不是堆技术名词。

2. 数据管道搭建:从订单库到干净可用的分析集

2.1 原始数据长什么样

数据管道是整个项目的底座,这个环节做不扎实,后面可视化和预测模型全是空中楼阁。我整理了三个数据源:

数据源 格式 主要字段 更新频率
电商后台订单明细 CSV导出 订单号、下单时间、SKU编号、尺码、件数、实付金额、订单状态、收货省份 每日一次
ERP库存快照 Excel SKU编号、当前库存、在途库存、安全库存 每日一次
促销活动记录 手工维护的表格 活动名称、开始时间、结束时间、参与SKU范围 活动前更新

最核心的是订单明细表。我用 pandas.read_csv 把它载入后,第一件事永远是看一眼数据长啥样:

import pandas as pd

df = pd.read_csv('orders_20250501.csv', encoding='utf-8-sig')
print(df.info())
print(df.head(10).to_string())

订单表的基本字段包括: order_id (订单号)、 order_time (下单时间)、 sku_id (SKU编码)、 product_name (商品名称)、 size (尺码,例如“75B”)、 color (颜色)、 quantity (件数)、 pay_amount (实付金额)、 order_status (订单状态)、 province (收货省份)。

2.2 清洗逻辑与Python实现

清洗环节是整个项目里我花时间最多的地方,也是最容易踩坑的地方。主要有四类脏数据问题:

第一,订单状态筛选。 平台导出的数据里有大量未支付、已关闭、退款的订单。未支付和已关闭的直接剔除,退款订单我单独标记而不是彻底删除——这样做的原因是退款行为经常发生在未来月份,如果直接删掉历史订单,会人为造成“历史销量被篡改”的假象,预测模型的输入数据就会不稳定。

def clean_orders(df):
    df = df.copy()
    df['order_time'] = pd.to_datetime(df['order_time'])
    
    # 剔除无效状态
    df = df[~df['order_status'].isin(['CLOSED', 'UNPAID'])]
    
    # 退款单独标记,先从有效订单中剔除
    df['is_refund'] = df['order_status'] == 'REFUNDED'
    df_valid = df[~df['is_refund']]
    
    # 金额和数量合法性校验
    df_valid = df_valid[(df_valid['quantity'] > 0) & (df_valid['pay_amount'] > 0)]
    
    # 尺码字段拆解
    df_valid['band'] = df_valid['size'].str.extract(r'(\d{2})')[0].astype('Int64')
    df_valid['cup'] = df_valid['size'].str.extract(r'([A-G])')[0]
    
    return df_valid, df[df['is_refund']]

band 是底围(70/75/80/85/90), cup 是罩杯(A/B/C/D/E),这两列是后面做尺码热力图的关键维度,必须在清洗阶段就结构化,而不是保留“75B”这种混合字符串。

第二,GMV统计口径统一。 运营平时说的“销售额”到底是订单金额还是实付金额?我统一采用实付金额( pay_amount ),因为满减、优惠券都会让订单金额失真。这个口径如果不定下来,后面每张报表数字都会对不上。

第三,大促数据延迟。 大促期间的订单往往不会当天发货,系统后台“下单时间”和“发货时间”可能相差好几天。所以在做日维度聚合时,明确用 order_time (下单时间)而不是发货时间,否则大促结束后的几天销售额会出现诡异的空窗。

第四,SKU命名的二次清洗。 同一个商品在不同导出任务里名称可能不一致,我把SKU编号作为唯一主键,商品名称只作为展示字段,并建立了一个简单的映射表统一命名。

2.3 特征衍生:把订单数据变成可分析的业务指标

原始订单表清理干净之后,还不能直接喂给可视化或预测模型,需要先做日维度的聚合和特征衍生:

daily = df_valid.groupby(['order_time', 'sku_id', 'category', 'band', 'cup', 'color']).agg(
    sales_qty=('quantity', 'sum'),
    sales_amount=('pay_amount', 'sum'),
    order_cnt=('order_id', 'nunique')
).reset_index()
daily['date'] = daily['order_time'].dt.date

这一步会得到全店所有SKU的每日销量、销售额和订单数。后续的预测模型还需要在此基础上补充三类外部特征:

  • 时间特征 :星期几、是否周末、是否月初/月末。
  • 活动特征 :当天是否有促销活动,用0/1标记。这个特征对模型来说极其重要,后面会详细讲。
  • 天气特征 :内衣的销售和温度相关性明显,特别是换季时。我接入了当地平均温度作为回归特征,实测对夏季轻薄款、冬季加厚款的预测帮助非常大。

这套清洗和特征衍生流程,我用定时任务每天跑一次,输出 processed/orders_daily.csv ,一份文件供可视化看板读取,一份供预测模型训练使用,所有口径从此统一,不再出现“同一个数两家说法”的情况。

3. 可视化设计:让销售数据自己“说话”

3.1 技术选型:为什么锁定 PyECharts + Flask

数据可视化方案非常多,Tableau也好,PowerBI也好,但在这个项目里我坚持用PyECharts + Flask,原因有三个:

第一,PyECharts生成的图表是纯前端渲染的HTML+JavaScript,交互效果好,支持鼠标悬停、缩放、下钻,不需要额外购买BI工具授权。第二,图表由Python直接生成,和Pandas的数据处理流程无缝衔接,数据更新只是重新跑一次脚本的事。第三,Flask应用轻量,部署到内网服务器后,运营同事通过浏览器就能访问,完全不需要在本机安装任何软件。

这种“数据脚本+Web页面”的组合,是中小团队做内部数据平台性价比最高的路线。

3.2 核心图表的业务含义与实现

我把可视化页面划分为四个区域:总览KPI、品类结构分析、区域分布分析和预测结果页。每一张图都不是为了好看,而是直指一个业务问题。

第一张必做的图是 销售趋势折线图 。业务问题:“这个月的整体销售是上涨还是下跌?波动是否正常?”

from pyecharts.charts import Line
from pyecharts import options as opts

def sales_trend_chart(daily_df):
    df = daily_df.groupby('date')['sales_amount'].sum().reset_index()
    line = Line(init_opts=opts.InitOpts(width='1000px', height='400px'))
    line.add_xaxis(df['date'].astype(str).tolist())
    line.add_yaxis(
        '销售额',
        df['sales_amount'].round(2).tolist(),
        is_smooth=True,
        is_symbol_show=False,
        label_opts=opts.LabelOpts(is_show=False)
    )
    line.set_global_opts(
        title_opts=opts.TitleOpts(title='近90天销售额趋势'),
        tooltip_opts=opts.TooltipOpts(trigger='axis'),
        yaxis_opts=opts.AxisOpts(name='销售额(元)'),
        datazoom_opts=[opts.DataZoomOpts()]
    )
    return line

第二张是 尺码分布热力图 。业务问题:“我们的库存结构是否和消费者体型分布匹配?哪些尺码不够卖,哪些尺码积压?”这是内衣品类独有的分析视角。

from pyecharts.charts import HeatMap

def size_heatmap_chart(daily_df):
    bands = ['65', '70', '75', '80', '85', '90']
    cups = ['A', 'B', 'C', 'D', 'E']
    data = []
    for i, b in enumerate(bands):
        for j, c in enumerate(cups):
            val = int(daily_df[(daily_df['band'] == int(b)) & (daily_df['cup'] == c)]['sales_qty'].sum())
            data.append([i, j, val])
    heat = HeatMap(init_opts=opts.InitOpts(width='800px', height='400px'))
    heat.add_xaxis(bands)
    heat.add_yaxis('罩杯', cups, data)
    heat.set_global_opts(
        title_opts=opts.TitleOpts(title='尺码销量热力图'),
        visualmap_opts=opts.VisualMapOpts(max_=max([v[2] for v in data])),
    )
    return heat

热力图的价值是直击库存结构问题——一旦发现80B的色块深得发黑,而85C浅得看不清,说明补货方向出了系统性偏差。这张图做出来后,运营同事第一次对着数据说了句:“怪不得80B老断。”

第三张是 类目占比饼图 ,关注的是品类结构变化;第四张是 区域销售地图 ,关注的是地域差异。区域分析对分仓备货有直接指导意义,比如南方区域的销售旺季来得比北方早,这个信号可以直接指导不同仓的调拨计划。

3.3 多维度下钻与交互联动

可视化看板如果只是静态图表,价值会打对折。我在Flask里加了简单的Ajax联动:点击饼图的某个品类,下方表格自动筛选该品类的Top 10 SKU,点击表格某一行,右侧折线图切换到该SKU的历史趋势。

from flask import Flask, jsonify, request, render_template

@app.route('/api/sku_detail')
def sku_detail():
    sku_id = request.args.get('sku_id')
    df = daily_df[daily_df['sku_id'] == sku_id]
    result = df.groupby('date').agg({'sales_qty': 'sum'}).reset_index()
    return jsonify({
        'dates': result['date'].astype(str).tolist(),
        'values': result['sales_qty'].tolist()
    })

这个交互做起来不难,但效果立竿见影。运营可以从总览大屏一路下钻到单品明细,不再需要反复在Excel里筛选、做透视表。说白了,可视化的真正价值不是把数字变成彩色的图,而是把“找数”的时间从半小时压缩到三秒。

4. 预测系统:销量预测模型的选择、训练与校验

4.1 建模目标与数据切分

可视化解决的是“过去发生了什么”,预测系统要解决的是“接下来会发生什么”。我把预测目标拆成两层:全店日销售额预测,以及Top 50 SKU的分品预测。

数据切分方式是这样的:取最近180天的日聚合数据,前150天作为训练集,后30天作为验证集。很多人在做时间序列预测时用随机切分,这是大忌——时间序列必须严格按照时间顺序切分,否则会导致未来信息泄漏,验证结果虚高。

train = daily_df[daily_df['date'] < '2025-03-01']
valid = daily_df[(daily_df['date'] >= '2025-03-01') & (daily_df['date'] < '2025-03-31')]

4.2 候选模型对比与选型依据

我先后尝试了三类模型:ARIMA、Prophet、XGBoost。它们代表了三个不同的建模思路,结果差异也很有代表性。

模型 核心思路 优点 缺点 验证集MAPE
ARIMA 自回归移动平均 简单、稳定、可解释 难以引入外部特征,季节模式捕捉有限 18.7%
Prophet 趋势分解+季节性 对业务友好、内置节假日效应、可直接加回归项 对突变响应缓慢 12.3%
XGBoost 梯度提升树 特征灵活、非线性拟合能力强 需要充足的特征工程,调参要求高 10.6%

最终的结论是:Prophet作为基线模型,XGBoost作为优化模型,两者互补。Prophet对趋势和季节的分解很稳定,XGBoost对促销、天气这类额外特征拟合得更好。

4.3 特征工程与模型调参细节

XGBoost在这个项目里的核心优势是既能吃时间特征,又能吃业务特征。我构造的特征包括:

  • 滞后特征: lag_7 、 lag_14 、 lag_30 ,分别表示过去7/14/30天的销量。
  • 窗口统计: rolling_7_mean 、 rolling_14_mean ,捕捉近期走势。
  • 时间特征:星期几、是否周末、月份。
  • 业务特征:是否促销日、当日平均温度、所在季度。

特征构造的代码示例:

def build_features(df):
    df = df.sort_values(['sku_id', 'date'])
    for lag in [7, 14, 30]:
        df[f'lag_{lag}'] = df.groupby('sku_id')['sales_qty'].shift(lag)
    df['rolling_7'] = df.groupby('sku_id')['sales_qty'].transform(
        lambda x: x.rolling(7, min_periods=1).mean()
    )
    df['dayofweek'] = df['date'].dt.dayofweek
    df['is_weekend'] = (df['date'].dt.dayofweek >= 5).astype(int)
    return df.dropna()

这里有个实操细节:滞后特征用 shift(lag) 生成,但 shift 之后会出现大量空值,如果直接 dropna() 会把销量数据稀缺的SKU全部剔掉。我的做法是先过滤掉累计销量过低的长尾SKU,再构造特征。

Prophet模型的配置也要根据业务反复调:

from prophet import Prophet

model = Prophet(
    yearly_seasonality=True,
    weekly_seasonality=True,
    daily_seasonality=False,
    seasonality_mode='multiplicative',
    changepoint_prior_scale=0.08,
    seasonality_prior_scale=10
)
model.add_regressor('is_promotion')
model.add_regressor('avg_temp')
model.fit(train_df.rename(columns={'date': 'ds', 'sales_qty': 'y'}))

最关键的一个参数是 seasonality_mode ,我最后选择了 multiplicative (乘法季节性)。原因是内衣销售的季节性波动幅度会随大盘基数的增长而放大,冬季旺季的绝对增量远大于淡季,乘法模式能更好地刻画这种“季节强度随基线变化”的特征。

5. 系统落地:从零散脚本到可运行的完整系统

5.1 系统架构与模块边界

项目跑通之后,接下来要解决的是“可运行”问题。我参考了实际项目的工程习惯,把代码结构整理成:

sales-analysis/
├── data/
│   ├── orders/        # 原始订单CSV
│   ├── raw/           # 库存等辅助数据
│   └── processed/     # 清洗后的日聚合数据
├── scripts/
│   ├── etl.py         # 数据清洗与聚合
│   ├── build_features.py
│   ├── train_model.py # 模型训练与保存
│   └── predict.py     # 生成预测结果
├── app/
│   ├── app.py         # Flask入口
│   ├── templates/
│   └── static/
└── logs/

etl.py 、 train_model.py 、 predict.py 彼此独立,用命令行就能执行,互不干扰。这是刻意的设计——一旦某一步出错,我可以单独重跑,而不用全部推倒重来。训练好的模型用 joblib.dump 保存为 .pkl 文件,预测脚本每次加载最新的模型推断。

python3 scripts/etl.py
python3 scripts/train_model.py
python3 scripts/predict.py
python3 app/app.py

5.2 定时调度与增量更新

为了让系统自动跑起来,我用crontab设置每日定时任务:

30 6 * * * cd /srv/sales-analysis && python3 scripts/etl.py >> logs/etl.log 2>&1
0 8 * * * cd /srv/sales-analysis && python3 scripts/train_model.py >> logs/train.log 2>&1
10 8 * * * cd /srv/sales-analysis && python3 scripts/predict.py >> logs/predict.log 2>&1

注意我特意错开了任务时间:早上6点半先更新数据,8点再训练和预测。留出缓冲时间,避免数据未到位就开始训练导致模型吃了脏数据。

日志文件是排错的生命线。我经历过一次预测结果全是NaN的“事故”,最后定位到原因是某一天的原始订单CSV编码异常, pd.read_csv 读取后金额字段变成了字符串。如果没有日志记录,这种问题排查起来就像大海捞针。

5.3 预测结果如何反哺业务决策

系统做出来最终是要用的。我设计了一份每周自动生成的预测报告,把模型输出转换成运营可以直接行动的建议:

  • 断货预警 :如果某个SKU未来14天的预测销量大于当前可用库存,系统自动标记“补货预警”。
  • 备货建议 :基于预测销量减去现有库存,给出建议补货数量。
  • 滞销清单 :预测销量极低但库存又高的SKU,提示运营尽快安排促销清库存。

预测结果本身也写入数据库表,和实际的后续销量做对照。每周复盘时,运营可以看到上周的预测准确率,逐渐建立对模型的信任感。这里我想强调一下:预测系统永远不是为了“算得准”,是为了辅助决策。模型给出的置信区间比单点预测值更有价值——当预测区间上下波动很大时,说明市场不确定性高,运营在备货时要留好安全边际,而不是盲目按照预测值下单。

6. 实操复盘:我踩过的坑和值得保留的经验

6.1 数据质量是最不可能被绕过的坑

这个项目前前后后踩了太多数据坑,几乎每一个都值得单独拎出来讲。最典型的是SKU命名不一致问题——同款商品在不同时间段导出的名称会发生细微变化,比如“蕾丝无钢圈文胸_肤色_75B”和“无钢圈蕾丝文胸_肤色_75B”实际上是一个东西,但因为名称不同被当成了两个SKU。我当时用 sku_id 做主键规避了这个坑,但如果你是交叉核对两个系统的数据,这种问题几乎必然出现。

另一个坑是订单时间的时区问题。电商后台导出的时间看起来格式一致,但有些是UTC时间,有些是东八区时间,混在一起后日聚合结果会整体偏移几个小时,导致跨天数据错位。我在清洗时统一加了时区修正:

df['order_time'] = pd.to_datetime(df['order_time']).dt.tz_localize('Asia/Shanghai', errors='ignore')
df['order_time'] = df['order_time'].dt.tz_convert('Asia/Shanghai')

建议所有做电商数据分析的人,在第一时间确认时间字段的时区属性,这种错误不仔细排查的话能藏好几周。

6.2 模型在极端场景下会失灵,要让规则兜底

预测模型对大促的响应非常差。双11当天销量可能是平日的10倍,模型再优化也预测不准这种极端波动。处理办法是给大促期间单独建“活动预测模型”,只使用历史大促期间的数据训练,并叠加人工预估的增幅系数。

具体做法是:在特征工程中加入“距大促天数”字段,大促前7天开始为负值倒计时,大促后7天为正值随时间衰减。这样模型能捕捉到大促前后“预热-爆发-回落”的完整波段。但即便如此,我的经验是,大促期间的预测结果仍然只能作为参考下限,真正的活动目标还是需要运营根据库存和流量情况手工调整。

6.3 长尾SKU的预测策略:宁可放弃,不要硬凑

刚开始我把所有SKU都塞进模型,结果是大量销量稀疏的SKU预测结果惨不忍睹——一个周销量只有两件的SKU,预测误差动辄几十倍。后来我调整了策略:只对累计销量排名前50的SKU做单独预测,剩余长尾SKU统一归入“其他”品类做聚合预测。

这个调整让整个系统的预测稳定性大幅度提升,运营也更容易理解预测结果。做数据项目的核心思维是“在合适的颗粒度上做分析”,不是所有维度都越细越好。

6.4 我的最终建议

如果你也想做类似的销售数据分析预测系统,我建议分三步走:先跑通清洗管道,再做可视化,最后才上预测模型。不要一上来就钻进模型调参,把前两步做好,业务价值就已经体现出来一大半了。

我个人在实际操作中最深的体会是:数据的魅力不在于工具本身,而在于你终于可以站在全局视角回答那些业务上一直含糊的问题——哪个尺码该补货、哪个品类该促销、下个月销量大概在什么区间。等到运营同事开始主动找你要数据,而不是你追着他们确认口径的时候,这个项目就算是真正落地成功了。

Logo

电商企业物流数字化转型必备!快递鸟 API 接口,72 小时快速完成物流系统集成。全流程实战1V1指导,营造开放的API技术生态圈。

更多推荐