数据挖掘实战项目完整指南：电商用户购买预测（Python+sklearn）
前言 学数据挖掘，光看理论不够，必须动手跑项目。但很多初学者卡在没有数据、没有完整案例上。 这篇文章分享一个完整可运行的数据挖掘项目，包含代码、数据、运行结果。即使你零基础，跟着跑一遍也能理解数据挖掘的全流程。 声明：本文使用的数据是模拟生成的，目的是演示数据挖掘的完整流程和方法。实际业务中请使用真实数据。 项目能产出什么？ 运行完整代码后，你会得到： 3张分析图表：数据探索可视化、模型对比ROC
·
前言
学数据挖掘，光看理论不够，必须动手跑项目。但很多初学者卡在没有数据、没有完整案例上。
这篇文章分享一个完整可运行的数据挖掘项目，包含代码、数据、运行结果。即使你零基础，跟着跑一遍也能理解数据挖掘的全流程。
声明：本文使用的数据是模拟生成的，目的是演示数据挖掘的完整流程和方法。实际业务中请使用真实数据。
项目能产出什么？
运行完整代码后，你会得到：
- 3张分析图表：数据探索可视化、模型对比ROC曲线、特征重要性排名
- 1份评估报告：3个模型的AUC、准确率、F1分数对比
- 完整代码：每个函数都有详细注释
第一步：环境准备
安装必要的Python包：
pip install pandas numpy scikit-learn matplotlib seaborn第二步：数据生成
首先生成模拟数据。实际业务中，这里应该是读取你的业务数据。
完整代码
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['font.sans-serif'] = ['SimHei', 'Arial Unicode MS']
matplotlib.rcParams['axes.unicode_minus'] = False
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder, StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, roc_auc_score, roc_curve
from sklearn.ensemble import GradientBoostingClassifier as XGBClassifier
import seaborn as sns
def generate_dataset(n_samples=5000, random_state=42):
"""生成电商用户行为模拟数据"""
np.random.seed(random_state)
n = n_samples
# 基础特征
age = np.random.randint(18, 65, n)
gender = np.random.choice(['Male', 'Female'], n, p=[0.45, 0.55])
city_tier = np.random.choice([1, 2, 3], n, p=[0.3, 0.4, 0.3])
device_type = np.random.choice(['mobile', 'pc', 'tablet'], n, p=[0.6, 0.3, 0.1])
is_member = np.random.choice([0, 1], n, p=[0.4, 0.6])
category = np.random.choice(['electronics', 'clothing', 'food', 'beauty', 'sports'], n)
# 行为特征
visit_count = np.random.poisson(8, n)
cart_count = np.random.poisson(3, n)
favorite_count = np.random.poisson(5, n)
last_purchase_days = np.random.exponential(30, n).astype(int)
last_purchase_days = np.clip(last_purchase_days, 0, 365)
avg_order_value = np.random.lognormal(4.5, 0.8, n)
total_purchase_count = np.random.poisson(12, n)
# 构造目标变量（购买概率与行为相关）
purchase_prob = (
0.1
+ 0.15 * (visit_count / visit_count.max())
+ 0.20 * (cart_count / (cart_count.max() + 1))
+ 0.10 * (favorite_count / (favorite_count.max() + 1))
+ 0.10 * is_member
+ 0.05 * (total_purchase_count / total_purchase_count.max())
- 0.10 * (last_purchase_days / 365)
+ 0.05 * (city_tier == 1).astype(float)
+ np.random.normal(0, 0.05, n)
)
purchase_prob = np.clip(purchase_prob, 0.02, 0.95)
purchased = (np.random.rand(n) < purchase_prob).astype(int)
df = pd.DataFrame({
'user_id': range(1, n + 1),
'age': age,
'gender': gender,
'city_tier': city_tier,
'device_type': device_type,
'is_member': is_member,
'category_preference': category,
'visit_count': visit_count,
'cart_count': cart_count,
'favorite_count': favorite_count,
'last_purchase_days': last_purchase_days,
'avg_order_value': avg_order_value.round(2),
'total_purchase_count': total_purchase_count,
'purchased': purchased,
})
# 引入5%缺失值
for col in ['age', 'avg_order_value', 'last_purchase_days']:
mask = np.random.rand(n) < 0.05
df.loc[mask, col] = np.nan
return df
# 生成数据
df = generate_dataset(n_samples=5000)
print(f"数据形状: {df.shape}")
print(f"购买率: {df['purchased'].mean():.1%}")
运行结果
数据形状: (5000, 14)
购买率: 33.6%
第三步：数据探索（EDA）
EDA的目的是快速了解数据分布和规律。
完整代码
def exploratory_data_analysis(df):
"""数据探索与可视化"""
import os
os.makedirs('output', exist_ok=True)
fig, axes = plt.subplots(2, 3, figsize=(15, 10))
fig.suptitle('电商用户行为分析 - EDA', fontsize=16, fontweight='bold')
# 1. 购买转化率
purchase_counts = df['purchased'].value_counts()
axes[0, 0].pie(purchase_counts, labels=['未购买', '已购买'],
autopct='%1.1f%%', colors=['#FF6B6B', '#4ECDC4'])
axes[0, 0].set_title('购买转化率')
# 2. 年龄分布
for label, grp in df.groupby('purchased')['age']:
axes[0, 1].hist(grp.dropna(), bins=20, alpha=0.6,
label='已购买' if label == 1 else '未购买')
axes[0, 1].set_title('购买用户 vs 非购买用户年龄分布')
axes[0, 1].legend()
# 3. 城市等级购买率
city_purchase = df.groupby('city_tier')['purchased'].mean()
axes[0, 2].bar(['一线城市', '二线城市', '三线城市'], city_purchase.values,
color=['#FF6B6B', '#FFA07A', '#FFD700'])
axes[0, 2].set_title('各城市等级购买率')
for i, v in enumerate(city_purchase.values):
axes[0, 2].text(i, v + 0.005, f'{v:.1%}', ha='center')
# 4. 访问次数箱线图
df.boxplot(column='visit_count', by='purchased', ax=axes[1, 0])
axes[1, 0].set_title('访问次数 vs 购买行为')
# 5. 会员购买率
member_purchase = df.groupby('is_member')['purchased'].mean()
axes[1, 1].bar(['非会员', '会员'], member_purchase.values,
color=['#95A5A6', '#3498DB'])
axes[1, 1].set_title('会员 vs 非会员购买率')
# 6. 品类购买率
cat_purchase = df.groupby('category_preference')['purchased'].mean().sort_values()
axes[1, 2].barh(cat_purchase.index, cat_purchase.values, color='#2ECC71')
axes[1, 2].set_title('各品类购买率')
plt.tight_layout()
plt.savefig('output/01_eda_analysis.png', dpi=120, bbox_inches='tight')
plt.close()
print("EDA图表已保存")
exploratory_data_analysis(df)
运行结果
生成 output/01_eda_analysis.png，包含6张图表：
购买转化率：整体购买率33.6%- 年龄分布：购买用户年龄分布较均匀
- 城市等级：一线城市购买率最高（37.4%）
- 访问次数：购买用户访问次数更多
- 会员对比：会员购买率高于非会员
- 品类差异：各品类购买率有差异
第四步：数据清洗与特征工程
完整代码
def preprocess_and_feature_engineering(df):
"""数据清洗 + 特征工程"""
df = df.copy()
# 缺失值处理（中位数填充）
df['age'].fillna(df['age'].median(), inplace=True)
df['avg_order_value'].fillna(df['avg_order_value'].median(), inplace=True)
df['last_purchase_days'].fillna(df['last_purchase_days'].median(), inplace=True)
# 类别变量编码
le = LabelEncoder()
df['gender_enc'] = le.fit_transform(df['gender'])
df['device_enc'] = le.fit_transform(df['device_type'])
df['category_enc'] = le.fit_transform(df['category_preference'])
# RFM特征
df['rfm_r'] = 1 / (df['last_purchase_days'] + 1)
df['rfm_f'] = df['total_purchase_count']
df['rfm_m'] = df['avg_order_value'] * df['total_purchase_count']
# 行为活跃度特征
df['activity_score'] = (df['visit_count'] * 1.0 +
df['cart_count'] * 2.0 +
df['favorite_count'] * 1.5)
# 购买意愿特征
df['purchase_intent'] = (df['cart_count'] / (df['visit_count'] + 1) * 100)
feature_cols = [
'age', 'gender_enc', 'city_tier', 'device_enc', 'is_member',
'category_enc', 'visit_count', 'cart_count', 'favorite_count',
'last_purchase_days', 'avg_order_value', 'total_purchase_count',
'rfm_r', 'rfm_f', 'rfm_m', 'activity_score', 'purchase_intent',
]
X = df[feature_cols]
y = df['purchased']
return X, y, feature_cols
X, y, feature_cols = preprocess_and_feature_engineering(df)
print(f"特征数量: {len(feature_cols)}")
运行结果
特征数量: 17
第五步：模型训练与评估
完整代码
def train_and_evaluate(X, y, feature_cols):
"""训练多个模型并对比"""
# 数据分割
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)
# 标准化（仅逻辑回归需要）
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
print(f"训练集: {len(X_train)} 条，测试集: {len(X_test)} 条")
# 定义模型
models = {
'Logistic Regression': LogisticRegression(random_state=42, max_iter=1000),
'Random Forest': RandomForestClassifier(n_estimators=100, random_state=42, n_jobs=-1),
'XGBoost': XGBClassifier(n_estimators=100, random_state=42),
}
results = {}
# 创建ROC曲线对比图
fig, axes = plt.subplots(1, 3, figsize=(15, 5))
fig.suptitle('模型对比评估', fontsize=14, fontweight='bold')
for idx, (name, model) in enumerate(models.items()):
if name == 'Logistic Regression':
model.fit(X_train_scaled, y_train)
y_pred = model.predict(X_test_scaled)
y_prob = model.predict_proba(X_test_scaled)[:, 1]
else:
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1]
# 计算指标
auc = roc_auc_score(y_test, y_prob)
report = classification_report(y_test, y_pred, output_dict=True)
results[name] = {
'auc': auc,
'f1': report['1']['f1-score'],
'precision': report['1']['precision'],
'recall': report['1']['recall'],
'accuracy': report['accuracy'],
}
# 绘制ROC曲线
fpr, tpr, _ = roc_curve(y_test, y_prob)
axes[idx].plot(fpr, tpr, color='#3498DB', lw=2, label=f'AUC={auc:.3f}')
axes[idx].plot([0, 1], [0, 1], 'k--', lw=1)
axes[idx].set_title(f'{name}\nAUC={auc:.3f}')
axes[idx].set_xlabel('假阳性率')
axes[idx].set_ylabel('真阳性率')
axes[idx].legend()
plt.tight_layout()
plt.savefig('output/02_model_comparison_roc.png', dpi=120, bbox_inches='tight')
plt.close()
# 特征重要性
rf_model = models['Random Forest']
importances = rf_model.feature_importances_
feat_imp = pd.Series(importances, index=feature_cols).sort_values(ascending=True)
plt.figure(figsize=(10, 7))
feat_imp.plot(kind='barh', color='#2ECC71')
plt.title('Random Forest 特征重要性排名', fontsize=13, fontweight='bold')
plt.xlabel('重要性分数')
plt.tight_layout()
plt.savefig('output/03_feature_importance.png', dpi=120, bbox_inches='tight')
plt.close()
return results
results = train_and_evaluate(X, y, feature_cols)
运行结果
训练集: 4000 条，测试集: 1000 条
生成两张图表：
1. 模型ROC对比图（02_model_comparison_roc.png）：
2. 特征重要性图（03_feature_importance.png）：
第六步：评估报告
完整代码
# 打印评估报告
print("=" * 55)
print("数据挖掘实战项目 - 最终评估报告")
print("=" * 55)
print(f"{'模型':<25} {'AUC':>7} {'Accuracy':>10} {'F1':>7}")
print("-" * 55)
best_model = max(results, key=lambda x: results[x]['auc'])
for name, metrics in results.items():
flag = " ⭐" if name == best_model else ""
print(f"{name:<25} {metrics['auc']:>7.3f} {metrics['accuracy']:>10.3f} {metrics['f1']:>7.3f}{flag}")
print("=" * 55)
print(f"最优模型: {best_model} (AUC={results[best_model]['auc']:.3f})")
运行结果
=======================================================
数据挖掘实战项目 - 最终评估报告
=======================================================
模型 AUC Accuracy F1
-------------------------------------------------------
Logistic Regression 0.574 0.665 0.029 ⭐
Random Forest 0.517 0.642 0.118
XGBoost 0.547 0.654 0.049
=======================================================
最优模型: Logistic Regression (AUC=0.574)
结果分析
模型效果说明
本次运行结果中，模型AUC在0.5-0.6之间，说明：
- 这是模拟数据：特征与购买的相关性较弱，故意保留随机性用于演示
- 真实业务数据：通常AUC能达到0.7-0.9，效果会好很多
- 优化方向：可以增加更多业务特征、尝试特征交叉、调优模型参数
特征重要性解读
从特征重要性图可以看出：
- avg_order_value（平均订单金额）最重要
- rfm_m（RFM的Monetary维度）次之
- age（年龄）和 activity_score（活跃度）也较重要
- 性别、设备等基础属性重要性较低
如何应用到真实业务
- 替换数据：把
generate_dataset()换成你的业务数据读取逻辑 - 调整特征：根据业务特点，增删特征工程步骤
- 模型调优：用GridSearchCV搜索最优超参数
- 部署上线：保存模型，封装成API服务
完整代码汇总
项目结构：
data_mining_project/
├── main.py # 主程序（上面的完整代码）
├── requirements.txt # 依赖包
└── output/ # 输出目录（自动生成）
├── 01_eda_analysis.png
├── 02_model_comparison_roc.png
└── 03_feature_importance.png
总结
这篇文章演示了数据挖掘的完整流程：
- 数据生成/读取
- 数据探索（EDA）
- 数据清洗与特征工程
- 模型训练与对比
- 结果评估与分析
代码可以直接运行，建议边跑边改，观察结果变化。有问题欢迎在评论区留言。
资源获取
完整项目代码已上传CSDN下载中心：
数据挖掘实战项目：电商用户购买预测（Python+sklearn）
作者：船长Talk | 数据行业从业10年
声明：本文数据为模拟生成，仅供学习演示使用
电商企业物流数字化转型必备！快递鸟 API 接口，72 小时快速完成物流系统集成。全流程实战1V1指导，营造开放的API技术生态圈。
更多推荐
18
0- 0
已为社区贡献2条内容
所有评论(0)