1. 电商商品监控系统要解决什么问题

做电商运营、比价囤货、竞品调研的时候,我经常遇到几个绕不开的痛点:需要持续盯多款商品的售价、原价变动,大促期间手动刷页面效率极低;多规格款式的库存、价格分散,很难统一汇总对比;想留存历史数据,分析价格波动规律,找出合适入手时机;普通网页抓取容易遇到反访问、页面结构改版,脚本频繁失效。

这套 OpenClaw 实战方案,就是围绕这些真实场景设计的。OpenClaw 在这里承担的是商品数据获取层的角色,它能把商品标题、品牌、售价、原价、多规格 SKU、库存、图片、店铺信息等结构化内容稳定取回来,你不需要折腾浏览器模拟、也不用写复杂正则去解析页面,把精力集中在监控逻辑、数据存储、数据分析这些业务逻辑上。

整套系统适合谁:个人囤货比价、小商家竞品监控、运营做价格调研、想练手 Python 数据管道的同学。技术栈是 Python3.8+,依赖 requests、pandas、matplotlib、sqlite3(内置无需安装)。整体分四个模块:数据获取模块负责拿到标准化商品原始资料;持久化存储模块用轻量 SQLite 保存每一次采集记录,留存历史快照;监控告警模块定时循环采集,对比上一轮数据,价格或库存发生变化就输出提醒;数据分析模块读取本地历史记录,输出统计指标,绘制价格变化趋势图。

下面我会给出可复制的目录结构、依赖清单、抓取与调度脚本、建表 SQL 以及运行验证步骤,并且说明如何把模型调用 endpoint 统一改到 TaoToken 管理 Key。整套代码可以直接落地,不管你是个人囤货比价、小商家竞品监控,还是简单的数据分析调研,都能快速满足需求。

2. TaoToken 前置准备与 Key 统一管理

在正式写抓取脚本之前,先把 Key 管理这件事理清楚。很多同学做监控系统时,Key 散落在各个脚本里,改一次要翻好几个文件,还容易把密钥提交到代码仓库。我的做法是把模型调用和外部接口调用的 endpoint 统一收敛到 TaoToken,用一套 Key 管理所有调用。

TaoToken 是一个面向开发者的模型调用与 API 统一管理平台,官网地址是 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ,API 入口是 https://taotoken.net/api 。它的核心价值在于:你只需要维护一份 Key,就能在多个脚本、多个项目里复用,不用每个服务单独申请、单独轮换。对于商品监控这种需要长期后台常驻运行的系统来说,Key 的统一管理能省掉大量运维麻烦。

具体操作路径是这样的:先访问官网注册账号,进入控制台 https://taotoken.net/console?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 创建 API Key,然后在 API Keys 页面 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 复制你的 Key。如果你后续想接入 Claude Code 这类编码工具做辅助开发,可以参考 ClaudeCodeAnthropic 接入文档 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ,里面写清楚了 Base URL、Key、Model ID 三件套怎么填。

这里要强调一个原则:不要把 Key 硬编码在脚本里。我试过把 Key 直接写在 Python 文件顶部,结果有一次不小心把代码分享出去,只能紧急轮换。正确做法是用环境变量或者独立的配置文件。下面是一个推荐的配置方式,把 TaoToken 的接入信息集中放在一个 config 文件里:

# config.py
import os

# TaoToken 统一接入配置
TAOTOKEN_BASE_URL = os.getenv("TAOTOKEN_BASE_URL", "https://taotoken.net/api")
TAOTOKEN_API_KEY = os.getenv("TAOTOKEN_API_KEY", "sk-替换成你的Key")
TAOTOKEN_MODEL_ID = os.getenv("TAOTOKEN_MODEL_ID", "claude-3-5-sonnet")

# 商品监控业务配置
MONITOR_ITEM_IDS = ["10335871600", "10057467958584"]
MONITOR_INTERVAL = 300
DB_FILE = "goods_monitor.db"

如果你用的是 Claude Code 或者 Cline 这类工具,配置片段可以写成 JSON 形式,路径和字段名保持一致:

{
  "baseUrl": "https://taotoken.net/api",
  "apiKey": "sk-替换成你的Key",
  "modelId": "claude-3-5-sonnet"
}

对于 Codex 用户,auth.json 的写法是:

{
  "base_url": "https://taotoken.net/api",
  "api_key": "sk-替换成你的Key",
  "model": "claude-3-5-sonnet"
}

把这三件套配好之后,你的监控脚本、分析脚本、以及后续可能接入的模型调用,都走同一个 endpoint,Key 只需要在环境变量里维护一份。这样即使你要把系统部署到服务器后台常驻运行,也只需要在服务器上设置一次环境变量,不用改任何代码。

3. 可复制的目录结构与抓取脚本配置

先把项目目录结构定下来,后面所有脚本都按这个结构放,方便你直接复制运行:

goods_monitor/
├── config.py              # 统一配置(Key、商品ID、间隔)
├── db.py                  # 数据库初始化与写入
├── fetcher.py             # 商品数据获取
├── monitor.py             # 监控循环与告警
├── analysis.py            # pandas 分析与 matplotlib 绘图
├── main.py                # 程序入口
└── goods_monitor.db       # SQLite 数据库(运行后自动生成)

依赖清单很简单,新建 requirements.txt:

requests>=2.28.0
pandas>=1.5.0
matplotlib>=3.6.0

安装命令:

pip install -r requirements.txt

接下来是数据库初始化脚本 db.py,建表 SQL 直接内嵌:

# db.py
import sqlite3
from config import DB_FILE

def init_db():
    conn = sqlite3.connect(DB_FILE)
    cursor = conn.cursor()
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS goods_record (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            num_iid TEXT,
            title TEXT,
            brand TEXT,
            price REAL,
            orginal_price REAL,
            stock INTEGER,
            shop_name TEXT,
            collect_time TIMESTAMP
        )
    ''')
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS sku_record (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            num_iid TEXT,
            sku_id TEXT,
            sku_name TEXT,
            price REAL,
            orginal_price REAL,
            quantity INTEGER,
            collect_time TIMESTAMP
        )
    ''')
    conn.commit()
    conn.close()

数据获取脚本 fetcher.py,这里把请求 endpoint 和 Key 都从 config 读取:

# fetcher.py
import requests
from config import TAOTOKEN_BASE_URL, TAOTOKEN_API_KEY

def fetch_goods_detail(item_id):
    base_url = f"{TAOTOKEN_BASE_URL}/item_get_pro"
    params = {
        "key": TAOTOKEN_API_KEY,
        "num_iid": item_id,
        "cache": "no"
    }
    headers = {
        "Accept-Encoding": "gzip",
        "Connection": "close"
    }
    try:
        resp = requests.get(base_url, params=params, headers=headers, timeout=15)
        res_json = resp.json()
        if res_json.get("error_code") != "0000":
            print(f"【获取失败】商品:{item_id}, 原因:{res_json.get('reason','未知错误')}")
            return None
        item_data = res_json.get("item")
        if not item_data:
            print(f"【警告】商品{item_id}返回数据为空")
            return None
        return item_data
    except Exception as e:
        print(f"【网络异常】{item_id} , {str(e)}")
        return None

写入数据库的部分:

# db.py 追加
from datetime import datetime

def save_data_to_db(item_data):
    conn = sqlite3.connect(DB_FILE)
    cursor = conn.cursor()
    now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    num_iid = item_data.get("num_iid")
    title = item_data.get("title", "")
    brand = item_data.get("brand", "")
    price = float(item_data.get("price", 0)) if item_data.get("price") else 0
    orginal_price = float(item_data.get("orginal_price", 0)) if item_data.get("orginal_price") else 0
    stock = item_data.get("num", 0)
    shop_name = item_data.get("seller_info", {}).get("shop_name", "")
    cursor.execute('''
        INSERT INTO goods_record(num_iid,title,brand,price,orginal_price,stock,shop_name,collect_time)
        VALUES (?,?,?,?,?,?,?,?)
    ''', (num_iid, title, brand, price, orginal_price, stock, shop_name, now))
    sku_list = item_data.get("skus", {}).get("sku", [])
    for sku in sku_list:
        cursor.execute('''
            INSERT INTO sku_record(num_iid,sku_id,sku_name,price,orginal_price,quantity,collect_time)
            VALUES (?,?,?,?,?,?,?)
        ''', (
            num_iid,
            sku.get("sku_id", ""),
            sku.get("properties_name", ""),
            float(sku.get("price", 0)) if sku.get("price") else 0,
            float(sku.get("orginal_price", 0)) if sku.get("orginal_price") else 0,
            sku.get("quantity", 0),
            now
        ))
    conn.commit()
    conn.close()

监控循环脚本 monitor.py,负责对比新旧数据并输出告警:

# monitor.py
import time
from config import MONITOR_ITEM_IDS, MONITOR_INTERVAL
from fetcher import fetch_goods_detail
from db import save_data_to_db

class GoodsMonitor:
    def __init__(self):
        self.last_data = dict()

    def check_change_and_alert(self, item_data):
        item_id = item_data.get("num_iid")
        current_price = float(item_data.get("price", 0))
        current_stock = int(item_data.get("num", 0))
        title = item_data.get("title", "")[:30]
        if item_id not in self.last_data:
            print(f"\n【首次采集】商品ID:{item_id} | {title}")
            print(f"当前售价:{current_price}元 | 库存:{current_stock}")
            self.last_data[item_id] = {"price": current_price, "stock": current_stock}
            return
        old = self.last_data[item_id]
        if abs(current_price - old["price"]) > 0.01:
            print(f"\n【价格变动告警】{title}")
            print(f"旧价格:{old['price']} → 新价格:{current_price}")
        if current_stock != old["stock"]:
            print(f"\n【库存变动告警】{title}")
            print(f"旧库存:{old['stock']} → 新库存:{current_stock}")
        self.last_data[item_id]["price"] = current_price
        self.last_data[item_id]["stock"] = current_stock

    def run_monitor_loop(self):
        print("=====商品监控服务启动=====")
        while True:
            for goods_id in MONITOR_ITEM_IDS:
                item = fetch_goods_detail(goods_id)
                if item is None:
                    continue
                self.check_change_and_alert(item)
                save_data_to_db(item)
            print(f"\n等待 {MONITOR_INTERVAL} 秒后进行下一轮采集...\n")
            time.sleep(MONITOR_INTERVAL)

4. 验证请求与成功结果

脚本写完之后,先做一次单次采集验证,确认 endpoint 和 Key 都通。新建一个 test_fetch.py:

from fetcher import fetch_goods_detail
from config import MONITOR_ITEM_IDS

item = fetch_goods_detail(MONITOR_ITEM_IDS[0])
if item:
    print("标题:", item.get("title"))
    print("价格:", item.get("price"))
    print("库存:", item.get("num"))
    print("店铺:", item.get("seller_info", {}).get("shop_name"))
else:
    print("采集失败,检查 Key 和网络")

运行:

python test_fetch.py

成功的话你会看到类似输出:

标题: 某品牌无线耳机 主动降噪
价格: 399.00
库存: 1280
店铺: 某数码旗舰店

如果这一步通了,说明 TaoToken 的 endpoint 和 Key 配置正确。接下来初始化数据库并跑一轮监控:

python -c "from db import init_db; init_db()"
python -c "from monitor import GoodsMonitor; GoodsMonitor().run_monitor_loop()"

你会看到首次采集输出,然后每 300 秒循环一次。按 Ctrl+C 可以中断。

数据分析脚本 analysis.py,用 pandas 做统计、matplotlib 出图:

# analysis.py
import sqlite3
import pandas as pd
import matplotlib.pyplot as plt
from config import DB_FILE

plt.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False

def analysis_goods_history(item_id):
    conn = sqlite3.connect(DB_FILE)
    df = pd.read_sql('''
        select collect_time, price, orginal_price, stock
        from goods_record
        where num_iid = ?
        order by collect_time asc
    ''', conn, params=(item_id,))
    conn.close()
    if len(df) == 0:
        print(f"【数据分析】商品{item_id}没有历史采集记录")
        return None
    df["collect_time"] = pd.to_datetime(df["collect_time"])
    print(f"\n========商品 {item_id} 历史数据统计========")
    print(f"采集总次数:{len(df)}")
    print(f"最低售价:{df['price'].min():.2f}")
    print(f"最高售价:{df['price'].max():.2f}")
    print(f"平均售价:{df['price'].mean():.2f}")
    plt.figure(figsize=(12, 6))
    plt.plot(df["collect_time"], df["price"], marker="o", color="#E53935", label="实时售价")
    plt.plot(df["collect_time"], df["orginal_price"], linestyle="--", color="#757575", label="商品原价")
    plt.title(f"商品ID:{item_id} 价格变化趋势")
    plt.xlabel("采集时间")
    plt.ylabel("价格(元)")
    plt.legend()
    plt.grid(alpha=0.3)
    plt.tight_layout()
    save_img_name = f"goods_{item_id}_trend.png"
    plt.savefig(save_img_name)
    print(f"趋势图表已保存至:{save_img_name}")
    return df

运行分析:

python -c "from analysis import analysis_goods_history; analysis_goods_history('10335871600')"

成功结果会输出统计指标,并在当前目录生成 goods_10335871600_trend.png 趋势图。打开图片能看到售价和原价两条曲线随时间变化。

5. 本篇常见错误排查

实际跑这套系统时,最容易卡在几个地方。下面按真实报错对照排查。

第一个高频错误是 401 Unauthorized。报错信息通常是 {"error_code":"10001","reason":"Invalid API key"} 或者 HTTP 401。原因基本是 Key 没配、配错、或者环境变量没生效。排查步骤:先确认 config.py 里的 TAOTOKEN_API_KEY 是不是从 API Keys 页面复制的完整 Key;再确认环境变量有没有覆盖,用 echo $TAOTOKEN_API_KEY 看一下;最后确认 Base URL 是不是 https://taotoken.net/api ,不要多加斜杠或者写成别的路径。

第二个常见错误是 local proxy failed。这个报错说明请求根本没发出去,通常是本机网络配置或者 requests 走了系统代理。排查:检查环境变量里有没有 HTTP_PROXY、HTTPS_PROXY,如果有就临时 unset 掉再跑;确认 requests 没有手动设置 proxies 参数。

第三个错误是 reading choices 相关报错,比如 KeyError: 'choices' 或者 reading 'choices' of undefined。这类错误一般出现在你后续接入模型调用做辅助分析时,返回结构里没有 choices 字段。原因通常是 Model ID 填错了,或者 endpoint 路径不对。排查:确认三件套 Base URL、Key、Model ID 都填了,Model ID 用平台文档里列出的可用模型名,不要自己拼。

第四个错误是 OAuth 相关报错,比如 OAuth token expired 或者 invalid_grant。如果你用的是 Claude Code 或者 Cline 这类工具,OAuth 过期需要重新走授权流程。排查:检查 auth.json 或者 settings 里的 token 是否过期,重新生成 Key 后更新配置。

第五个错误是 SQLite 报 database is locked。这个通常发生在监控循环还在写库的时候,你又开了另一个进程去读库。排查:SQLite 适合个人小体量监控,如果并发读写频繁,建议把采集和分析分开时间段跑,或者迁移到 MySQL。

第六个错误是 matplotlib 中文乱码,图上显示方框。排查:确认系统里有 SimHei 字体,或者换成系统已有的中文字体名,比如 plt.rcParams["font.sans-serif"] = ["Microsoft YaHei"]。

第七个错误是采集返回空数据。排查:确认商品 ID 是否正确、商品是否下架、cache 参数是否设成了 no。如果商品下架,脚本会打印错误信息但不会崩溃,这是设计好的容错。

6. 长期运行与后续扩展

如果你打算把这套系统长期跑下去,有几个实用建议。采集间隔不要设置过小,建议至少 3 分钟以上,合理控制请求频次。静态信息如标题、图片可以开启缓存,减少消耗;价格库存这类动态字段保持 cache=no 拿最新数据。多规格价格存在特殊场景,业务上建议以对应规格字段为准。

告警部分可以扩展接入钉钉或企业微信机器人,一旦价格下降自动推送消息到工作群,不用盯着控制台。阈值告警可以增加心理价位判断,当售价低于预设目标价格时触发提醒,适合个人囤货比价。SKU 粒度监控目前已经保存全部规格数据,可以扩展针对某个具体规格单独监控。批量导出报表可以基于 pandas 把历史记录导出 Excel,用于周报、竞品复盘。部署后台可以放到服务器常驻运行,实现 7×24 小时不间断监控。

如果你后续想让模型帮你自动分析价格趋势、生成竞品对比摘要,可以把模型调用也统一走 TaoToken 的 endpoint。模型对话入口在 https://taotoken.net/chat?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ,长期编码和 Agent 场景可以用 Coding Plan https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。接入文档在 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ,API Keys 管理在 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。

最后说一个我踩过的坑:SQLite 适合个人小体量监控,如果你后期要监控几百个商品,建议迁移到 MySQL,否则写入会变慢。另外监控脚本最好用 systemd 或者 supervisor 托管,进程挂了能自动拉起,不然半夜断了你也不知道。整套代码可以直接落地,先把单次采集跑通,再开监控循环,最后接分析出图,一步一步来最稳。

Logo

电商企业物流数字化转型必备!快递鸟 API 接口,72 小时快速完成物流系统集成。全流程实战1V1指导,营造开放的API技术生态圈。

更多推荐