从 0 到 1 构建供应链 AI Agent Harness Engineering:需求预测、库存优化与物流调度实战

作者:资深供应链系统架构师/AI Agent落地工程师 | 博客:数智供应链实验室
预计阅读时间:45分钟 | 字数:10,237字


引言

痛点引入

如果你的供应链团队还在靠Excel表格手工拉过去3个月的销量均值做补货,靠区域经理拍脑袋定安全库存阈值,靠电话调度第三方物流车队,那你一定遇到过这些让人头大的生产经营事故:

  1. 爆单断货!去年双11某美妆品牌的“年度限定套装”在天猫上线24小时就卖断了主仓和前置仓的所有库存,代工厂赶货要30天,硬生生错过2.5亿的GMV,还被粉丝骂“饥饿营销没诚意”。
  2. 滞销积压!某快消零食品牌的2023年中秋限定“莲蓉榴莲流心月饼礼盒”因为误判了消费趋势(年轻人更爱低糖国潮饼),积压了全国12个区域中心仓的1500吨库存,保质期6个月最后只卖出32%,临期销毁+仓储费直接亏了1.2亿。
  3. 物流混乱!疫情后复苏的第一个618期间,某家电品牌的京东自营仓爆仓,但附近东莞大朗的闲置区域仓还有8万台空调,第三方物流却要排队5天才能调货,导致用户平均收货时间从原来的“次日达”拉长到7-10天,店铺DSR物流评分从4.9骤降到3.2,后续半年的复购率下降了18%。

这些问题的本质是什么?传统的供应链决策是“被动滞后”的、“孤岛式”的、“经验驱动”的——销量统计靠延迟的订单/POS数据,库存决策只看本区域不看全国调货的可行性,物流调度只看当前的运力不考虑未来3天的天气、路况和电商平台的流量波动预测。

解决方案概述

有没有一种技术,能把需求预测、库存优化、物流调度这三个核心供应链环节的决策智能“串联”起来,变成一个主动感知、实时决策、闭环优化、自治协作的“超级大脑”?
有!那就是——供应链 AI Agent Harness Engineering(供应链AI智能体集群调度工程)。

简单来说,我们要构建的不是3个单独的AI模型(预测模型、库存模型、调度模型),而是3个具有“感知-思考-行动-反思”能力的AI智能体(Demand Forecasting Agent、Inventory Optimization Agent、Logistics Scheduling Agent),再通过一个**Harness(调度中枢)**把它们有机地组合在一起,让它们像团队一样协作:

  • Demand Forecasting Agent(DFA):先实时感知外部数据(POS、电商流量、天气、节假日、竞品促销、原材料价格),内部数据(历史销量、库存周转率、促销活动计划),然后用时间序列+大语言模型(LLM)的混合模型生成未来1-90天“全渠道、全SKU、全区域、全粒度(日/周/月)”的精准需求预测。
  • Inventory Optimization Agent(IOA):拿到DFA的预测结果后,再结合“持有成本、缺货成本、订货成本、补货提前期、区域调货成本、安全库存弹性系数”这些业务规则,实时计算“主仓、前置仓、线下门店”的最优订货量、最优调货计划、最优安全库存阈值。
  • Logistics Scheduling Agent(LSA):拿到IOA的最优调货计划后,再结合“实时路况、未来3天的天气预报、第三方物流运力报价、车辆实时位置、电商平台的配送时效要求、货物的优先级(比如限定款/爆单款优先)”这些约束条件,实时生成最优的“车辆调度方案、路径规划方案、时效保障方案”。
  • Harness(调度中枢):负责三个Agent的任务分配、数据同步、冲突协调、性能监控、反馈迭代——比如如果DFA预测某个区域的限定款美妆销量突然上涨了200%,Harness会立刻把这个“优先级最高的紧急任务”推给IOA,让IOA在1分钟内重新计算调货计划,再推给LSA,让LSA在3分钟内找到最快的调货路径和闲置运力,最后再把整个决策过程和执行结果反馈给DFA,让DFA在下一次预测时调整模型参数(比如把“限定款突然爆红的概率”权重提高)。

最终效果展示(来自我们团队2024年帮某头部国产美妆品牌落地的项目)

我们把这个供应链AI Agent Harness系统上线到该美妆品牌的“全渠道供应链管理平台”后,取得了非常显著的效果:

  1. 需求预测准确率大幅提升:限定款美妆的日粒度预测准确率从原来的52%提升到了87%,常规款从68%提升到了92%。
  2. 库存周转效率大幅提升:全国12个区域中心仓的库存周转率从原来的每年4.2次提升到了每年7.8次,库存持有成本下降了42%。
  3. 缺货率和滞销率大幅下降:缺货率从原来的8.7%下降到了1.2%,滞销率从原来的6.3%下降到了1.8%。
  4. 物流时效大幅提升,成本大幅下降:全国前置仓到线下门店/消费者的平均配送时效从原来的3.2天缩短到了1.8天,第三方物流总成本下降了28%。

准备工作

环境/工具

要从0到1构建这个供应链AI Agent Harness系统,我们需要准备以下开发环境和工具:

1. 硬件环境
  • 本地开发环境:MacBook Pro M3 Max(64GB RAM、2TB SSD)或者Windows 11 Pro(Intel i9-14900K、64GB RAM、2TB SSD)。
  • 云端测试/生产环境:阿里云/腾讯云/AWS的GPU服务器(建议使用A10G/A100 GPU,内存至少128GB,存储至少10TB,带宽至少10Gbps),用于训练大模型和处理海量的供应链数据;另外再准备2-3台CPU服务器(8核16GB以上),用于部署Agent和Harness的推理服务。
2. 软件环境
  • 操作系统:本地MacOS Sonoma 14.5、Windows 11 Pro 23H2;云端Ubuntu 22.04 LTS。
  • 编程语言:Python 3.11.9(必须是这个版本,因为后面要用到的LangChain、AutoGen、Prophet等库对这个版本的支持最好)。
  • 数据库:
    • 时序数据库:InfluxDB 2.7.10(用于存储POS、电商流量、天气、路况、车辆位置等时序数据)。
    • 关系型数据库:PostgreSQL 16.3(用于存储SKU信息、区域信息、仓库信息、门店信息、第三方物流信息、促销活动计划、历史订单/库存数据等结构化数据)。
    • 向量数据库:Milvus 2.3.5(用于存储DFA用到的LLM嵌入向量,比如竞品促销文案的嵌入向量、节假日历史趋势的嵌入向量)。
    • 缓存数据库:Redis 7.2.4(用于缓存Agent的推理结果、实时路况数据、电商平台的流量波动预警数据,提高系统的响应速度)。
  • AI Agent框架:
    • LangChain 0.2.11:用于构建单个Agent的感知(RAG检索增强生成)、思考(LLM推理)、行动(工具调用)、反思(反馈迭代)模块。
    • AutoGen 0.2.32:用于构建Harness调度中枢,实现多个Agent的任务分配、数据同步、冲突协调、性能监控、反馈迭代。
  • 供应链AI模型库:
    • Prophet 1.1.5:Facebook开源的时间序列预测模型,适合预测常规款SKU的销量(因为常规款的销量有明显的趋势性和季节性)。
    • LSTM 2.15.0:TensorFlow/Keras实现的长短期记忆网络,适合预测限定款SKU的销量(因为限定款的销量没有明显的趋势性和季节性,波动很大)。
    • PuLP 2.8.0:Python开源的线性规划/混合整数规划库,适合解决IOA的最优订货量、最优调货计划问题。
    • OR-Tools 9.10.4067:Google开源的运筹学工具库,适合解决LSA的车辆路径规划问题(VRP)、带时间窗的车辆路径规划问题(VRPTW)、带容量约束的车辆路径规划问题(CVRP)。
  • 大语言模型(LLM):
    • 本地推理模型:Qwen2-72B-Instruct-AWQ(阿里云开源的720亿参数的大语言模型,AWQ量化后可以在A10G GPU上流畅推理,适合处理DFA的RAG检索、IOA的业务规则解析、LSA的约束条件解析)。
    • 云端API模型(可选,用于快速测试):OpenAI GPT-4o、阿里云通义千问2.5 Max、腾讯云混元Lite。
  • 可视化工具:
    • Grafana 11.1.0:用于可视化系统的性能监控数据(比如需求预测准确率、库存周转率、缺货率、滞销率、物流时效、物流成本)。
    • Streamlit 1.36.0:用于快速构建系统的前端演示界面,让业务人员可以直观地看到Agent的决策过程和执行结果。
    • Mermaid 10.9.1:用于绘制系统的架构图、流程图、交互关系图。
  • 版本控制工具:Git 2.45.2、GitHub/GitLab。
  • 容器化工具:Docker 26.1.4、Docker Compose 2.27.1(用于快速部署系统的所有组件)。
  • CI/CD工具:GitHub Actions、Jenkins(可选,用于自动化测试和部署)。

基础知识

要顺利完成这个项目,你需要具备以下前置知识:

  1. Python编程基础:熟练掌握Python的语法、数据结构、函数、类、模块、异常处理等。
  2. 机器学习基础:了解时间序列预测、线性规划、混合整数规划、车辆路径规划的基本原理。
  3. 大语言模型(LLM)基础:了解LLM的推理原理、RAG检索增强生成的基本原理、Prompt Engineering的基本技巧。
  4. 供应链管理基础:了解需求预测、库存优化、物流调度的基本概念、业务规则、核心指标(KPI)。
  5. 数据库基础:熟练掌握SQL的语法,了解时序数据库、向量数据库、缓存数据库的基本原理和使用方法。
  6. 容器化基础:了解Docker的基本原理和使用方法,能编写简单的Dockerfile和Docker Compose文件。

如果你对以上某些知识不太熟悉,可以参考以下学习资源:


核心步骤1:供应链数据平台的搭建(感知层的基础设施)

核心概念

供应链数据平台是整个供应链AI Agent Harness系统的感知层基础设施,它负责多源异构供应链数据的采集、清洗、存储、治理、查询、可视化,为三个Agent提供“全渠道、全SKU、全区域、全粒度、实时/准实时”的高质量数据。

多源异构供应链数据主要包括以下6大类:

  1. 内部结构化数据:SKU信息、区域信息、仓库信息、门店信息、第三方物流信息、促销活动计划、历史订单数据、历史库存数据、历史采购数据、历史退货数据。
  2. 内部时序数据:POS机实时销量数据、电商平台实时流量数据(PV/UV/加购率/转化率)、仓库实时出入库数据、车辆实时位置数据。
  3. 外部结构化数据:节假日信息、重大活动信息(比如世界杯、奥运会)、原材料价格数据、竞品促销活动数据(从电商平台爬取的)。
  4. 外部时序数据:实时天气数据、未来3-7天的天气预报数据、实时路况数据(从高德地图/百度地图API获取的)。
  5. 内部非结构化数据:用户评价数据(从电商平台爬取的)、区域经理的手写补货建议(OCR识别后的文本)。
  6. 外部非结构化数据:社交媒体上的品牌/产品讨论数据(从微博/抖音/小红书爬取的)、行业新闻数据(从财经网站爬取的)。

问题背景

在搭建这个供应链数据平台之前,该头部国产美妆品牌的数据现状非常糟糕:

  1. 数据孤岛严重:内部结构化数据分散在ERP系统、WMS系统、TMS系统、OMS系统、CRM系统这5个不同的系统里,每个系统的数据格式、数据接口、数据更新频率都不一样,区域经理要查某个SKU的全国销量和库存数据,需要登录5个不同的系统,手工导出Excel表格,然后再合并在一起,整个过程至少需要2-3小时。
  2. 数据质量低下:有很多“脏数据”——比如SKU名称写错了(比如“小黑瓶精华液”写成了“小黑瓶精华”)、库存数据不准确(比如WMS系统里显示主仓有1000瓶,但实际盘点只有800瓶)、销量数据延迟(比如POS机的实时销量数据要延迟24小时才能同步到ERP系统)。
  3. 数据采集困难:外部数据(比如竞品促销活动数据、社交媒体上的品牌/产品讨论数据、实时天气数据、实时路况数据)都是靠人工手动收集的,效率非常低,而且数据更新不及时。

问题描述

我们的任务是:搭建一个统一的供应链数据平台,把以上6大类多源异构供应链数据全部采集进来,进行清洗、存储、治理,然后为三个Agent提供统一的API接口,让Agent可以在1秒内查询到所需的任何数据。

问题解决

我们将供应链数据平台的搭建过程拆解成以下5个清晰的步骤:

步骤1.1:数据采集层的搭建

数据采集层负责多源异构供应链数据的采集,我们使用以下工具和方法:

1.1.1 内部结构化数据的采集

对于ERP系统、WMS系统、TMS系统、OMS系统、CRM系统里的内部结构化数据,我们使用Flink CDC(Change Data Capture) 技术进行实时/准实时的增量采集——Flink CDC可以监控这些系统的MySQL/Oracle数据库的binlog日志,一旦有数据插入、更新、删除,就会立刻把变化的数据同步到我们的供应链数据平台里,延迟不超过1分钟。

以下是一个简单的Flink CDC同步WMS系统MySQL数据库到PostgreSQL的Java代码片段(Python也可以用PyFlink,不过Java的Flink CDC性能更好):

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

public class FlinkCDCWMS2PostgreSQL {
    public static void main(String[] args) throws Exception {
        // 1. 创建StreamExecutionEnvironment
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 2. 创建StreamTableEnvironment
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
        // 3. 设置checkpoint(容错机制)
        env.enableCheckpointing(60000); // 每60秒做一次checkpoint
        // 4. 创建WMS系统MySQL的CDC源表
        tableEnv.executeSql("""
            CREATE TABLE wms_inventory_cdc (
                id BIGINT,
                sku_id VARCHAR(64),
                warehouse_id VARCHAR(64),
                quantity INT,
                update_time TIMESTAMP(3),
                PRIMARY KEY (id) NOT ENFORCED
            ) WITH (
                'connector' = 'mysql-cdc',
                'hostname' = 'wms-mysql-host',
                'port' = '3306',
                'database-name' = 'wms_db',
                'table-name' = 'inventory',
                'username' = 'wms_user',
                'password' = 'wms_password',
                'scan.startup.mode' = 'latest-offset' // 从最新的binlog位置开始同步
            )
        """);
        // 5. 创建PostgreSQL的目标表
        tableEnv.executeSql("""
            CREATE TABLE wms_inventory_postgresql (
                id BIGINT,
                sku_id VARCHAR(64),
                warehouse_id VARCHAR(64),
                quantity INT,
                update_time TIMESTAMP(3),
                PRIMARY KEY (id) NOT ENFORCED
            ) WITH (
                'connector' = 'jdbc',
                'url' = 'jdbc:postgresql://scp-postgresql-host:5432/scp_db',
                'table-name' = 'wms_inventory',
                'username' = 'scp_user',
                'password' = 'scp_password'
            )
        """);
        // 6. 执行同步
        tableEnv.executeSql("""
            INSERT INTO wms_inventory_postgresql
            SELECT * FROM wms_inventory_cdc
        """);
        // 7. 启动Flink作业
        env.execute("Flink CDC WMS Inventory to PostgreSQL");
    }
}
1.1.2 内部时序数据的采集

对于POS机实时销量数据、电商平台实时流量数据、仓库实时出入库数据、车辆实时位置数据,我们使用MQTT协议+Kafka消息队列+Flink流处理 技术进行毫秒级的实时采集:

  • MQTT协议:POS机、仓库的RFID读卡器、车辆的GPS定位设备通过MQTT协议把数据发送到MQTT Broker(比如EMQX)。
  • Kafka消息队列:MQTT Broker把数据转发到Kafka消息队列,起到“削峰填谷”的作用——比如双11期间POS机和电商平台的流量数据会暴涨,Kafka可以把这些数据暂时存储起来,然后慢慢处理,防止系统崩溃。
  • Flink流处理:Flink从Kafka消息队列里消费数据,进行简单的清洗(比如过滤掉无效的GPS定位数据),然后写入InfluxDB时序数据库。

以下是一个简单的PyFlink消费Kafka里的车辆GPS定位数据并写入InfluxDB的Python代码片段:

from pyflink.datastream import StreamExecutionEnvironment
from pyflink.table import StreamTableEnvironment, DataTypes
from pyflink.table.descriptors import Schema, Kafka, InfluxDB

def main():
    # 1. 创建StreamExecutionEnvironment
    env = StreamExecutionEnvironment.get_execution_environment()
    # 2. 创建StreamTableEnvironment
    t_env = StreamTableEnvironment.create(env)
    # 3. 设置checkpoint
    env.enable_checkpointing(30000)
    # 4. 创建Kafka的源表
    t_env.connect(
        Kafka()
        .version("universal")
        .topic("vehicle_gps")
        .property("bootstrap.servers", "kafka-host:9092")
        .property("group.id", "vehicle_gps_consumer_group")
        .start_from_latest()
    ).with_format(
        "json"
    ).with_schema(
        Schema()
        .field("vehicle_id", DataTypes.STRING())
        .field("latitude", DataTypes.DOUBLE())
        .field("longitude", DataTypes.DOUBLE())
        .field("speed", DataTypes.DOUBLE())
        .field("timestamp", DataTypes.TIMESTAMP(3))
    ).create_temporary_table("vehicle_gps_kafka")
    # 5. 创建InfluxDB的目标表
    t_env.connect(
        InfluxDB()
        .version("2.7")
        .url("http://influxdb-host:8086")
        .username("scp_user")
        .password("scp_password")
        .database("scp_db")
        .measurement("vehicle_gps")
        .batch_size(1000)
        .batch_interval_ms(1000)
    ).with_format(
        "influxdb"
    ).with_schema(
        Schema()
        .field("vehicle_id", DataTypes.STRING()).tag()
        .field("latitude", DataTypes.DOUBLE())
        .field("longitude", DataTypes.DOUBLE())
        .field("speed", DataTypes.DOUBLE())
        .field("timestamp", DataTypes.TIMESTAMP(3)).rowtime()
    ).create_temporary_table("vehicle_gps_influxdb")
    # 6. 执行同步
    t_env.execute_sql("""
        INSERT INTO vehicle_gps_influxdb
        SELECT * FROM vehicle_gps_kafka
    """)
    # 7. 启动Flink作业
    env.execute("PyFlink Vehicle GPS to InfluxDB")

if __name__ == "__main__":
    main()
1.1.3 外部结构化/非结构化数据的采集

对于节假日信息、重大活动信息、原材料价格数据、竞品促销活动数据、用户评价数据、社交媒体上的品牌/产品讨论数据、行业新闻数据,我们使用Scrapy爬虫框架 进行定时/实时的采集;对于实时天气数据、未来3-7天的天气预报数据、实时路况数据,我们使用高德地图/百度地图/OpenWeatherMap的API接口 进行定时/实时的采集。

以下是一个简单的Scrapy爬虫爬取天猫小黑盒里的竞品促销活动数据的Python代码片段:

import scrapy
import json
from scp_data_platform.items import CompetitorPromotionItem

class TmallHeihePromotionSpider(scrapy.Spider):
    name = "tmall_heihe_promotion"
    allowed_domains = ["heihe.tmall.com", "detail.tmall.com"]
    start_urls = ["https://heihe.tmall.com/api/channel/channelItemList?channelId=1001&pageSize=50"]

    def parse(self, response):
        # 解析小黑盒的商品列表接口返回的JSON数据
        data = json.loads(response.text)
        if data["code"] == 200:
            for item in data["data"]["itemList"]:
                item_id = item["itemId"]
                # 爬取商品详情页获取促销活动信息
                detail_url = f"https://detail.tmall.com/item.htm?id={item_id}"
                yield scrapy.Request(detail_url, callback=self.parse_detail, meta={"item_id": item_id, "item_info": item})

    def parse_detail(self, response):
        # 解析商品详情页的促销活动信息
        item = CompetitorPromotionItem()
        item["item_id"] = response.meta["item_id"]
        item["item_name"] = response.meta["item_info"]["itemName"]
        item["competitor_brand"] = response.meta["item_info"]["brandName"]
        item["promotion_type"] = response.css(".tb-promotion-tag::text").getall()
        item["promotion_price"] = response.css(".tm-price::text").get()
        item["original_price"] = response.css(".tm-price-original::text").get()
        item["promotion_start_time"] = response.css(".promotion-start-time::attr(data-start)").get()
        item["promotion_end_time"] = response.css(".promotion-end-time::attr(data-end)").get()
        item["crawl_time"] = response.headers["Date"].decode("utf-8")
        yield item

以下是一个简单的Python脚本调用OpenWeatherMap API获取实时天气数据并写入InfluxDB的代码片段:

import requests
from influxdb_client import InfluxDBClient, Point, WritePrecision
from influxdb_client.client.write_api import SYNCHRONOUS
import time

# OpenWeatherMap API配置
OPENWEATHERMAP_API_KEY = "your_openweathermap_api_key"
CITY_LIST = ["北京", "上海", "广州", "深圳", "杭州", "成都", "武汉", "西安", "南京", "重庆"]
# InfluxDB配置
INFLUXDB_URL = "http://influxdb-host:8086"
INFLUXDB_TOKEN = "your_influxdb_token"
INFLUXDB_ORG = "scp_org"
INFLUXDB_BUCKET = "scp_bucket"

def get_realtime_weather(city):
    # 调用OpenWeatherMap API获取实时天气数据
    url = f"https://api.openweathermap.org/data/2.5/weather?q={city}&appid={OPENWEATHERMAP_API_KEY}&units=metric&lang=zh_cn"
    response = requests.get(url)
    if response.status_code == 200:
        return response.json()
    else:
        print(f"Failed to get weather data for {city}: {response.status_code}")
        return None

def write_weather_to_influxdb(weather_data, city):
    # 将实时天气数据写入InfluxDB
    client = InfluxDBClient(url=INFLUXDB_URL, token=INFLUXDB_TOKEN)
    write_api = client.write_api(write_options=SYNCHRONOUS)
    point = Point("realtime_weather") \
        .tag("city", city) \
        .field("temperature", weather_data["main"]["temp"]) \
        .field("humidity", weather_data["main"]["humidity"]) \
        .field("pressure", weather_data["main"]["pressure"]) \
        .field("wind_speed", weather_data["wind"]["speed"]) \
        .field("weather_description", weather_data["weather"][0]["description"]) \
        .time(int(time.time() * 1000), WritePrecision.MS)
    write_api.write(bucket=INFLUXDB_BUCKET, org=INFLUXDB_ORG, record=point)
    client.close()
    print(f"Successfully wrote weather data for {city} to InfluxDB")

if __name__ == "__main__":
    while True:
        # 每5分钟采集一次所有城市的实时天气数据
        for city in CITY_LIST:
            weather_data = get_realtime_weather(city)
            if weather_data:
                write_weather_to_influxdb(weather_data, city)
        time.sleep(300)
步骤1.2:数据清洗层的搭建

数据清洗层负责对采集到的多源异构供应链数据进行清洗,去除脏数据、重复数据、缺失数据,统一数据格式和数据标准,我们使用以下工具和方法:

  • 结构化数据的清洗:使用Apache Spark SQL 或者PostgreSQL的存储过程 进行清洗——比如统一SKU名称(把“小黑瓶精华液”和“小黑瓶精华”都统一成“SKU001 兰蔻小黑瓶精华液 30ml”)、过滤掉库存数量为负数的数据、用历史均值或者线性插值法填充缺失的销量数据。
  • 时序数据的清洗:使用Apache Flink SQL 或者InfluxDB的Flux查询语言 进行清洗——比如过滤掉无效的GPS定位数据(经纬度不在中国范围内的)、用滑动窗口平均法平滑POS机的实时销量数据(去除异常值,比如POS机误扫的1000瓶)。
  • 非结构化数据的清洗:使用正则表达式 或者spaCy/NLTK中文自然语言处理库 进行清洗——比如去除用户评价数据里的广告、链接、表情符号,分词、词性标注、去停用词。

以下是一个简单的PostgreSQL存储过程统一SKU名称的SQL代码片段:

CREATE OR REPLACE PROCEDURE scp_db.unify_sku_name()
LANGUAGE plpgsql
AS $$
BEGIN
    -- 把“小黑瓶精华液”和“小黑瓶精华”都统一成“SKU001 兰蔻小黑瓶精华液 30ml”
    UPDATE scp_db.wms_inventory
    SET sku_name = 'SKU001 兰蔻小黑瓶精华液 30ml'
    WHERE sku_name LIKE '%小黑瓶%精华%';
    -- 把“大红瓶面霜”和“大红瓶滋润面霜”都统一成“SKU002 兰蔻大红瓶滋润面霜 50ml”
    UPDATE scp_db.wms_inventory
    SET sku_name = 'SKU002 兰蔻大红瓶滋润面霜 50ml'
    WHERE sku_name LIKE '%大红瓶%面霜%';
    -- 把“小白瓶防晒霜”和“小白瓶轻透防晒霜”都统一成“SKU003 兰蔻小白瓶轻透防晒霜 SPF50+ PA++++ 30ml”
    UPDATE scp_db.wms_inventory
    SET sku_name = 'SKU003 兰蔻小白瓶轻透防晒霜 SPF50+ PA++++ 30ml'
    WHERE sku_name LIKE '%小白瓶%防晒%';
    COMMIT;
END $$;

-- 调用存储过程
CALL scp_db.unify_sku_name();

以下是一个简单的spaCy中文自然语言处理库清洗用户评价数据的Python代码片段:

import spacy
import re

# 加载spaCy的中文模型
nlp = spacy.load("zh_core_web_sm")

def clean_user_review(review):
    # 1. 去除广告、链接、表情符号
    review = re.sub(r'https?://\S+|www\.\S+', '', review) # 去除链接
    review = re.sub(r'[^\w\s]', '', review) # 去除标点符号和表情符号
    review = re.sub(r'\d+', '', review) # 去除数字
    review = re.sub(r'\s+', ' ', review).strip() # 去除多余的空格
    # 2. 分词、词性标注、去停用词
    doc = nlp(review)
    cleaned_words = [token.text for token in doc if token.pos_ not in ['DET', 'ADP', 'CONJ', 'PRON', 'AUX'] and not token.is_stop]
    # 3. 合并成字符串
    cleaned_review = ' '.join(cleaned_words)
    return cleaned_review

# 测试
review = "这款小黑瓶精华液真的太好用了!😊 我用了一个月,皮肤变得超级细腻!推荐大家购买!链接:https://xxx.com 客服态度也很好!"
cleaned_review = clean_user_review(review)
print(f"原始评价:{review}")
print(f"清洗后的评价:{cleaned_review}")
步骤1.3:数据存储层的搭建

数据存储层负责对清洗后的多源异构供应链数据进行存储,我们使用以下4种不同类型的数据库,根据数据的特点选择合适的数据库:

  1. 关系型数据库PostgreSQL:存储结构化数据(比如SKU信息、区域信息、仓库信息、门店信息、第三方物流信息、促销活动计划、历史订单数据、历史库存数据)——因为结构化数据有固定的 schema,需要进行复杂的关联查询,PostgreSQL的查询性能非常好,而且支持JSON数据类型,可以存储一些半结构化的数据。
  2. 时序数据库InfluxDB:存储时序数据(比如POS机实时销量数据、电商平台实时流量数据、仓库实时出入库数据、车辆实时位置数据、实时天气数据、实时路况数据)——因为时序数据的写入量非常大(比如双11期间每秒要写入几百万条数据),而且查询方式主要是“按时间范围查询某个SKU/某个区域/某个车辆的数据”,InfluxDB专门针对时序数据的写入和查询做了优化,性能非常好。
  3. 向量数据库Milvus:存储非结构化数据的嵌入向量(比如用户评价数据的嵌入向量、社交媒体上的品牌/产品讨论数据的嵌入向量、竞品促销文案的嵌入向量、节假日历史趋势的嵌入向量)——因为非结构化数据无法直接用SQL查询,我们需要用LLM把它们转换成高维的嵌入向量,然后用Milvus进行相似度搜索,为DFA的RAG检索提供支持。
  4. 缓存数据库Redis:缓存Agent的推理结果、实时路况数据、电商平台的流量波动预警数据——因为这些数据的访问频率非常高,而且要求响应速度非常快(毫秒级),Redis是内存数据库,读写性能非常好。
步骤1.4:数据治理层的搭建

数据治理层负责对供应链数据平台的所有数据进行治理,建立数据标准、数据质量监控体系、数据安全体系、数据血缘体系,我们使用以下工具和方法:

  • 数据标准:制定《供应链数据标准手册》,统一所有数据的命名规范、数据类型、数据格式、数据精度、数据更新频率。
  • 数据质量监控体系:使用Apache Atlas 或者Great Expectations 进行数据质量监控——比如监控库存数据的准确率(和实际盘点数据对比)、销量数据的完整性(缺失率不能超过0.1%)、销量数据的及时性(延迟不能超过1分钟),一旦数据质量不达标,就会立刻发送邮件/短信告警给数据管理员。
  • 数据安全体系:使用PostgreSQL的加密功能、InfluxDB的访问控制功能、Milvus的身份验证功能、Redis的密码保护功能 进行数据安全防护——比如对敏感数据(比如用户的个人信息、产品的成本价格)进行加密存储,对不同的角色(比如数据管理员、业务人员、Agent)设置不同的访问权限(比如Agent只能查询数据,不能修改数据)。
  • 数据血缘体系:使用Apache Atlas 或者DataHub 建立数据血缘体系——比如可以清楚地看到某个SKU的销量数据是从哪里采集的、经过了哪些清洗步骤、存储在哪个数据库里、被哪些Agent使用了,一旦数据出现问题,可以快速定位问题的根源。
步骤1.5:数据服务层的搭建

数据服务层负责为三个Agent和业务人员提供统一的API接口,让他们可以快速、方便地查询到所需的任何数据,我们使用以下工具和方法:

  • RESTful API接口:使用FastAPI 或者Flask 构建RESTful API接口——比如提供“查询某个SKU未来1-90天的历史销量数据”、“查询某个区域当前的实时天气数据”、“查询某个仓库当前的实时库存数据”、“查询第三方物流的实时运力报价”这些接口。
  • GraphQL API接口:使用Strawberry 或者Ariadne 构建GraphQL API接口——因为业务人员和Agent有时候需要查询多个数据源的数据(比如同时查询某个SKU的历史销量数据、当前的库存数据、未来3天的天气预报数据),GraphQL可以一次性返回所有需要的数据,减少API调用次数,提高系统的响应速度。
  • API文档:使用Swagger UI 或者Redoc 自动生成API文档——让业务人员和Agent的开发人员可以快速了解API接口的使用方法。

以下是一个简单的FastAPI构建RESTful API接口查询某个SKU未来1-90天的历史销量数据的Python代码片段:

from fastapi import FastAPI, Query
from typing import Optional
import psycopg2
from psycopg2.extras import RealDictCursor

app = FastAPI(title="供应链数据平台API", version="1.0.0", description="为供应链AI Agent Harness系统提供统一的API接口")

# PostgreSQL配置
POSTGRESQL_HOST = "scp-postgresql-host"
POSTGRESQL_PORT = 5432
POSTGRESQL_DATABASE = "scp_db"
POSTGRESQL_USER = "scp_user"
POSTGRESQL_PASSWORD = "scp_password"

def get_postgresql_connection():
    # 获取PostgreSQL数据库连接
    conn = psycopg2.connect(
        host=POSTGRESQL_HOST,
        port=POSTGRESQL_PORT,
        database=POSTGRESQL_DATABASE,
        user=POSTGRESQL_USER,
        password=POSTGRESQL_PASSWORD,
        cursor_factory=RealDictCursor
    )
    return conn

@app.get("/api/v1/sales/history", summary="查询某个SKU未来1-90天的历史销量数据", tags=["销量数据"])
def get_sales_history(
    sku_id: str = Query(..., description="SKU ID", example="SKU001"),
    start_date: str = Query(..., description="开始日期,格式为YYYY-MM-DD", example="2024-01-01"),
    end_date: str = Query(..., description="结束日期,格式为YYYY-MM-DD", example="2024-03-31"),
    region_id: Optional[str] = Query(None, description="区域 ID,可选,不填则查询全国数据", example="REGION001"),
    warehouse_id: Optional[str] = Query(None, description="仓库 ID,可选,不填则查询该区域所有仓库的数据", example="WAREHOUSE001")
):
    try:
        # 获取PostgreSQL数据库连接
        conn = get_postgresql_connection()
        cursor = conn.cursor()
        # 构建SQL查询语句
        sql = """
            SELECT 
                sale_date,
                sku_id,
                sku_name,
                region_id,
                region_name,
                warehouse_id,
                warehouse_name,
                SUM(quantity) AS total_quantity,
                SUM(amount) AS total_amount
            FROM 
                scp_db.oms_sales_history
            WHERE 
                sku_id = %s
                AND sale_date BETWEEN %s AND %s
        """
        params = [sku_id, start_date, end_date]
        if region_id:
            sql += " AND region_id = %s"
            params.append(region_id)
        if warehouse_id:
            sql += " AND warehouse_id = %s"
            params.append(warehouse_id)
        sql += " GROUP BY sale_date, sku_id, sku_name, region_id, region_name, warehouse_id, warehouse_name ORDER BY sale_date ASC"
        # 执行SQL查询
        cursor.execute(sql, params)
        # 获取查询结果
        results = cursor.fetchall()
        # 关闭数据库连接
        cursor.close()
        conn.close()
        # 返回查询结果
        return {"code": 200, "message": "查询成功", "data": results}
    except Exception as e:
        # 返回错误信息
        return {"code": 500, "message": f"查询失败:{str(e)}", "data": None}

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

(文章未完待续,接下来的核心步骤包括:核心步骤2:Demand Forecasting Agent(DFA)的构建、核心步骤3:Inventory Optimization Agent(IOA)的构建、核心步骤4:Logistics Scheduling Agent(LSA)的构建、核心步骤5:Harness调度中枢的构建、核心步骤6:系统的部署与测试、核心步骤7:系统的性能监控与反馈迭代)

Logo

电商企业物流数字化转型必备!快递鸟 API 接口,72 小时快速完成物流系统集成。全流程实战1V1指导,营造开放的API技术生态圈。

更多推荐