一、引言

电商评论是消费者决策、商家运营与平台治理的核心依据。但刷单、刷评、水军、机器生成评论等行为严重污染数据生态。本文从合规采集、清洗预处理、多维度识别、模型落地四个环节，给出一套可直接落地的电商评论爬取与虚假评论识别完整思路。

二、电商评论爬取：合规、稳定、结构化

1. 核心原则：合规优先

• 遵守平台Robots 协议与用户协议
• 优先使用官方开放 API
• 控制频率、不爬隐私数据、不用于非法牟利

2. 技术选型（Python 生态）

• 轻量采集：Requests + BeautifulSoup/XPath
• 动态渲染：Playwright/Selenium
• 大规模分布式：Scrapy
• 反爬支撑：代理池、随机 UA、Cookie 池、请求间隔

3. 采集字段（标准化）

• 商品 ID、用户 ID、昵称、等级
• 评分、评论内容、追评、图片 / 视频标签
• 评论时间、购买时间、是否带图
• 设备 / IP（平台可见）、点赞 / 回复数

4. 反爬应对要点

• 优先抓接口 JSON，少解析 HTML
• 随机延时 1~3 秒，禁用多线程狂飙
• 异常捕获 + 重试 + 断点续爬
• 避免固定 URL、固定参数、固定顺序

5. 存储方案

• 临时：CSV/JSON
• 中型：SQLite/MySQL
• 大规模：Elasticsearch
• 必做：去重、时间分片、增量更新

三、数据预处理：清洗是识别的前提

1. 去重：完全重复、高度相似评论
2. 过滤：空内容、纯表情、纯符号、无意义短句
3. 清洗：去除广告、二维码、外链、特殊字符
4. 标准化：时间格式化、评分归一、文本统一编码
5. 分词：jieba 分词，停用词过滤

四、虚假评论识别：四层规则 + 模型融合

第一层：规则引擎（快速上线）

• 时间异常：短时间密集好评、集中零点 / 凌晨
• 行为异常：新号、零购买、批量好评、无追评
• 文本异常：通篇夸、无细节、模板化、极端词堆砌
• 评分异常：全 5 星、无中差评、集中满分

第二层：文本特征（NLP）

• 相似度：余弦相似度 / SimHash，识别批量刷评
• 情感极性：极端正面、无负面、无中性
• 细节密度：真实评论含场景 / 缺点，假评论空洞
• 词汇特征：高频营销词、第一人称过量、无具体功能

第三层：行为与图特征

• 用户行为：注册时长、历史评论数、跨店刷评
• 图结构：用户 - 商品二部图、GCN 挖掘团伙
• 统计特征：评论时长分布、间隔分布、点赞分布

第四层：机器学习 / 深度学习模型

• 传统机器学习：TF-IDF + 逻辑回归 / SVM/XGBoost
• 深度学习：BERT/RoBERTa 做语义分类
• 方案：BERT 提取文本特征 + 行为特征拼接 + 全连接分类
• 输出：虚假概率、置信度、证据链

五、识别流程（标准 Pipeline）

1. 爬取 → 去重清洗 → 特征工程
2. 规则初筛 → 模型精判 → 人工复核
3. 结果入库 → 监控迭代 → 规则更新

六、典型虚假评论模式

1. 刷单好评：内容雷同、时间集中、全五星、无细节
2. 机器生成：通顺但空洞、句式固定、无个人体验
3. 水军差评：同行攻击、内容极端、批量发布
4. 返利好评：引导话术、统一模板、带指定关键词

七、落地建议

1. 先规则后模型，快速见效
2. 建立标注样本库，持续迭代
3. 做可视化看板：异常时段、异常用户、相似评论
4. 提供证据链：时间线、相似度、行为轨迹
5. 合规部署，避免法律风险

八、总结

电商评论治理的核心是 **“采集稳、清洗净、识别准、迭代快”**。先以规则 + 统计特征搭建基线，再用 BERT 等模型提升精度，结合用户行为与图特征，可有效过滤绝大多数虚假评论，让评论数据真正服务于消费决策与商业分析。