Python爬虫实战:从淘宝电商数据采集到可视化分析全流程
简介:一份基于电商网络数据采集与分析方向的毕业论文文档,共33页约12525字,主要面向计算机、电子商务专业的学生,以及希望通过Python上手爬虫与数据可视化的初学者。内容以淘宝商品数据为例,完整覆盖了从编写爬虫到结论输出的全过程:先通过selenium启动代理浏览器模拟搜索、用requests抓取网页源码、以正则表达式解析商品价格/销量/产地等字段,再由pymongo存储至MongoDB;随后借助pandas、numpy、matplotlib完成缺失值填补、去重、清洗、统计分析和柱状图/散点图等可视化,并进一步构建价格与销量的线性回归模型。论文包含课题背景、技术选型、系统设计、系统测试与应用、结论等章节,另附中英文摘要、目录及关键词,结构和代码思路均可直接借鉴。资源为单个docx文件,大小4.57MB,已有916人学习下载,适合正在筹备电商数据类论文或希望快速了解爬虫分析全链路的人群。
1. 基于电商网络的数据采集与分析:这套 Python 爬虫方案究竟解决什么问题
做电商数据采集的人都知道,淘宝这类平台的页面是动态加载的,反爬机制又重,商品价格、销量、产地这些字段散落在不同的 DOM 节点里,直接用 requests 抓静态 HTML 往往什么都拿不到。这套基于 Python 的电商网络数据采集与分析论文资源,把从模拟浏览器登录、翻页抓取、正则解析、MongoDB 存储,到 pandas 清洗、matplotlib 可视化和线性回归分析的完整链路都走通了。它适合两类人:一类是拿到选题要做爬虫与数据分析的毕业生,需要一套能直接复现的框架;另一类是电商运营或独立开发者,想用最低成本摸清竞品价格带和销量分布。全文 33 页的篇幅,代码和图表占了大半,实践性远高于理论堆砌。
2. 技术选型与架构:为什么是 selenium + requests + 正则,而不是 scrapy
2.1 淘宝登录链路:滑块验证迫使方案转向浏览器自动化
论文的逻辑起点很实际:淘宝的登录流程会跳出滑块验证,requests 库对这种情况基本无解。它的登录请求时序是先提交账号密码换取 token,再用 token 向阿里巴巴交换 st 码,最后用 st 码换取 cookies,期间大约会回调 30 个参数用于验证,任何一个环节被风控判定异常,登录就会失败。既然协议层不好突破,方案就改成用 selenium 模拟真人操作浏览器,让验证码的触发概率降到最低。
from selenium import webdriver
driver = webdriver.Chrome() # 定义 Chrome 浏览器驱动
driver.get('https://www.taobao.com') # 打开淘宝首页
driver.implicitly_wait(10) # 隐式等待,最多等 10 秒
这里的 implicitly_wait(10) 非常关键。淘宝页面是异步加载的,搜索框和商品列表出现的时间不固定,如果页面没加载完就执行查找元素的命令,会直接抛 NoSuchElementException。10 秒是论文实测下来比较稳妥的值,网速较慢的环境可以调到 15。真正的登录动作通过 find_element_by_xpath() 定位账号密码输入框,用 send_keys() 填入,再由 click() 触发登录。登录之后不需要手动处理 token 和 st 码,浏览器会自动完成这些跳转。
2.2 翻页策略:URL 参数 s 的线性规律替代点击“下一页”
爬虫最常见的翻车点就是循环点击“下一页”按钮触发风控。论文里抓到的一个规律很实用:淘宝搜索结果页的 URL 中, s 参数跟页码是线性对应的,第二页 s=44 ,第三页 s=88 ,第十五页 s=616 ,即 s = (页数 - 1) * 44 。同时 URL 里的其他参数,比如 spm 、 bcoffset 、 ntoffset ,经过试验都可以去掉,只保留 q 和 s 两个参数也不会影响请求结果,代码量大幅缩减。
for num in range(1, top + 1):
url = 'https://s.taobao.com/search?q={}&s={}'.format(key, 44 * (num - 1))
driver.get(url)
driver.implicitly_wait(10)
# 这里执行每页的商品解析逻辑
num 从 1 开始遍历到最大页数 top , 44 * (num - 1) 保证了第一页时 s=0 。 top 的获取方式是先定位到“共 xx 页”的文本节点,再用正则表达式 re.compile('(\d+)').search(top).group(1) 提取出数字,最后转成 int 类型。这种方式绕开了点击翻页按钮,页面跳转直接通过 URL 完成,风控识别的概率显著降低。如果后续要改抓取数量,只需要把 range(1, top + 1) 的终止条件改小即可。
2.3 滚动条控制:不滚动图片就不加载,这是一处隐藏坑
商品页面的图片地址是懒加载的,滚动条不拉到相应位置, src 属性就是空的,直接解析拿不到任何图片链接。论文给出的滚动策略是分段式滚动,把页面总高度的 10%、30%、50%……逐级拉下去,每拉一次停 0.5 秒,给浏览器留出加载时间。
for x in range(1, 11, 2):
time.sleep(0.5)
j = x / 10 # 滚动条位置百分比
js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
driver.execute_script(js)
range(1, 11, 2) 生成 1、3、5、7、9 五个步进值,对应 10% 到 90% 的滚动位置, scrollTop 是滚动偏移量, scrollHeight 是页面总高度,两者相乘就能控制滚动深度。这里有个细节,滚动完成后最好再额外加一次 time.sleep(1) ,否则最后几条商品图片仍然可能来不及加载。 execute_script 是 selenium 执行 JavaScript 的入口,滚动操作本身没有返回值,它的作用是触发浏览器的加载事件来完成图片请求。
3. 商品信息解析与入库:XPath 定位、单价字段拆分与 MongoDB 写入
3.1 XPath 定位范围:把解析范围限定在商品容器内
淘宝搜索页的商品信息全部包在 [class=item J_MouserOnverReq] 这个容器类里。解析时如果直接在整个页面范围内搜索节点,很容易把搜索推荐、广告位、底部导航等无关内容一起抓进来。论文的做法是先规定一个大的解析范围,在这个范围内再去定位具体字段,既提高了准确度,也方便后续调试。
divs = driver.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq "]')
注意 XPath 里的类名 class="item J_MouserOnverReq " 后面带两个空格,这是从浏览器开发者工具直接复制出来的原始样式,类名匹配要求完全一致,少一个空格都会定位不到。如果你在实操中遇到 find_elements_by_xpath 返回空列表,优先检查这里。
在 divs 范围内,各字段的 XPath 定位规则是:图片在 pic 大类的 img 标签下,取 src 属性;宣传标语直接取 row row-2 title 类的文本;价格在 price g_price g_price-highlight 类中;销量在 deal-cnt 类中;店铺名在 shop 类下的 span[2] ;产地在 location 类中。
image = div.find_element_by_xpath('.//div[@class="pic"]/a/img').get_attribute('src')
info = div.find_element_by_xpath('.//div[@class="row row-2 title"]').text
price = div.find_element_by_xpath('.//div[@class="row row-1 g-clearfix"]/div[@class="price g_price g_price-highlight"]').text
deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text
name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text
position = div.find_element_by_xpath('.//div[@class="location"]').text
这里有个容易踩的坑:价格不能直接取 price g_price g_price-highlight 整块的文本,因为价格区域由两部分组成, ¥ 符号在 <span> 里,数字在 <strong> 里,直接取文本得到的是“¥99.00”这种混合字符串,后续做数值运算还得再拆一次。论文中把两个节点分开定位,只取 <strong> 里的数字部分。如果未来价格出现区间价(比如“99.00-199.00”),这个解析逻辑同样能覆盖,只是需要自己决定取低值还是高值来做分析。
3.2 销量数据的单位换算:把“万+”还原成真实数字
淘宝的销量展示规则里,数额过大的销量会变成“2万+人付款”“8000+人付款”这种格式,直接拿来分析肯定不行。程序不能识别“万”和“+”这类字符,所以论文单独写了一段转换逻辑,把汉字单位换算成阿拉伯数字。
if '万' in deal:
deal = deal.replace('万+人付款', '')
deal = float(deal) * 10000
deal = int(deal)
deal = str(deal) + '人付款'
if '+' in deal:
deal = deal.replace('+人付款', '人付款')
deal = str(deal)
float(deal) * 10000 这一步容易忽略:原始文本是字符串,必须先用 float() 转成浮点数才能做乘法,最后再转回字符串并拼接回“人付款”后缀,保持存储格式的统一。注意这里的处理顺序,先判断“万”再判断“+”,因为“2万+人付款”同时包含两个符号,如果先处理“+”,会把“2万”留下来,后面再匹配“万”时就只剩数字了,处理结果就不对了。实际分析时,建议把后缀都去掉,直接存成 int 类型的销量数字,比存“xxx人付款”字符串对图表绘制更友好。
3.3 pymongo 入库:连接参数与写入格式的细节
数据抓取和解析都完成后,需要落地存储。论文选用的是 MongoDB,理由是它介于关系型和非关系型数据库之间,支持 json 和 bson 格式,可以存复杂嵌套结构,商品数据这种字段数量不固定的半结构化数据很适合。Python 侧通过 pymongo 驱动连接。
import pymongo
connection = pymongo.MongoClient('mongodb://localhost:27017/')
db = connection['taobao']
collection = db['product']
item = {
'title': info,
'price': price,
'sales': deal,
'shop': name,
'location': position,
'image': image
}
collection.insert_one(item)
MongoClient 的第一个参数是连接 URI,默认端口 27017。 db['product'] 里如果集合不存在,MongoDB 不会立即报错,而是等第一次 insert_one 时自动创建。这里有个和 MySQL 不一样的地方:MongoDB 不需要预先定义表结构,字段名和值直接以字典形式传入即可。 insert_one 是单条写入,如果一页解析出了多个商品,建议改用 insert_many 传列表,减少网络往返次数。入库前可以用 collection.delete_many({}) 清空旧数据,避免多轮爬取导致的数据重复累积。
4. 数据清洗与分析可视化:从 MongoDB 原始记录到可决策的图表
4.1 清洗策略:分词、停用词与去重的标准流程
从 MongoDB 读出来的数据是带噪声的:商品标题里夹杂品牌词、规格词、促销话术,销量列里可能残留“人付款”后缀,产地字段有空白值。论文给出的清洗流程是分词、剔除停用词、去重三步走。
import jieba
def clean_text(text):
words = jieba.lcut(text) # 中文分词
stopwords = ['包邮', '新款', '热卖', '爆款', '正品'] # 自定义停用词
words = [w for w in words if w not in stopwords and w.strip()]
return ' '.join(words)
jieba.lcut 返回的是分词后的列表,停用词表可以根据商品类目自己扩充,比如服饰类加“尺码”“颜色”,数码类加“官方”“标配”。过滤条件 w not in stopwords and w.strip() 同时去掉了停用词和纯空格词。清洗后的文本用于词云和词组分析,数值列的价格和销量则用 pandas 统一转成 float 和 int,缺失值按列处理:价格缺失可以填充该关键词下的中位数,销量缺失直接填充 0 更符合业务含义。
4.2 销量差异与产地效应:分组聚合的可视化输出
论文的第五章对词云、不同词组对销量的影响、商品价格与销量关系、产地影响四个维度做了可视化。用 pandas 分组聚合后,直接调 matplotlib 绘图。
import pandas as pd
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 解决中文乱码
df = pd.read_csv('taobao_products.csv')
grouped = df.groupby('location')['sales'].mean().sort_values(ascending=False).head(10)
plt.figure(figsize=(10, 6))
grouped.plot(kind='bar')
plt.title('不同产地商品平均销量对比')
plt.xlabel('产地')
plt.ylabel('平均销量')
plt.xticks(rotation=45)
plt.tight_layout()
plt.savefig('location_sales.png', dpi=150)
plt.rcParams['font.sans-serif'] = ['SimHei'] 这行必须加,否则 matplotlib 渲染中文时会显示方框乱码。 groupby('location')['sales'].mean() 先按产地分组再取销量均值, sort_values(ascending=False) 降序排列后取前 10 个,避免产地数量太多导致柱状图横轴拥挤。 dpi=150 是论文中图表的默认输出精度,投稿或存档场景可以提高到 200。
价格与销量的关系是论文另一个亮点,用散点图加线性回归来量化两者的相关方向。
import numpy as np
from scipy import stats
x = df['price'].values
y = df['sales'].values
slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)
plt.figure(figsize=(10, 6))
plt.scatter(x, y, alpha=0.4, s=30)
line_x = np.linspace(x.min(), x.max(), 100)
plt.plot(line_x, slope * line_x + intercept, 'r-', label='y={:.2f}x+{:.2f}'.format(slope, intercept))
plt.xlabel('价格')
plt.ylabel('销量')
plt.legend()
plt.savefig('price_sales_regression.png', dpi=150)
stats.linregress 返回五个核心指标:斜率 slope、截距 intercept、相关系数 r_value、p 值 p_value 和标准误 std_err。斜率是负值说明价格与销量负相关,价格越高销量越低; alpha=0.4 让散点半透明,重叠区域不会变成一团黑。 np.linspace(x.min(), x.max(), 100) 生成从最小价到最大价均匀分布的 100 个点,用来画回归直线。
词云部分论文用的是 wordcloud 库配合 matplotlib 展示高频词,这个库在 Linux 环境下可能会遇到中文乱码问题,需要指定字体文件路径,比如 WordCloud(font_path='msyh.ttc') ,Windows 下没有这个字体的话需要换成系统中实际存在的中文字体路径。
4.3 分析流程的边界:数据量太少时回归结果没有意义
这里要明确一点:论文中的线性回归是基于单次爬取的关键词数据,通常是几百条商品记录,样本量并不大。在这种规模下,回归结果只能反映该关键词下的局部规律,不能推广到全平台。我自己做类似分析时会加一步验证:计算置信区间并留存原始数据,如果下次用不同关键词爬出来的价格系数符号相反,说明数据本身波动太大,结论需要重新审视。实践中有个习惯值得借鉴:每个关键词爬完后,把 r_value 和 p_value 同步打印出来,p 值大于 0.05 时散点图的回归线就不应该写进结论里。
5. 爬虫实战中的避坑记录:登录失效、定位为空与数据错位排查
5.1 滑块验证频繁跳出导致登录失败
现象:selenium 启动浏览器后,首次访问淘宝首页正常,但输入账号密码点击登录时,页面反复跳出滑块验证,偶尔一次能过,第二次又弹出来,整个流程无法稳定跑完。
原因:淘宝对浏览器指纹和操作行为有风控判定。固定窗口尺寸、无随机停顿、输入速度过快都会被标记为自动化脚本。论文里的登录时序讲得很清楚,登录要经历 token、st 码、cookies 三步交换,任何一个环节被判定异常都会触发验证。
解决:窗口大小随机化,比如在启动前用 driver.set_window_size(1366, 768) 到 1920, 1080 之间随机取值;输入账号密码时用 time.sleep(0.1) 到 0.3 的随机间隔模拟真人打字;登录前先手动滑动页面,模拟浏览动作。最稳妥的方案是第一次登录手动过滑块,之后把 cookies 序列化保存到本地,后续启动直接用 driver.add_cookie() 注入,跳过登录环节。
5.2 XPath 类名带空格导致定位结果为空
现象: find_elements_by_xpath('//div[@class="item J_MouserOnverReq"]') 返回空列表,但浏览器开发者工具里能看到对应的 DOM 节点。
原因:淘宝的类名不是固定值,页面渲染时可能动态追加或删减类名,而且从开发者工具复制出来的 class 属性值可能包含多个空格或换行符,直接字符串匹配会失效。
解决:改用 contains 模糊匹配,比如 //div[contains(@class, "item") and contains(@class, "J_MouserOnverReq")] 。或者更稳定一点,用 CSS 选择器 div.item.J_MouserOnverReq ,selenium 的 find_elements_by_css_selector 对动态类名的容错更好。我在复现时习惯先把所有类名打印出来,确认实际渲染结果再写定位表达式。
5.3 销量“万”转换后出现精度偏差
现象:某商品销量显示“2.1万+人付款”,转换后得到 21000,但在后续分组统计时发现部分商品销量异常大,比如 99999,或异常小,比如 0。
原因: float(deal) * 10000 后接 int(deal) ,浮点数在二进制表示下会出现精度损失,比如 1.9999999999 乘以 10000 得到 19999.999999,int 截断后变成 19999,真实值却是 20000。更关键的是,有些商品的销量文本不是标准格式,中间夹杂空格或全角字符,replace 没匹配上就原样入库了。
解决:转换时用 round(float(deal) * 10000) 代替 int(deal) ,四舍五入抵消浮点误差。入库前统一对 sales 字段做一次类型和范围校验,小于 0 或超过 500 万的记录单独打印出来人工检查。正则匹配时顺便把空格、全角加号一起清掉。
5.4 翻页越界导致部分页面重复或缺失
现象:爬取 15 页数据后统计商品数,只有 600 条左右,但理论值应该是 660 条,而且发现部分商品出现了两次。
原因: top 的提取逻辑基于“共 xx 页”文本,但淘宝的搜索结果页会动态调整总页数,爬取过程中页数可能减少,按旧值翻到后面时 URL 的 s 参数越界,返回的还是最后一页的数据,造成重复。
解决:每翻一页重新读取“共 xx 页”文本并更新 top ,一页解析完成后检查该页商品第一条的标题是否和上一页最后一条相同,相同则中断本轮翻页。这属于兜底逻辑,实际操作时可以给循环加一个 max_pages 上限,比如设定不超过 20 页,防止异常时脚本无限翻下去。
5.5 MongoDB 连接成功后写入中文乱码
现象:数据成功写入 MongoDB,用命令行查询时中文字段显示为 \uXXXX 形式的转义字符,而不是可读的中文。
原因:pymongo 默认使用 Unicode 编码存储字符串,MongoDB Shell 展示时会把特殊字符转义,charset 设置不正确也会出现类似问题。实际内容没有损坏,只是展示层的问题。
解决:查询时用 json.dumps(doc, ensure_ascii=False) 输出,或者用 MongoDB Compass 图形化工具查看,就不会出现转义。写入时在 MongoClient 连接串里加上 ?authSource=admin 参数,保证连接认证库和存储库一致,也能减少部分编码问题。
6. 从论文到实战的进阶:多关键词批量爬取与数据可靠性验证
论文的代码框架是基于单关键词的,实际应用场景往往需要一个关键词列表。我的做法是把关键词存在 CSV 文件里,逐行读取,每个关键词爬完后随机休眠一段时间,降低操作频率特征。
import random
import csv
import time
with open('keywords.csv', 'r', encoding='utf-8') as f:
keywords = [row[0] for row in csv.reader(f)]
for kw in keywords:
print('当前关键词:', kw)
# 这里复用爬虫主逻辑,替换 key 值
time.sleep(random.uniform(5, 10))
random.uniform(5, 10) 生成 5 到 10 秒的随机等待,避开固定间隔的风控检测。每个关键词爬完后单独存一个 CSV 文件,文件名包含关键词和时间戳,防止数据串档。
数据可靠性验证是大多数人忽略的环节。我在复现这套系统时会做两个对比:一是从爬取结果里随机抽 20 条商品,打开淘宝页面手动核对价格和销量是否一致;二是把同一关键词在上午、下午、晚上各跑一次,对比三次数据的波动幅度。如果同一商品的销量在三次抓取中差异超过 5%,说明抓取时机影响了数据可信度,分析前需要在结论里标注取数时间范围。
这个流程我第一次跑完整套论文代码时花了近两天时间才全部走通,卡得最久的不是代码逻辑,而是滑块验证和字段错位这两个问题。从那以后我每次开始爬虫任务前都强制走一遍检查清单:确认浏览器驱动版本与 Chrome 匹配、确认 MongoDB 服务已启动、用单页数据先验证 XPath 定位、抓完首轮数据完成后抽样对比淘宝页面。这套动作能过滤掉一半以上的低级错误,希望帮到你。
更多推荐




所有评论(0)