如何使用 Python HTML 解析器：分步教程

说实话——没人会一大早醒来就兴奋地把 500 行商品价格复制粘贴到表格里。（如果你会，我敬你耐力十足，也建议你备个护腕。）不管你做销售、运营，还是只是想让自己的生意比竞争对手快一步，你大概率都经历过从网站里整理数据的痛苦。如今，网页数据已经成了很多业务运转的基础，而自动化采集的需求也在快速增长——到 2032 年，网页爬虫软件市场预计将超过 110 亿美元。

web-data-manual-vs-automated-comparison-illustration.png

我在 SaaS 和自动化领域摸爬滚打多年，见过太多场面：从惊人的 Excel 宏，到凌晨 2 点东拼西凑出来的 Python 脚本，应有尽有。在这篇指南里，我会带你用 Python HTML 解析器抓取真实世界的数据（没错，我们会一起抓 IMDb 电影评分），同时也会告诉你为什么到了 2026 年，其实已经有更好的办法——像 Thunderbit 这样的 AI 工具，让你跳过代码，直接拿到洞察。

什么是 HTML 解析器，为什么要在 Python 里用它？

先从最基础的说起：HTML 解析器到底是做什么的？你可以把它想象成你专属的网页图书管理员。它会读取网页背后那堆杂乱的 HTML 代码，并把它整理成清晰的树状结构。这样，你就能只提取自己需要的数据——标题、价格、链接——而不会迷失在一大堆尖括号和 div 里。

Python 是做这件事的首选语言，理由很充分。它可读性强、对新手友好，而且拥有庞大的网页爬虫和解析库生态。事实上，Python 是网页爬虫领域使用最广泛的语言，这得益于它平缓的学习曲线和强大的社区支持。

Python HTML 解析器阵容

下面这些是你在 Python 里解析 HTML 时最常见的几个选择：

BeautifulSoup：经典、适合新手的选择。现在仍在积极维护——beautifulsoup4 4.14.3 也在 2025 年末登陆了 PyPI——所以这里讲的内容绝不是在带你用一个过时库。
lxml：速度快、功能强，支持更高级的查询。
html5lib：对糟糕 HTML 的容错率极高，就像浏览器一样。
PyQuery：让你在 Python 里也能用 jQuery 风格的选择器。
HTMLParser：Python 自带的解析器——一直都在，不过功能比较基础。

它们各有特点，但都能帮你把原始 HTML 变成结构化数据。

关键应用场景：Python HTML 解析器如何帮助企业

网页数据提取并不只是技术人员或数据科学家的专属。它已经变成一项核心业务能力，尤其是在销售和运营中。原因如下：

应用场景（行业）	常见抓取数据	业务结果
价格监控（零售）	竞争对手价格、库存水平	动态定价、提升利润率 (source)
竞品产品情报	商品列表、评论、可用性	发现差距、生成线索 (source)
线索生成（B2B 销售）	公司名称、邮箱、联系人	自动化开发客户、扩大销售漏斗 (source)
市场情绪（营销）	社交帖子、评论、评分	实时反馈、发现趋势 (source)
房地产聚合	房源信息、价格、中介资料	市场分析、定价策略 (source)
招聘情报	候选人资料、薪资	寻找人才、薪资对标 (source)

简单来说：如果你还在手动复制数据，那就是在把时间和金钱拱手让人。

认识 Python HTML 解析器工具箱：主流库对比

咱们直接上手。下面是最常见的几个 Python HTML 解析库的快速对比，方便你为自己的任务选对工具：

库	易用性	速度	灵活性	维护成本	最适合
BeautifulSoup	⭐⭐⭐⭐⭐	⭐⭐	⭐⭐⭐	中等	新手、脏乱 HTML
lxml	⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	中等	速度、XPath、大型文档
html5lib	⭐⭐⭐	⭐	⭐⭐⭐⭐⭐	低	类浏览器解析、损坏的 HTML
PyQuery	⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐	中等	jQuery 用户、CSS 选择器
HTMLParser	⭐⭐⭐	⭐⭐⭐	⭐	低	简单的内置任务

BeautifulSoup：最适合新手的选择

BeautifulSoup 可以说是 HTML 解析界的“hello world”。它的语法直观、文档完善，而且对乱糟糟、格式不规范的 HTML 很宽容 (看更多)。缺点是它不是最快的，尤其在大页面或复杂页面上，而且它默认不支持 XPath 这类高级选择器。

lxml：快速而强大

如果你需要速度，或者想用 XPath 查询，lxml 就是你的好帮手 (详情)。它基于 C 库构建，所以速度飞快，但安装起来可能更麻烦，学习曲线也更陡一些。

其他选择：html5lib、PyQuery 和 HTMLParser

html5lib：解析方式和浏览器一模一样——特别适合处理损坏或奇怪的 HTML，但速度较慢 (对比)。
PyQuery：允许你在 Python 里使用 jQuery 风格的选择器，如果你有前端背景，会非常顺手 (看文档)。
HTMLParser：Python 内置选项——速度快、随时可用，但功能没那么丰富。

第 1 步：搭建 Python HTML 解析环境

在开始解析之前，你得先把 Python 环境准备好。步骤如下：

安装 Python：如果你还没有，可以从 python.org 下载。
安装 pip：通常 Python 3.4+ 会自带，但你可以在终端里运行 pip --version 检查一下。
安装库（本教程我们用 BeautifulSoup 和 requests）：
```
pip install beautifulsoup4 requests lxml
```
- beautifulsoup4 是解析器。
- requests 用来获取网页。
- lxml 是一个快速解析器，BeautifulSoup 可以在底层调用它。

检查安装是否成功：

python -c "import bs4, requests, lxml; print('All good!')"

排错提示：

如果出现权限错误，试试 pip install --user ...
在 Mac/Linux 上，你可能需要用 python3 和 pip3
如果看到 “ModuleNotFoundError”，请检查拼写和 Python 环境是否正确

第 2 步：用 Python 解析你的第一个网页

咱们动手抓一下 IMDb 的 Top 250 电影，提取电影标题、年份和评分。

IMDb’s Top 250 movies.png

获取并解析页面

下面是一段分步骤脚本。你在复制之前先看一眼：IMDb 在 2023 年 6 月重新设计了 Top 250 页面，所以你在旧教程里还会看到的 td.titleColumn / td.ratingColumn 选择器，现在已经不再匹配任何内容了。当前的页面结构使用的是组件系统生成的 ipc- 前缀类名，而且 IMDb 在此后又重构过几次页面（包括 2025 年中），所以你每次回到这个示例时，最好都用 DevTools 重新检查一遍。

import requests
from bs4 import BeautifulSoup

url = "https://www.imdb.com/chart/top/"
headers = {"User-Agent": "Mozilla/5.0"}  # 如果没有真实 UA，IMDb 往往只返回很少的标记内容
resp = requests.get(url, headers=headers)
soup = BeautifulSoup(resp.text, "html.parser")

# 每一行都是排行榜容器下的一个列表项
rows = soup.select("li.ipc-metadata-list-summary-item")

for i, row in enumerate(rows[:3], start=1):
    title_el  = row.select_one("h3.ipc-title__text")
    year_el   = row.select_one("span.cli-title-metadata-item")
    rating_el = row.select_one("span.ipc-rating-star--rating")

    title  = title_el.get_text(strip=True) if title_el else None
    # h3 文本会返回“1. The Shawshank Redemption”——把排名前缀去掉
    if title and ". " in title:
        title = title.split(". ", 1)[1]
    year   = year_el.get_text(strip=True) if year_el else None
    rating = rating_el.get_text(strip=True) if rating_el else None

    print(f"{i}. {title} ({year}) -- Rating: {rating}")

这里发生了什么？

我们用 requests.get() 抓取页面（并带上一个看起来更像真实浏览器的 User-Agent——IMDb 有时会给裸 python-requests 客户端返回精简版骨架页）。
BeautifulSoup 负责解析 HTML。
我们通过 li.ipc-metadata-list-summary-item 抓取每一行电影，再从中用 select_one() 提取标题（h3.ipc-title__text）、年份（span.cli-title-metadata-item）和评分（span.ipc-rating-star--rating）。
我们把标题、年份和评分的文本提取出来，并去掉 IMDb 写进标题文本里的排名前缀（"1. "）。

如果你想要一种比每隔几个月追着类名变化跑更稳妥的方法，IMDb 在同一页面里也提供了一个 <script type="application/ld+json"> 块，里面有同样的数据，而且是结构化形式——你可以用 json.loads(soup.find("script", type="application/ld+json").string) 解析它，然后遍历 itemListElement 数组。生产环境里我会优先用这种方法；上面的 CSS 选择器版本更适合教学，但也更脆弱。

输出：

1. 肖申克的救赎 (1994) -- Rating: 9.3
2. 教父 (1972) -- Rating: 9.2
3. 黑暗骑士 (2008) -- Rating: 9.0

提取数据：如何找到标题、评分等内容

我是怎么知道该用哪些标签和类名的？我检查了 IMDb 页面 HTML（在浏览器里右键 > 检查元素）。要留意规律——这里每一行电影都在一个 <li class="ipc-metadata-list-summary-item"> 里，标题在 <h3 class="ipc-title__text"> 下，评分在 <span class="ipc-rating-star--rating"> 下。还有一个值得牢记的点：IMDb 不是第一次改这个结构了（你在旧教程里还能看到的 td.titleColumn 布局，自从他们 2023 年 6 月重设计后就不再可用了），所以一定要把这些具体类名当作示意，并在运行脚本前重新检查。

专业提示： 如果你要抓别的网站，第一步永远是检查 HTML 结构，并找出唯一的类名或标签。

保存并导出结果

咱们把数据保存成 CSV 文件：

import csv

movies = []
for i in range(len(title_cells)):
    title_cell = title_cells[i]
    rating_cell = rating_cells[i]
    title = title_cell.a.text
    year = title_cell.span.text.strip("()")
    rating = rating_cell.strong.text if rating_cell.strong else rating_cell.text
    movies.append([title, year, rating])

with open('imdb_top250.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['Title', 'Year', 'Rating'])
    writer.writerows(movies)

清洗提示：

用 .strip() 去掉空白字符。
用 if 检查处理缺失数据。
如果要导出到 Excel，可以直接用 Excel 打开 CSV，或者用 pandas 写出 .xlsx 文件。

第 3 步：处理 HTML 变化和维护难题

接下来才是真正的现实世界。网站喜欢改版——有时候只是为了把爬虫折腾一下（至少感觉上是这样）。如果 IMDb 把 class="titleColumn" 改成 class="movieTitle"，你的脚本就可能突然返回空结果。我踩过这个坑，也修过这个问题。

脚本失效时：真实世界里的麻烦

常见问题包括：

找不到选择器：你的代码找不到你指定的标签/类名。
结果为空：页面结构变了，或者内容现在通过 JavaScript 加载。
HTTP 错误：网站加入了反爬机制。

排查步骤：

检查你解析到的 HTML 是否和浏览器里看到的一致。
更新选择器，让它匹配新的结构。
如果内容是动态加载的，你可能需要切换到浏览器自动化工具（比如 Selenium），或者找到一个 API 端点。

真正的痛点是什么？ 如果你要抓 10 个、50 个，甚至 500 个不同的网站，你可能会把更多时间花在修脚本上，而不是分析数据上 (看开发者故事)。

第 4 步：规模化——手动 Python HTML 解析的隐性成本

假设你不仅想抓 IMDb，还想抓 Amazon、Zillow、领英和另外十几个网站。每个网站都需要一套自己的脚本。而且只要网站一变，你就得回到代码编辑器里继续改。

隐性成本包括：

维护人力：有些人估计，后续维护成本是初始开发成本的 10 倍。
基础设施：你需要代理、错误处理和监控。
性能：规模一大，就要处理并发、限流等问题。
质量保障：脚本越多，出问题的地方就越多。

对非技术团队来说，这种模式很快就不可持续了。它就像雇了一支实习生团队整天帮你复制粘贴数据——只不过这些实习生是 Python 脚本，而且每次网站一改版就集体请病假。

关于 AI 编码代理的简短补充

在聊无代码工具之前，有一点值得提一下：在大多数“学 BeautifulSoup”教程写出来的年代里，真正意义上的中间路线其实并不存在——那就是 AI 编码代理。像 Claude Code 或 Cursor 这样的工具，完全可以根据一段英文描述（比如“抓取 IMDb Top 250，把标题 / 年份 / 评分导出到 CSV”）一次性帮你生成可运行的 requests + BeautifulSoup 脚本，连我们刚才手动做的那些选择器清理也能一并完成。对于自然语言式的浏览器流程——登录、翻页、处理 cookie 弹窗——像 Browser Use 这样的库也可以直接根据提示词驱动无头浏览器。

不过，它们并不能让难点消失。限流、robots.txt、登录墙和反爬防护，依然得你自己处理；而且当某个选择器悄悄失效时（IMDb 就是这样），你还是得知道代理生成了什么，并手动修补。所以，即使有 AI 代理参与，理解本教程里的 HTML 解析流程，仍然是你能看懂输出、而不是对着空列表发呆的关键。

超越 Python HTML 解析器：认识 Thunderbit，这个 AI 驱动的替代方案

现在，真正有意思的部分来了。如果你可以跳过代码、跳过维护，不管网站怎么变，都直接拿到你想要的数据，会怎样？

这正是我们用 Thunderbit 做到的。它是一款 AI 网页爬虫 Chrome 扩展，只需两步就能从任何网站提取结构化数据。无需 Python，无需脚本，也没有烦恼。

Python HTML 解析器 vs. Thunderbit：并排对比

方面	Python HTML 解析器	Thunderbit (看价格)
设置时间	高（安装、编码、调试）	低（安装扩展，点击即可）
易用性	需要编程	无需编程——点一点就行
维护	高（脚本经常失效）	低（AI 自动适应）
扩展性	复杂（脚本、代理、基础设施）	内置（云端爬取、批量任务）
数据增强	手动（再写更多代码）	内置（标注、清洗、翻译、子页面）

既然 AI 能解决，为什么还要自己造轮子？

为什么选择 AI 来提取网页数据？

Thunderbit 的 AI 代理会读取页面、识别结构，并在情况变化时自动调整。它就像一个永远不睡觉、也不会抱怨类名变化的超强实习生。

无需代码：销售、运营、营销，谁都能用。
批量爬取：在你修一个 Python 脚本的时间里，轻松抓取 10,000+ 页面。
无需维护：AI 会处理页面改版、分页、子页面等问题。
数据增强：在抓取的同时完成清洗、标注、翻译和摘要。

我们刚刚讲过的 BeautifulSoup 工作流，反过来看，最大的短板正是上面 IMDb 选择器那种脆弱性——页面一调整，脚本就悄悄返回空结果，然后你整个下午都泡在 DevTools 里，而不是看数据。无代码 AI 爬虫只是把这一步藏进了自己的推理层；这是真正的权衡（你是在相信别人的提取结果是对的），并不是魔法。

步骤详解：用 Thunderbit 抓取 IMDb 电影评分

看看 Thunderbit 如何处理同样的 IMDb 任务：

安装 Thunderbit Chrome 扩展。
打开 IMDb Top 250 页面。
点击 Thunderbit 图标。
点击“AI 推荐字段”。 Thunderbit 会读取页面并推荐列（标题、年份、评分）。
根据需要检查或调整这些列。
点击“爬取”。 Thunderbit 会立即提取全部 250 行。
导出到 Excel、Google Sheets、Notion 或 CSV——随你选择。

就这么简单。没有代码，没有调试，也不会出现“为什么这个列表是空的？”这种抓狂时刻。

想看实际演示？去看看 Thunderbit YouTube 频道上的操作视频，或者阅读我们的亚马逊抓取分步指南，再看一个真实世界的例子。

结论：为你的网页数据需求选对工具

像 BeautifulSoup 和 lxml 这样的 Python HTML 解析器，强大、灵活，而且免费。它们非常适合想要完全掌控流程、并且不介意亲自动手的开发者。但它们也伴随着陡峭的学习曲线、持续的维护成本，以及隐藏的成本——尤其是当你的爬取需求不断扩大时。

对于业务用户、销售团队，以及任何只想要数据、不想写代码的人来说，像 Thunderbit 这样的 AI 工具，简直像一阵清风。它们可以让你大规模提取、清洗和增强网页数据，而且零代码、零维护。

我的建议？ 如果你喜欢写脚本，而且需要完全定制，就用 Python。但如果你珍惜自己的时间（和精神状态），不妨试试 Thunderbit。既然可以让 AI 扛起大部分工作，为什么还要自己造脚本、还得盯着它们不出错？

想进一步了解网页爬取、数据提取和 AI 自动化？可以去 Thunderbit 博客看更多教程，比如如何使用 AI 将网页数据抓到 Excel 或 2025 年最佳网页爬虫工具与软件。

Python HTML 解析器实用教程：一步步教你上手