Python解析HTML的常用方法及工具_Python

以下是 python 解析 html 的常用方法及工具，适用于数据提取、网页抓取等场景：

1. 使用beautifulsoup+ 解析器（推荐）

特点：简单易用，支持灵活的节点遍历和搜索，依赖第三方解析器（如 lxml、html.parser）。

安装：

pip install beautifulsoup4
# 推荐搭配 lxml 解析器（性能更好）
pip install lxml

示例：

from bs4 import beautifulsoup

html = """
<html>
  <body>
    <div id="content">hello world</div>
    <a href="https://example.com" rel="external nofollow"  rel="external nofollow" >link</a>
  </body>
</html>
"""

soup = beautifulsoup(html, 'lxml')  # 使用 lxml 解析器

# 提取元素
div = soup.find('div', id='content')
print(div.text)  # 输出：hello world

# 获取链接
link = soup.find('a')['href']
print(link)  # 输出：https://example.com

# 提取所有 <a> 标签
all_links = soup.find_all('a')
for a in all_links:
    print(a['href'], a.text)

2. 直接使用lxml

特点：高性能，支持 xpath 和 css 选择器，适合处理复杂 html。

安装：

pip install lxml

示例：

from lxml import etree

html = """
<html>
  <body>
    <div class="item">apple</div>
    <div class="item">banana</div>
  </body>
</html>
"""

tree = etree.html(html)

# 通过 xpath 提取数据
items = tree.xpath('//div[@class="item"]/text()')
print(items)  # 输出：['apple', 'banana']

# 使用 css 选择器
divs = tree.cssselect('div.item')
for div in divs:
    print(div.text)

3. 使用pyquery（类似 jquery 语法）

特点：语法类似 jquery，适合熟悉前端开发的用户。

安装：

pip install pyquery

示例：

from pyquery import pyquery as pq

html = """
<div class="container">
  <p class="text">text 1</p>
  <p class="text">text 2</p>
</div>
"""

doc = pq(html)

# 选择元素
texts = doc('.text').items()
for item in texts:
    print(item.text())  # 输出：text 1, text 2

# 获取属性
container = doc('.container').attr('class')
print(container)  # 输出：container

4. 标准库html.parser

特点：无需安装第三方库，但功能和性能较弱。

示例：

from html.parser import htmlparser

class myparser(htmlparser):
    def handle_starttag(self, tag, attrs):
        print("start tag:", tag)
    
    def handle_data(self, data):
        print("data:", data.strip())

html = "<html><body><h1>title</h1></body></html>"
parser = myparser()
parser.feed(html)

# 输出：
# start tag: html
# start tag: body
# start tag: h1
# data: title

5. 正则表达式（非推荐，慎用）

特点：仅适用于简单场景，html 不规范时容易出错。

示例：

import re

html = '<a href="https://example.com" rel="external nofollow"  rel="external nofollow" >link</a>'

# 提取链接和文本
match = re.search(r'<a href="(.+?)" rel="external nofollow" >(.+?)</a>', html)
if match:
    url = match.group(1)  # https://example.com
    text = match.group(2)  # link

方法对比

工具	优点	缺点
beautifulsoup	易用性强，支持多种解析器	依赖外部库，性能一般
lxml	高性能，支持 xpath/css 选择器	学习曲线稍高
pyquery	jquery 风格语法，直观	依赖 lxml，生态较小
html.parser	无需安装第三方库	功能有限，性能差
正则表达式	简单快速	难以处理复杂嵌套 html