从入门到精通解析Python Selenium如何模拟浏览器操作_Python

selenium是一款开源的自动化测试工具，核心优势在于能模拟真实用户操作浏览器（如点击、输入、滚动），并渲染动态加载的网页内容（解决requests库无法爬取js动态数据的问题）。

一、selenium入门准备：环境搭建与核心原理

1. 核心原理

selenium通过“浏览器驱动（driver）”与浏览器通信：python代码发送操作指令→driver解析指令→浏览器执行操作并返回渲染后的页面数据，完美适配js动态渲染的网页（如ajax加载、vue/react前端页面）。

2. 环境安装

（1）安装selenium库

# 安装最新版selenium
pip install selenium

关键步骤：

查看浏览器版本（如chrome：设置→关于chrome，查看版本号）；

下载对应版本的驱动（版本号需完全匹配，如chrome 120.x对应chromedriver 120.x）；

配置驱动路径：

方法1：将驱动文件放入python安装目录（如python39/scripts），无需手动指定路径；
方法2：手动指定驱动路径（推荐，避免版本冲突）。

3. 验证环境

# 导入selenium核心模块
from selenium import webdriver
from selenium.webdriver.chrome.service import service

# 手动指定chromedriver路径
driver_path = "c:/chromedriver.exe"  # windows路径示例
# 初始化浏览器对象
driver = webdriver.chrome(service=service(driver_path))
# 打开测试网页
driver.get("https://www.baidu.com")
# 打印网页标题（输出“百度一下，你就知道”则环境正常）
print(driver.title)
# 关闭浏览器
driver.quit()

二、selenium基础操作：浏览器与页面控制

1. 浏览器核心操作

操作	代码示例	说明
打开网页	driver.get("https://www.xxx.com")	加载目标url
刷新页面	driver.refresh()	模拟浏览器刷新
前进/后退	driver.forward() / driver.back()	模拟浏览器前进/后退按钮
窗口最大化	driver.maximize_window()	避免元素因窗口过小无法定位
设置窗口大小	driver.set_window_size(1920, 1080)	自定义窗口分辨率
获取当前url	driver.current_url	查看当前页面url（验证跳转是否成功）
获取页面源码	driver.page_source	获取渲染后的完整html源码（含js动态内容）

2. 等待机制：解决元素加载延迟问题

网页动态加载时，直接定位元素会因“元素未加载完成”报错，selenium提供3种等待方式：

（1）强制等待（不推荐）

import time
# 强制等待3秒（无论元素是否加载完成）
time.sleep(3)

（2）隐式等待（全局生效）

# 设置隐式等待：最长等待10秒，元素加载完成则立即执行
driver.implicitly_wait(10)

（3）显式等待（推荐，精准控制）

针对指定元素设置等待条件（如元素可点击、可见），超时则抛出异常：

from selenium.webdriver.support.ui import webdriverwait
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.common.by import by

# 等待“百度搜索框”可见，最长等待10秒
wait = webdriverwait(driver, 10)
search_box = wait.until(
    ec.visibility_of_element_located((by.id, "kw"))
)

常用等待条件：

ec.visibility_of_element_located：元素可见；
ec.element_to_be_clickable：元素可点击；
ec.presence_of_element_located：元素存在于dom中；
ec.text_to_be_present_in_element：元素包含指定文本。

三、核心技能：元素定位（爬取/操作的关键）

元素定位是selenium的核心，需根据网页结构选择最优定位方式，优先选择唯一标识（id、name），其次选择xpath/css选择器。

1. 8种定位方式（按优先级排序）

定位方式	代码示例	适用场景
id定位	driver.find_element(by.id, "kw")	元素有唯一id（如百度搜索框id=“kw”）
name定位	driver.find_element(by.name, "wd")	元素有唯一name属性
class定位	driver.find_element(by.class_name, "s_ipt")	元素class属性唯一
tag定位	driver.find_element(by.tag_name, "input")	标签唯一（如页面唯一的input框）
link文本定位	driver.find_element(by.link_text, "新闻")	精准匹配超链接文本
部分link文本	driver.find_element(by.partial_link_text, "新")	模糊匹配超链接文本
xpath定位	driver.find_element(by.xpath, '//*[@id="kw"]')	无唯一属性时，万能定位方式
css选择器	driver.find_element(by.css_selector, "#kw")	定位效率高于xpath，推荐使用

2. 实战：xpath/css选择器高级用法

（1）xpath定位（万能且灵活）

# 绝对路径（不推荐，页面结构变化易失效）
driver.find_element(by.xpath, "/html/body/div[1]/div[2]/input")
# 相对路径+属性（推荐）
driver.find_element(by.xpath, '//input[@id="kw"]')
# 包含文本的元素
driver.find_element(by.xpath, '//a[contains(text(), "百度首页")]')
# 父节点定位子节点
driver.find_element(by.xpath, '//div[@class="s_form"]/input')

（2）css选择器（效率更高）

# id选择器
driver.find_element(by.css_selector, "#kw")
# class选择器
driver.find_element(by.css_selector, ".s_ipt")
# 属性选择器
driver.find_element(by.css_selector, 'input[name="wd"]')
# 层级选择器
driver.find_element(by.css_selector, "div.s_form > input")

3. 批量定位元素

使用find_elements()（复数形式）获取多个元素，返回列表：

# 获取页面所有超链接
links = driver.find_elements(by.tag_name, "a")
for link in links:
    print(link.get_attribute("href"))  # 打印链接地址

四、模拟用户操作：输入、点击、滚动等

1. 输入与清空

# 定位搜索框并输入内容
search_box = driver.find_element(by.id, "kw")
search_box.send_keys("selenium教程")  # 输入文本
search_box.clear()  # 清空输入框
search_box.send_keys("python爬虫")  # 重新输入

2. 点击操作

# 点击搜索按钮
search_btn = driver.find_element(by.id, "su")
search_btn.click()

# 模拟回车键（替代点击按钮）
search_box.send_keys(keys.enter)

3. 滚动页面

from selenium.webdriver.common.keys import keys

# 方式1：模拟键盘向下滚动（pagedown）
driver.find_element(by.tag_name, "body").send_keys(keys.page_down)

# 方式2：js脚本滚动（精准控制）
# 滚动到页面底部
driver.execute_script("window.scrollto(0, document.body.scrollheight);")
# 滚动到指定元素位置
target = driver.find_element(by.id, "target_id")
driver.execute_script("arguments[0].scrollintoview();", target)

4. 处理弹窗

（1）alert弹窗（系统弹窗）

# 等待弹窗出现
alert = webdriverwait(driver, 10).until(ec.alert_is_present())
# 获取弹窗文本
print(alert.text)
# 确认弹窗
alert.accept()
# 取消弹窗（仅confirm弹窗可用）
# alert.dismiss()

（2）iframe框架（嵌套页面）

需先切换到iframe，才能定位内部元素：

# 方式1：通过id切换
driver.switch_to.frame("iframe_id")
# 方式2：通过元素定位切换
iframe = driver.find_element(by.xpath, '//iframe[@name="iframe_name"]')
driver.switch_to.frame(iframe)

# 操作iframe内元素
driver.find_element(by.id, "inner_btn").click()

# 切回主页面
driver.switch_to.default_content()

5. 处理下拉框

from selenium.webdriver.support.ui import select

# 定位下拉框
select = select(driver.find_element(by.id, "select_id"))
# 方式1：按索引选择（从0开始）
select.select_by_index(1)
# 方式2：按值选择（option的value属性）
select.select_by_value("option_value")
# 方式3：按文本选择
select.select_by_visible_text("选项文本")

# 获取所有选项
options = select.options
for option in options:
    print(option.text)

五、进阶技巧：反爬规避与效率优化

1. 配置无界面模式（后台运行）

from selenium.webdriver.chrome.options import options

# 创建chrome配置对象
chrome_options = options()
# 开启无界面模式
chrome_options.add_argument("--headless=new")
# 禁用gpu（避免无界面模式报错）
chrome_options.add_argument("--disable-gpu")

# 初始化浏览器（带配置）
driver = webdriver.chrome(
    service=service(driver_path),
    options=chrome_options
)

2. 规避浏览器指纹检测

# 禁用自动化提示（去除“chrome正受到自动测试软件控制”）
chrome_options.add_experimental_option("excludeswitches", ["enable-automation"])
chrome_options.add_experimental_option('useautomationextension', false)
# 禁用blink运行时功能
chrome_options.add_argument("--disable-blink-features=automationcontrolled")
# 设置用户代理（ua）
chrome_options.add_argument("user-agent=mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/120.0.0.0 safari/537.36")
# 移除webdriver属性（关键反爬）
driver.execute_script("object.defineproperty(navigator, 'webdriver', {get: () => undefined})")

3. 多标签页/窗口操作

# 打开新标签页
driver.execute_script("window.open('https://www.taobao.com')")
# 获取所有标签页句柄
windows = driver.window_handles
# 切换到第二个标签页
driver.switch_to.window(windows[1])
# 关闭当前标签页
driver.close()
# 切回第一个标签页
driver.switch_to.window(windows[0])

4. 截图与日志

# 页面全屏截图
driver.save_screenshot("page.png")
# 元素截图
element = driver.find_element(by.id, "kw")
element.screenshot("element.png")

# 查看浏览器日志（排查错误）
logs = driver.get_log("browser")
for log in logs:
    print(log)

六、实战案例：爬取js动态加载的商品数据

以某电商平台商品列表为例（js动态加载），爬取商品名称、价格、销量：

from selenium import webdriver
from selenium.webdriver.chrome.service import service
from selenium.webdriver.common.by import by
from selenium.webdriver.support.ui import webdriverwait
from selenium.webdriver.support import expected_conditions as ec
import time

# 配置驱动路径
driver_path = "c:/chromedriver.exe"
# 初始化浏览器
driver = webdriver.chrome(service=service(driver_path))
driver.maximize_window()
driver.implicitly_wait(10)

try:
    # 打开商品列表页
    driver.get("https://xxx.com/goods-list")
    
    # 滚动页面加载更多商品（模拟翻页）
    for i in range(3):  # 滚动3次
        # 滚动到页面底部
        driver.execute_script("window.scrollto(0, document.body.scrollheight);")
        time.sleep(2)  # 等待数据加载
    
    # 定位所有商品元素
    goods_list = webdriverwait(driver, 10).until(
        ec.presence_of_all_elements_located((by.class_name, "goods-item"))
    )
    
    # 解析商品信息
    for goods in goods_list:
        # 商品名称
        name = goods.find_element(by.class_name, "goods-name").text
        # 商品价格
        price = goods.find_element(by.class_name, "goods-price").text
        # 商品销量
        sales = goods.find_element(by.class_name, "goods-sales").text
        
        print(f"名称：{name}，价格：{price}，销量：{sales}")

finally:
    # 关闭浏览器
    driver.quit()

七、常见问题与避坑指南

驱动版本不匹配：报错“sessionnotcreatedexception”，需下载与浏览器版本完全一致的驱动；
元素定位失败：
- 检查元素是否在iframe内（需先切换iframe）；
- 检查元素是否动态加载（用显式等待替代强制等待）；
- 避免使用绝对xpath（页面结构变化易失效）；
反爬检测：被网站识别为爬虫时，添加ua、禁用自动化提示、随机滚动/点击间隔；
内存泄漏：务必用driver.quit()关闭浏览器（而非driver.close()），避免进程残留；
中文乱码：爬取的文本乱码时，添加编码设置：driver.execute_script("document.charset='utf-8'")。