Python使用Selenium时遇到网页＜body＞划不动的问题解决方法_Python

前言

如果在使用 selenium 时遇到网页的 <body> 划不动的问题，这通常是因为页面的滚动机制（例如，可能使用了一个具有固定高度的容器或自定义的滚动条）导致无法通过简单的 javascript 实现滚动。可以通过以下方法来解决该问题。

1. 查找可滚动的元素

查看页面上是否有特定的可滚动元素，而不是直接滚动整个 <body>。例如，有些网页会使用 <div> 或其他容器来显示内容，这种元素可能有 overflow: auto 或 overflow: scroll 属性。可以尝试定位那个容器并对其进行滚动。

例如：

scrollable_div = driver.find_element(by.css_selector, 'div.scrollable-container')  # 替换为实际的选择器
driver.execute_script("arguments[0].scrolltop = arguments[0].scrollheight", scrollable_div)

driver.execute_script("arguments[0].scrolltop = arguments[0].scrollheight", scrollable_div) 是 selenium 中使用 javascript 来执行页面滚动操作的一种方式。具体来说，这行代码的作用是将指定的元素（在代码中名为 scrollable_div）滚动到底部。

arguments[0]：这是 javascript 中的参数传递方式。当您调用 driver.execute_script 时，传递的第二个参数（即 scrollable_div）会作为 arguments[0] 传递到 javascript 代码中。
scrolltop：这是 dom 元素的一个属性，表示元素当前垂直滚动的像素数。通过设置这个值，可以控制元素的滚动位置。
scrollheight：这是 dom 元素的一个属性，表示元素内容的总高度（包括因溢出而不可见的内容）。

要解决的问题是滚动到某个容器元素的底部，而不是整个页面。假设页面中有一个 div 包含大量内容，并且这个 div 有自己的滚动条。通过将这个 div 的 scrolltop 设置为其 scrollheight，可以实现将该 div 的内容滚动到底部。

2. 使用 javascript 滚动

如果是 <body> 无法滚动，可以使用 javascript 来尝试不同的滚动方法，例如直接调整 scrolltop 值。比如，向下移动一定的像素：

driver.execute_script("window.scrollby(0, 500);")  # 向下滚动 500 像素

3. 检查 page-load 状态

确保在进行滚动之前，页面已完全加载。使用显式等待确认页面的状态。例如，使用 webdriverwait 来等待某个元素的加载：

from selenium.webdriver.support.ui import webdriverwait
from selenium.webdriver.support import expected_conditions as ec
 
webdriverwait(driver, 10).until(ec.presence_of_element_located((by.class_name, 'your-element-class')))  # 替换为实际的类名

4. 循环滚动

如果需要滚动整个页面，可以使用一个循环，不断检查滚动高度的变化，直到到达页面底部。这是一个常见的处理无限滚动列表的方法：

last_height = driver.execute_script("return document.body.scrollheight")
 
while true:
    driver.execute_script("window.scrollto(0, document.body.scrollheight);")
    time.sleep(2)  # 等待加载新内容
 
    new_height = driver.execute_script("return document.body.scrollheight")
    if new_height == last_height:
        break  # 到达底部，停止滚动
    last_height = new_height

5. 使用 actions 类进行滚动

使用 selenium 的 actionchains 可以模拟按键或鼠标事件，进行更复杂的用户交互，例如按“向下箭头”键：

from selenium.webdriver.common.action_chains import actionchains
 
actions = actionchains(driver)
for _ in range(10):  # 示例：按下10次向下箭头
    actions.send_keys(keys.arrow_down).perform()
    time.sleep(0.5)  # 等待一会儿，以便内容加载

当然也可以在控制台中直接模拟下拉（即向下滚动）操作，使用 javascript 来实现。以下是如何在控制台中执行 javascript 代码来实现下拉操作的步骤。

javascript 代码操作步骤

1. 打开浏览器控制台

首先，打开你想要操作的网页，然后按下 f12 键或者右键点击页面并选择“检查”来打开开发者工具。然后在开发者工具中切换到“控制台”标签。

2. 找到可滚动的元素

假设你要滚动的元素是一个 div，并且它的类名是 __vuescroll。你需要先找到这个元素。

3. 编写 javascript 代码来下拉

在控制台中输入以下 javascript 代码，这将使指定的 div 向下滚动：

// 找到你要操作的 div 元素
var scrollablediv = document.queryselector('div.__vuescroll.hasvbar');
 
// 如果找到了这个 div
if (scrollablediv) {
    // 将 div 滚动到最底部
    scrollablediv.scrolltop = scrollablediv.scrollheight;
} else {
    console.error('没有找到可滚动的 div 元素');
}

代码解释

document.queryselector('div.__vuescroll.hasvbar')：通过 css 选择器找到类名为 __vuescroll 并且有 hasvbar 类的 div 元素。
scrolltop = scrollablediv.scrollheight：将元素的 scrolltop 属性设置为元素的 scrollheight（元素内容的总高度），这将使元素滚动到最底部。

4. 执行代码

在控制台中输入或粘贴上述代码，然后按下 enter 键。这将使指定的 div 元素滚动到最底部。

逐步滚动

如果你想要逐步滚动而不是一次性滚动到底部，可以使用以下代码：

// 找到你要操作的 div 元素
var scrollablediv = document.queryselector('div.__vuescroll.hasvbar');
 
// 如果找到了这个 div
if (scrollablediv) {
    // 当前的 scrolltop 值
    var currentscrolltop = scrollablediv.scrolltop;
    
    // 每次增加 100 像素，逐步滚动到底部
    var scrollinterval = setinterval(function() {
        // 每次增加 100 像素
        currentscrolltop += 100;
        
        // 设置新的 scrolltop 值
        scrollablediv.scrolltop = currentscrolltop;
        
        // 如果已经滚动到底部，停止定时器
        if (currentscrolltop >= scrollablediv.scrollheight) {
            clearinterval(scrollinterval);
        }
    }, 100); // 每 100 毫秒执行一次
} else {
    console.error('没有找到可滚动的 div 元素');
}