Python中网络请求中Retry策略实现方式_Python

网络环境的不稳定性及服务短暂不可达等因素可能导致http请求失败。为了强化python客户端的韧性和自我恢复能力，实现请求自动重试成为了一种常见的最佳实践。

在python生态系统中，requests库作为处理http请求的标准工具备受青睐，但它自身并未直接提供重试机制，此时，我们需要借助urllib3库中的retry类来补充这一功能。

1. 重试机制的必要性

在大规模分布式系统环境下，服务间通信由于多种原因（如网络抖动、服务瞬时不可达等）可能面临失败的风险。

通过引入自动重试机制，能够有效提升系统的整体可靠性和容错性能，尤其对于缓解暂时性故障造成的请求失败现象，合理设计的重试策略显得至关重要。

2. 实现重试机制的基本流程

在requests库中实现请求自动重试通常遵循以下五个步骤：

导入必需模块：引入requests库及其内部组件，同时包含urllib3的retry类。
创建httpadapter实例：初始化一个httpadapter对象，它是自定义请求适配器。
配置retry策略：在httpadapter上定义并设置重试规则，包括重试次数、状态码范围、异常类型等条件。
将adapter挂载到session：将配置好的重试策略关联到session对象，以便所有通过该session发出的请求均能应用此重试策略。
使用带有重试策略的session发送请求：最后，利用配置了重试功能的session对象执行实际的http请求。

3. 使用urllib3实现重试逻辑

接下来通过具体示例详细说明如何为requests请求添加重试逻辑。

3.1. 导入相关模块

首先，确保正确导入所需的库和类。

import requests
from requests.adapters import httpadapter
from urllib3.util.retry import retry

3.2. 配置重试策略

利用retry类定义一个自定义的重试策略，可以针对重试次数、指数退避因子、特定状态码列表以及允许重试的http方法进行精确控制。

# 定义重试策略，例如：总共重试5次，每次重试之间按指数退避，针对特定状态码进行重试，并仅限于get和post方法
retries = retry(
    total=5,  # 总共尝试重试次数
    backoff_factor=1,  # 指数退避因子，用于计算两次重试之间的等待时间
    status_forcelist=[500, 502, 503, 504],  # 触发重试的状态码集合
    allowed_methods=frozenset(["get", "post"]),  # 允许重试的http方法
)

3.3. 创建httpadapter并设置重试策略

创建一个httpadapter实例，并为其配置前面定义好的重试策略。

1adapter = httpadapter(max_retries=retries)  # 创建httpadapter并设置最大重试次数

3.4. 将adapter挂载至session

创建一个session对象，并将上述已配置好重试策略的adapter应用于http和https协议的请求。

session = requests.session()
session.mount('http://', adapter)  # 对http请求启用重试策略
session.mount('https://', adapter)  # 对https请求启用重试策略

3.5. 发送具有重试功能的请求

使用配置了重试策略的session对象向目标url发起请求。

url = "http://httpbin.org/status/500"
response = session.get(url)  # 使用具有重试功能的session对象发送请求

4. 示例：请求一个可能返回错误的服务

以下是一个完整的示例，其中包含了错误处理机制：

import requests
from requests.adapters import httpadapter
from urllib3.util.retry import retry

def request_with_retry(url, max_retries=5, backoff_factor=1, status_forcelist=none):
    if status_forcelist is none:
        status_forcelist = [500, 502, 503, 504]  # 默认重试状态码集合

    session = requests.session()
    retries = retry(total=max_retries,
                    backoff_factor=backoff_factor,
                    status_forcelist=status_forcelist,
                    method_whitelist=["get", "post"])
    adapter = httpadapter(max_retries=retries)
    session.mount('http://', adapter)
    session.mount('https://', adapter)

    try:
        response = session.get(url)
        response.raise_for_status()  # 如果响应状态码为4xx或5xx，将抛出httperror异常
        return response
    except requests.exceptions.httperror as e:
        print(f"http 错误: {e}")
    except requests.exceptions.connectionerror as e:
        print(f"连接错误: {e}")
    except requests.exceptions.timeout as e:
        print(f"超时错误: {e}")
    except requests.exceptions.requestexception as e:
        print(f"请求异常: {e}")

url = "http://httpbin.org/status/500"
response = request_with_retry(url)

if response:
    print(response.text)

在上述示例中，当服务返回500系列错误或是发生连接异常时，request_with_retry函数将按照预设的最大重试次数（默认为5次）尝试重新发起请求。