Python实现Web请求与响应的教学指南

一、web 请求与响应基础

（一）web 请求与响应的定义与组成

web 请求与响应是 web 通信的基础，其中 web 请求由客户端发起，服务器处理后返回响应。

1.web 请求的组成

请求行：包含请求方法（如 get、post、put、delete 等）、url 以及 http 协议版本（如 http/1.1）。例如，一个 get 请求的请求行可能是 “get /index.html http/1.1”。

请求头：包含关于客户端信息、请求体类型、浏览器类型等元数据。常见的请求头有 user - agent（用于标识客户端类型）、content - type（表示请求体的数据类型）等。

请求体：在 post 请求中通常包含用户提交的数据，如表单数据或文件等，而 get 请求一般没有请求体。

2.web 响应的组成

• 响应行：包括 http 协议版本、状态码和状态消息。例如 “http/1.1 200 ok”，其中 200 是状态码，ok 是状态消息。
• 响应头：包含关于响应的信息，如内容类型（content - type）、服务器信息（server）等。
• 响应体：包含实际返回的数据，可能是 html 页面、json 数据等。

（二）http 协议概述

http（hypertext transfer protocol）是 web 上传输数据的协议，负责浏览器与服务器之间的通信。以下是常见的 http 方法：

get：请求服务器获取资源，通常用于读取数据，其特点是请求参数会附加在 url 后面，以 “?” 分隔，多个参数用 “&” 连接。例如 “https://example.com/search?keyword=python”。

post：提交数据到服务器，通常用于表单提交、文件上传等，数据通过请求体传输，不会显示在 url 中，相对更安全。

put：用于更新服务器上的资源。

delete：用于删除服务器上的资源。

（三）常见的 http 状态码

• 200 ok：表示请求成功，服务器返回所请求的数据。
• 301 moved permanently：表示资源已永久移动，客户端会自动重定向到新的 url。
• 404 not found：表示请求的资源不存在。
• 500 internal server error：表示服务器内部错误。

二、python 的 requests 库

（一）安装 requests 库

在使用 requests 库之前，需要先进行安装。如果你的系统中已经安装了 python 的包管理工具 pip，可以通过以下命令在命令行中安装：

pip install requests

（二）发送 get 请求

get 请求通常用于获取数据，我们可以通过 requests.get () 方法来发送 get 请求，并处理返回的响应。以下是一个简单的示例代码：

import requests
 
# 发送get请求
response = requests.get("https://www.example.com")
 
# 输出响应的状态码
print("status code:", response.status_code)
 
# 输出响应的内容
print("response body:", response.text)
 
# 输出响应头
print("response headers:", response.headers)
 
# 获取响应内容的长度
print("content length:", len(response.text))

代码解释：

• requests.get()用于发送 get 请求，括号内传入要请求的 url，该方法会返回一个 response 对象，包含了服务器返回的所有信息。
• response.status_code用于获取 http 响应状态码，通过该状态码可以判断请求是否成功。
• response.text用于获取响应的正文内容，通常是 html 或 json 数据，返回的是字符串类型。
• response.headers用于获取响应头，它是一个类似字典的对象，可以通过键来访问相应的值。
• len(response.text)用于返回响应正文的长度，通过该值可以帮助我们了解返回内容的大小。

（三）发送 post 请求

post 请求用于将数据提交到服务器，通常用于表单提交或上传文件等场景，我们使用 requests.post () 方法来发送 post 请求。以下是示例代码：

import requests
 
# 发送post请求
url = "https://httpbin.org/post"
data = {"name": "alice", "age": 25}
response = requests.post(url, data=data)
 
# 输出响应状态码
print("status code:", response.status_code)
 
# 输出响应内容（json格式）
print("response body:", response.json())

代码解释：

• requests.post()用于发送 post 请求，第一个参数是 url，第二个参数 data 是一个字典，包含了要提交的数据。requests 库会自动将其编码为application/x-www-form-urlencoded格式。
• response.json()用于解析返回的 json 数据，它会将 json 格式的响应内容转换为 python 的字典或列表等数据结构，方便我们进行处理。

（四）处理响应头和状态码

响应头提供了关于服务器的信息，状态码则告诉我们请求是否成功。我们可以通过以下代码来获取响应头和状态码：

import requests
 
# 发送get请求
response = requests.get("https://www.example.com")
 
# 获取响应头
print("response headers:", response.headers)
 
# 获取响应状态码
print("status code:", response.status_code)
 
# 获取内容类型
print("content - type:", response.headers.get("content - type"))

代码解释：

response.headers返回响应头，其中包含了如 content - type、date、server 等信息，我们可以通过字典的 get () 方法来获取指定键的值，如获取内容类型。

response.status_code返回 http 状态码，通过判断该状态码是否为 200 等成功状态码，可以确定请求是否成功执行。

（五）发送带查询参数的 get 请求

在 get 请求中，我们可以通过 url 传递查询参数。例如，访问一个包含参数的 url，我们可以通过 requests.get () 方法的 params 参数来传递查询参数。以下是示例代码：

import requests
 
# 发送带查询参数的get请求
url = "https://httpbin.org/get"
params = {"name": "alice", "age": 25}
response = requests.get(url, params=params)
 
# 输出响应内容
print("response body:", response.json())

代码解释：

params是一个字典，包含了要传递的查询参数。requests.get () 方法会自动将这些参数编码到 url 中，生成的 url 类似于 “https://httpbin.org/get?name=alice&age=25”。

（六）发送带表单数据的 post 请求

post 请求可以用来提交表单数据，以下是使用 requests 发送带表单数据的 post 请求的示例代码：

import requests
 
# 发送带表单数据的post请求
url = "https://httpbin.org/post"
data = {"username": "testuser", "password": "mypassword"}
response = requests.post(url, data=data)
 
# 输出响应的内容
print("response body:", response.json())

代码解释：

data参数是一个字典，包含了表单提交的数据，requests 库会自动将数据编码为application/x-www-form-urlencoded格式，该格式是表单数据提交的常见格式。

三、处理 json 响应

许多 web api 返回的数据格式是 json，python 的 requests 库提供了方便的 json 处理方法。以下是示例代码：

import requests
 
# 发送get请求并获取json响应
url = "https://api.github.com/users/octocat"
response = requests.get(url)
 
# 解析json数据
data = response.json()
 
# 输出用户的github信息
print("user login:", data["login"])
print("user name:", data["name"])

代码解释：

response.json()方法会将响应的内容解析为 python 字典，这样我们就可以像操作普通字典一样方便地处理 json 数据，通过键来获取相应的值。

四、文件操作

（一）打开文件的模式

python 使用内置的 open () 函数来打开文件，打开文件时需要指定文件模式（即操作文件的方式）。以下是常见的文件打开模式：

• 只读模式（r）：默认模式，文件必须存在。如果文件不存在，会抛出 filenotfounderror 异常。
• 写入模式（w）：如果文件存在，会覆盖文件内容；如果文件不存在，会创建新文件。
• 追加模式（a）：如果文件存在，写入的数据会追加到文件末尾；如果文件不存在，会创建新文件。
• 独占创建模式（x）：若文件已存在，操作会失败并抛出 fileexistserror 异常，此模式通常用于创建文件时防止覆盖现有文件。
• 二进制读取模式（rb）：用于读取非文本文件（如图片、音频文件）。
• 二进制写入模式（wb）：用于写入非文本文件。
• 读写模式（+）：文件必须存在，既可以读取文件内容，也可以写入数据。
• w + 模式：读写模式，如果文件存在，会覆盖文件内容；如果文件不存在，会创建新文件。
• a + 模式：读写模式，文件存在时，数据会追加到文件末尾；如果文件不存在，会创建新文件。
• rb + 模式：二进制读写模式。

以下是使用不同模式打开文件的示例代码：

# 以只读模式打开文件
with open('example.txt', 'r') as file:
    content = file.read()
    print(content)
 
# 以写入模式打开文件，文件内容会被覆盖
with open('example.txt', 'w') as file:
    file.write("这是新的文件内容。\n")
 
# 以追加模式打开文件，新的内容会追加到文件末尾
with open('example.txt', 'a') as file:
    file.write("追加的内容。\n")
 
# 以二进制模式打开文件（例如读取图片）
with open('image.jpg', 'rb') as file:
    binary_data = file.read()
    print("读取到的二进制数据:", binary_data[:20])

（二）读取文件

python 中的文件读取功能非常强大，以下是几种常见的读取方式：

read () 方法：用于读取文件中的所有内容，读取后的内容会作为字符串返回。示例代码如下：

with open('example.txt', 'r') as file:
    content = file.read()
    print(content)

readline () 方法：每次读取一行文件内容，适用于需要逐行处理文件的情况。示例代码如下：

with open('example.txt', 'r') as file:
    line = file.readline()
    while line:
        print(line.strip())  # strip()用来去除行末的换行符
        line = file.readline()

readlines () 方法：会一次性读取文件中的所有行，并将每行数据存储为一个列表的元素，适用于需要读取整个文件并进行行处理的情况。示例代码如下：

with open('example.txt', 'r') as file:
    lines = file.readlines()
    for line in lines:
        print(line.strip())

（三）写入文件

python 提供了几种方法将数据写入文件，写入操作常用于日志记录、数据导出等场景。

使用 write () 方法写入文件：该方法将指定的字符串写入文件。若文件以 “w” 模式打开，原文件内容会被覆盖；若以 “a” 模式打开，内容会被追加到文件末尾。

示例代码如下：

with open('output.txt', 'w') as file:
    file.write("这是第一行数据。\n")
    file.write("这是第二行数据。\n")

使用 writelines () 方法写入多行数据：该方法接受一个可迭代对象（如列表、元组等），将其元素写入文件中，每个元素将作为一行写入文件。示例代码如下：

lines = ["第一行数据。\n", "第二行数据。\n", "第三行数据。\n"]
with open('output.txt', 'w') as file:
    file.writelines(lines)

（四）下载文件示例

我们可以通过 requests 库来下载文件，并将其保存到本地。以下是下载一个图片文件的示例代码：

import requests
 
url = "https://www.example.com/image.jpg"  # 图片url
response = requests.get(url)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用二进制模式写入文件
    with open('downloaded_image.jpg', 'wb') as file:
        file.write(response.content)
    print("图片下载成功!")
else:
    print(f"下载失败,状态码:{response.status_code}")

代码解释：

首先使用 requests.get () 方法发送 get 请求获取图片文件的内容，设置 url 为图片的地址。

通过判断响应的状态码是否为 200，来确定请求是否成功。

如果请求成功，使用 with open () 语句以二进制写入模式（'wb'）打开文件，然后通过 file.write (response.content) 将响应的内容（二进制数据）写入文件中。response.content 返回的是字节流数据，适合用于处理二进制文件。

（五）文件操作中的注意事项

文件是否存在：在打开文件时，必须确保文件路径正确。如果文件不存在，可以使用 os.path.exists () 函数检查文件是否存在，或者使用 try - except 语句捕获 filenotfounderror 异常。示例代码如下：

import os
 
if os.path.exists('example.txt'):
    with open('example.txt', 'r') as file:
        content = file.read()
else:
    print("文件不存在!")

文件权限：在操作文件时，可能会遇到权限不足的问题。例如，尝试写入只读文件，或访问没有读取权限的文件。在这种情况下，可以使用 try - except 语句来捕获 permissionerror 异常。示例代码如下：

try:
    with open('readonly_file.txt', 'w') as file:
        file.write("尝试写入只读文件")
except permissionerror:
    print("权限不足,无法写入文件。")

文件自动关闭：使用 with open () 语句时，python 会自动管理文件的打开和关闭，无需显式调用 file.close () 方法，这有助于避免文件未关闭的问题，减少资源泄漏的风险。

（六）其他常用文件操作

获取文件信息：python 提供了 os 和 os.path 模块，可以获取文件的大小、修改时间等信息。示例代码如下：

import os
 
file_path = 'example.txt'
print("文件大小:", os.path.getsize(file_path), "字节")
print("文件修改时间:", os.path.getmtime(file_path))

删除文件：使用 os.remove () 函数可以删除文件。示例代码如下：

import os
 
file_path = 'example.txt'
if os.path.exists(file_path):
    os.remove(file_path)
    print(f"{file_path}已删除!")
else:
    print("文件不存在!")

五、错误处理与异常捕获

在进行 web 请求时，可能会发生各种错误，例如网络超时、服务器错误等。requests 库通过异常处理机制帮助我们捕获这些错误，python 的 try 语句能够捕获和处理代码块中的异常，从而避免程序崩溃，并且提供了处理错误的机会。

（一）try 语句的使用

try 语句用于捕获和处理异常，它由以下三部分组成（其中 else 块和 finally 块可选）：

• try 块：包含可能会引发异常的代码。当代码运行过程中发生错误时，程序会跳到相应的 except 块进行处理。
• except 块：当 try 块中的代码出现异常时，程序会跳转到 except 块执行。在 except 中可以指定要捕获的异常类型，如 timeout、httperror 等。
• else 块（可选）：如果 try 块中的代码没有抛出异常，则会执行 else 块中的代码。
• finally 块（可选）：无论是否发生异常，finally 块中的代码都会执行，通常用于清理资源（如关闭文件、数据库连接等）。

（二）示例：捕获常见异常

以下是捕获常见异常的示例代码：

import requests
from requests.exceptions import requestexception, timeout, httperror
 
try:
    # 发送get请求，并设置超时时间为5秒
    response = requests.get("https://www.example.com", timeout=5)
 
    # 如果状态码不是200，抛出httperror异常
    response.raise_for_status()  # 如果状态码是4xx或5xx，抛出异常
 
    # 如果请求成功，则输出响应内容
    print("response body:", response.text)
 
# 捕获请求超时异常
except timeout:
    print('request timed out')
 
# 捕获http错误（如状态码404、500等）
except httperror as http_err:
    print(f'http error occurred: {http_err}')
 
# 捕获其他网络相关的错误
except requestexception as req_err:
    print(f'request error occurred: {req_err}')
 
# 可以在finally块中清理资源（如关闭文件或连接）
finally:
    print("request attempt completed.")

代码解释：

try 块：首先发起 http 请求，通过 timeout=5 参数设置超时时间为 5 秒。然后使用 response.raise_for_status () 方法来检查响应的状态码，如果服务器返回了错误的状态码（如 404、500 等，即 4xx 或 5xx 的状态码），该方法会抛出 httperror 异常。如果如果状态码为 200 等成功状态码，则执行后续的打印响应内容的操作。

except 块：

• timeout：当请求超时（超过设置的 5 秒）时，程序会捕获到 timeout 异常，并打印 “request timed out”，提示用户请求超时。
• httperror：若响应的状态码表明出现 http 错误（例如 404 表示未找到页面，500 表示服务器内部错误等），程序会捕获到 httperror 异常，并打印相关错误信息，如 “http error occurred: 404 client error: not found for url: https://www.example.com”，其中包含具体的错误状态码和错误描述，方便用户了解出错原因。
• requestexception：该异常是所有 requests 库异常的基类，可以捕获任何 requests 库抛出的异常，例如连接问题、dns 解析失败等。当发生其他网络相关错误时，程序会捕获到 requestexception 异常，并打印 “request error occurred: [具体错误信息]”，让用户知晓发生了网络请求相关的错误。

finally 块：其中的代码无论是否发生异常都会被执行，这里仅打印 “request attempt completed.”，用于表示请求的结束，通常在此处可以进行一些资源清理工作，如关闭文件、数据库连接等，确保程序的资源得到合理释放。

（三）异常处理总结

避免程序崩溃：异常处理机制让我们在程序运行中能够捕获到错误并做出相应处理，避免程序因为遇到异常而突然崩溃，提高了程序的稳定性和可靠性。

精确处理异常：通过 try...except 结构，可以根据不同的异常类型进行精确的捕获和处理，针对不同的错误情况执行不同的处理逻辑，使程序能够更灵活地应对各种异常情况。例如，对于超时异常可以重新发起请求，对于 http 错误可以提示用户检查请求的 url 是否正确等。

资源清理：finally 块用于执行清理工作，无论是否发生异常，都会在请求处理完成后执行其中的代码，确保资源（如文件句柄、网络连接等）能够被正确释放，避免资源泄漏问题的发生，这对于长时间运行的程序尤为重要。

六、try语句

（一） 基本语法与结构

try:
    # 可能引发异常的代码块
    result = 10 / 0  # 除零错误
except zerodivisionerror as e:
    # 捕获特定异常并获取错误对象
    print(f"错误: {e}")  # 输出: division by zero
else:
    # 仅在 try 块无异常时执行
    print("计算成功:", result)
finally:
    # 无论是否异常都执行（常用于资源清理）
    print("执行完毕")

（二）捕获多种异常

1 .分别处理不同异常

try:
    num = int("abc")  # valueerror
    result = 10 / num  # zerodivisionerror
except valueerror:
    print("输入不是有效整数")
except zerodivisionerror:
    print("除数不能为零")

2 .合并处理同类异常

try:
    file = open("nonexistent.txt")  # filenotfounderror
    data = json.load(file)  # jsondecodeerror
except (filenotfounderror, json.jsondecodeerror) as e:
    print(f"文件错误: {e}")

（ 三）捕获所有异常

不推荐滥用，可能掩盖严重问题：

try:
    # 任意代码
except exception as e:
    print(f"未知错误: {e}")
    # 推荐记录堆栈信息用于调试
    import traceback
    print(traceback.format_exc())

（四）主动抛出异常（raise）

def validate_age(age):
    if age < 0:
        raise valueerror("年龄不能为负数")
    return age
 
try:
    validate_age(-5)
except valueerror as e:
    print(e)  # 输出: 年龄不能为负数

（五）自定义异常

class autherror(exception):
    """自定义认证错误"""
    def __init__(self, message="认证失败"):
        self.message = message
        super().__init__(self.message)
 
# 使用示例
try:
    if not user_authenticated():
        raise autherror("无效令牌")
except autherror as e:
    print(f"认证异常: {e}")

（六）异常链（raise ... from）

保留原始异常信息，便于定位问题：

try:
    data = json.loads("invalid json")
except json.jsondecodeerror as e:
    raise runtimeerror("配置解析失败") from e

输出：

traceback (most recent call last):
  file "<stdin>", line 2, in <module>
json.jsondecodeerror: expecting value...
 
the above exception was the direct cause of the following exception:
 
traceback (most recent call last):
  file "<stdin>", line 4, in <module>
runtimeerror: 配置解析失败

（ 七）上下文管理器（with 语句）

替代 try-finally 进行自动资源管理：

try:
    with open("data.txt", "r") as file:
        content = file.read()
except filenotfounderror:
    print("文件不存在")
# 文件会自动关闭，无需手动调用 file.close()

（八） 常见异常类型

（九）最佳实践

1 .精确捕获异常

try:
    result = 10 / num
except (zerodivisionerror, typeerror) as e:
    print(f"计算错误: {e}")

2 .使用 logging 记录异常

import logging
 
try:
    # 危险操作
except exception as e:
    logging.error(f"系统异常: {e}", exc_info=true)

3 .自定义异常分层

class apperror(exception):
    """应用基础异常"""
 
class databaseerror(apperror):
    """数据库操作异常"""
 
class connectionerror(databaseerror):
    """连接异常"""

4 .资源清理优先用 with

# 不推荐
file = open("data.txt")
try:
    data = file.read()
finally:
    file.close()
 
# 推荐
with open("data.txt") as file:
    data = file.read()

（十）异常处理流程

执行 try 块：若有异常，跳转到第一个匹配的 except

匹配 except：按顺序检查，找到则执行对应代码块

执行 else：若 try 无异常

执行 finally：无论是否异常，最终执行

（十一） 高级用法：try-except-else-finally 组合

try:
    # 尝试操作
    file = open("config.json", "r")
except filenotfounderror:
    # 处理缺失配置
    print("使用默认配置")
    config = default_config
else:
    # 无异常时读取配置
    try:
        config = json.load(file)
    except json.jsondecodeerror:
        print("配置格式错误，使用默认值")
        config = default_config
    finally:
        file.close()  # 确保文件关闭
finally:
    # 应用配置
    apply_config(config)

（十二）异常与性能

异常处理本身不慢，但频繁抛出 / 捕获会影响性能

避免用异常控制常规流程（如循环读取文件）

优先使用条件判断（如 if os.path.exists(file)）

以上就是python实现web请求与响应的教学指南的详细内容，更多关于python web请求与响应的资料请关注代码网其它相关文章！