Python入门到实战之网络请求与数据获取详解_Python

一、环境准备，安装requests库

1.安装命令（终端执行）

 #安装requests库
pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple/
#(该方式是临时指定的,每次下载需要去cmd终端下载库 相对来说比较麻烦，每次添加库的时候就要去cmd终端去下载)

2.解决安装超时的问题（配置国内镜像源）

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

说明：默认连接python官方仓库，国内镜像源（如清华源）可提升下载速度。

二、基本用法：发起get请求

1.导入模块与基础请求

import requests #导入requests库
# 在要获取数据的浏览器页面里，找到目标url（以疾病查询页面为例）,键盘按下fn+f12，查看是什么请求方式
url = 'https://www.youlai.cn/dise'
# 发起get请求，获取响应对象 将获取到的响应对象的结果给到变量res
res = requests.get(url) 
# 打印响应内容（如果响应结果是html文本内容）
print("响应内容：",res.text)

2.处理中文乱码问题

import requests
url = 'https://www.tjwenming.cn/'
res = requests.get(url)
# 手动指定编码（根据目标网页的meta标签设置，此处以gb2312为例）
res.encoding = 'gb2312'
print('处理后的中午内容：',res.text)

调用encoding前

调用encoding后

关键步骤：

检查网页源码中的<metacharset="xxx">标签，获取编码格式（如utf-8、gbk、gb2312）。
通过response.encoding设置编码，确保中文正常显示。

三、带参数的get请求

1.参数传递方式

方式一：url拼接参数（直接在url中携带参数）

import requests
#包含参数的完整url（从浏览器复制）
url='https://careers.tencent.com/tencentcareer/api/post/query?timestamp=1763364793381&countryid=&cityid=&bgids=&productid=&categoryid=&parentcategoryid=&attrid=2,3&keyword=&pageindex=1&pagesize=10&language=zh-cn&area=cn'
res = requests.get(url)
print(res.text)

方式二：通过params参数传递

url = 'https://careers.tencent.com/tencentcareer/api/post/query' # 注意写基础的url 不带后面的请求参数
params = { # 将请求参数通过字典的形式存起来，给到params
    'timestamp': 1763364793381,
    'ountryid': '',
    'cityid': '',
    'bgids': '',
    'productid': '',
    'categoryid': '',
    'parentcategoryid': '',
    'attrid': '2,3', # 注意参数为字符串类型
    'keyword': '',
    'pageindex': 1,
    'pagesize': 10,
    'language': 'zh-cn',
    'area': 'cn'
}
# 发起请求时传递params参数
res = requests.get(url,params=params)
print(res.text)

四、获取二进制数据（图片、视频等）

下载网络图片并保存

import requests
url = 'http://pic.enorth.com.cn/005/026/920/00502692031_21660ab6.jpg'
res = requests.get(url)
#如果请求网址对应的数据为图片视频音频
#获取数据的方式：响应对象.content--->字节数据
res_img = res.content 
with open('1.jpg','wb') as f:
    f.write(res_img)

关键点：