当前位置: 代码网 > it编程>前端脚本>Python > scrapy解决Redirecting 301 302重定向问题

scrapy解决Redirecting 301 302重定向问题

2026年11月17日 • Python •我要评论
在使用scrapy框架中url被重定向,总是遇到这类问题:debug: redirecting (301/302) to <get https://xxxx refer https://xxxx

在使用scrapy框架中url被重定向,总是遇到这类问题:

debug: redirecting (301/302) to <get https://xxxx refer https://xxxx>

解决方式:

  • 在scrapy中的request中添加 dont_filter=true,因为scrapy是默认过滤掉重复的请求url,添加上参数之后即使被重定向了也能请求到正常的数据了。
  • 在scrapy框架中的 settings.py文件里添加
httperror_allowed_codes = [301]

httperror_allowed_codes设置来指定spider能处理的response返回值

也就是说 忽略 该列表中 不具有的状态码(当然正常的200状态码除外)的response。

另外:

在爬虫多次请求时,有些网站会出现反爬虫措施:将请求链接重定向到一个提示404的链接或者验证码链接等阻止爬虫的进行,如下为解决方案:

def start_requests(self):
        for i in self.start_urls:
            yield request(i, meta={
                'dont_redirect': true,
                'handle_httpstatus_list': [301,302]
            }, callback=self.parse)
 
# 'dont_redirect': true是禁止重定向
# request.meta 中的 handle_httpstatus_list 键可以用来指定每个request所允许的response code。

提示:

根据 http标准 ,返回值为200-300之间的值为成功的resonse。

如果想处理在这个范围之外的response,可以通过 spider的 handle_httpstatus_list 属性或httperror_allowed_codes 设置来指定spider能处理的response返回值。

例如,如果想要处理返回值为404的response可以这么做:

class myspider(crawlspider):
  handle_httpstatus_list = [404]

使用requests模块遇到301和302问题时

html = requests.get(url, headers=headers, allow_redirects=false)
return html.headers['location']

allow_redirects=false的意义为拒绝默认的301/302重定向,从而可以通过html.headers[‘location’]拿到重定向的url

到此这篇关于scrapy解决redirecting 301 302重定向问题的文章就介绍到这了,更多相关scrapy解决redirecting 301 302重定向内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网!

赞 (0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2026  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com