在使用scrapy框架中url被重定向,总是遇到这类问题:
debug: redirecting (301/302) to <get https://xxxx refer https://xxxx>
解决方式:
- 在scrapy中的request中添加
dont_filter=true,因为scrapy是默认过滤掉重复的请求url,添加上参数之后即使被重定向了也能请求到正常的数据了。 - 在scrapy框架中的 settings.py文件里添加
httperror_allowed_codes = [301]
httperror_allowed_codes设置来指定spider能处理的response返回值
也就是说 忽略 该列表中 不具有的状态码(当然正常的200状态码除外)的response。
另外:
在爬虫多次请求时,有些网站会出现反爬虫措施:将请求链接重定向到一个提示404的链接或者验证码链接等阻止爬虫的进行,如下为解决方案:
def start_requests(self):
for i in self.start_urls:
yield request(i, meta={
'dont_redirect': true,
'handle_httpstatus_list': [301,302]
}, callback=self.parse)
# 'dont_redirect': true是禁止重定向
# request.meta 中的 handle_httpstatus_list 键可以用来指定每个request所允许的response code。
提示:
根据 http标准 ,返回值为200-300之间的值为成功的resonse。
如果想处理在这个范围之外的response,可以通过 spider的 handle_httpstatus_list 属性或httperror_allowed_codes 设置来指定spider能处理的response返回值。
例如,如果想要处理返回值为404的response可以这么做:
class myspider(crawlspider): handle_httpstatus_list = [404]
使用requests模块遇到301和302问题时
html = requests.get(url, headers=headers, allow_redirects=false) return html.headers['location']
allow_redirects=false的意义为拒绝默认的301/302重定向,从而可以通过html.headers[‘location’]拿到重定向的url
到此这篇关于scrapy解决redirecting 301 302重定向问题的文章就介绍到这了,更多相关scrapy解决redirecting 301 302重定向内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网!
发表评论