我要评论安装scrapy框架并测试
这是个系列文章，主要是能让大家快速的的做出一个小项目，主要是我现在在做计算机设计大赛，想把做过的东西记录下来，后续我会将整个计设的项目的制作过程写出来分享给大家。其中包括django、mysql数据库、前端等。
这些文章主要是记录具体操作过程，具体的知识内容还请去刷视频，这里不做过多解释。
安装scrapy框架
在终端里先后运行这个语句即可安装
pip install wheel pip install scrapy
在终端里输入scrapy即可验证是否安装成功，以下是没有安装前的情况。
以下是安装过后验证的情况
这样就说明安装成功了。
我们需要在pycharm终端里创建一个工程
代码如下：
scrapy startproject comment（comment为你的工程名称）
创建成功如下
（这里注意，有些同学创建不成功报错的，需要在pycharm终端里再次执行pip install scrapy）
紧接着执行下面提示的两段代码来创建我们的爬虫主文件
cd comment
注意这里的example.com我们需要换成自己的起始url （这里随便设一个就好，这个不影响我们的任务）
scrapy genspider news（这里的news为爬虫文件名称）www.xxx.com
然后配置成如下的形式
注意这里的allowed_domains可以注释掉，对我们的任务没有太大的影响。start_urls里的url换成我们需要请求的网址。（这里我就用腾讯新闻的主页来测试了）
在此之前我们需要在settings.py文件里完成如下配置：
然后在终端输入以下代码来运行爬虫文件：
scrapy crawl news
运行成功！
这样测试就完成了，可以进行后续的任务了。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持代码网。
发表评论