目录
一.创建
二.写代码
1.将roboots协议一脚踹飞
2.在创建的爬虫文件中写爬虫的代码
3.代码
4.翻页
在文章里展示全部的代码的话会非常影响文章的观看，有想要查看全部代码的朋友请到GitHub：https://github.com/aqaswrae/Some-small-crawler-projects
这个就是
首先要创建scrapy项目和爬虫文件，若有疑问，请看scrapy框架的基本使用这一篇文章
链接：Python爬虫-Scrapy框架的基本使用_瓦瓦卡卡的博客-CSDN博客
也是我写的， 🤭🤭
写代码的第一步：就是先更改roboots协议！！！
找到settings.py文件，将20行的roboots协议注释掉或者直接将其删除
我创建的爬虫文件名为 lianjia.py，所以就要在这个文件中写爬虫代码
我这次爬取的是链家上的租房数据。https://qd.lianjia.com/zufang/
首先要想好要爬取哪些数据，并在items.py文件中做好数据建模。
scrapy框架内置了xpath语法，所以我们使用xpath语法来获取所需的数据
注意：获取数据时，不能单纯的使用xpath语法，要在语句的后边加上extract()才能获取到具体的数据，否则获取到的只是相应内容的对象。
要是觉得写一行获取数据的代码就运行一遍爬虫文件很麻烦的话，建议使用scrapy shell来调试程序，具体操作可以看一下这篇文章的 6.scrapy shell 的使用
Python爬虫-Scrapy框架的基本使用_瓦瓦卡卡的博客-CSDN博客
然后在爬虫文件中导入items.py文件中的类，用来实例化一个item对象，将获得的数据传给这个对象
给数据时，键名必须和数据建模时设置的字段名相同 ；要使用yield将数据返回，这是框架规定好了的，不能使用return，会中断循环
在pipelines.py文件中接收传送过来的数据，将其转换成字典
如果要使打印或保存数据成功，要先将settings.py文件中的管道打开
这样就可以正常打印和保存数据了。在pipelines.py文件中
接下来我们将这些数据保存到json文件中
这样我们的租房数据就保存完成了。
如果数据乱码的话，点击一下右上角提示中的’gbk‘，使用gbk编码打开。
当你去找页面最底下的下一页的超链接的时候，
在元素这个页面中会显示，但是我们要以返回的源码中的数据为准，源码中只有这么一行，是下一页这个a标签的父标签。
思路一：
获取父标签div中的data-totalPage(总页数)属性和data-curPage(当前页)属性，然后将url的前一部分https://qd.lianjia.com/zufang/pg与(当前页+1)拼接起来构成下一页完整的url
这个方法不能将第二个图片中的代码写在if判断语句中(我用来判断是否已经到了第100页)，亲测，只能输出第二页完整的url。
我暂时还不知道原因，等我明白了再来写上。
同一天内，我找到原因了，获取到的total_page 和 current_page都是字符串类型的，进行if判断时要转换为int类型！！
完整的函数内容：
思路二：
获取ul标签中的所有链接，然后循环构造请求对象，返回给引擎