很多同学对爬虫比较感兴趣，很想知道什么是爬虫到底是什么，爬虫学起来难不难？从哪里入手开始学习？
这里我想跟大家说，其实你们学完自动化之后，要想学习爬虫，其实非常简单，爬虫里面用到的技术，我们在学习自动化的时候基本上都学过了。
只不过不知道如何使用自动化的技术来实现爬虫，那么接下来我们就来聊聊如何使用自动化的项目技能来实现爬虫。
01
什么是爬虫
学习爬虫之前我们来先了解一下爬虫的概念，什么是爬虫？
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫
——百度百科解释
爬虫和实现自动化实现流程对比：
02
爬虫和实现使用技术分析
发请求，访问页面
▲ requests（接口自动化必备技能）
▲ selenium（web自动化必备技能）
提取页面数据
▲ Xpath（web自动化元素定位的技能）
可以看得出，上述所需要的技能
03
环境安装
首先第一步就是关于环境的安装，环境安装前提：安装好python。然后在这边，我们还需要安装两个第三方库，第一个是requests，是用来发送网络请求的，第二个库是lxml是用来解析页面数据的。
1、requests模块安装
2、lxml模块安装
04
数据爬取实战
目标：获取北京地区自动化测试的所有热门岗位！
目标地址：
https://www.zhipin.com/c101010100/?query=%E8%87%AA%E5%8A%A8%E5%8C%96%E6%B5%8B%E8%AF%95&ka=sel-city-101010100
待获取的目标数据
▲ 职位名称
▲ 薪资范围
▲ 所属公司
爬虫实现的步骤：
1、构造请求数据
在发送请求时，注意请求头要写加上cookie和user-agent，否则无法获取到正确的页面数据（关于cookie和user-agent可以去浏览器上复制过来）
2、发送网络请求
3、提取页面数据
综合整理代码如下：
运行以上代码就能爬取到我们所需要的数据了。
最后： 下方这份完整的软件测试视频学习教程已经整理上传完成，朋友们如果需要可以自行免费领取
这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！