爬取策略
1.需要安装python selenium模块包,通过selenium中的webdriver驱动浏览器获取Cookie的方法、来达到登录的效果
pip3 install selenium
chromedriver:
chromedriver与chrome的对应关系表
2.微信公众号登陆地址:https://mp.weixin.qq.com/ ,需要在https://mp.weixin.qq.com/注册一个账户用于登录
3.微信公众号文章接口地址可以在微信公众号后台中新建图文消息,超链接功能中获取:
4. 搜索公众号名称
搜索可以获取所有相关的公众号信息,只取第一个做测试
获取要爬取的公众号的fakeid
选定要爬取的公众号,获取文章接口地址
文章列表翻页及内容获取