本次采集，我们以这24小时的热门新闻为案例。
接下来就简单了，同样的套路，分析请求必需参数和cookie反爬策略，然后我们通过请求后获取js变量结果方式来进行爬取。
本次技术实现使用如下库：
1.playwright：用来打开URL，执行JavaScript代码，获取js变量值
源码如下
源码中核心内容：获取动态JavaScript内容
1.分析页面，有些页面请求返回的是html，但是也有可能会将数据拼接在js里来渲染页面
2.Python中执行JavaScript代码一种推荐的方式是使用playwright这种库，内置浏览器引擎，且很少被认为是暴力请求，并且自带等待机制
本文章代码只做学习交流使用，作者不负责任何由此引起的法律责任。
各位看官，如对你有帮助欢迎点赞，收藏，转发