本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。注：若涉及到版权或隐私问题，请及时联系我删除即可。

本次选取的是某吧中的NBA吧中的一篇帖子,帖子标题是“克莱和哈登，谁历史地位更高”。爬取的目标是帖子里面的回复内容。

源程序和关键结果截图：

本次选取的小说网址是某小说网，这里我们选取第一篇小说进行爬取

然后通过分析网页源代码分析每章小说的链接

找到链接的位置后，我们使用Xpath来进行链接和每一章标题的提取

在这里，因为涉及到多次使用requests发送请求，所以这里我们把它封装成一个函数，便于后面的使用

每一章的链接获取后，我们开始进入小说章节内容页面进行分析

通过网页分析，小说内容都在网页源代码中，属于静态数据

这里我们选用re正则表达式进行数据提取，并对最后的结果进行清洗

然后我们需要将数据保存到数据库中，这里我将爬取的数据存储到mysql数据库中，先封住一下数据库的操作

接着将爬取到是数据进行保存

最后一步就是使用多线程来提高爬虫效率，这里我们创建了5个线程的线程池

源代码及结果截图：

先分析：

首先，来到某瓣Top250页面，首先使用Xpath版本的来抓取数据，先分析下电影列表页的数据结构，发下都在网页源代码中，属于静态数据

接着我们找到数据的规律，使用xpath提取每一个电影的链接及电影名

然后根据链接进入到其详情页

分析详情页的数据，发现也是静态数据，继续使用xpath提取数据

最后我们将爬取的数据进行存储，这里用csv文件进行存储

接着是Beautiful Soup4版的，在这里，我们直接在电影列表页使用bs4中的etree进行数据提取

最后，同样使用csv文件进行数据存储

源代码即结果截图：

XPath版：

Beautiful Soup4****版：

4.实现某东商城某商品评论数据的爬取（评论数据不少于100条，包括评论内容、时间和评分）。

先分析：

本次选取的某东官网的一款联想笔记本电脑，数据为动态加载的，通过开发者工具抓包分析即可。

源代码及结果截图：

5. 实现多种方法模拟登录某乎，并爬取与一个与江汉大学有关问题和答案。

首先使用selenium打开某乎登录页面，接着使用手机进行二维码扫描登录

进入页面后，打开开发者工具，找到元素，，定位输入框，输入汉江大学，然后点击搜索按钮

以第二条帖子为例，进行元素分析 。

源代码及结果截图：

6. 综合利用所学知识，爬取某个某博用户前5页的微博内容。

这里我们选取了人民日报的微博内容进行爬取，具体页面我就不放这了，怕违规。

源代码及结果截图：

7.自选一个热点或者你感兴趣的主题，爬取数据并进行简要数据分析（例如，通过爬取电影的名称、类型、总票房等数据统计分析不同类型电影的平均票房，十年间每年票房冠军的票房走势等；通过爬取中国各省份地区人口数量，统计分析我国人口分布等）。

本次选取的网址是艺恩娱数，目标是爬取里面的票房榜数据，通过开发者工具抓包分析找到数据接口，然后开始编写代码进行数据抓取。

源代码及结果截图：

从年度上榜电影票房占比来看，2019年占比最高，说明2019年这一年的电影质量都很不错，上榜电影多而且票房高。

从趋势来看，从2016年到2019年，上榜电影总票房一直在增长，到2019年达到顶峰，说明这一年电影是非常的火爆，但是从2020年急剧下滑，最大的原因应该是这一年年初开始爆发疫情，导致贺岁档未初期上映，而且由于疫情影响，电影院一直处于关闭状态，所以这一年票房惨淡。

好了，本次案例分享到此结束，希望对刚入手爬虫的小伙伴有所帮助。