分享好友 最新动态首页 最新动态分类 切换频道
【Python爬虫奇淫技巧】 用pandas库read
2024-12-28 03:49

一、介绍read_html()函数

【Python爬虫奇淫技巧】 用pandas库read

喜欢Python编程的小伙伴你知道吗,python的pandas库除了可以做数据分析,还可以做简易爬虫,仅需一行核心代码,就可以实现一个爬虫程序,轻轻松松爬取网页数据!

它就是pandas库的read_html()函数,实现python爬虫可以说是非常方便了。

这里需要说明的是,它只能针对网页上有<table></table>标签的表格数据进行爬取。

二、分析爬取目标页面

这里,我爬取的目标网址是:

查看web页面数据

可以看到,页面上是有一个表格数据的,按F12打开开发者模式,查看网页源代码:

查看网页源代码

确实是有<table>标签的表格数据。那就好办了,开始撸代码!

三、代码讲解

代码总共3行,核心代码就1行:

这样短短3行代码,数据就爬取下来了。看一下爬下来的数据:

pandas数据爬取结果

没问题,和原页面数据完全一致!后面在用pd.to_excel()把数据保存下来就OK了。

超级简单、强大有没有!

这里附上read_html()函数的官网参数说明,供小伙伴们参考:(贴心的我已经翻译成中文了^_^)

read_html()参数说明

再次强调一遍,它只能针对网页上有<table></table>标签的表格数据进行爬取。

如果页面上没有<table>标签,用这个方法爬取的话,会提示"No tables found"的报错:

报错截图

这是我用ipython界面截的图,你用其他IDE也会这样报错的!

对应的视频讲解传送门:

四、关于我

我是 @马哥python说  ,关注我,持续分享Python干货中!

按以往的习惯,我都会分享Python源码文件,这次不用分享了吧,就3行代码,自己撸吧小伙伴!

最新文章
源码详解 Comparable 和 Comparator 接口, compareTo 方法和 compare 方法的区别和使用
对集合中的元素排序,我们可以使用 Collections 工具类如:为什么是升序排序? 怎么改为降序呢? 如果想要对一个学生的属性进行排序?如:显然这里是不行的,谁知道这是按学生的哪个属性排序&#x
警惕舌尖上的寄生虫!这种被忽视的寄生虫病,你了解多少?
中国人群带绦虫感染率为0.06%,推算感染人数为366 247人,主要分布于青藏高原地区。猪带绦虫病是由猪带绦虫(taenia solium)成虫寄生在人体小肠所引起的一种肠绦虫病,又称猪肉绦虫病、链状带绦虫病。绦虫成虫寄生在人的肠道内长可达2—8
能源管理系统:企业节能增效的智慧之选
一、能源管理系统概述能源管理系统作为一种信息化管控系统,在当今社会发挥着至关重要的作用。它诞生于能源日益紧张和环境不断恶化的背景之下,成为企业寻求提高能源利用效率的重要手段。该系统采用分层分布式系统体系结构,能够对建筑的电
禁止百度,神马,搜狗等搜索引擎转码
第一种,HTTP Response中显式声明Cache-control为no-transform。第二种,meta标签中显式声明Cache-control为no-tranform,格式为:第一种. HTTP Response中显式声明Cache-control为no-siteapp。第二种. meta标签中
必看教程“微信小程序微乐捉鸡麻将开挂下载安装手机版”(确实是有挂)-知乎
本篇文章给大家谈谈怎样看出手机打牌开挂没,以及手机麻将怎么看出来是开挂对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。无需打开直接搜索微信;1.打开手机桌面微信APP,进入微信主页。2.下拉微信主页,找到四川麻将小程序。注意
谷歌浏览器免费版
谷歌浏览器是一款功能强大的网页浏览器,软件简洁快速,具有智能工具,既能满足用户对浏览器的要求,又具有稳定性强、简单快捷、不易死机的特点。它支持多选项卡浏览模式,每个选项卡页面运行在一个独立的沙箱中。在提高安全性的同时,一个
百度广告投放收费标准是多少,app广告投放收费标准
百度广告 投放收费标准今日头条广告-3。百度一年广告推广费是多少?百度类型以上广告 Why 收费?百度推广要多少钱?百度尚座广告多少钱?百度它是一个搜索引擎,它的收益主要来自于搜索结果排名的买断和广告服务。成都创新互联是一家专业提
简易SEO工具盘点与实操手册
简单SEO工具分类及使用指南:本文将介绍常用的简单SEO工具,包括关键词研究、网站分析、链接建设和内容优化等工具。并详细讲解如何利用这些工具进行SEO优化,提升网站排名和流量。随着互联网的快速发展,搜索引擎优化(SEO)已经成为了企业
碧螺春是十大名茶之一吗为什么
介绍智能化城市的概念,阐述智能化城市的基本特征和发展趋势。智能化城市是指通过先进的信息技术手段,实现城市基础设施、公共服务、管理运行等方面的智能化和高效化。其基本特征包括物联网技术的广泛应用,通过各类传感器实时监测城市运行
了解一下百度提供的python通用文字识别功能,距离百度AI近了一点点!
如果你也是看准了Python,想自学Python,在这里为大家准备了丰厚的免费学习大礼包,带大家一起学习,给大家剖析Python兼职、就业行情前景的这些事儿。 一、Python所有方向的学习路线 Python所有方向路线就是把Pyth
相关文章
推荐文章
发表评论
0评