分享好友 最新动态首页 最新动态分类 切换频道
1.python爬虫实战:爬取数据实战【Python】(测试代码+api例程)
2024-12-26 23:00

1.python爬虫实战:爬取数据实战【Python】(测试代码+api例程)


欢迎关注 『Python』 系列,持续更新中
欢迎关注 『Python』 系列,持续更新中

适合有一定的基础xpath知识基础的同学练手使用,最后的数据输出格式化大家还可以再美化下,本次关键是爬虫。

“%10s %10s %10s” % (“名称”, “分数”, “城市”)
让字符串占位10个位置,占位格式化输出

name = tr.xpath(“https://blog.csdn.net/u011027547/article/details/td[2]/div/div[2]/div[1]/div/div/a/text()”)[0].replace(" “, “”).replace(” ", “”)
获取指定xpath节点的文本,取得列表第一项,replace格式化掉多于的空格和换行符

  • 导入必要的包
 
  • 根据url获取页面源码并提取和解析数据(注意,这里一定要记得转化编码格式,否则会乱码
 
  • 拿到所有学校的数据集合(这里末尾的tr[1]表示取第一个学校,改成tr后表示取所有的tr也就是取所有的学校),这样方便后续的循环for遍历,类似先找到所有对象的集合,然后对每个对象进行统一的提取信息操作
 
  • 取出信息并且装入result列表,二层列表嵌套
 
 
  1. 一定要加上这句编码格式设定为utf-8,否则会乱码。
  2. 使用复制完整的xpath路径,新手入门建议

 

大家喜欢的话,给个👍,点个关注!继续跟大家分享敲代码过程中遇到的问题

版权声明

发现你走远了@mzh原创作品,转载必须标注原文链接

Copyright 2022 mzh

Crated:2022-1-10

最新文章
Sonar软件下载指南,一键获取使用教程与安装步骤,轻松上手!
Sonar下载指南,提供简单易懂的教程和安装步骤,让您轻松获取使用Sonar的方法。本指南详细介绍了Sonar软件的下载、安装和使用过程,帮助您快速掌握Sonar软件的使用技巧,提高工作效率。无论您是初学者还是专业人士,都能通过本指南轻松上手
ourplay游戏加速器 7.4.4 更新:2024-12-13备案号:沪ICP备17010969号-9A
ourplay安卓版,智能全局搜索,随时随地体验全球精品游戏和应用。ourplay游戏加速器,一般又称OurPlay,谷歌加速器。PUBG NEW STATE抢先畅玩,得限量版跑车皮肤, 11月11日开放测试!OurPlay加速器是一款自带谷歌服务框架的免费加速器,智能
ONE(ONE币)兑换丹麦克朗今日价格行情,ONE(ONE币)今日价格行情,最新消息,ONE24小时实时汇率K线历史走势图分析
ONE是ONE生态的通证。ONE是由BigONE发行的基于以太坊ERC20合约的代币。ONE通证凝聚了BigONE交易平台及生态的所有权益,平台将秉承区块链精神,让所有的用户共享平台收益。1. 永久享受 BigONE 平台 100% 交易手续费的返利BigONE 平台每日会
用AI轻松生成你的专属高清美女写真,玩法大揭秘!
DALL-E 2:OpenAI推出的这款工具以其强大的创作能力而著称,能够生成多种风格和主题的图像,包括超写实的美女照片。用户只需要提供简单的文本描述,DALL-E 2便能巧妙地将其转化为一幅幅令人惊艳的艺术作品。不过,由于其使用门槛和有限的访
SEO分析报告中,如何解释反向链接的作用和价值?提升网站权威性与排名
反向链接的定义及其在SEO中的基本作用反向链接,通常被称为“外部链接”或“入站链接”,是指从其他网站指向您网站的链接。在搜索引擎优化(SEO)中,反向链接扮演着至关重要的角色,因为它们被视为对网站内容质量和可信度的投票。换句话说
【Android -- 学习】学习资料汇总
项目名称项目简介Google I/O 2014Google I/O Android App 使用了当时最新推出的 Material Design 设计Google play music一个跨多个平台音乐播放器Google Santa Tracker for AndroidGoogle 开源的一个儿童教育和娱乐的 Appgithub客户端开源
爬虫工具之selenium(五)-建立代理IP池
IP网站为了防止被爬取,会有反爬机制,对于同一个IP地址的大量同类型的访问,会封锁IP,过一段时间后,才能继续访问,有几种简单的应对套路:1.修改请求头,模拟浏览器(而不是代码去直接访问)去访问2.采用代理IP并轮换3.设置访问时间间隔
文件转换成PDF格式的常用方法与工具介绍
文件怎么转换成PDF格式How to Convert Files to PDF Format在现代办公和学习中,PDF(便携式文档格式)已经成为一种广泛使用的文件格式。PDF文件具有良好的跨平台兼容性,能够保持文件的格式和排版,因此在分享和打印文档时非常受欢迎。本
搜索功能升级又免费!OpenAI强势出击,挑战谷歌搜索霸权
当地时间12月16日,OpenAI宣布向全球所有用户免费开放ChatGPT的实时搜索功能。这是其为期12天的“Shipmas”活动的第八场直播内容,在此前的活动中,该公司已经展示并发布了一系列全新的AI产品与功能。搜索功能全面开放OpenAI在此次“Shipma
淘宝无忧退货是什么意思?卖家能拒绝退款吗
现在许多小伙伴们都非常愿意在淘宝购物,因为在淘宝购物它的退货是非常方便的,并且不仅有七天无理由退货,还有无忧退货,这都给消费者提供了不错的服务,但是也有些朋友不理解淘宝无忧退货的意思,那么接下来就一起往下看。一、淘宝无忧退
相关文章
推荐文章
发表评论
0评