分享好友 最新动态首页 最新动态分类 切换频道
AI 帮写爬虫,真的吗? CodeWhisperer:当然!
2024-12-27 05:31

作者:梦想橡皮擦

AI 帮写爬虫,真的吗? CodeWhisperer:当然!

2023 年技术圈什么最火?答案毫无疑问是 AIGC,伴随该项技术的发展,新的编程方式也出现了,那就是用 AI 辅助编程,有了 AI 的加持,开发人员的效率和生产力可以得到大幅度的提升。今天我们就介绍一款非常棒的人工智能编程工具Amazon CodeWhisperer, 相信我,用上他之后,你的工作效率至少能翻一倍。

  1. 在日常的编码工作中,你是否会碰到如下难题?
  2. 接触了一款全新的 Python 模块,不知道如何开启 hello world;
  3. 模块的某个方法,忘记了参数和返回值,反复切换手册会打断思路;
  4. 不想写注释;
  5. 写了一段代码,但是并不健壮,担心有难以发现的漏洞;

如果你正在被这些问题困扰,那 Amazon CodeWhisperer 能非常好的解决上述问题。

下面跟随我的脚步,开启 CodeWhisperer 的实践吧!

CodeWhisperer 初始化

CodeWhisperer 支持的 IDE 包括 Visual Studio(VS)Code(本篇博客使用的 IDE) 和 JetBrains IDE(IntelliJ、PyCharm、CLion、GoLand、WebStorm、Rider、PhpStorm、RubyMine 和 DataGrip),安装过程只需要几分钟,这里我们不详细展开讲解,大家可以参考 官方文档 ,官方还贴心的准备的视频教程~

本篇博客我们使用 VSCode 完成一个爬虫项目实践,可以直接在 VSCode 插件中检索【CodeWhisperer】,直接安装即可(已经有将近 200W 的安装量啦,要抓紧跟上大家的节奏),安装完毕,在 VSCode 侧边栏中会出现 CodeWhisperer 插件图标,如下所示。

初始化过程中最重要的就是账号的链接,点击上图【Connect to ……】链接,之后按照步骤登录账号,一系列的操作之后,浏览器出现下图绿色状态提示界面,此时账号对接已经完成。

返回到 VSCode 中,会发现 Amazon CodeWhisperper 帮助手册已经打开,建议阅读一下 ,里面已经整理了插件的基础使用说明。

与此同时,VSCode 左下角开发者工具(DEVELOPER TOOLS)也已经显示链接到 Builder ID。至此,我们的前置工作已经全部完成,下面可以开始进行工具使用。

CodeWhisperper 使用

简单逻辑示例

CodeWhisperer 插件安装完毕,默认会开启 Auto-Suggesions(自动建议模式),此时当我们在编写注释或代码之后,CodeWhisperer 会自动给我们提供代码提示,这个过程就像超强版的语法提示,如果你还没有安装好插件,可以先看一下动图,整体感受一下。

CodeWhisperer 的代码提示,在 VSCode 中可以使用左右方向键进行选择,使用Tab 进行确认,其他按键表示不采纳提示代码。初次体验下来,正如插件名称(Whisperer:低语者)所描述的一样,就像是编辑器在轻轻的和我们说着即将要敲入的代码,如果同意,可以一键采纳,不同意,直接忽略即可。

代码翻译示例

拥有此功能之后,很多简单的程序完全可以基于智能提示编写完毕,但这肯定不够,我们需要 CodeWhisperer 完成更有挑战的事情,在 Python 爬虫领域,经常需要将一段前端 JS 代码用 Python 重新实现。

下面提供一段 JavaScript 中生成UUID的代码,然后用 Python 复写。

p = function(e) {

var t = e || null;

return null == t && (t = "xxxxxxxx-xxxx-4xxx-yxxx-xxxxxxxxxxxx".replace(/[xy]/g, (function(e) {

var t = 16 * Math.random() | 0;

return ("x" === e ? t : 3 & t | 8).toString(16)

))),

复制代码

在 VSCode 中直接输入你的需求,然后 CodeWhisperper 会给我们一个完整的实现示例,可以看到代码重写完全正确。

加密函数示例

除了翻译代码外,在编写爬虫案例的时候,如果你对某些加密函数使用详情有遗忘,可以让 CodeWhisperer 直接给出示例,快速唤醒自己的记忆。

下图为输入注释获取函数的使用示例代码。

# 使用 Python 实现 hmac_sha256 加密函数

如果在使用 CodeWhisperer 的过程中按错按键,即没有使用 Tab 确认代码,可以随时按下快捷键 Alt+C,CodeWhisperer 代码提示会再次出现,又可以继续加速你的开发效率了。

混合加密示例

如果将上述逻辑都定义为单逻辑,那下述需求就是一个复合逻辑示例了,在实际编码中,会碰到需要将两种加密混合使用的情况,需求如下:

使用 Python 实现 Base64 + AES 加密字符串

在 IDE 中输入上述注释信息,然后回车,CodeWhisperer 就会自动生成后续代码,其中部分逻辑可以一次性完成,效果如下,其中在核心逻辑部分,CodeWhisperer 表现非常优秀,答案秒输出,并且直接可用。

算法模板示例

在业务逻辑的编写过程中,有时会用到常见算法,例如快排、堆排、哈希等,这些算法很多都类似模板代码,在编写的时候,如果可以一键生成,能大幅度提高代码编写速度,包括算法改写速度,在 CodeWhisperer 中,可以通过注释快速生成。

使用 Python 生成快排代码

体验 5 个示例之后,CodeWhisperer 的使用非常简单,而且无需切换编辑窗口,在 IDE 的代码文件中直接完成了 AIGC 的问答流程,响应速度非常快,代码准确性很高。

单独的案例对 CodeWhisperer 已经没有难度了,接下来我们尝试完成一个完整的 Python 爬虫案例(咱们看一下只写注释,能不能完成一个合格的爬虫采集程序)。

CodeWhisperer 项目实战

目标采集站点为作者博客,无侵权问题。

编写爬虫基础框架注释,包含如下内容:

  1. 程序使用的采集模块
  2. 目标采集站点地址
  3. 采集的目标标签
  4. 数据存储到文件
  5. 发送采集到的数据到指定邮箱

第一步:输入如下注释,获取网页响应内容

使用 Python requests 模块采集https://blog.csdn.net/hihell?type=blog

# 使用 Python requests 模块采集 https://blog.csdn.net/hihell?type=blog

import requests

url = 'https://blog.csdn.net/hihell?type=blog'

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'

response = requests.get(url, headers=headers)

print(response.text)

复制代码

写完注释,直接回车之后,CodeWhisperer 直接给我们生成了对应的代码,过程中只需要按下 回车和 Tab 键即可。

如果你觉得上述代码有些简单,可以在代码基础上继续完善,例如将请求头进行完善,增加 referer 和 host 参数,直接在需要修改的位置添加注释即可。

bc2cec9e458845859e9c407965d14bf5.gif

第二步:编写目标数据采集函数

这一步,我们要使用 lxml 模块中的 etree 提取目标标签,继续将我们的逻辑输入到注释注释中,然后回车。

使用 etree 模块提取网页响应中所有的 article 标签

# 使用 etree 模块提取网页响应中所有的 article 标签

from lxml import etree

html = etree.HTML(response.text)

article_tags = html.xpath('//article')

print(article_tags)

复制代码

此时目标博客标签已经被初步提取,下面要将标题和超链接地址进行再次提取,这里的注释需要尽可能编写清晰,如果你对 Python 爬虫技术栈有一定了解,到这里就会发现 CodeWhisperer 对代码编写提速效果。

# 循环 article_tags 提取其内部的超链接标签的 href 属性和 h4 标签文本

# 注意标签结构是 超链接 a 标签含后代 h4 标签

for article in article_tags:

href = article.xpath('https://www.163.com/dy/article/a/@href')[0]

title = article.xpath('https://www.163.com/dy/article/a//h4/text()')[0]

print(href, title)

复制代码

第三步:数据存入到 csv 文件中

写入文件的逻辑属于常见操作,直接输入函数需求,相信 CodeWhisperer 会直接生成的,输入的参考注释如下:

编写一个 csv 文件写入函数,其包含 2 个参数,分别是 title 和 href

# 编写一个 csv 文件写入函数,其包含 2 个参数,分别是 title 和 href

def write_to_csv(title, href):

with open('codewhisperper_demo.csv', 'a', encoding='utf-8') as f:

f.write(title + ',' + href + ' ')

复制代码

函数调用放到上述循环中即可完成本步骤。再次运行代码,在爬虫目录会生成对应的文件,打开文件得到目标数据,效果图如下所示。

write_to_csv()

image.png

这里一个简单的爬虫写完了,但是我们的工作还没有完成,要继续优化这个程序。

第四步:将采集到的数据,发送到 163 邮箱

输入注释:发送到指定邮箱,CodeWhisperer 瞬间就会帮助我们生成一个参考函数,实际效果如下图所示。

# 编写一个邮件发送函数,将刚刚生成的文件 codewhisperper_demo.csv

bc2cec9e458845859e9c407965d14bf5.gif

将上述代码中的账号和密码修改为自己真实数据,即可实现一键发送邮件。

打开收件箱,可以看到刚刚的邮件已经发送成功,CodeWhisperer 给我们提供了一种邮件发送的实现,你可以再其基础上进行改造,以满足个性化的需求。

image.png

CodeWhisperer 使用总结

在博客开篇,我提出了编码过程中几个比较头疼的问题,尤其是第二个,程序员在编码过程中总是切出去查找代码示例和文档手册,从而打断编码思路,而 CodeWhisperer 非常完美的解决了该问题,在编码的过程中,Amazon CodeWhisperer 自动提供编码建议,同意就使用,不同意就舍弃,真正实现了沉浸式编程。

除此之外,CodeWhisperer 还可以基于代码和注释生成新的业务代码,尤其当我们 Python 工程师接触一个新的模块时,他可以快速的产出示例代码,而且生成的代码与我们编码风格非常相似,甚至编码风格和命名规则都可以完美学习到。在编码代码过程中,CodeWhisperer 还会自动为我们的代码提供注释参考,让我们将更多精力投入到业务逻辑中。

最新文章
最官方的淘宝标题优化技巧,关键词拆分与重组
  前面小编给大家分享了一个官方标题优化的方法,今天给大家说说大家一直关心的分词、可拆分词和不可拆分词、标题空格等问题对于标题搜索有什么影响,这里开淘小编特意把最官方的信息收集过来给大家,希望能帮助到你们!  一、分词问题
远程查看对象微信聊天记录软件(如何偷偷监控老婆手机)
远程查看对象微信聊天记录软件(如何偷偷监控老婆手机)   打开微信,点击顶部的搜索框,输入关键词(如联系人名、内容等),直接查找相关聊天记录。翻阅历史聊天记录进入与某人的聊天页面,向上滑动查看历史记录,直到找到需要的信息。聊
python金融分析小知识(11)——python爬虫工具Postman神器的使用
Hello 大家好,我是一名新来的金融领域打工人,日常分享一些python知识,都是自己在学习生活中遇到的一些问题,分享给大家,希望对大家有一定的帮助! 相信很多小伙伴在使用python的使用会用来爬取一
联想全能王笔记本电脑测评(联想全能本有哪些)
今天给各位分享联想全能王笔记本电脑测评的知识,其中也会对联想全能本有哪些进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!在电脑的百度上输入扫描全能王,找到其官方网站以后点击进入。进入到该网站以后点击右
朋友圈竞价广告能力升级:新形态、 新组件、新链路-诸暨抖音短视频直播商城制作开发为你呈现
腾讯广告 微信广告朋友圈竞价广告能力升级更多产品形态,沉浸用户体验更多组件升级,激活社交价值更全链路能力,稳步提升转化竖版视频形态升级沉浸种草体验,高效引流转化为让用户获得更原生更沉浸的观看体验,朋友圈竞价广告-竖版视频进行
飞书ERP系统解决方案:飞书+ERP到底能做什么?
飞书简要介绍:飞书是基于协同办公的企业应用平台,重视办公效率和使用体验。飞书集合了聊天、视频会议、云文档、审批、邮箱、日历、多维表格,开放应用等功能,通过顺畅沟通、高效协作,助力企业或团队组织升级。关键标签:协同、高效、创
车间年度工作报告怎么写10篇
【#报告# #车间年度工作报告怎么写10篇#】工作报告是指向上级机关汇报本单位、本部门、本地区工作情况、做法、经验以及问题的报告。以下是®无忧考网整理的车间年度工作报告怎么写,欢迎阅读! 1.车间年度工作报告怎么写  这一年来的
非常有用的搜索引擎提交入口汇总
网站建设完成之后,第一件事情就是向各大搜索引擎提交新网站。文中收集了常见的搜索引擎提交入口地址,方便以后查询使用。  常用的中文搜索引擎提交入口  提交之后可通过“site:域名”的方式查看收录情况,比如site&
邀世界见证强农兴农新武器,北京数字农业与灌溉展全球首发新技术新产
  2025年3月31日-4月2日,润景智灌阀·第11届北京国际数字农业与灌溉技术博览会暨世界灌溉科技大会,将于北京·国家会议中心举行。展会面积达3万平方米,届时来自国内外800余家知名展商齐聚大会。同期举办第三届北京国际水利科技博览会。
百度广告位搜索词_百度广告搜索关键词大全
赢在广告少!必应取代百度成国内桌面搜索引擎第一可能的原因应该是微软必应在搜索结果展示页面上,会尽量减少广告的数量和干扰,只展示与用户搜索意图最相关的信息。此外,必应还会对搜索结果进行严格的质量和可信度审核,过滤掉那些虚假、
相关文章
推荐文章
发表评论
0评