分享好友 最新动态首页 最新动态分类 切换频道
爬虫 人工智能 表弟说,这个Python定时任务,能挣五千,问我信吗?
2024-12-29 20:43

一个简单的需求,即定时启动python脚本,这种需求很常见,比如定时启动一段程序对服务器状态进行收集,写到文件中,方便运维后期审计,查看服务器占用高峰时间段,从而判断出公司产品在该时间段较多人使用,或定时清除其他程序的日志,释放线上服务器的空间,这块常见的架构是有个转存程序,将日志通过nginx文件服务挂起,然后该程序请求这种文件,将其存储在数据服务器中,而线上服务器的日志就不需要了(游戏日志通常比较大,所以转存程序也需要设计一下)。

本章主要来实现一下定时启动python的需求,当然,定时启动其他任何程序也都一样。

Python threading模块

一开始,为了省事,直接使用python的threading模块,threading模块下有个Timer模块,它可以实现定时启动python程序的需求,用法如下:

值得一提的是,timer需要使用global timer,据说尝试运行时,会释放无需使用的占用资源。

实现方法很简单,即创建Timer()实例,传入两个参数,分别是时间间隔(单位为秒)与定时任务本身,构成一个死递归(因为没有逃出条件),然后就是调用Timer实例的start()方法。

不推荐,虽然网上博客说使用global timer会释放无用资源,但实际没有考证,这种写法在服务器上跑起来的程序通常一天就断,我周日启动该程序,周一来公司看,对应的python程序挂了。

APScheduler

APScheduler是Python用于执行定时操作的第三方框架,作为一个框架,它就有它对应的各种概念,没必要搞那么复杂,学习成本有点高,放弃

Linux crontab

最总还是转到了Linux的crontab服务,该服务主要就是用于实现定时任务的,其语法如下:

# .---------------- minute (0 - 59)

# | .------------- hour (0 - 23)

# | | .---------- day of month (1 - 31)

# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...

# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR

#sun,mon,tue,wed,thu,fri,sat

# | | | | |

# * * * * * command to be executed

minute:代表一小时内的第几分,范围 0-59。hour:代表一天中的第几小时,范围 0-23。mday:代表一个月中的第几天,范围 1-31。month:代表一年中第几个月,范围 1-12。wday:代表星期几,范围 0-7 (0及7都是星期天)。who:要使用什么身份执行该指令,当您使用 crontab -e 时,不必加此字段。command:所要执行的指令。

crontab服务状态

sudo service crond start

#启动服务

sudo service crond stop

#关闭服务

sudo service crond restart

#重启服务

sudo service crond reload

#重新载入配置

sudo service crond status

#查看服务状态

查看定时任务

crontab

l

到这里,关于crontab常见的文件就是叫你使用 crontab-e来编写对应crontab配置文件,配置内容的语法如上,例子如下:

但这边不会这样操作,这种写法并不适合于真正的工作中,就是一个Toy,我希望的是全自动化,这里通过shell脚本来实现自动添加crontab任务。

shell脚本代码如下:

这是我使用的完整shell脚本,这里自动添加crontab任务的命令只有一行,就是 echo"* * * * * ${work_path}start.sh start >> ${work_path}logs/cron.log 2>&1">>/var/spool/cron/root,这个命令会每分钟都会调用start.sh脚本,而start.sh脚本中启动了python,几个坑需要注意,crontab中请使用绝对路径,因为crontab启动程序时,相对路径所对应的坐标系其实与你手动启动该脚本时是不同的,使用绝对路径省事,这里还将star.sh脚本的输出内容都重定向到对应的日志文件中。

为什么不直接通过crontab启动python程序呢?而是要再绕一层,通过shell脚本来启动,这其实也是一个坑,除非你是单python文件,不然通常都使用shell脚本的形式启动python,而不在直接使用crontab来启动,这同样是因为crontab启动的任务相对路径的坐标系改变了,多文件的python项目相互引入文件时,使用的坐标系与crontab启动时不同,导致crontab直接启动python项目会失败,所以技巧就在于**,通过shell脚本来启动python程序,在启动前,通过cd命令进入python项目对应的目录,这样就将启动时的相对路径的坐标系改成与python的一致了**

具体可以看一下我的start.sh脚本,代码如下:

通过python启动任务的关键命令在于

首先会进入要启动python项目的所在目录,然后再通过python启动对应的py文件,这里使用python解释器同样要使用全路径,因为线上系统中存在多个python,因为该python程序是耗时程序,所以我希望它在后台运行,所以使用了 nohup与 &关键字,将其放在后台去运行。

题外话:

centos系统中的yum是依赖python的,具体到centos6,其yum依赖系统本身就存在的python2.6,但开发环境通常要使用python2.7,此时最好不要删除系统中自带的python2.6,如果你直接删除,会导致yum使用不了,此时就需要修改一下yum对应文件中的python指向,最好的方法就是直接安装python2.7,然后在/usr/bin下创建对应的软连接来使用。

小结

python程序员在工作中其实不能只会python,因为python虽然强大,但也会有其缺陷,所以什么好用,用什么才是对的,还有python是一种语言,不要被语言局限。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

职业发展

作为一个代码打工仔,对于绝大部分程序员来说,想要成为牛逼的真正挣钱程序员的路还很长,一刻都不能懈怠。

我们无法从HR角度,或者技术leader的角度来臆测哪种状态的面试更能获取面试官青睐。但通过我们积攒的大量的面试经验,大家多少可以推断一些成为有竞争力的程序员的一些必要条件。

大佬云集、资料丰富

当初我在字节认识一个非常非常资深的前辈,他到字节比我早三年,但因为各种原因级别不是很高。我当时问他,既然你对现状如此不满,为什么不想着离开寻找更好的机会呢?

他沉思了片刻跟我说,他说我现在在这里虽然待着不顺心,但是我接触到的人都是非常优秀的。我遇到问题,还可以和你们讨论讨论。我如果出去了,我要是再遇到问题,可能连一个讨论的人都没有。

我当时听听只是觉得有道理,现在再回想起来,感受非常深刻。三观、格局、能力,能够进入大公司的,这三个方面一般都不会太差。别的不说,就拿个人能力而言,我曾出国出差过几个月,有幸见识了许多各种海外名校的同事,和他们学习交流人工智能,这真的让我AI有了更深层次的认识。

除了优秀的同事之外,大公司里往往还有丰富的内部文档和资料。我当时在字节内部看到了很多优秀的文章,也有很多优秀的技术沙龙和分享。现在想起来两年下来,也没有去过几次,文章和资料看得也不算多,现在想想颇为遗憾。别的不说,就拿推荐领域而言,近些年质量不错的论文往往都来源于大公司尤其是国内的大公司,以腾讯、华为和头条为主。除了公开的论文,公司内部还有很多技术相关的资料和文档,这些真的可以说是有价无市,非常珍贵。

文中所展示的资料全部都是免费分享,扫一扫下方CSDN官方认证微信二维码即可【保证100%免费】

Python 知识手册

Linux 知识手册

爬虫查询手册

而且,这些资料不是扫描版的,里面的文字都可以直接复制,非常便于我们学习:

数据分析知识手册:

机器学习知识手册:

金融量化知识手册:

岗位内推、学习交流

我们大量需要前端岗位、python岗位、Java 岗位、Android 和 iOS 的开发岗位,工作地点:北京字节,欢迎校招社招扫描下方二维码找我内推

如果你觉得自己学习效率低,缺乏正确的指导,可以加入资源丰富,学习氛围浓厚的CSDN官方技术圈一起学习交流吧!

最新文章
ddos攻击怎么防御,一文了解如何防御DDoS攻击
DDoS攻击是目前最普遍的网络攻击手段,DDoS攻击非常受黑客欢迎,因为DDoS攻击非常有效,易于启动,并且几乎不会留下痕迹。那么如何防御DDoS攻击呢?你能否确保对你的web服务器和应用程序提供高级别的DDoS攻击防护?超级科技带你一文了解如
C语言程序 电脑启动智能语音,智能语音控制中心: 运行于树莓派、Nanopi、OrangePi等开发板的智能语音控制程序。本程序基于百度语音识别、语音合成和图灵机器人。可通过程序控制语音控制家中电器设
智能语音控制中心C语言编写的基于百度语音识别、语音合成和图灵机器人的智能语音控制中心。程序自动适配环境音量,取适当阀值当说话后才开始录音。加入偶发性声音检测机制,不会对突然性的声音做出处理。此程序能够在Nanopi Ne
ai文案生成器:让写作更快、更准、更有趣
  人工智能在各行各业中已经广泛应用,其中包括文案行业。而AI文案生成器是一种利用深度学习算法、自然语言处理技术等实现文本自动生成的工具。这种工具不仅能够帮助我们简化写作流程,还能够提高我们的写作效率、准确度和创
android10 谷歌服务框架,google服务框架下载官方版
google服务框架最新版(google services framework)是一款对于手机来说非常重要的应用程序,有不少朋友会觉得它没用把它误删,但现在有很多的软件和游戏需要谷歌服务的支持,所以有需要的朋友可以到当易网下载使用!
2024年自动驾驶十大品牌
一、自动驾驶技术要解决哪些问题遇到的挑战有哪些自动驾驶目前需要解决的难题,其实最核心和最困难的挑战就是“感知”,换句话说系统对周围驾驶环境的感知能力越强,其自动驾驶的综合能力就越强;也就是从这里,行业里分成了两大流派,一个
AI全能助手
AI全能助手软件给用户提供了优秀的智能创作功能,只要用户输入相关的描述,就能够快速帮助用户生成不同的作品,给用户节省了大量时间和精力。所有的功能都是免费的,支持不同的作品格式,能够创作作文以及新媒体作品和各种文案,在创作时可
AI软件里形状生成器在哪
AI软件里形状生成器在哪?AI软件中的形状生成器通常位于编辑或设计工具的功能菜单中。通过使用形状生成器,用户可以快速创建各种几何形状,如圆形、矩形、三角形、椭圆等。下面是一些关于AI软件中形状生成器的常见问题和解答。要在AI软件中
C语言游戏实战(11):贪吃蛇大作战(多人对战)
这款贪吃蛇大作战是一款多人游戏,玩家需要控制一条蛇在地图上移动,吞噬其他蛇或者食物来增大自己的蛇身长度和宽度。本游戏使用C语言和easyx图形库编写,旨在帮助初学者了解游戏开发的基本概念和技巧。 在开始编写代码
2024年必备!AI绘图工具:轻松制作个性化动漫头像和情侣头像
AI太神奇了!上传照片,AI帮你5秒生成动漫头像,超多风格可选,前100名免费体验 → https://ai.sohu.com/pc/generate?trans=030001_jdaitx第一步:在电脑或手机浏览器中打开简单AI(https://ai.sohu.com/pc/generate/textToImg?trans=03000
AI智能换脸技术:实现职业半身照面部替换与完美融合
随着科技的发展人工智能技术逐渐成为人们生活的一部分。近年来智能换脸技术更是受到了广泛关注。本文将探讨怎样利用智能换脸技术实现职业半身照的面部替换与完美融合。在当今社会职业形象对个人发展至关关键。高清女士教师职业休闲正装半身
相关文章
推荐文章
发表评论
0评