分享好友 最新动态首页 最新动态分类 切换频道
Heritrix工具实现网络爬虫
2024-12-26 21:03

上次用的java相关知识实现了一个简单的网络爬虫,现在存在许多开源免费的爬虫工具,相对来说,可以很简单的获取网页数据,并写入到本地。

下面我就阐述一下我用Heritrix爬虫工具实现网页数据爬取

------>

目录

1、Heritrix文件配置

2、Heritrix服务器job配置

3、如何创建job并执行

4、有选择的爬取网页

5、总结

----->

 

1‘  基础文件配置

网上下载heritrix的压缩包,即可配置一个爬虫服务器,其核心使用的是Tomcat。

修改根目录下此文件,将.template去掉。

 

imxremote.password的文件变为只读(属性

注意:【如果是win7系统,需要将此文件的所有者改为当前用户,如图。

点击“高级”

点击“编辑”

 

 此处选择当前的用户,再点击”应用“,即可。

 

2’  服务器Job配置

执行bin目录下的heritrix.cmd命令,用来启动这个服务器必须在命令行下执行)。

 示例:首先进入该文件的bin目录下,启动命令为

heritrix.cmd  --admin=user:password

启动如果成功,显示窗口

启动成功之后,通过浏览器访问当前服务器的8080端口来准备进行数据采集。

即输入   localhost:8080/

进入之后首先输入你刚开始配置时设定的用户名和密码。

然后进入首页

此窗口可以看到一些选项,有三个选项是比较重要的

1)    Console:控制台,在这里可以监控当前的任务爬取状态

2)    Jobs:可以在这里建立新的爬取任务

3)    Profiles:配置爬取的属性,例如:爬取的总线程数

首先需要在profiles中自己建立一个自定义的爬取的属性配置。在Profiles选项内选择New Profile based on it

进入界面

 

 点击Modules

这里需要设置爬取时的参数类

例如:爬取的范围,下载后的保存类型,爬取时所要下载的文件类型等。

首先要注意一点,两个change必须要点一下,我当时就是忽略了这个导致job无法提交

之后你需要在此界面下面设置10个类,按我的图来(规则我就不解释了

之后,选择Settings进行一些其他属性的配置,此处要更改一个线程数(这个看你的电脑配置咯,之后再http-headers里面需要填写你的工具版本,ip地址以及个人邮箱这个主要是告诉网站管理者哪个帅锅在爬我的网页,当然,劝告一下,国外和国内一些大型的网站不要爬取,很容易被监测到也可能触犯到信息窃取

之后点击Finished会提示Profile modified,表示修改成功

 

3’  建立爬取任务并执行

Jobs选项,选择Based on a profile选项,然后选择刚刚配置的那个myprofile,在此处选择你需要爬取的网站,我选择的是新浪新闻的首页

然后点击submit job,如果两个箭头都显示才表示创建job成功,相反我有一个配置类的没有点击change下面一个箭头就会提示初始化错误

 

 此时你进入console点击Start就会开始执行任务

如果你要结束或者暂停任务,点击Terminate

此时线程在不断爬取数据,你不断的点击Refresh会发现在不断更新数据,然后爬取的文件会在heritrix的根目录jobs里面找到,所有数据存放位置在如下路径的mirror文件夹内

到此刻,网络爬取结束,如上就是这个工具的使用方法。

 4‘  如何有选择的爬取网页

测试时会发现,爬取的内容太杂,不一定都是我们想要的,因此我们需要对这个工具的源代码进行一些简单的调整。

首先要将heritrix的jar包备份解压

然后需要将heritrix-1.12.1.jar文件拷贝到一个项目,基于这个文件来进行配置。

自己编写好这个工具类。

编写好以后,需要将这个类打包到jar包里。使用class文件

之后修改modules下的Processor.options文件

将以下内容加入到这个文件中。

org.liky.utils.SinaNewsScheduler|SinaNewsScheduler

前半部分是包.类名,后半部分就是类名,中间用 | 分隔。

 

然后使用jar命令将包打到一起

jar包替换掉原有的包(可以把原有的做个备份留下,防止打包有问题无法恢复)。

重新启动heritrix,然后修改Profile的配置

此时,再次爬取新浪新闻的时候,只会提取链接含有指定字符串的网址,排除很多无关的链接。

 

 

总结

  相对来说,Heritrix工具来爬取网页数据是相当简单的,无需写代码就可以进行大量的数据收集。

  但是,与我上一篇博客《java实现网络爬虫》还是有些许不同

    首先在自由度上,手写的代码可以确认爬取的深度、排除无需爬取的网页、提取有用的数据

    其次在内容上很繁杂,很多无效的数据也收集了,而且爬取的网页会越来越多(当然,有一种修改配置的方法,写一个java代码限制爬取的网页,然后将该class文件放入heritrix的jar包(上述第四个标题,关于修改源代码我相信很多新手都会望而止步,而且多写java代码来实现网络爬虫,益处多多

    最后在下一步数据分析上,可能多一点麻烦,谁会乐意整理一堆繁杂纷乱的数据呢

  至此,我还是倾向于java代码实现网络爬虫,而且可以很方便的将数据收集到hadoop中,进行大数据的mapreduce进行分析。

  这样就相当于一个初步的大数据数据采集了。

    

最新文章
用AI绘画轻松生成超逼真美女写真,快来了解这款神器吧!
限时免费,点击体验最近超火的AI生图神器,坐拥3000美女的大男主就是你! https://ai.sohu.com/pc/generate/textToImg?_trans_=030001_yljdaimn 在这个数字化与科技迅速发展的时代,艺术创作的方式也在悄然改变。许多人可能会想,如何能够
投放Google广告必备!这几大因素助你精准营销
谷歌广告投放作为一种强大的营销手段,能够有效助力企业宣传推广其产品和服务,进而吸引更多潜在客户的关注。在探讨谷歌广告的投放策略与技巧时,以下是一些基础建议,包括精准定位受众、精心选择关键字、编写富有成效的广告文案、合理设置
影像超声人工智能软件(流程优化类功能)技术审评要点发布
国家药监局器审中心关于发布影像超声人工智能软件(流程优化类功能)技术审评要点等4个审评要点的通告(2023年第23号)发布时间:2023-07-10  为规范人工智能医疗器械相关产品的管理,国家药监局器审中心组织制定了《影像超声人工智能软
选择缅甸龙坤环保的 4 大理由
成都龙坤环保科技有限公司是生产玻璃钢化粪池、塑料检查井的专业厂家。为广大客户专业提供玻璃钢化粪池、PE塑料检查井、一体化污水处理设备、玻璃钢隔油池、玻璃钢沉砂池、玻璃钢储罐、玻璃钢消防池、塑料检查井井筒、塑料检查井连接管及其
腾讯接下来怎么做搜索?
文 | 新莓daybreak,作者|翟文婷"自推荐算法的崛起,搜索就被视为是过去式,一个落后的信息连接方式。现在迎来新的变量。买下搜狗只是第一步,接下来腾讯打算怎么做搜索?"腾讯买下搜狗可能是过去一年来,互联网最受关注的事件。三个月前
四期期准三期内必出,反馈内容和总结_苹果版14.442
本文目录导读:四期期准三期内必出功能介绍功能背后的技术࡜
探讨SEO从业者的工作定位与能力提升
这个问题很有代表性,而且很多人想知道,之前留言本49021楼的文召召说:您好,卢松松,向您请教一些工作定位的问题,我在深圳工作,从事,做也有二年多了,现在的公司只有我一个人在做这块,所以平时什么都做,最近比较烦的问题是:怎么提
厦门大数匠教育
H5数据可视化课程
相关文章
推荐文章
发表评论
0评