分享好友 最新动态首页 最新动态分类 切换频道
Ambari部署Hadoop
2024-12-26 23:29

Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观,易用的Hadoop管理Web UI。

提供了跨任意数量的主机安装Hadoop服务的分步向导。

处理群集的Hadoop服务配置。

提供集中管理,用于在整个集群中启动,停止和重新配置Hadoop服务。

提供了一个仪表板,用于监控Hadoop集群的运行状况和状态。

利用Ambari指标系统进行指标收集。

利用Ambari Alert Framework进行系统警报,并在需要您注意时通知您(例如,节点出现故障,剩余磁盘空间不足等)。

注意:以下操作三台机器都需要进行

克隆三台虚拟机(hadoop102、hadoop103、hadoop104,配置好对应主机的网络IP、主机名称、关闭防火墙。

 
 
 

将SELINUX=enforcing改为SELINUX=disabled
执行该命令后重启机器生效

1)在hadoop102的/opt目录下创建module和software文件夹

 

2)用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录下
3)在Linux系统下的opt目录中查看软件包是否导入成功

 

4)解压JDK到/opt/module目录下

 

5)配置JDK环境变量

(1)先获取JDK路径

 

(2)打开/etc/profile文件

 

在profile文件末尾添加JDK路径

 

(3)保存后退出

 

(4)让修改后的文件生效

 

6)测试JDK是否安装成功

 

7)将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机

 
 

配置hadoop102对hadoop102、hadoop103、hadoop104三台主机的免密登陆。
1)生成公钥和私钥

 

然后敲(三个回车,就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥
2)将公钥拷贝到要免密登录的目标机器上

 
 
 
 
 
 

如果不关闭transparent_hugepage,HDFS会因为这个性能严重受影响。
关闭transparent_hugepage方法是

 

重启之后,用下面的命令检查

 

有 [never]则表示THP被禁用

设定用户所创建目录的初始权限

 
 
 

修改:enabled=0

注意:以下操作主节点操作即可

制作本地源是因为在线安装Ambari太慢。制作本地源只需在主节点上进行。

配置HTTPD 服务

配置HTTPD 服务到系统层使其随系统自动启动

 

安装工具

安装本地源制作相关工具

 

添加gpgcheck=0

将下载的3个tar包解压

 

创建本地源

 

将Ambari存储库文件下载到安装主机上的目录中

 

修改配置文件,配置为本地源

修改ambari.repo,配置为本地源

 

修改hdp-util.repo,配置为本地源

 

修改hdp.repo,配置为本地源

 

查看Ambari 与 HDP 资源的资源库。
也可以打开浏览器查看一下
http://hadoop102/ambari/centos6/
http://hadoop102/hdp/HDP/centos6/
http://hadoop102/hdp/

Ambari使用的默认数据库是PostgreSQL,用于存储安装元数据,可以使用自己安装MySQL数据库作为Ambari元数据库。
注意:一定要用root用户操作如下步骤;先卸载MySQL再安装
1)安装包准备
(1)查看MySQL是否安装

 

(2)如果安装了MySQL,就先卸载

 

(3)解压mysql-libs.zip文件到当前目录

 

(4)进入到mysql-libs文件夹下

 

2)安装MySQL服务器

(1)安装MySQL服务端

 

(2)查看产生的随机密码

 

(3)查看MySQL状态

 

(4)启动MySQL

 

3)安装MySQL客户端
(1)安装MySQL客户端

 

(2)链接MySQL

 

(3)修改密码

 

(4)退出MySQL

 

4)MySQL中user表中主机配置
配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。
(1)进入MySQL

 

(2)显示数据库

 

(3)使用MySQL数据库

 

(4)展示MySQL数据库中的所有表

 

(5)展示user表的结构

 

(6)查询user表

 

(7)修改user表,把Host表内容修改为%

 

(8)删除root用户的其他host

 

(9)刷新

 

(10)退出

 
 

1)安装ambari-server

 

2) 拷贝mysql驱动
将mysql-connector-java.jar复制到/usr/share/java目录下并改名为mysql-connector-java.jar

 

将mysql-connector-java.jar复制到/var/lib/ambari-server/resources目录下并改名为mysql-jdbc-driver.jar

 

修改ambari.properties文件

 

添加

 
 

1)创建ambari库

 

2)使用Ambari自带脚本创建表

 

3)赋予用户root权限

 

4)刷新

 
 

执行

 

下面是配置执行流程,按照提示操作
1) 提示是否自定义设置。输入:y

 

2)ambari-server 账号。

 

如果直接回车就是默认选择root用户
3)设置JDK。输入:3

 

如果上面选择3自定义JDK,则需要设置JAVA_HOME。

 

4)数据库配置。选择:y

 

5)选择数据库类型。输入:3

 

6)设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。如果想重命名,就输入。

 

7)将Ambari数据库脚本导入到数据库

 

如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambari的sql脚本。

启动命令为

 

停止命令为

 
 
 

进入登录页面

浏览器输入http://hadoop102:8080/
默认管理员账目密码:admin

点击Launch Install Wizard

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T2Gjsyfm-1603158899563)(https://www.rookiegao.top/upload/2020/04/image-755fcfef2ae945aa87f6eb5051946bf3.png)]

设置集群名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W7azVECe-1603158899565)(https://www.rookiegao.top/upload/2020/04/image-7ab5ebc1fb864aec88b163cd5d59a10e.png)]

选择版本和存储库

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pUT8O4ZW-1603158899568)(https://www.rookiegao.top/upload/2020/04/image-1aeff24eef1648b987b6b170639c2cbd.png)]

填写本地库地址

在redhat6后面分别填写
http://hadoop102/hdp/HDP/centos6/
http://hadoop102/hdp/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X1ZdLTrG-1603158899569)(https://www.rookiegao.top/upload/2020/04/image-b59b078b8651406dbacfb2124f474b93.png)]

填写主机地址以及主节点的id.rsa文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pNsOUyCZ-1603158899571)(https://www.rookiegao.top/upload/2020/04/image-b8ec2e89e4d248839987d9ab65883286.png)]

等待安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8HHJly8I-1603158899572)(https://www.rookiegao.top/upload/2020/04/image-4266c2e0dd9442b991e485636348d702.png)]

选择服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SPrAYQ4O-1603158899573)(https://www.rookiegao.top/upload/2020/04/image-d6cea6871a304aa5b5d4d5facf894e8b.png)]

选择每台机器的角色

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5yu1iE6v-1603158899574)(https://www.rookiegao.top/upload/2020/04/image-59468675b6634b5a8aa2183d1f04cdb5.png)]

设置从节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-14ORKozf-1603158899574)(https://www.rookiegao.top/upload/2020/04/image-35e11c10abde44049645bbb96f46deba.png)]

输入两次admin

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nPiUewb4-1603158899575)(https://www.rookiegao.top/upload/2020/04/image-eefe8bb08f6a4f479ba43aa6a43d6baf.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1e640xEp-1603158899576)(https://www.rookiegao.top/upload/2020/04/image-6a5f1d33e4314507ba38ea21ac006da0.png)]

继续

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9F2GWUJX-1603158899577)(https://www.rookiegao.top/upload/2020/04/image-6113b07b522b4fb49cc5473cbedbef05.png)]

等待服务安装和启动

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FhjfK6eQ-1603158899578)(https://www.rookiegao.top/upload/2020/04/image-6f3f5fbd64fc4bc7b773bbe5519bc53e.png)]

在/path/to/mysql/目录下放置Mysql驱动,并重命名为:mysql-connector-java.jar

 

4.2.2 执行ambari-server setup

 

点击添加服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J6JWAs8z-1603158899578)(https://www.rookiegao.top/upload/2020/04/image-cc3010276f944ff38841dbc51d18da49.png)]

选择hive

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HM4TTIPL-1603158899579)(https://www.rookiegao.top/upload/2020/04/image-aa2cd722fcf044ea83c9ed00f3fe0235.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lj8IWP8p-1603158899580)(https://www.rookiegao.top/upload/2020/04/image-1d824ca3c7b0408783a20ad45448797d.png)]

分配节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-imHgz2oW-1603158899581)(https://www.rookiegao.top/upload/2020/04/image-59fae522da2d436dbccbe17ee1d02261.png)]

分配从属和客户端

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4f7ohA3Q-1603158899583)(https://www.rookiegao.top/upload/2020/04/image-efcb5fa8560447a9a4dec92de8b547ac.png)]

配置hive数据库连接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EgPhbXIH-1603158899584)(https://www.rookiegao.top/upload/2020/04/image-cee5c5dea12340599d86056bababcf16.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jHiZFz8h-1603158899585)(https://www.rookiegao.top/upload/2020/04/image-4a5992294a7c47a786497d34a27603dd.png)]

点击下一步

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ERZKSZoJ-1603158899586)(https://www.rookiegao.top/upload/2020/04/image-48a26d04846747319a287f00611d0ff6.png)]

等待安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vqDLlKlu-1603158899587)(https://www.rookiegao.top/upload/2020/04/image-f43e454b6bfa4f9ab2afb99382260b59.png)]

添加服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nAEOXeZq-1603158899588)(https://www.rookiegao.top/upload/2020/04/image-8af79aecd6f2438789f443e2f15e4e3a.png)]

填写nameservice名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EwgVfUuJ-1603158899588)(https://www.rookiegao.top/upload/2020/04/image-89533cac0c964b67928a44cb56ef4357.png)]

角色分配

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1hRRKrx9-1603158899589)(https://www.rookiegao.top/upload/2020/04/image-793106bef20b4c00828d6528e6fe675c.png)]

直接下一步

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ewxayLjg-1603158899591)(https://www.rookiegao.top/upload/2020/04/image-af02556f77fd406e85af0ff1a01cd590.png)]

安装提示执行命令

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kTlK63ac-1603158899592)(https://www.rookiegao.top/upload/2020/04/image-adc1a4a53de449d2bfdd02ba5a0323e8.png)]

安装组件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pfiz5zRL-1603158899593)(https://www.rookiegao.top/upload/2020/04/image-179b5dba0e184d88b56c752514e863cf.png)]

根据页面提示操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-19VAhEJH-1603158899594)(https://www.rookiegao.top/upload/2020/04/image-108bc37ba1f841a7b427ffb0b63d0e3d.png)]

等待启动组件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ah7xsG0R-1603158899595)(https://www.rookiegao.top/upload/2020/04/image-f4c5e5dc1da9454a87a7c4f98ae6035e.png)]

安装页面提示初始化NameNode HA

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gHUAFWHD-1603158899595)(https://www.rookiegao.top/upload/2020/04/image-9fe714719979426b9336e626ed9413d7.png)]

等待完成

最新文章
磁力在线搜索引擎蜘蛛
搜索引擎是我日常工作中用得最多的一款工具,国内常用的搜索引擎包括Baidu,sougou,bing等。但我本篇要纪录的并不是这些常用的搜索引擎,而是信息安全从业人员必备的几款网络搜索引擎。本篇要介绍的搜索引擎包括:Shodan,censys,钟馗之
纯干货开发一个小程序需要多少钱?不同公司的报价差别太大,看完就懂了
各位迈友大家好~小迈迈又来跟大家叨叨了。一直以来,迈象网都十分重视用户的反馈,最近我们也根据用户的呼声来说说,开发一个小程序需要多少钱。纯干货和网上搜索的都不一样 ,看完这个要是不明白 ,你找我免费给你做个小程序。1.小程序三
百度地域性多个关键词排名的小技巧
重点导读:做SEO还是有比较大的操作空间的,不是SEO流量不好做,而是我们没有打开获取更多流量的方式。在优化地域性的朋友,可以试试本文说到的这个简单技巧。 百度地域性是很重要的,如果我们能够在做SEO的时候做好规划,就能获得大量精准
私域营销:解锁品牌增长新引擎
  在数字化营销日新月异的今天,私域营销作为品牌与消费者深度连接的重要策略,正逐渐成为市场营销领域的一大热点。私域营销,简而言之,就是通过建立和管理品牌自有的、直接面向消费者的沟通渠道,实现用户数据的积累、分析与应用,从而
免费漫画阅站app1.1.99版下载
字如其名,漫画免费看。《免费漫画阅站 1.1.99版》是一款非常可以尽情畅看漫画的神器,在免费漫画阅站软件内。海量的漫画资源,各种类型的漫画,绝对能够满足你的漫画阅读需求。在免费漫画阅站软件内,高清的漫画资源,更有个性化的推送功
速腾 carplay 点击无反应是怎么回事
仪表盘一直亮不灭可能有多种原因。一是牵引力控制系统TCS出现故障。二是车辆引擎灯、电池灯常亮这可能表示车辆电子系统有问题或者发动机异常需检查故障代码并维修。三是机油灯、刹车灯、轮胎压力灯等提醒灯常亮要及时处理。
网站点击排名优化,提升网站流量与用户体验的全方位策略,网站点击排名优化什么意思
网站点击排名优化是指通过一系列技术和策略,提高网站在搜索引擎中的排名,从而增加网站流量和用户体验。这包括优化网站内容、结构、链接等方面,以提高网站在搜索引擎中的可见性和权威性。通过点击排名优化,网站可以吸引更多的访问者,提
搜狗浏览器下载2015官方版 v6.2 最新电脑版
是一款拥有极速浏览速度的双核浏览器。搜狗浏览器下载2015采用最新的chrome内核和ie内核,其浏览速度毋庸置疑,但是现在市场上的浏览器也同样采用这两个内核,于是搜狗推出了智能预读系统,用户在输入网址时,浏览器智能识别用户输入的地址
第三季全球手机排行榜 诺基亚独占七席
  11月4日消息,据国外媒体报道,知名电子产品批发商RCS日前表示,在今年第三季度的全球十大畅销手机排行榜上,诺基亚依然实力强劲,独占了7个席位。而在上一季度排名第五的大众宠儿iPhone 在本季度却榜上无名。  以下是RCS统计的第三
昆仑山
首页 此部分内容前置为铸剑山庄开启紫金熔炉,未开启则不会刷出尸体昆仑山(9,14):尸体,第一次探查,获得【冰穿子】x1;第二次探查获得纸条,阅读得知冰面下面有东西,之后可以掩埋尸体昆仑山(18,16):冰面,使用冰穿子挖凿,选择冰窟窿,
相关文章
推荐文章
发表评论
0评