Ambari部署Hadoop

   日期:2024-12-26    作者:gpzhang6688 移动:http://3jjewl.riyuangf.com/mobile/quote/55820.html

Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观,易用的Hadoop管理Web UI。

提供了跨任意数量的主机安装Hadoop服务的分步向导。

处理群集的Hadoop服务配置。

提供集中管理,用于在整个集群中启动,停止和重新配置Hadoop服务。

提供了一个仪表板,用于监控Hadoop集群的运行状况和状态。

利用Ambari指标系统进行指标收集。

利用Ambari Alert Framework进行系统警报,并在需要您注意时通知您(例如,节点出现故障,剩余磁盘空间不足等)。

注意:以下操作三台机器都需要进行

克隆三台虚拟机(hadoop102、hadoop103、hadoop104,配置好对应主机的网络IP、主机名称、关闭防火墙。

 
 
 

将SELINUX=enforcing改为SELINUX=disabled
执行该命令后重启机器生效

1)在hadoop102的/opt目录下创建module和software文件夹

 

2)用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录下
3)在Linux系统下的opt目录中查看软件包是否导入成功

 

4)解压JDK到/opt/module目录下

 

5)配置JDK环境变量

(1)先获取JDK路径

 

(2)打开/etc/profile文件

 

在profile文件末尾添加JDK路径

 

(3)保存后退出

 

(4)让修改后的文件生效

 

6)测试JDK是否安装成功

 

7)将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机

 
 

配置hadoop102对hadoop102、hadoop103、hadoop104三台主机的免密登陆。
1)生成公钥和私钥

 

然后敲(三个回车,就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥
2)将公钥拷贝到要免密登录的目标机器上

 
 
 
 
 
 

如果不关闭transparent_hugepage,HDFS会因为这个性能严重受影响。
关闭transparent_hugepage方法是

 

重启之后,用下面的命令检查

 

有 [never]则表示THP被禁用

设定用户所创建目录的初始权限

 
 
 

修改:enabled=0

注意:以下操作主节点操作即可

制作本地源是因为在线安装Ambari太慢。制作本地源只需在主节点上进行。

配置HTTPD 服务

配置HTTPD 服务到系统层使其随系统自动启动

 

安装工具

安装本地源制作相关工具

 

添加gpgcheck=0

将下载的3个tar包解压

 

创建本地源

 

将Ambari存储库文件下载到安装主机上的目录中

 

修改配置文件,配置为本地源

修改ambari.repo,配置为本地源

 

修改hdp-util.repo,配置为本地源

 

修改hdp.repo,配置为本地源

 

查看Ambari 与 HDP 资源的资源库。
也可以打开浏览器查看一下
http://hadoop102/ambari/centos6/
http://hadoop102/hdp/HDP/centos6/
http://hadoop102/hdp/

Ambari使用的默认数据库是PostgreSQL,用于存储安装元数据,可以使用自己安装MySQL数据库作为Ambari元数据库。
注意:一定要用root用户操作如下步骤;先卸载MySQL再安装
1)安装包准备
(1)查看MySQL是否安装

 

(2)如果安装了MySQL,就先卸载

 

(3)解压mysql-libs.zip文件到当前目录

 

(4)进入到mysql-libs文件夹下

 

2)安装MySQL服务器

(1)安装MySQL服务端

 

(2)查看产生的随机密码

 

(3)查看MySQL状态

 

(4)启动MySQL

 

3)安装MySQL客户端
(1)安装MySQL客户端

 

(2)链接MySQL

 

(3)修改密码

 

(4)退出MySQL

 

4)MySQL中user表中主机配置
配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。
(1)进入MySQL

 

(2)显示数据库

 

(3)使用MySQL数据库

 

(4)展示MySQL数据库中的所有表

 

(5)展示user表的结构

 

(6)查询user表

 

(7)修改user表,把Host表内容修改为%

 

(8)删除root用户的其他host

 

(9)刷新

 

(10)退出

 
 

1)安装ambari-server

 

2) 拷贝mysql驱动
将mysql-connector-java.jar复制到/usr/share/java目录下并改名为mysql-connector-java.jar

 

将mysql-connector-java.jar复制到/var/lib/ambari-server/resources目录下并改名为mysql-jdbc-driver.jar

 

修改ambari.properties文件

 

添加

 
 

1)创建ambari库

 

2)使用Ambari自带脚本创建表

 

3)赋予用户root权限

 

4)刷新

 
 

执行

 

下面是配置执行流程,按照提示操作
1) 提示是否自定义设置。输入:y

 

2)ambari-server 账号。

 

如果直接回车就是默认选择root用户
3)设置JDK。输入:3

 

如果上面选择3自定义JDK,则需要设置JAVA_HOME。

 

4)数据库配置。选择:y

 

5)选择数据库类型。输入:3

 

6)设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。如果想重命名,就输入。

 

7)将Ambari数据库脚本导入到数据库

 

如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambari的sql脚本。

启动命令为

 

停止命令为

 
 
 

进入登录页面

浏览器输入http://hadoop102:8080/
默认管理员账目密码:admin

点击Launch Install Wizard

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T2Gjsyfm-1603158899563)(https://www.rookiegao.top/upload/2020/04/image-755fcfef2ae945aa87f6eb5051946bf3.png)]

设置集群名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W7azVECe-1603158899565)(https://www.rookiegao.top/upload/2020/04/image-7ab5ebc1fb864aec88b163cd5d59a10e.png)]

选择版本和存储库

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pUT8O4ZW-1603158899568)(https://www.rookiegao.top/upload/2020/04/image-1aeff24eef1648b987b6b170639c2cbd.png)]

填写本地库地址

在redhat6后面分别填写
http://hadoop102/hdp/HDP/centos6/
http://hadoop102/hdp/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X1ZdLTrG-1603158899569)(https://www.rookiegao.top/upload/2020/04/image-b59b078b8651406dbacfb2124f474b93.png)]

填写主机地址以及主节点的id.rsa文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pNsOUyCZ-1603158899571)(https://www.rookiegao.top/upload/2020/04/image-b8ec2e89e4d248839987d9ab65883286.png)]

等待安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8HHJly8I-1603158899572)(https://www.rookiegao.top/upload/2020/04/image-4266c2e0dd9442b991e485636348d702.png)]

选择服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SPrAYQ4O-1603158899573)(https://www.rookiegao.top/upload/2020/04/image-d6cea6871a304aa5b5d4d5facf894e8b.png)]

选择每台机器的角色

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5yu1iE6v-1603158899574)(https://www.rookiegao.top/upload/2020/04/image-59468675b6634b5a8aa2183d1f04cdb5.png)]

设置从节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-14ORKozf-1603158899574)(https://www.rookiegao.top/upload/2020/04/image-35e11c10abde44049645bbb96f46deba.png)]

输入两次admin

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nPiUewb4-1603158899575)(https://www.rookiegao.top/upload/2020/04/image-eefe8bb08f6a4f479ba43aa6a43d6baf.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1e640xEp-1603158899576)(https://www.rookiegao.top/upload/2020/04/image-6a5f1d33e4314507ba38ea21ac006da0.png)]

继续

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9F2GWUJX-1603158899577)(https://www.rookiegao.top/upload/2020/04/image-6113b07b522b4fb49cc5473cbedbef05.png)]

等待服务安装和启动

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FhjfK6eQ-1603158899578)(https://www.rookiegao.top/upload/2020/04/image-6f3f5fbd64fc4bc7b773bbe5519bc53e.png)]

在/path/to/mysql/目录下放置Mysql驱动,并重命名为:mysql-connector-java.jar

 

4.2.2 执行ambari-server setup

 

点击添加服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J6JWAs8z-1603158899578)(https://www.rookiegao.top/upload/2020/04/image-cc3010276f944ff38841dbc51d18da49.png)]

选择hive

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HM4TTIPL-1603158899579)(https://www.rookiegao.top/upload/2020/04/image-aa2cd722fcf044ea83c9ed00f3fe0235.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lj8IWP8p-1603158899580)(https://www.rookiegao.top/upload/2020/04/image-1d824ca3c7b0408783a20ad45448797d.png)]

分配节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-imHgz2oW-1603158899581)(https://www.rookiegao.top/upload/2020/04/image-59fae522da2d436dbccbe17ee1d02261.png)]

分配从属和客户端

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4f7ohA3Q-1603158899583)(https://www.rookiegao.top/upload/2020/04/image-efcb5fa8560447a9a4dec92de8b547ac.png)]

配置hive数据库连接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EgPhbXIH-1603158899584)(https://www.rookiegao.top/upload/2020/04/image-cee5c5dea12340599d86056bababcf16.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jHiZFz8h-1603158899585)(https://www.rookiegao.top/upload/2020/04/image-4a5992294a7c47a786497d34a27603dd.png)]

点击下一步

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ERZKSZoJ-1603158899586)(https://www.rookiegao.top/upload/2020/04/image-48a26d04846747319a287f00611d0ff6.png)]

等待安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vqDLlKlu-1603158899587)(https://www.rookiegao.top/upload/2020/04/image-f43e454b6bfa4f9ab2afb99382260b59.png)]

添加服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nAEOXeZq-1603158899588)(https://www.rookiegao.top/upload/2020/04/image-8af79aecd6f2438789f443e2f15e4e3a.png)]

填写nameservice名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EwgVfUuJ-1603158899588)(https://www.rookiegao.top/upload/2020/04/image-89533cac0c964b67928a44cb56ef4357.png)]

角色分配

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1hRRKrx9-1603158899589)(https://www.rookiegao.top/upload/2020/04/image-793106bef20b4c00828d6528e6fe675c.png)]

直接下一步

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ewxayLjg-1603158899591)(https://www.rookiegao.top/upload/2020/04/image-af02556f77fd406e85af0ff1a01cd590.png)]

安装提示执行命令

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kTlK63ac-1603158899592)(https://www.rookiegao.top/upload/2020/04/image-adc1a4a53de449d2bfdd02ba5a0323e8.png)]

安装组件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pfiz5zRL-1603158899593)(https://www.rookiegao.top/upload/2020/04/image-179b5dba0e184d88b56c752514e863cf.png)]

根据页面提示操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-19VAhEJH-1603158899594)(https://www.rookiegao.top/upload/2020/04/image-108bc37ba1f841a7b427ffb0b63d0e3d.png)]

等待启动组件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ah7xsG0R-1603158899595)(https://www.rookiegao.top/upload/2020/04/image-f4c5e5dc1da9454a87a7c4f98ae6035e.png)]

安装页面提示初始化NameNode HA

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gHUAFWHD-1603158899595)(https://www.rookiegao.top/upload/2020/04/image-9fe714719979426b9336e626ed9413d7.png)]

等待完成


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号