Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观,易用的Hadoop管理Web UI。
提供了跨任意数量的主机安装Hadoop服务的分步向导。
处理群集的Hadoop服务配置。
提供集中管理,用于在整个集群中启动,停止和重新配置Hadoop服务。
提供了一个仪表板,用于监控Hadoop集群的运行状况和状态。
利用Ambari指标系统进行指标收集。
利用Ambari Alert Framework进行系统警报,并在需要您注意时通知您(例如,节点出现故障,剩余磁盘空间不足等)。
注意:以下操作三台机器都需要进行
克隆三台虚拟机(hadoop102、hadoop103、hadoop104),配置好对应主机的网络IP、主机名称、关闭防火墙。
将SELINUX=enforcing改为SELINUX=disabled
执行该命令后重启机器生效
1)在hadoop102的/opt目录下创建module和software文件夹
2)用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录下
3)在Linux系统下的opt目录中查看软件包是否导入成功
4)解压JDK到/opt/module目录下
5)配置JDK环境变量
(1)先获取JDK路径
(2)打开/etc/profile文件
在profile文件末尾添加JDK路径
(3)保存后退出
(4)让修改后的文件生效
6)测试JDK是否安装成功
7)将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机
配置hadoop102对hadoop102、hadoop103、hadoop104三台主机的免密登陆。
1)生成公钥和私钥:
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
2)将公钥拷贝到要免密登录的目标机器上
如果不关闭transparent_hugepage,HDFS会因为这个性能严重受影响。
关闭transparent_hugepage方法是:
重启之后,用下面的命令检查:
有 [never]则表示THP被禁用
设定用户所创建目录的初始权限
修改:enabled=0
注意:以下操作主节点操作即可
制作本地源是因为在线安装Ambari太慢。制作本地源只需在主节点上进行。
配置HTTPD 服务
配置HTTPD 服务到系统层使其随系统自动启动
安装工具
安装本地源制作相关工具
添加gpgcheck=0
将下载的3个tar包解压
创建本地源
将Ambari存储库文件下载到安装主机上的目录中
修改配置文件,配置为本地源
修改ambari.repo,配置为本地源
修改hdp-util.repo,配置为本地源
修改hdp.repo,配置为本地源
查看Ambari 与 HDP 资源的资源库。
也可以打开浏览器查看一下:
http://hadoop102/ambari/centos6/
http://hadoop102/hdp/HDP/centos6/
http://hadoop102/hdp/
Ambari使用的默认数据库是PostgreSQL,用于存储安装元数据,可以使用自己安装MySQL数据库作为Ambari元数据库。
注意:一定要用root用户操作如下步骤;先卸载MySQL再安装
1)安装包准备
(1)查看MySQL是否安装
(2)如果安装了MySQL,就先卸载
(3)解压mysql-libs.zip文件到当前目录
(4)进入到mysql-libs文件夹下
2)安装MySQL服务器
(1)安装MySQL服务端
(2)查看产生的随机密码
(3)查看MySQL状态
(4)启动MySQL
3)安装MySQL客户端
(1)安装MySQL客户端
(2)链接MySQL
(3)修改密码
(4)退出MySQL
4)MySQL中user表中主机配置
配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。
(1)进入MySQL
(2)显示数据库
(3)使用MySQL数据库
(4)展示MySQL数据库中的所有表
(5)展示user表的结构
(6)查询user表
(7)修改user表,把Host表内容修改为%
(8)删除root用户的其他host
(9)刷新
(10)退出
1)安装ambari-server
2) 拷贝mysql驱动
将mysql-connector-java.jar复制到/usr/share/java目录下并改名为mysql-connector-java.jar
将mysql-connector-java.jar复制到/var/lib/ambari-server/resources目录下并改名为mysql-jdbc-driver.jar
修改ambari.properties文件
添加
1)创建ambari库
2)使用Ambari自带脚本创建表
3)赋予用户root权限:
4)刷新
执行
下面是配置执行流程,按照提示操作
1) 提示是否自定义设置。输入:y
2)ambari-server 账号。
如果直接回车就是默认选择root用户
3)设置JDK。输入:3
如果上面选择3自定义JDK,则需要设置JAVA_HOME。
4)数据库配置。选择:y
5)选择数据库类型。输入:3
6)设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。如果想重命名,就输入。
7)将Ambari数据库脚本导入到数据库
如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambari的sql脚本。
启动命令为:
停止命令为:
进入登录页面
浏览器输入http://hadoop102:8080/
默认管理员账目密码:admin
点击Launch Install Wizard
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T2Gjsyfm-1603158899563)(https://www.rookiegao.top/upload/2020/04/image-755fcfef2ae945aa87f6eb5051946bf3.png)]
设置集群名称
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W7azVECe-1603158899565)(https://www.rookiegao.top/upload/2020/04/image-7ab5ebc1fb864aec88b163cd5d59a10e.png)]
选择版本和存储库
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pUT8O4ZW-1603158899568)(https://www.rookiegao.top/upload/2020/04/image-1aeff24eef1648b987b6b170639c2cbd.png)]
填写本地库地址
在redhat6后面分别填写
http://hadoop102/hdp/HDP/centos6/
http://hadoop102/hdp/
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X1ZdLTrG-1603158899569)(https://www.rookiegao.top/upload/2020/04/image-b59b078b8651406dbacfb2124f474b93.png)]
填写主机地址以及主节点的id.rsa文件
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pNsOUyCZ-1603158899571)(https://www.rookiegao.top/upload/2020/04/image-b8ec2e89e4d248839987d9ab65883286.png)]
等待安装
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8HHJly8I-1603158899572)(https://www.rookiegao.top/upload/2020/04/image-4266c2e0dd9442b991e485636348d702.png)]
选择服务
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SPrAYQ4O-1603158899573)(https://www.rookiegao.top/upload/2020/04/image-d6cea6871a304aa5b5d4d5facf894e8b.png)]
选择每台机器的角色
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5yu1iE6v-1603158899574)(https://www.rookiegao.top/upload/2020/04/image-59468675b6634b5a8aa2183d1f04cdb5.png)]
设置从节点
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-14ORKozf-1603158899574)(https://www.rookiegao.top/upload/2020/04/image-35e11c10abde44049645bbb96f46deba.png)]
输入两次admin
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nPiUewb4-1603158899575)(https://www.rookiegao.top/upload/2020/04/image-eefe8bb08f6a4f479ba43aa6a43d6baf.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1e640xEp-1603158899576)(https://www.rookiegao.top/upload/2020/04/image-6a5f1d33e4314507ba38ea21ac006da0.png)]
继续
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9F2GWUJX-1603158899577)(https://www.rookiegao.top/upload/2020/04/image-6113b07b522b4fb49cc5473cbedbef05.png)]
等待服务安装和启动
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FhjfK6eQ-1603158899578)(https://www.rookiegao.top/upload/2020/04/image-6f3f5fbd64fc4bc7b773bbe5519bc53e.png)]
在/path/to/mysql/目录下放置Mysql驱动,并重命名为:mysql-connector-java.jar
4.2.2 执行ambari-server setup
点击添加服务
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J6JWAs8z-1603158899578)(https://www.rookiegao.top/upload/2020/04/image-cc3010276f944ff38841dbc51d18da49.png)]
选择hive
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HM4TTIPL-1603158899579)(https://www.rookiegao.top/upload/2020/04/image-aa2cd722fcf044ea83c9ed00f3fe0235.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lj8IWP8p-1603158899580)(https://www.rookiegao.top/upload/2020/04/image-1d824ca3c7b0408783a20ad45448797d.png)]
分配节点
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-imHgz2oW-1603158899581)(https://www.rookiegao.top/upload/2020/04/image-59fae522da2d436dbccbe17ee1d02261.png)]
分配从属和客户端
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4f7ohA3Q-1603158899583)(https://www.rookiegao.top/upload/2020/04/image-efcb5fa8560447a9a4dec92de8b547ac.png)]
配置hive数据库连接
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EgPhbXIH-1603158899584)(https://www.rookiegao.top/upload/2020/04/image-cee5c5dea12340599d86056bababcf16.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jHiZFz8h-1603158899585)(https://www.rookiegao.top/upload/2020/04/image-4a5992294a7c47a786497d34a27603dd.png)]
点击下一步
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ERZKSZoJ-1603158899586)(https://www.rookiegao.top/upload/2020/04/image-48a26d04846747319a287f00611d0ff6.png)]
等待安装
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vqDLlKlu-1603158899587)(https://www.rookiegao.top/upload/2020/04/image-f43e454b6bfa4f9ab2afb99382260b59.png)]
添加服务
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nAEOXeZq-1603158899588)(https://www.rookiegao.top/upload/2020/04/image-8af79aecd6f2438789f443e2f15e4e3a.png)]
填写nameservice名称
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EwgVfUuJ-1603158899588)(https://www.rookiegao.top/upload/2020/04/image-89533cac0c964b67928a44cb56ef4357.png)]
角色分配
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1hRRKrx9-1603158899589)(https://www.rookiegao.top/upload/2020/04/image-793106bef20b4c00828d6528e6fe675c.png)]
直接下一步
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ewxayLjg-1603158899591)(https://www.rookiegao.top/upload/2020/04/image-af02556f77fd406e85af0ff1a01cd590.png)]
安装提示执行命令
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kTlK63ac-1603158899592)(https://www.rookiegao.top/upload/2020/04/image-adc1a4a53de449d2bfdd02ba5a0323e8.png)]
安装组件
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pfiz5zRL-1603158899593)(https://www.rookiegao.top/upload/2020/04/image-179b5dba0e184d88b56c752514e863cf.png)]
根据页面提示操作
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-19VAhEJH-1603158899594)(https://www.rookiegao.top/upload/2020/04/image-108bc37ba1f841a7b427ffb0b63d0e3d.png)]
等待启动组件
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ah7xsG0R-1603158899595)(https://www.rookiegao.top/upload/2020/04/image-f4c5e5dc1da9454a87a7c4f98ae6035e.png)]
安装页面提示初始化NameNode HA
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gHUAFWHD-1603158899595)(https://www.rookiegao.top/upload/2020/04/image-9fe714719979426b9336e626ed9413d7.png)]