Skip to content

CM6添加组件

集群设置好后自动进入集群组件添加页面

1. 添加HDFS\YARN\ZooKeeper

选择自定义安装:
Alt text 选择安装服务HDFS\YARN\ZooKeeper,点击继续 Alt text 进入节点分配页面:
Alt text

hadoop101hadoop102hadoop103hadoop104hadoop106
HDFSNN2NNDNDNDN
YARNRMJobHistoryNMNMNM
ZooKeeperzkzkzk

点击继续后,进入参数配置页面,一般都不用改:
Alt text 点击继续就开始安装:
Alt text 点击完成: Alt text 访问http://hadoop101:9870/:Alt text

2. 处理平台问题

回到首页后,CDH提示有个配置项需要修改:
Alt text 点击问题后弹出框,如果不处理就直接点击supress表示关闭这类错误提示 Alt text 修改后,保存填写理由原因信息方便排查:
Alt textAlt text 改完出现有电源图标,表示配置需要重启server才能生效:
Alt text 等待重启完成:
Alt text 这时HDFS报了一个问题,点击进入: Alt text 发现是NameNode的内存小了,调大为3G: Alt text 点击保存:
Alt text 保存后,发现问题变多了,点击重启可能配置生效就解决了: Alt text 确认更改内容: Alt text 点击重启,搭建初期问题都尽量修改了:
Alt text 等待重启完成: Alt text

3. 配置HDFS的HA

HDFS是整个大数据框架的数据存储的部分,数据如果丢失不像Yarn资源调度失败了再重新启动点击HDFS简单,需要配置HDFS的高可用,点击HDFS, 进入HDFS组件页面: Alt text 这里需要配置一个命名空间,主要用来ZK中保存区分主NameNode和Standby的NameNode,使用默认点击继续: Alt text 配置节点:
Alt text 审核更改页面,设置读写目录:
Alt text 等待完成,启动服务, 点击继续 Alt text 点击完成:
Alt text 回到HDFS页面后,点击实例: Alt text 可以看到主备NameNode已经启用了:
Alt text

4. 配置Yarn的HA

在首页点击YARN, 进入YARN的页面,点击操作选择启用HA:
Alt text 配置节点为hadoop102,点击继续: Alt text 开始进行自动服务:
Alt text 完成后,在YARN页面点击实例,可以看到Yarnd的主备已经启用: Alt text

5. 安装Kafka

在首页点击添加服务:
Alt text 选择服务kafka:
Alt text Kafka的Broker选择三台机器, 安装到hadoop103~105上 Alt text 在审核更改页面,修改Kafka的内存大小为1G: Alt text 点击继续后,Kafka就开始安装:
Alt text 安装完成 Alt text 在命令行中操作:

sh
[root@hadoop101 ~]# kafka-topics --zookeeper hadoop103:2181 --list
[root@hadoop101 ~]# kafka-topics --bootstrap-server hadoop103:9092,hadoop104:9092,hadoop105:9092  --create --replication-factor 1 --partitions 1 --topic test1
[root@hadoop101 ~]# kafka-topics --zookeeper hadoop103:2181 --list
test1

使用idea去消费topic:test1 Alt text

6. Flume安装

在首页点击添加服务: Alt text 选择服务Flume: Alt text
由于已经安装了kafka, flume可以直接整合不用单独配置kafka信息:
Alt text Flume选择三台机器, 安装到hadoop103~105上 Alt text 点击完成,flume的agent安装好了并没有启动 Alt text 点击完成,回到首页,点击启动flume:
Alt text 弹出启动信息框,启动完成后点击关闭:
Alt text 在首页可以看到flume目前是启动状态:
Alt text

7. Hive安装

在首页点击添加服务: Alt text 选择服务Hive: Alt text 选择节点,gateway在5台机器都安装,hadoop102安装metastore和hiveserver2:
Alt text 配置配置hive元数据,使用之前创建hive数据库,测试通过后继续:
Alt text 进入hive的仓库地址配置,默认直接点击继续:
Alt text 点击继续开始安装,启动Hive进程:
Alt text 点击完成:
Alt text

8. 安装spark

在首页点击添加服务: Alt text 选择服务Spark: Alt text 进入节点分配页面,将HistoryServer安装在hadoop103上: Alt text 默认即可,点击继续:
Alt text 点击继续开始安装:
Alt text 点击完成:
Alt text 自动回到首页,点击spark旁边的按钮,重启生效配置: Alt text 点击重启过时服务: Alt text 点击立即重启:
Alt text 开始重启:
Alt text 重启后回到首页,Spark状态就正常了: Alt text

9. 安装Oozie

首页添加服务,选择服务Oozie: Alt text 选择集成对多的服务那一栏:
Alt text 将Oozie部署在hadoop101:
Alt text 配置使用之前创建的oozie数据库:
Alt text 默认配置不用更改:
Alt text 开始安装Oozie: Alt text 安装完成后,点击完成按钮:
Alt text

10. 安装HUE

首页添加服务,选择服务Hue: Alt text 选择依赖最多的,点击继续:
Alt text 节点分配配置页面,选择hue安装在hadoop104上:
Alt text 配置hue元数据:
Alt text 开始进行安装:
Alt text 安装完成后,点击完成按钮:
Alt text 回到首页后,点击Hue进入Hue页面: Alt text 点击webui菜单项,选择Hue Web UI:
Alt text 提示我们没有走负载均衡,重新访问http://hadoop105:8889/Alt text 首次登陆hue需要登陆hue的账号密码, 最好这里使用hdfs用户(比如hive)。因为hdfs用户可以操作hdfs中的文件,如果使用其他用户只能在当前用户的目录下创建文件。