杰霸霸博客

主题

Hadoop单机版 ​

安装Hadoop配置环境和验证

1. 环境要求 ​

  1. Hadoop 3.3.x及以上版本支持JDK1.8+
  2. 安装ssh并且sshd必须处于运行状态

2.Hadoop用户配置 ​

2.1 新增Hadoop操作用户 ​

bash
[root@hadoop102 ~]# useradd jack

2.2 提升jack用户权限 ​

bash
[root@hadoop100 ~]# vi /etc/sudoers

2.3 切换使用jack用户,并在/opt下面创建文件夹 ​

bash
[jack@hadoop102 ~]$ sudo mkdir /opt/module
[jack@hadoop102 ~]$ sudo mkdir /opt/software
[jack@hadoop105 ~]$ sudo chown jack:jack /opt/software
[jack@hadoop105 ~]$ sudo chown jack:jack /opt/module

2.4 上传jdk和hadoop并解压到指定文件夹 ​

shell
[jack@hadoop102 software]$ tar -xvf jdk-8u391-linux-x64.tar.gz -C ../module/
[jack@hadoop102 software]$ tar -xvf hadoop-3.3.6.tar.gz -C ../module/

3. 配置Hadoop运行环境 ​

sh
## 在/etc/profile.d创建hadoop_env.sh
[jack@hadoop102 profile.d]$ sudo vi hadoop_env.sh
## 填写以下内容暴露环境变量
[jack@hadoop102 profile.d]$ cat hadoop_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_391
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4. 验证Hadoop部署 ​

sh
[jack@hadoop102 profile.d]$ hadoop version
Hadoop 3.3.6
Source code repository https://github.com/apache/hadoop.git -r 1be78238728da9266a4f88195058f08fd012bf9c
Compiled by ubuntu on 2023-06-18T08:22Z
Compiled on platform linux-x86_64
Compiled with protoc 3.7.1
From source with checksum 5652179ad55f76cb287d9c633bb53bbd
This command was run using /opt/module/hadoop-3.3.6/share/hadoop/common/hadoop-common-3.3.6.jar

5. Hadoop目录结构 ​

bash
[jack@hadoop102 hadoop-3.3.6]$ ll
总用量 88
drwxr-xr-x. 2 jack jack   203 6月  18 2023 bin
drwxr-xr-x. 3 jack jack    20 6月  18 2023 etc
drwxr-xr-x. 2 jack jack   106 6月  18 2023 include
drwxr-xr-x. 3 jack jack    20 6月  18 2023 lib
drwxr-xr-x. 4 jack jack   288 6月  18 2023 libexec
-rw-rw-r--. 1 jack jack 24276 6月  14 2023 LICENSE-binary
drwxr-xr-x. 2 jack jack  4096 6月  18 2023 licenses-binary
-rw-rw-r--. 1 jack jack 15217 6月  10 2023 LICENSE.txt
-rw-rw-r--. 1 jack jack 29473 6月  10 2023 NOTICE-binary
-rw-rw-r--. 1 jack jack  1541 6月  10 2023 NOTICE.txt
-rw-rw-r--. 1 jack jack   175 6月  10 2023 README.txt
drwxr-xr-x. 3 jack jack  4096 6月  18 2023 sbin
drwxr-xr-x. 4 jack jack    31 6月  18 2023 share

目录说明：
(1) bin目录：存放对Hadoop相关服务(hdfs，yarn，mapred)进行操作的脚本
(2) etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
(3) lib目录：存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4) sbin目录：存放启动或停止Hadoop相关服务的脚本
(5) share目录：存放Hadoop的依赖jar包、文档、和官方案例