注意一下哦,当到了第二步,你们看下你们的java环境还在不

执行 java -verison,如果出现下面的情况,表示java环境还在,如果不在了,在将第一题的步骤再做一遍,因为这个Educoder再次做的时候会清空环境

如果上面是对的,接下来继续我们的步骤

首先移动到opt目录下面

cd /opt/

解压hadoop安装包

tar -zxvf hadoop-3.1.0.tar.gz

我们将hadoop安装包移动到app目录下 注意一定要和我下面命令一样 不然最后会出错

mv hadoop-3.1.0 /app/hadoop3.1

然后我们移动到hadoop的目录下面

cd /app/hadoop3.1/

接下来输入命令,回车之后,再回车

ssh-keygen -t rsa -P ''

接下来在 分别执行两个命令 直接复制

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

然后需要修改一个文件

vim /etc/ssh/sshd_config

把这一行注释去掉就行 # 去掉

退出并保存: ESC + :wq (先按下ESC键 然后再输入:wq 保存) 后面我说退出并保存就是这样执行的

接下来我们进入到hadoop的配置目录

cd etc/hadoop

首先我们修改的是 hadoop-env.sh

vim hadoop-env.sh

找到这行注释,将其去掉

换成我们的配置

export JAVA_HOME=/app/jdk1.8.0_171

保存并退出,然后执行

source hadoop-env.sh

接下来修改第二个文件 yarn-env.sh

vim yarn-env.sh

在图中位置添加一个配置

export JAVA_HOME=/app/jdk1.8.0_171

保存并退出,然后执行

source yarn-env.sh

修改第三个文件 core-site.xml

vim core-site.xml

添加内容如下

<configuration>  
     <property>  
            <name>fs.default.name</name>  
            <value>hdfs://localhost:9000</value>  
            <description>HDFS的URI,文件系统://namenode标识:端口号</description>  
    </property>  
  
    <property>  
            <name>hadoop.tmp.dir</name>  
            <value>/usr/hadoop/tmp</value>  
            <description>namenode上本地的hadoop临时文件夹</description>  
    </property>  
</configuration>

保存并退出,修改下一个 hdfs-site.xml

vim hdfs-site.xml

添加内容如下

<configuration>  
    <property>  
            <name>dfs.name.dir</name>  
            <value>/usr/hadoop/hdfs/name</value>  
            <description>namenode上存储hdfs名字空间元数据 </description>   
    </property>  
  
    <property>  
            <name>dfs.data.dir</name>  
            <value>/usr/hadoop/hdfs/data</value>  
            <description>datanode上数据块的物理存储位置</description>  
    </property>  
  
    <property>  
            <name>dfs.replication</name>  
            <value>1</value>  
    </property>  
</configuration>

保存并退出,修改下一个文件 mapred-site.xml

vim mapred-site.xml

添加内容如下

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

保存并退出,修改最后一个文件 yarn-site.xml

vim yarn-site.xml

添加内容如下

<configuration>  
    <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
            <name>yarn.resourcemanager.webapp.address</name>  
            <value>192.168.2.10:8099</value>  
            <description>这个地址是mr管理界面的</description>  
    </property>  
</configuration>  

依次执行下面命令,创建几个文件夹

mkdir /usr/hadoop
mkdir /usr/hadoop/tmp 
mkdir /usr/hadoop/hdfs 
mkdir /usr/hadoop/hdfs/data 
mkdir /usr/hadoop/hdfs/name

为hadoop添加环境变量

vim /etc/profile

修改内容如下 需要添加一个,需要修改一个

HADOOP_HOME=/app/hadoop3.1
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存并退出后执行更新环境变量的命令

source /etc/profile

执行完上一条命令后,开始格式化Hadoop

hadoop namenode -format

等待格式化完成,会出现成功的结果(出现其他情况就是有问题的)

然后我们移动到hadoop的sbin目录下面

cd /app/hadoop3.1/sbin/

分别修改2个文件

start-dfs.shstop-dfs.sh两个文件顶部添加以下参数

vim start-dfs.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

保存并退出,修改下一个

vim stop-dfs.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

上面两个都是想这样的哈

接下来修改另外两个 start-yarn.shstop-yarn.sh

这两个文件也是在顶部添加

vim start-yarn.sh

在顶部添加如下内容

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

保存并退出,修改下一个

vim stop-yarn.sh

这个也是添加上面那个内容,如图片所示

最后一步我们开始启动Hadoop

start-dfs.sh

等待启动完成,执行jps命名查看启动节点,如果有这三个,表示你第二题已完成

jps

点击提交

最后修改:2021 年 07 月 14 日 05 : 11 PM