注意一下哦,当到了第二步,你们看下你们的java环境还在不
执行 java -verison,如果出现下面的情况,表示java环境还在,如果不在了,在将第一题的步骤再做一遍,因为这个Educoder再次做的时候会清空环境
如果上面是对的,接下来继续我们的步骤
首先移动到opt目录下面
cd /opt/
解压hadoop安装包
tar -zxvf hadoop-3.1.0.tar.gz
我们将hadoop安装包移动到app目录下 注意一定要和我下面命令一样 不然最后会出错
mv hadoop-3.1.0 /app/hadoop3.1
然后我们移动到hadoop的目录下面
cd /app/hadoop3.1/
接下来输入命令,回车之后,再回车
ssh-keygen -t rsa -P ''
接下来在 分别执行两个命令
直接复制
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
然后需要修改一个文件
vim /etc/ssh/sshd_config
把这一行注释去掉就行 #
去掉
退出并保存: ESC + :wq (先按下ESC键 然后再输入:wq 保存)
后面我说退出并保存就是这样执行的
接下来我们进入到hadoop的配置目录
cd etc/hadoop
首先我们修改的是 hadoop-env.sh
vim hadoop-env.sh
找到这行注释,将其去掉
换成我们的配置
export JAVA_HOME=/app/jdk1.8.0_171
保存并退出,然后执行
source hadoop-env.sh
接下来修改第二个文件 yarn-env.sh
vim yarn-env.sh
在图中位置添加一个配置
export JAVA_HOME=/app/jdk1.8.0_171
保存并退出,然后执行
source yarn-env.sh
修改第三个文件 core-site.xml
vim core-site.xml
添加内容如下
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
保存并退出,修改下一个 hdfs-site.xml
vim hdfs-site.xml
添加内容如下
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
保存并退出,修改下一个文件 mapred-site.xml
vim mapred-site.xml
添加内容如下
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
保存并退出,修改最后一个文件 yarn-site.xml
vim yarn-site.xml
添加内容如下
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.2.10:8099</value>
<description>这个地址是mr管理界面的</description>
</property>
</configuration>
依次执行下面命令,创建几个文件夹
mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/hadoop/hdfs
mkdir /usr/hadoop/hdfs/data
mkdir /usr/hadoop/hdfs/name
为hadoop添加环境变量
vim /etc/profile
修改内容如下 需要添加一个,需要修改一个
HADOOP_HOME=/app/hadoop3.1
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
保存并退出后执行更新环境变量的命令
source /etc/profile
执行完上一条命令后,开始格式化Hadoop
hadoop namenode -format
等待格式化完成,会出现成功的结果(出现其他情况就是有问题的)
然后我们移动到hadoop的sbin目录下面
cd /app/hadoop3.1/sbin/
分别修改2个文件
在 start-dfs.sh
,stop-dfs.sh
两个文件顶部添加以下参数
vim start-dfs.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
保存并退出,修改下一个
vim stop-dfs.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
上面两个都是想这样的哈
接下来修改另外两个 start-yarn.sh
,stop-yarn.sh
这两个文件也是在顶部添加
vim start-yarn.sh
在顶部添加如下内容
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
保存并退出,修改下一个
vim stop-yarn.sh
这个也是添加上面那个内容,如图片所示
最后一步我们开始启动Hadoop
start-dfs.sh
等待启动完成,执行jps命名查看启动节点,如果有这三个,表示你第二题已完成
jps
点击提交