1.通过Xshell连接服务器

2.然后移动到 home/software 目录下

3.然后将我们群文件中的Hadoop组件上传上传到服务器中

注意,我们已经移动到了这个目录啦。点开文件管理就在当前目录下面哦,直接把文件移动到当前

4.等待上传并完成后解压

5.移动到 hadoop-2.6.0这个目录下面,执行pwd,获取当前路径

记录当前路径,待会儿有用

/home/software/hadoop-2.6.0

6.接下来我们移动到 etc/hadoop目录下

注意不要进错了哦!不是 /etc/hadoop , etc前面没有斜杠哦

cd etc/hadoop/

7.接下来我们开始配置hadoop的配置文件

7.1 修改第一个文件 hadoop-env.sh

vim hadoop-env.sh

进来第一件事是修改Java的路径,昨天我们已经配置了哦,直接拿过来用

修改前

修改后

export JAVA_HOME=/home/software/jdk1.8.0_151

然后继续按下键,往下走,把光标移动当下面图片的位置

添加我们的内容

接着往下走,找到下面这一行

将这一行修改为

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

这个配置文件我们就修改完了,保存并退出 esc + :wq

然后执行下面命令让配置文件生效

source hadoop-env.sh

7.2 接下来修改第二个文件(Hadoop核心配置文件 core-site.xml)

先按 i ,然后把光标移动到下面图片位置处

在这个配置标签中间写我们的配置

注意哦 127.0.0.1是本机的地址,如果以后有自己的服务器,是填写自己的ip地址哈

<configuration>
        <!-- 用来指定HDFS的老大,namenode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://127.0.0.1:9000</value>
        </property>
        <!-- 用来指定Hadoop运行时产生文件的存放目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/software/hadoop-2.6.0/tmp</value>
        </property>
</configuration>

保存并退出 esc + :wq

7.3 接下来我们需要修改分布式文件系统配置文件 hdfs-site.xml

还是在这个地方完成我们的配置

配置添加如下

<configuration>
        <!-- 指定hdfs保存数据的副本数量,默认值是3 -->
        <!-- 因为我们是伪分布式搭建,所以设置数量为1 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <!-- 设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件 -->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

保存并退出 esc + :wq

7.4 然后我们修改MapReduce配置文件 mapred-site.xml

因为该目录下之后一个模板文件

我们需要对这个模板文件拷贝一份正常的文件

这里解释一下 cp命令 cp是文件拷贝的命令 cp 空格 拷贝文件的名字 空格 新文件的名字

cp mapred-site.xml.template mapred-site.xml

接下里我们继续修改这个配置文件

还是在这个配置的标签中写我们的配置文件哦

在标签中添加如下内容

<configuration>
        <!-- 指定mapreduce运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

保存并退出 esc + :wq

7.5 最后一个配置文件了哦(配置资源协调工具yarn),修改yarn配置文件yarn-site.xml

同样在configuration标签下,编写我们的配置文件哦

修改配置为

<configuration>

<!-- Site specific YARN configuration properties -->
        <!-- 指定yarn的老大resoucemanager的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>127.0.0.1</value>
        </property>

        <!-- NodeManager获取数据的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
  
</configuration>

保存并退出,我们的所有配置文件就已经完成了

8.接下来开始配置环境变量啦

vim /etc/profile

在最底下添加一个Hadoop的环境变量

export HADOOP_HOME=/home/software/hadoop-2.6.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

添加好后保存并退出,然后执行更新环境变量的命令

source /etc/profile

接下来,我们进入到hadoop的主目录下面

9.然后开始格式化节点

10.回车后如下图所示,则证明hadoop伪分布式已经安装完成

11.接下来我们启动Hadoop

软件启动的时候回启动几个节点,如果遇到 yes/no 输入 yes后回车

然后会叫你输入密码:p@ssw0rd,这个输入密码的时候是 看不见的哦,一定要输入正确然后再回车

密码w后面是 数字0 ,不是字母O哦

因为要启动三个节点,所以会输入三次yes和密码

12.查看我们节点是否启动成功,输入 jps命令,如果你和我一样有这几个,就恭喜你,已经把hadoop伪分布式搭建出来了哦!

最后修改:2021 年 03 月 13 日 08 : 40 PM