1.通过Xshell连接服务器
2.然后移动到 home/software
目录下
3.然后将我们群文件中的Hadoop组件上传上传到服务器中
注意,我们已经移动到了这个目录啦。点开文件管理就在当前目录下面哦,直接把文件移动到当前
4.等待上传并完成后解压
5.移动到 hadoop-2.6.0
这个目录下面,执行pwd,获取当前路径
记录当前路径,待会儿有用
/home/software/hadoop-2.6.0
6.接下来我们移动到 etc/hadoop
目录下
注意不要进错了哦!不是 /etc/hadoop
, etc前面没有斜杠哦
cd etc/hadoop/
7.接下来我们开始配置hadoop的配置文件
7.1 修改第一个文件 hadoop-env.sh
vim hadoop-env.sh
进来第一件事是修改Java的路径,昨天我们已经配置了哦,直接拿过来用
修改前
修改后
export JAVA_HOME=/home/software/jdk1.8.0_151
然后继续按下键,往下走,把光标移动当下面图片的位置
添加我们的内容
接着往下走,找到下面这一行
将这一行修改为
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
这个配置文件我们就修改完了,保存并退出 esc + :wq
然后执行下面命令让配置文件生效
source hadoop-env.sh
7.2 接下来修改第二个文件(Hadoop核心配置文件 core-site.xml
)
先按 i
,然后把光标移动到下面图片位置处
在这个配置标签中间写我们的配置
注意哦
127.0.0.1是本机的地址,如果以后有自己的服务器,是填写自己的ip地址哈
<configuration>
<!-- 用来指定HDFS的老大,namenode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<!-- 用来指定Hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.6.0/tmp</value>
</property>
</configuration>
保存并退出 esc + :wq
7.3 接下来我们需要修改分布式文件系统配置文件 hdfs-site.xml
还是在这个地方完成我们的配置
配置添加如下
<configuration>
<!-- 指定hdfs保存数据的副本数量,默认值是3 -->
<!-- 因为我们是伪分布式搭建,所以设置数量为1 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件 -->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
保存并退出 esc + :wq
7.4 然后我们修改MapReduce配置文件 mapred-site.xml
因为该目录下之后一个模板文件
我们需要对这个模板文件拷贝一份正常的文件
这里解释一下 cp
命令 cp是文件拷贝的命令 cp 空格 拷贝文件的名字 空格 新文件的名字
cp mapred-site.xml.template mapred-site.xml
接下里我们继续修改这个配置文件
还是在这个配置的标签中写我们的配置文件哦
在标签中添加如下内容
<configuration>
<!-- 指定mapreduce运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
保存并退出 esc + :wq
7.5 最后一个配置文件了哦(配置资源协调工具yarn),修改yarn配置文件yarn-site.xml
同样在configuration标签下,编写我们的配置文件哦
修改配置为
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定yarn的老大resoucemanager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>127.0.0.1</value>
</property>
<!-- NodeManager获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
保存并退出,我们的所有配置文件就已经完成了
8.接下来开始配置环境变量啦
vim /etc/profile
在最底下添加一个Hadoop的环境变量
export HADOOP_HOME=/home/software/hadoop-2.6.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
添加好后保存并退出,然后执行更新环境变量的命令
source /etc/profile
接下来,我们进入到hadoop的主目录下面
9.然后开始格式化节点
10.回车后如下图所示,则证明hadoop伪分布式已经安装完成
11.接下来我们启动Hadoop
软件启动的时候回启动几个节点,如果遇到 yes/no 输入 yes
后回车
然后会叫你输入密码:p@ssw0rd
,这个输入密码的时候是 看不见的哦
,一定要输入正确然后再回车
密码w后面是 数字0
,不是字母O哦
因为要启动三个节点,所以会输入三次yes和密码
12.查看我们节点是否启动成功,输入 jps
命令,如果你和我一样有这几个,就恭喜你,已经把hadoop伪分布式搭建出来了哦!