linux下Hadoop安装与环境配置

注：本文采用的Linux环境为deepin 15.11系统（是由武汉深之度科技有限公司开发的颜值极高的Linux发行版），以下命令经测试Ubuntu18.04版本同样适用。linux安装可采用虚拟机安装、单系统安装、双系统安装等多种方式，自行百度。

在linux下首先更新apt包：

安装SSH server：

配置SSH：

输入密码登录本机和退出本机：

由于需要跨机器登录，所以还需要配置无密码。在进行了初次登陆后，进入.ssh文件夹下：

使用rsa算法生成秘钥和公钥对：

运行后一路Enter，其中第一个是要输入秘钥和公钥对的保存位置，默认是在：.ssh/id_rsa。然后把公钥加入到授权中：

再次ssh localhost 就可以无密码登录了。

安装JDK：

首先检查Java是否已经安装：

如果没有安装，点击链接https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 并选择相应系统以及位数下载（本文选择jdk-8u241-linux-x64.tar.gz，如具体版本不同则灵活修改）

为其单独创立一个文件夹，然后将其放到该目录下（下载后以具体为止为准）：

进入该目录进行解压：

解压成功后会在当前目录下看到jdk1.8.0_241安装包，然后删除安装包：

配置JDK：

设置环境变量，打开环境变量的配置文件：

在末尾添加：

告诉linux Java JDK的位置并设置为默认模式：

重新加载环境变量的配置文件：

检测Java版本：

如果出现以下代表成功：

安装Hadoop：

进入镜像文件https://mirrors.cnnic.cn/apache/hadoop/common/ 并选择对应Hadoop版本（注意版本不是越新越好，要考虑版本兼容问题，本文选择hadoop-2.10.0.tar.gz）

然后将其解压至刚刚创建的文件夹 /usr/local并删除安装包：

重命名文件夹并修改权限（其中phenix为用户名）：

检测hadoop版本：

出现以下信息则代表成功：

配置Hadoop（伪分布式）：

切换到路径/usr/local/hadoop/etc/hadoop下，需要修改2个配置文件core-site.xml和hdfs-site.xml。

首先打开core-site.xml

在<configuration></configuration>中添加如下配置：

注：本文使用的是hdfs://localhost:9000即hdfs文件系统

再打开hdfs-site.xml：

同样在<configuration></configuration>中添加如下配置：

注：dfs.replication就是指备份的份数；dfs.namenode.name.dir和dfs.datanode.data.dir分别指名称节点和数据节点存储路径

切换回hadoop主目录并执行NameNode的格式化（格式化成功后轻易不要再次格式化）：

出现以下信息代表成功：

手动添加JAVA_HOME，在hadoop-env.sh文件中添:

在hadoop-env.sh文件中添加如下内容即可:

开启NameNode和DataNode守护进程:

开启yarn资源管理器：

验证：

出现以下六个则代表启动成功：

简单示例：

首先切换至hadoop主目录并在HDFS中创建用户目录：

./bin/hdfs dfs -mkdir -p /user/hadoop

创建输入文件夹：

将etc/hadoop下所有的xml文件复制到输入：

然后通过命令查看：

结果如下：

运行grep：

查看运行结果：

出现以下输出则说明Hadoop集群搭建完成：

我们还可以利用HDFS Web界面，不过只能查看文件系统数据，点击链接http://localhost:50070即可进行查看：

​

同时也可通过http://localhost:8088/cluster查看hadoop集群当前应用状况：

​

关闭Hadoop：

最后！细心的同学会发现每次开启关闭都得切换至指定目录不太方便，因此我们将其加入环境变量中，开启更加方便：

在末尾添加：

然后执行source更新命令：

之后会发现在任意位置尝试hadoop命令都会输出对应结果：

至此Hadoop安装及环境配置完成。